Robot avatar system using hybrid interface and command server, learning server, and sensory server therefor

Abstract

뇌-컴퓨터 인터페이스(BCI: Brain Computer Interface), 헤드 마운트 디스플레이(HMD: Head-Mounted Display) 또는 스마트 안경(Smart Glasses), 모션 센서, 위치 센서, 마이크로폰, 스피커, 촉각 센서, 햅틱 액추에이터를 포함하는 하이브리드 인터페이스를 갖춘 로봇 아바타 시스템을 제공한다. 본 발명의 로봇 아바타 시스템은, BCI, HMD 또는 스마트 안경, 모션 센서 또는 위치 센서, 마이크로폰, 스피커, 촉각 센서, 햅틱 액추에이터를 포함하는 인터페이스

상기 BCI 및 상기 모션 센서 또는 위치 센서로부터 수신한 BCI 정보 및 움직임 정보를 기반으로 상기 로봇의 행동을 제어하기 위한 명령을 생성하며, 상기 마이크로폰으로부터 수신한 사람의 음성 정보를 상기 로봇을 통해 출력하도록 전달하는 명령 서버

상기 BCI 및 상기 모션 센서 또는 위치 센서로부터 수신한 BCI 정보 및 움직임 정보를 기반으로 상기 명령 서버에서 사용되는 BCI-모션 매핑 데이터베이스 및 라벨 판별 모델을 구축하는 BCI-모션 학습 서버

및 상기 로봇을 통해 획득한 오디오, 비디오, 촉각 정보를 각각 상기 스피커, HMD 또는 스마트 안경, 햅틱 엑추에이터를 통해 출력할 수 있도록 가공하는 지각 서버를 포함하여 구성된다.