Multimodal Haptic Interfaces for Remote Teleoperation and Gap Perception

Abstract

This thesis focuses on how relational spatial structure—such as bilateral clearance, center alignment, asymmetry, and action possibility—can be rendered in non-visual forms for remote teleoperation. Here, relational spatial structure refers not simply to directional alerting, but to the spatial relations that determine how action should be interpreted at a given moment. Under this framing, Telepresents provides the broader multisensory system context and design requirements for non-visual spatial support, whereas Haptic Whisker examines the same question in the more specific setting of frontal gap perception. Within Telepresents, the thesis presents a rover-based sensory integration framework comprising LiDAR- ToF sensor fusion for estimating three-dimensional obstacle extent, efficient bit-sequence transmission, VR- based multimodal mapping, and SmellNet-based environmental triggering. Exploratory directional-perception results within this framework suggested that auditory and tactile cues can supplement vision, and that finer spatial precision may be available when stimulation is delivered on more front-aligned body regions. These observations help narrow the design problem from generic multimodal telepresence to the need for more interpretable frontal relational cueing. To address this design need, Haptic Whisker implements a continuous rolling-contact cheek interface inspired by a Y-shaped facial roller. Technical evaluation showed that the device delivered perceivable stimulation within a usable force range while remaining subjectively smooth. Two bidirectional perceptual mapping studies revealed compression in visual-to-haptic transfer and slight expansion in haptic-to-visual reconstruction. More importantly, relational information such as center alignment and left-right asymmetry remained interpretable despite systematic distortion in absolute scale, suggesting that the device is better understood as a relational cueing interface than as a literal geometric reproducer. This interpretation was further consistent with results from a near-threshold single-gap task, where Haptic Whisker improved task success relative to vision-only and centerline conditions while remaining comparable to a richer visual-guide condition. Taken together, the thesis offers a systems-level framing of non-visual spatial support and an empirically grounded argument that continuous facial haptics may support the rendering of relational spatial structure in calibrated, teleoperation-relevant gap-judgment settings. Keywords: Telepresents, Relational Spatial Judgment, Facial Haptics, Haptic Whisker, Gap Perception|본 논문은 원격 조종 환경에서 양측 여유공간, 중심 정렬, 비대칭성, 통과 가능성과 같은 관계적 공간 구조를 시각 의존을 줄이면서 해석 가능한 비시각 단서로 전달하는 인터페이스 설계를 다룬다. 본 논문은 Telepresents와 Haptic Whisker를 중심으로 원격 조종에서의 멀티모달 공간 지원을 검토하였다. Telepresents 파트에서는 원격 로버 플랫폼, LiDAR-ToF 융합 기반 장애물 3차원 범위 추정, 효율적인 비트 시퀀스 전송, VR 환경에서의 시각-청각-촉각 매핑, 그리고 SmellNet 기반 환경 트리거 구성을 정리하였다. 방향 인지 실험에서는 청각과 촉각이 시각을 보완할 수 있는 가능성을 보였으며, 탐색적 분석에서는 몸통보다 머리와 같이 시선과 더 정렬된 부위에서 상대적으로 낮은 위치 추정 오류 경향이 관찰되었다. 이러한 결과는 전방의 관계적 공간 구조를 보다 직접적으로 표현하는 인터페이스의 필요성을 시사하였다. Haptic Whisker 파트에서는 이산 포인트 기반 얼굴 햅틱을 넘어, 마사지 롤러에서 착안한 연속 롤링 접촉 메커니즘을 이용하여 양측 뺨에 좌우 clearance를 표현하는 방식을 제안하였고, 기술 평가 결과 장치는 사용 가능한 힘 범위 내에서 비교적 매끄럽고 연속적인 자극을 제공하였다. 두 개의 양방향 지각 매핑 실험에서는 시각에서 햅틱으로의 대응에서 압축 편향이, 햅틱에서 시각으로의 재구성에서는 약한 확장 편향이 관찰되었지만, 중심 정렬과 좌우 비대칭성과 같은 관계적 정보는 절대 폭의 왜곡에도 불구하고 비교적 해석 가능한 형태로 유지되었다. 또한 near-threshold single-gap 과제에서 Haptic Whisker는 Visual Only 및 Center Line 조건보다 높은 과제 성공률을 보였으며, richer visual guide 조건과는 유의한 차이를 보이지 않았다. 종합하면, 본 논문은 원격 조종을 위한 멀티모달 감각 통합 시스템과 전방 gap 판단을 지원하는 연속 얼굴 햅틱 인터페이스를 함께 제시하고, 관계적 공간 구조를 비시각적으로 전달하는 설계 방향을 논의하였다. 본 연구는 원격 조종과 관련된 간격 판단 상황에서 관계적 공간 구조를 비시각적으로 전달하는 인터페이스 설계 가능성에 대한 초기 실증적 근거를 제공한다.