Recognition of objects outside the FOV using auditory and tactile senses

Abstract

In this paper, we introduce a method for achieving precise object localization by leveraging tactile feedback and stereoscopic sound. While operating unmanned aerial vehicles, the primary perspective is typically obtained through a front-facing camera. However, this setup poses challenges in recognizing obstacles located outside the camera's field of view. To tackle this issue, we conducted an experiment that employed tactile feedback and stereophonic sound to accurately identify object locations beyond the field of view. The experimental results demonstrated that the highest accuracy was attained when both feedback modalities were used in combination, surpassing the performance of individual modalities. Furthermore, the calibration method applied to tactile feedback to enhance accuracy was found to be effective and maintained its performance over time. However, it was suggested that calibration may be more effective when based on average data rather than small amounts of individualized data for both tactile and auditory feedback. This research significantly contributes to the advancement of high-precision obstacle recognition technology in the operation of unmanned aerial vehicles. Keywords: Virtual reality, Haptic, Location awareness|본 논문은 햅틱 피드백과 입체음향을 이용하여 높은 정확도로 물체의 위치를 인지할 수 있는 방법을 소개한다. 사람들은 무인기를 조종할 때 카메라를 통해 앞의 시야를 보며 조종하는 경우가 많다. 이 때, 시야가 없는 방향에 장애물이 있을 경우 이를 인지하기 어렵다. 이를 해결하기 위해 주변의 물체를 시각 외의 감각(청각, 촉각)으로 인지하는 방법을 연구했다. 15명의 참가자들이 촉각 피드백과 청각 피드백(입체음향)을 사용하여 물체의 위치를 인지시키고 정확도를 확인하는 실험을 수행했다. 그 결과 청각 피드백만을 사용했을 때에는 실험 참가자들이 앞 뒤를 헷갈리는 경우가 많아 가장 정확도가 낮았으며, 그 다음은 촉각 피드백만을 사용했을 때이고, 촉각 피드백과 청각 피드백을 동시에 사용했을 때 가장 정확도가 높았다. 실험 과정에서 정확도를 높이기 위해 참가자별로 캘리브레이션 데이터를 얻어 보정함수를 만들어 음원과 진동점의 위치를 보정했다. 보정은 특히 촉각 피드백의 정확도를 높이는데 긍정적으로 유효했고, 보정함수를 지속적으로 사용할 경우에도 높은 정확도를 보장한다는 사실을 확인했다. 하지만 적은 수의 데이터를 통해 얻은 개인화 보정함수를 사용하는 것 보다, 참가자의 캘리브레이션 데이터를 평균내 얻은 보정함수가 대체로 더 높은 정확도를 보장했다. 이 연구는 다른 연구에서 청각 피드백과 촉각 피드백 각각만을 따로 사용해서 물체를 인지하는 것과 달리 두 피드백을 함께 사용해서 정확도를 높였다는 것에 의의가 있다. 본 논문은 특히 무인 항공기 제어와 같은 응용 분야에서 시야 너머의 장애물 위치에 대한 인식을 향상시키는 효과적인 수단을 제공한다. 또한 시력이 손상되거나 왜곡된 상황에서 장애물 위치를 정확하게 인식하는 것이 중요한 다양한 영역에 적용할 수 있음을 시사하여 더 넓은 의미를 갖는다.