머리 장착형 화면을 위한 합성곱 신경망을 활용한 근적외선 기반 시선 추적 방법

Abstract

본 논문은 실제 Head Mount Display (HMD)를 사용하는 환경에서 시선 추적을 할 때 발생하는 동공 추적 과정에서의 문제점을 Convolutional Neural Network (CNN)을 활용한 의미론적 분할 방법으로 전환하여 풀어내는 방법을 제안한다. 동공을 촬영한 이미지에서 가림, 반사, 그림자, 동공의 경계로 착각할 수 있는 물체는 기존의 시선 추적 알고리즘이 잘 작동하지 않는 환경을 조성한다. 이 문제를 해결하기 위한 CNN 으로 ShuffleNet V2 [1]를 활용한 의미론적 분할 방법 모델을 제안한다. 또한 이를 위한 동공 중심점 데이터셋을 구성한다. 본 논문에서 제안된 모델은 HMD를 사용하는 실제 환경에서 높은 정확도로 실시간 시선 추적을 가능하게 한다.