시선 일치화 기능을 탑재한 사용자 단말기 및 그것을 이용한 시선 일치화 방법

Abstract

본 발명은 시선 일치화 기능을 탑재한 사용자 단말기 및 그것을 이용한 시선 일치화 방법에 대한 것이다. 본 발명에 따르면, 사용자 단말기의 디스플레이 화면 크기 및 사용자 단말기에 탑재된 카메라 렌즈의 위치정보를 저장하는 데이터베이스, 상기 카메라를 통해 촬영된 영상을 입력받는 수신부, 상기 입력된 영상을 머신 러닝에 적용하여 사용자의 얼굴 위치 정보 및 눈동자의 위치 정보를 획득하는 얼굴 정보 검출부, 상기 획득된 사용자의 얼굴 위치 정보 및 눈동자의 위치 정보를 통해 사용자의 시선을 추정하여 실제 시점값을 획득하고, 획득된 실제 시점값으로부터 보정된 최종 시점값을 도출하는 제어부, 상기 입력된 영상에 포함된 눈동자의 이미지에 상기 최종 시점값을 적용하여 시점이 변화된 눈동자 이미지를 생성하는 눈 이미지생성부, 그리고 상기 시점이 변화된 눈동자 이미지를 상기 영상에 정합하여 보정된 이미지를 디스플레이 화면상에 출력하는 출력부를 포함한다. 이와 같이 본 발명에 따른 사용자 단말기는 사용자의 실제 시선값에 시점 보상값을 적용하여 디스플레이 화면과 카메라의 위치가 다름으로 인해 불일치된 시선을 일치화시킬 수 있도록 하고, 사용자의 눈 이미지에 딥러닝을 적용하여 새로운 눈 이미지를 생성함으로써, 본래의 원본 영상을 유지하면서 시선만 보정할 수 있는 효과를 지닌다.