Interactive and Automatic Navigation for 360˚ Video Playback

Abstract

2D 디스플레이로 360˚ 비디오를 감상하는 일반적인 방법은 비디오의 일부분을 일반적인 시야각(Normal Field of View, NFoV)의 비디오로 렌더링 (rendering)하는 것이다. 이 방법을 사용하면 사용자가 자연스러운 NFoV 비디오를 감상할 수 있다는 장점이 있지만 비디오의 중요한 장면을 놓치지 않기 위해 사용자가 계속해서 보는 방향을 조정해줘야 하는 번거로움이 있다. 본 논문에서는 사용자가 편안하게 360˚ 비디오를 감상할 수 있도록 사용자 인터랙션이 가능한 자동 재생 시스템을 제안한다. 본 논문이 제안하는 시스템은 비디오의 중요한 부분을 보여주는 카메라 경로를 찾고 이를 기반으로 하는 일반적인 시야각(NFoV)의 비디오를 생성하여 온라인(Online)방식으로 재생한다. 비디오를 감상하는 동안에 사용자는 인터랙티브하게 보는 방향을 바꿀 수 있고 이 때 시스템은 즉각적으로 사용자의 의도에 맞는 경로로 업데이트한다. 온라인 처리를 가능하게 하기 위해 본 논문에서는 오프라인 전처리 과정과 온라인 비디오 재생 과정으로 시스템을 고안했다. 전처리 과정에서 시스템은 360˚ 비디오의 optical flow와 stabilization 파라미터, saliency 점수를 계산한다. 이를 기반으로 온라인 비디오 재생 과정에서는 사용자의 인터랙션을 반영하는 최적의 경로를 찾고 이를 NFoV 비디오로 재생한다. 360˚ 비디오에 존재할 수 있는 카메라의 흔들림을 제거하기 위해 시스템은 optical flow를 이용해 카메라의 움직임을 분석하고 결과 NFoV 비디오를 안정화(stabilization)한다. 본 논문에서는 실험을 통해 본 시스템이 기존의 방법들보다 더 편안한 감상을 제공하는 것을 보인다.|A common way to view a 360˚ video on a 2D display is to crop a part of the video and render it as a normal field-of-view (NFoV) video. While users can enjoy natural-looking NFoV videos using this approach, they need to constantly make manual adjustment of the viewing direction not to miss interesting events in the video. In this paper, we propose an interactive and automatic navigation system for comfortable 360˚ video playback. Our system finds a camera path that shows the most salient areas through the video, generates a normal field-of-view (NFoV) vid-eo based on the path, and plays it in an online manner. While watching a video, a user can interactively change the viewing direction, then the system instantly up-dates the path according to user interaction. To enable online processing, we design our system to consist of an offline pre-processing step, and an online 360˚ video navigation step. The pre-processing step computes optical flow, stabilization pa-rameters, and saliency scores for an input video. Based on these, the online video navigation step computes an optimal camera path reflecting user interaction, and plays a NFoV video in an online manner. As an input 360˚ video may have camera shakes, our system also analyzes camera motion using optical flow and stabilizes a resulting NFoV video. Our experimental results show that our system provides more pleasant experience of watching 360˚ videos than existing approaches.