Burst super resolution of multi-scale using optical flow

Abstract

Learning based-multi frame super-resolution (MFSR) achieves higher performance than single image super-resolution (SISR), because MFSR leverages abundant information from multiple frames. Recent MFSR approaches adapt the deformable convolution network (DCN) to align the frames. However, the existing MFSR suffers from misalignments between the reference and source frames due to the limitations of DCN, such as small receptive fields and the predefined number of kernels. From these problems, existing MFSR approaches struggle to represent high-frequency information. To this end, we propose Burst super resolution of multi-scale using optical flow (BurstM). The proposed method estimates the optical flow offset for accurate alignment and predicts the continuous Fourier coefficient of each frame for representing high-frequency textures. In addition, we have enhanced the network’s flexibility by supporting various super-resolution (SR) scale factors with the unimodel. We demonstrate that our method has the highest performance and flexibility than the existing MFSR methods. Keywords: Burst super resolution, Super resolution, Optical flow, Implicit neural representations (INRs)|딥러닝 기술의 도입으로 연속사진에서 많은 정보를 활용하여 고해상도 영상복원을 하는 연속사진 초해상도는 높은 성능을 보여준다. 최근 변형 가능한 합성곱 신경망의 높은 영상 정렬 능력을 활용한 연속사진 초해상도 기술들이 제안되고 있지만, 변형 가능한 합성곱 신경망은 영상간 상관관계에 상관없이 사전 정의된 정보의 양을 사용해야 하므로, 고주파수 영역의 부정확한 표현, 현실 영상 복원 시 가장자리에 있는 경계선 아티팩트 발생의 문제가 있다. 또한 기존의 방법들은 고정된 초해상도 비율로만 동작한다는 한계가 있다. 위와 같은 기존 한계점들을 극복하기 위해 광학흐름을 이용한 연속사진 멀티 스케일 초해상도( Burst super resolution of multi-scale using optical flow)를 제안한다. 경계선 아티팩트 방지를 위해 변형 가능한 합성곱 신경망 대신 광학흐름 만으로 이미지 와핑을 수행함으로써 영상간 상관관계가 높은 화소의 정보만을 활용했다. 또한 이미지 와핑 시 발생하는 블러링, 에일리어싱 등의 영향을 방지하기위해 푸리에 공간에서 고주파 특성을 파악하며 이미지 와핑 및 업스케일링을 수행했다. 또한 고정된 초해상도 비율로만 동작하는 한계를 극복하기 위해 암묵적 신경 표현 방법을 활용하여 푸리에 공간에서 와핑된 영상들의 정보를 연속신호로 해석하여 멀티 스케일 초해상도 기술을 구현했다. 실험결과에서 기존의 연속사진 초해상도 영상복원 방법과 비교할 때 정확하고 자연스러운 복원영상을 제공하며, peak-to-peak signal noise ratio (PSNR)과 structural similarity measure (SSIM)에서 객관적 성능 향상과 기존 대비 빠른 실행속도를 보인다.