Burst Image Denoising and Demosaicing using Generative Models based on Unsupervised Learning

Abstract

본 논문은 이미지 신호 처리 파이프라인에서 이미지의 품질을 결정하는 중요한 역문제 중 하나인 디노이징과 디모자이킹에 대해 다룬다. 이 문제를 해결하기 위해 기존에 가장 일반적으로 사용하던 컨볼루션 기반 신경망과 지도학습 기반의 모델들은 이미지 복원에 좋은 성능을 보였지만, 과도한 메모리 사용량, 학습 데이터에의 과 적합 등의 문제가 발생하였다. 우리는 이를 해결하고자 디노이징과 디모자이킹을 복합적으로 해내는 비지도 학습 기반 생성모델에 관해 연구하였다. 우리는 저품질 이미지로부터 정보를 더 얻기 위해 연속사진과 raw 사진을 이용하였다. 첫 번째 방법은 Implicit neural representation 기반 모델로, 해당 모델은 픽셀의 좌표와 프레임의 정보를 입력 받아 해당 픽셀의 색을 출력한다. 이때, 프레임의 정보를 전달하기 위해 t-distributed stochastic neighbor embedding (t-SNE)를 학습가능한 파라미터로 입력하여 모델이 학습을 거치는 과정에서 연속 영상의 정보를 전달하였다. 해당 방법은 기존의 컨볼루션 기반 신경망보다 훨씬 적은 메모리 사용량을 달성하였으나, 복구하고자 하는 이미지가 달라질 때마다 모델을 다시 학습해야 한다는 단점이 있었다. 또한 해당 모델은 노이즈를 제거하고 비어 있는 값을 잘 복원하였지만, 여전히 고주파 영역은 잘 복원하지 못하였다. 두 번째 방법은 denoising diffusion probabilistic models (DDPMs)를 이용한 조건부 샘플링 방법으로, 해당 방법은 특이값 분해 (SVD)를 기반으로 무조건 샘플 생성에 조건을 줌으로써 우리가 복원하고자 하는 이미지에 제한된 이미지를 생성한다. 해당 방법 역시 디노이징과 디모자이킹을 복합적으로 수행하였지만, 복원하고자 하는 이미지의 𝜎!를 고려해야 하고, 학습이 오래 걸리며, 메모리 소모량이 많다는 단점이 있다. 우리는 해당 모델이 INR 기반 모델로 대체된다면 연속적인 score 를 학습하는데 더 도움이 되고, 메모리 소모량을 줄일 수 있을 것이라고 예측한다.

Denoising and demosaicing are one of the important inverse problems for deciding image quality in in-camera image signal processing (ISP) pipeline. To improve the performance of these tasks, deep convolutional neural networks (CNNs) have shown high performance, but it is hard to apply them in high-resolution images since they consume a lot of memory for computation. Also, supervised methods that are commonly used cause overfitting for the training domain and need paired datasets. Therefore, we propose two methods for joint denoising and demosaicing (JDD) based on unsupervised learning to reconstruct high-quality images without ground truth images. To get more information from the scenes, we use burst and raw images. First is the implicit neural representations (INRs) based method. It takes the coordinates of the pixels and frame information as an input and outputs the color of the pixels. We give the frame information of the burst by using t-distributed stochastic neighbor embedding (t-SNE). We set the t-SNE as a trainable parameter to estimate more accurate frame information. Since the network only consists of fully-connected layers, it requires much less memory for computation than CNNs. However, it needs re-train when the input burst changes and cannot restore the high frequency of the images. The second is the conditional sampling method using unconditional denoising diffusion probabilistic models (DDPMs). DDPMs learn the prior distributions during the diffusion process, and then they reconstruct images by subtracting noise from the initial noise iteratively. We construct a sampling method based on the singular value decomposition (SVD) method. We verify this method works well in JDD, but to reconstruct the original image, σ_y needs to be considered, training is too long, and memory consumption is large. We assume when the model of DDPMs is replaced by INR, it is helpful for learning the score of data distribution and reducing the memory consumption.