Image Denoising Networks based on the Attention Mechanism for the Enhancement of Natural and Medical Images

Abstract

영상내 노이즈 제거는 이미지 처리 및 컴퓨터 비전 분야에서 기본적인 작업이다. 노이즈 제거의 중요성 때문에 지난 수십년간 단순한 필터링에서 정교한 학습 기반 접근 방식에 이르기까지 많은 노이즈 제거 방법들이 제안되었다. 딥러닝의 발전과 함께 많은 딥러닝 기반 이미지 노이즈 제거 방법이 제안되고 있다. 최근 몇 년 동안 어텐션 메커니즘 기반 네트워크는 이미지 복원 분야에서 높은 성능을 보여주고 있다. 그러나 이러한 어텐션 기반 영상 복원 방법에 사용되는 어텐션 모듈은 영상 인식 문제를 고려하여 영상 복원에 적합하지 않은 경우가 있다. 따라서 본 논문에서는 영상 노이즈 제거에 적합한 새로운 어텐션 메커니즘을 제안하면서 동시에 제안한 어텐션 메커니즘을 활용한 일반 및 영상 향상을 위한 영상 노이즈 제거 딥러닝 알고리즘을 제안한다. 이를 위해 채널, 셀프 어텐션 모듈과 같은 기존 주의 모듈을 분석했다. 먼저 영상 노이즈 제거에서 채널어텐션 모듈 적용한 뒤 컨텐츠 및 노이즈 정도에 따라 다르게 동작한다는 것을 입증했다. 이 분석을 기반으로 우리는 로컬 적응형 채널 어텐션 모듈을 제안했다. 이 모듈을 기반으로 한 영상 복원 네트워크는 영상 노이즈 제거에서 최신 방법들에 비해 높은 성능을 냈고, 기존의 채널 어텐션 모듈에 비해 1.13배 빠르다는 것을 보였다. 그 다음으로 기존의 셀프 어텐션 모듈은 계산량이 매우 많아 실제로 이용하기에 부적합하다. 그래서 우리는 기존의 셀프 어텐션 모듈의 계산 방법을 개량하여 계산량을 대폭 감소시켰으며, 다중 스케일에 대해 영상의 자기 유사도 특성을 이용하기 위해 다중 스케일 셀프 어텐션 모듈을 새롭게 제안했다. 다중 스케일 셀프 어텐션 모듈 기반의 네트워크는 형광 현미경 영상 노이즈 제거에서 가장 우수한 성능을 보였으며 우리가 제안한 3D 컨포칼 영상에서도 가장 좋은 성능을 보였다. 마지막으로 컨텐츠 인식 어텐션 모듈을 제안하여 초음파 영상에서의 스펙클 노이즈 제거 위한 DCAIP 방법을 제안했다. 콘텐츠 인식 어텐션 모듈은 콘텐츠 종속성을 결정하여 콘텐츠 적응 가중치를 사용했습니다. 제안한 방법은 초음파 이미지의 스페클 감소에서 좋은 성능을 보였고 유방암 분할에서는 AUPRC기준으로 15.89% 성능을 개선했습니다.|Image denoising is a fundamental task in the field of image processing and computer vision. Many denoising approaches have been proposed in the past several decades, from simple filtering to sophisticated learning-based approaches. With the development of deep learning, many deep learning-based image denoising methods have been proposed. In recent years, attention mechanism-based networks have been shown to exhibit high performance in the field of image restoration. However, there are cases where the attention module used in these attention-based image restoration methods is not suitable for image restoration by considering the image recognition problem. Thus, there is a need to propose new attention modules suitable for image denoising. To this end, I first analyzed existing attention modules such as the channel and self-attention modules. I proved that the channel attention module has the characteristics of content adaptivity and noise adaptivity. Based on this analysis, I proposed a locally adaptive channel attention module. The proposed attention module improved the performance of the existing channel attention module and enhanced the computation speed of image denoising. Second, I improved the existing self-attention module, which could exploit the self-similarity property of an input image. The existing self-attention module has a disadvantage in that it can only be applied to small-sized images due to its considerable computation cost. Thus, I changed the calculation method to drastically reduce the number of computations and proposed a novel multi-scale self-attention module to exploit self-similarity at different scales. A multi-scale self-attention network based on these modules showed the highest performance for denoising a fluorescence microscopy dataset and a proposed 3D confocal dataset. Finally, I proposed a deep content-aware image prior with a content-aware attention module for despeckling an ultrasound image without a clean image. The content-aware attention module used content-adaptive weights by determining the content dependency. The deep content-aware image prior showed good performance in the speckle reduction of ultrasound images and improved the performance in breast cancer segmentation.