Cited time in webofscience Cited time in scopus

Image Denoising Networks based on the Attention Mechanism for the Enhancement of Natural and Medical Images

Image Denoising Networks based on the Attention Mechanism for the Enhancement of Natural and Medical Images
Alternative Title
일반 및 의료 영상 향상을 위한 어텐션 메커니즘 기반의 영상 노이즈 제거 네트워크
Haeyun Lee
DGIST Authors
Haeyun LeeJae Youn HwangSunghoon Im
Sunghoon Im
Issued Date
Awarded Date
Image denoising, Channel attention, Self-attention, Attention mechanism
Image denoising, Channel attention, Self-attention, Attention mechanism
영상내 노이즈 제거는 이미지 처리 및 컴퓨터 비전 분야에서 기본적인 작업이다. 노이즈 제거의 중요성 때문에 지난 수십년간 단순한 필터링에서 정교한 학습 기반 접근 방식에 이르기까지 많은 노이즈 제거 방법들이 제안되었다. 딥러닝의 발전과 함께 많은 딥러닝 기반 이미지 노이즈 제거 방법이 제안되고 있다. 최근 몇 년 동안 어텐션 메커니즘 기반 네트워크는 이미지 복원 분야에서 높은 성능을 보여주고 있다. 그러나 이러한 어텐션 기반 영상 복원 방법에 사용되는 어텐션 모듈은 영상 인식 문제를 고려하여 영상 복원에 적합하지 않은 경우가 있다. 따라서 본 논문에서는 영상 노이즈 제거에 적합한 새로운 어텐션 메커니즘을 제안하면서 동시에 제안한 어텐션 메커니즘을 활용한 일반 및 영상 향상을 위한 영상 노이즈 제거 딥러닝 알고리즘을 제안한다. 이를 위해 채널, 셀프 어텐션 모듈과 같은 기존 주의 모듈을 분석했다. 먼저 영상 노이즈 제거에서 채널어텐션 모듈 적용한 뒤 컨텐츠 및 노이즈 정도에 따라 다르게 동작한다는 것을 입증했다. 이 분석을 기반으로 우리는 로컬 적응형 채널 어텐션 모듈을 제안했다. 이 모듈을 기반으로 한 영상 복원 네트워크는 영상 노이즈 제거에서 최신 방법들에 비해 높은 성능을 냈고, 기존의 채널 어텐션 모듈에 비해 1.13배 빠르다는 것을 보였다. 그 다음으로 기존의 셀프 어텐션 모듈은 계산량이 매우 많아 실제로 이용하기에 부적합하다. 그래서 우리는 기존의 셀프 어텐션 모듈의 계산 방법을 개량하여 계산량을 대폭 감소시켰으며, 다중 스케일에 대해 영상의 자기 유사도 특성을 이용하기 위해 다중 스케일 셀프 어텐션 모듈을 새롭게 제안했다. 다중 스케일 셀프 어텐션 모듈 기반의 네트워크는 형광 현미경 영상 노이즈 제거에서 가장 우수한 성능을 보였으며 우리가 제안한 3D 컨포칼 영상에서도 가장 좋은 성능을 보였다. 마지막으로 컨텐츠 인식 어텐션 모듈을 제안하여 초음파 영상에서의 스펙클 노이즈 제거 위한 DCAIP 방법을 제안했다. 콘텐츠 인식 어텐션 모듈은 콘텐츠 종속성을 결정하여 콘텐츠 적응 가중치를 사용했습니다. 제안한 방법은 초음파 이미지의 스페클 감소에서 좋은 성능을 보였고 유방암 분할에서는 AUPRC기준으로 15.89% 성능을 개선했습니다.|Image denoising is a fundamental task in the field of image processing and computer vision. Many denoising approaches have been proposed in the past several decades, from simple filtering to sophisticated learning-based approaches. With the development of deep learning, many deep learning-based image denoising methods have been proposed. In recent years, attention mechanism-based networks have been shown to exhibit high performance in the field of image restoration. However, there are cases where the attention module used in these attention-based image restoration methods is not suitable for image restoration by considering the image recognition problem. Thus, there is a need to propose new attention modules suitable for image denoising. To this end, I first analyzed existing attention modules such as the channel and self-attention modules. I proved that the channel attention module has the characteristics of content adaptivity and noise adaptivity. Based on this analysis, I proposed a locally adaptive channel attention module. The proposed attention module improved the performance of the existing channel attention module and enhanced the computation speed of image denoising. Second, I improved the existing self-attention module, which could exploit the self-similarity property of an input image. The existing self-attention module has a disadvantage in that it can only be applied to small-sized images due to its considerable computation cost. Thus, I changed the calculation method to drastically reduce the number of computations and proposed a novel multi-scale self-attention module to exploit self-similarity at different scales. A multi-scale self-attention network based on these modules showed the highest performance for denoising a fluorescence microscopy dataset and a proposed 3D confocal dataset. Finally, I proposed a deep content-aware image prior with a content-aware attention module for despeckling an ultrasound image without a clean image. The content-aware attention module used content-adaptive weights by determining the content dependency. The deep content-aware image prior showed good performance in the speckle reduction of ultrasound images and improved the performance in breast cancer segmentation.
Table Of Contents
Ⅰ. Introduction 1
1.1 Image Denoising 1
1.2 Channel Attention Module 4
1.3 Self-Attention Module 7
1.4 Thesis Structure 11
Ⅱ. Locally Adaptive Channel Attention-based Network for Denoising Images 12
2.1 Introduction 12
2.2 Related Works 15
2.3 Channel Attention-based Network for Denoising Images 17
2.3.1 Channel Attention Module 17
2.3.2 Architecture of CANDI 17
2.3.3 Training 18
2.3.4 Hyperparameters and Network Design 20
2.4 Analysis on Channel Attention 24
2.5 Locally Adaptive Channel Attention-based Network for Denoising Images 29
2.6 Experiments 32
2.7 Conclusions 38
Ⅲ. Multi-scale Self-Attention Network for Denoising a Fluorescence Image 39
3.1 Introduction 39
3.2 Related Works 43
3.3 Multi-scale Self-Attention Network 46
3.3.1 Feature Extractor 47
3.3.2 Multi-scale Self-Attention Module 48
3.3.3 Feature Transformer 51
3.3.4 Training 52
3.4 Experiments 54
3.4.1 Comparison of Self-Attention Modules 54
3.4.2 Performance evaluation of MSAN in the Fluorescence Image Denoising 55
3.5 Conclusions 60
Ⅳ. Speckle Reduction via Deep Content-Aware Image Prior for Precise Breast Tumor Segmentation in an Ultrasound Image 62
4.1 Introduction 62
4.2 Related Works 66
4.3 Method 68
4.3.1 Background 68
4.3.2 Content-Aware Attention Module 69
4.3.3 Deep Content-Aware Image Prior 71
4.4 Experiments 74
4.4.1 Image Quality Assessment 75
4.4.2 Breast Ultrasound Image Segmentation with Despeckled Images 80
4.4.3 Analysis on Content-Aware Attention Module 87
4.5 Conclusions 89
V. Conclusions and Future Works 91
Information and Communication Engineering
Related Researcher
  • 황재윤 Hwang, Jae Youn 전기전자컴퓨터공학과
  • Research Interests Multimodal Imaging; High-Frequency Ultrasound Microbeam; Ultrasound Imaging and Analysis; 스마트 헬스케어; Biomedical optical system
Files in This Item:

There are no files associated with this item.

Appears in Collections:
Department of Electrical Engineering and Computer Science Theses Ph.D.


  • twitter
  • facebook
  • mendeley

Items in Repository are protected by copyright, with all rights reserved, unless otherwise indicated.