Fine-Tuning Deep Learning Network for Multi-Domain and Multi-Task Applications

Abstract

컴퓨터 비전 및 의료 영상 분야에서 딥 러닝 모델의 최적화는 딥 러닝 모델을 통해 정확한 예측을 제공하는 것을 목표로 합니다. 최첨단 모델과 새로운 기술의 발전에도 최근 연구에서는 데이터 세트와 이미지 수의 중요성이 보고되고 있습니다. 최근에는 컴퓨터 비전 및 의료 영상 분야에서, 많은 이미지와 데이터 세트가 공개적으로 공유되고 있습니다. 대규모 데이터 세트와 벤치마크를 통해 딥 러닝 모델의 성능이 크게 향상되었으며, 많은 수의 이미지로 완전히 최적화된 딥 러닝 모델은 많은 작업에서 엄청난 성능을 보여주고 있습니다. 그러나, 딥 러닝 모델을 최적화할 수 있는 자원이 제한되어 있기 때문에, 일반적인 딥 러닝 모델을 여러 도메인의 모든 데이터 세트에 완전히 최적화할 수는 없습니다. 딥 러닝 모델의 부분적인 최적화는 과적합 문제를 일으키며, 이러한 경우, 딥 러닝 모델에 의한 정확한 예측은 훈련 세트와 동일한 도메인의 이미지를 사용해야만 달성됩니다. 따라서 처음 마주하거나 알려지지 않은 도메인의 이미지를 사용한 예측은 상당히 부정확합니다. 또한, 의료 영상 데이터 세트가 현재 많이 공개되어 있음에도 특정 도메인에 포함되는 의료 영상은 극히 일부에 불과합니다. 적은 수의 이미지는 해당 영역의 대표적인 특징을 제공할 수 없으므로 딥 러닝 모델은 해당 영역보다 적은 수의 이미지에 쉽게 과적합됩니다. 최근 딥러닝의 발달로 도메인 적응 방법론이 연구되고 있습니다. 또한, 최적화 과정에서 적은 수의 이미지를 사용할 때 정확도를 높이기 위해 메타 학습 알고리즘이 도입되었습니다. 그러나 기존에 연구된 딥 러닝 모델은 다른 도메인이나 알려지지 않은 도메인의 이미지를 사용할 때 한 도메인에 최적화된 딥 러닝 모델을 다시 최적화해야 한다는 한계점을 지니고 있습니다. 따라서 딥러닝 모델을 훈련할 때 다양한 영역에 대처할 수 있는 새로운 최적화 방법을 제안할 필요가 있습니다. 이를 위해 적응형 미세 조정 방법을 개발했습니다. 적응형 미세 조정 방법은 추론 단계에서 새롭거나 알려지지 않은 영역의 이미지에 대처하여 사전 훈련된 딥 러닝 모델의 매개변수를 미세 조정하는 것을 목표로 합니다. 적응형 미세 조정의 핵심 아이디어는 비지도 학습, 다중 작업 학습 및 지식 전달입니다. 보완 작업에서 부분 네트워크는 비지도 학습을 통해 새 도메인의 이미지에 해당하여 새로 최적화(미세 조정)됩니다. 그러면 부분 네트워크가 해당 도메인의 기능을 인식할 수 있습니다. 해당 영역에 대해 획득한 지식은 이전되어 주요 작업에서 정확한 예측을 제공하는 데 활용됩니다. 고안된 적응형 미세 조정 방법을 기반으로 적응형 미세 조정 방법을 다양한 작업에 적용하였습니다.

The optimization of deep learning models aims to provide accurate predictions in a wide variety of fields, including computer vision and medical imaging. Despite the development of advanced deep tech-niques, recent studies have reported the importance of datasets and the number of images in training effective models. Recently, many images and datasets have been made publicly available and shared in these fields. With large-scale datasets and benchmarks, the performance of the deep learning models has been drastically improved, and fully optimized deep learning models trained with a large number of images exhibit remarkable performance on many tasks. However, due to the limited resources available to optimize deep learning mod-els, common methods cannot be fully optimized onto all datasets from all domains. Partial optimization of deep learning models causes an overfitting problem, and the accurate predictions by deep learning models are achieved only using images from the same domain in the training set. Therefore, the predictions using images from a different or unknown domain are significantly imprecise. Additionally, despite open medical imaging datasets, relatively few medical images are included in a specific domain. Because small numbers of images cannot provide the representative features of the domain, deep learning models may easily overfit to a small number of images rather than the domain. In recent years, with the development of deep learning technqiues, domain adaptation methodologies have also been investigated. In addition, meta-learning algorithms have been introduced to improve accuracy when using small numbers of images in an optimization process. How-ever, the previously studied deep learning models exhibit limitations in which models optimized to one do-main should be re-optimized for other domains before being applied. Thus, new optimization methods should be developed to cope with various domains when training deep learning models. To this end, I developed an adaptive fine-tuning method. The adaptive fine-tuning method aims to fine-tune the parameters of pre-trained deep learning models by handling images from new or unknown domains in the inference phase. The key ideas of adaptive fine-tuning include unsupervised learning, multi-task learning, and knowledge transfer. In the complementary task, the partial network is newly optimized (fine-tuned) corresponding to the images from a new domain via unsupervised learning. The partial network can then recognize the features of the new do-main. The acquired knowledge about the domain is transferred and utilized to provide accurate predictions for the main task. I applied this adaptive fine-tuning method to various tasks. First, I applied it to segment buildings from aerial imagery regardless of the domain. In a complementary task, the partial network recog-nized the features of a new domain via auto-encoder-based feature extraction. Then, the learned knowledge was transferred to the main task, and the network learned to precisely segment buildings from aerial images de-spite the different domain of inputs. Second, I applied the adaptive fine-tuning method to the medical imag-ing field, where a small number of images are available to train deep learning models. In the complementary task, the partial network learned the features of the domain based on unsupervised localization. By transferring the knowledge learned from the complementary task to the main task, the model can learn to extract features for the images from a specific domain. Even though the small numbers of images are included for a particular domain, an accurate diagnosis is provided with the adaptive fine-tuning method. Finally, I applied the adap-tive fine-tuning method to federated learning. Previous federated learning methods can provide general predic-tions with high accuracy. However, personalized diagnoses should be provided concerning personal character-istics in the medical imaging field. The adaptive fine-tuning method can fine-tune the generally optimized parameters in the federated learning environment, and thus it helps to provide a personalized diagnosis. In summary, I devised an adaptive fine-tuning method and applied it to various tasks, including (1) to develop a new domain adaptation method for multi-domain information, (2) to improve accuracy when using a small number of images in medicine, and (3) to provide personalized diagnosis in federated learning.