Exploiting the Intermediate Layers of Convolutional Neural Networks for Medical Deep Learning

Abstract

Deep learning has emerged as an effective data analysis method for large amounts of data and has been studied as a means to discover medical insights. Especially, convolutional neural networks (CNNs) are widely used to solve the clinical problems. However, a lot of methods are not fully exploiting information of intermediate layers, and demonstrated several limitations cannot to be adopted for medical applications. In this dissertation, I propose two approaches that could solve clinical problems by exploiting the intermediate layers of CNNs.

In the first part of this dissertation, I propose an algorithm for the detection of AMD based on a weakly supervised CNN model to support computer-aided diagnosis (CAD) system. My main contributions are the following three things. (1) I propose a concise CNN model for OCT images, which outperforms the existing large CNN models using VGG16 and GoogLeNet architectures. (2) I propose an algorithm called Expressive Gradients (EG) that extends the existing Integrated Gradients (IG) algorithm so as to exploit not only the inputlevel attribution map, but also the high-level attribution maps. Owing to enriched gradients, EG can highlight suspicious regions for diagnosis of AMD better than the guided-backpropagation method and IG. (3) My method provides two visualization options: overlay and top-k bounding boxes, which would be useful for CAD. Through experimental evaluation using 10,100 clinical OCT images from AMD patients, I demonstrate that my EG algorithm outperforms the IG algorithm in terms of localization accuracy and also outperforms the existing object detection methods in terms of class accuracy.

In the second part of this dissertation, I propose deep learning model for arterial blood pressure waveform based cardiac output algorithm (DLAPCO). Cardiac output monitoring plays an important role in intraoperative or intensive care medicine. Arterial pressure waveform derived cardiac output (APCO) monitoring has been mainly used for real clinical fields despite its inexact output because gold standard pulmonary artery catheter-based cardiac output (PAC-CO) monitoring is too invasive to use it widely. The novel deep learning method, which I proposed in this dissertation, is demonstrated for the more accurate and age-agnostic arterial pressure waveform derived cardiac output monitoring. DLAPCO exploits two attention mechanism to calibrate the model’s output to medical procedure or overcome the locality of CNNs in analyzing raw vital signs. Through the experiments using the real-world hospital intraoperative data, I have shown that DLAPCO significantly outperforms the commercial APCO monitoring device which use demographic information. Additionally, I also propose generalized DLAPCO model that keeps the conventional legacy of clinical sites. The generalized model has developed and validated on open source APCO algorithm using the transfer learning scheme. I pre-train the model parameters with data from commercial APCO devices and tune using data from PAC-CO devices. The generalized DLAPCO model has showed better performance than commercial APCO device in two patient groups: cardiac surgery patient and liver transplantation surgery patients. It also has been clouded for real-time inference during intraoperative period.

In summary, I have proposed methods that can exploits the information of intermediate layers for handling two major clinical issues. I build a medical AI model that can handles properties of medical data that might not appear in general data, such as the requirement of interpretability or having a task-specific model, and the inherency of bias or inaccuracies. I believe that EG and DLAPCO could be very useful for clinical applications, which require the model to have more reliable localization of medical images and be more balanced toward the bias of patients or inaccuracies of measurements.|딥러닝은 대량의 데이터를 효과적으로 분석할 수 있는 방법으로 각광받으며 의학 적인 통찰력을 발견하는 좋은 수단으로써 연구되어 왔다. 특히 컨볼루션 신경망 (Convolutional neural network)은 임상적 문제를 해결하기 위해 여러 의료 데이터에 사용 미쳤어? 되고 있다. 그러나 많은 방법들이 컨볼루션 신경망의 중간 계층(Intermediate layers)의 정 보를 적절히 활용하지 못하고 있으며, 의료 분야에 적용될 수 없게 만드는 몇가지 한계점을 보여주었다. 본 논문에서는 컨볼루션 신경망의 중간 계층을 활용하여 임상 문제를 해결할 수 있는 두 가지 접근법을 제시한다.

본 학위논문의 첫 번째 파트에서는 컴퓨터 보조 진단(Computer-aided diagnosis) 시스템의 일부로써, 약지도학습(Weakly-supervised learning) 기반의 컨볼루션 신경망을 활 용한 AMD(Age-related macular degeneration) 진단 알고리즘을 제안한다. 주된 내용은 다음 과 같다. (1) VGG16 모델과 GoogLeNet 아키텍쳐에 기반한 기존의 대형 모델들 대비 간결하 지만 더 우수한 성능을 보이는 OCT(Optical coherence tomography) 이미지 처리를 위한 컨 볼루션 신경망 모델을 제안한다. (2) 기존의 IG 알고리즘을 확장하여 입력단 수준의 속성 맵(attribution map) 뿐 아니라 중간 및 상위단 수준의 속성 맵을 모두 활용할 수 있는 EG 알고리즘을 제안한다. 이를 통해 풍부해진 그래디언트(Gradient) 덕분에 EG 는 기존의 guided-backpropagation 알고리즘이나 IG 알고리즘보다 더 정교하게 AMD 가 의심되는 영역을 강조할 수 있다. (3) 또한 이 방법은 컴퓨터 보조 진단을 위해 두가지 시각화 옵션을 제공 한다. AMD 를 보유한 환자로부터 얻은 실제 의료환경의 OCT 이미지 10,100 장을 통해 EG 알 고리즘이 IG 알고리즘의 한계점을 극복하고 영역 검출(Localization) 능력이 더 우수하며, 또한 객체 인식(Object detection) 알고리즘보다 예측(Prediction) 성능이 높음을 실험적으 로 입증한다.

본 학위논문의 두 번째 파트에서는 딥러닝 모델을 이용한 동맥압 혈압 파형에 기 반한 심박출량 알고리즘 (Deep learning for arterial blood pressure based cardiac output

DLAPCO)을 제안한다. 심박출량은 수술 중이나 중환자실에서 환자의 산소 혹은 약물 전달량 을 간접적으로 나타내며 매우 중요한 지표이다. 그러나 심박출량의 표준 측정법 (gold-standard)은 매우 침습적이어서 다양한 임상 환경에서 사용되지 못한다. 이를 대체하여, 다 소 부정확하지만 덜 침습적인 동맥압 혈압파형 기반의 심박출량 알고리즘이 널리 사용된다. 본 연구에서는 딥러닝 기반의 보다 정확하고 환자의 연령정보등을 필요로 하지 않는 동맥압 혈압파형 기반의 심박출량 산출 알고리즘을 제안한다. DLAPCO 는 두 가지 어텐션 (Attention) 메커니즘을 이용하여 환자의 질병 정보에 맞추어 심박출량을 보정하거나 CNN 의 지역성(Locality) 문제를 해결한다. 실제 임상환경에서 구축된 수술 데이터를 활용한 비교 실험을 통해 DLAPCO 가 환자의 질병정보 만으로도 환자의 인구통계학적 정보를 활용하는 상 용 APCO 모니터링 장비보다 우수한 성능을 보임을 입증하였다. 또한 임상 현장에서 기존 측 정 절차를 그대로 유지하면서 측정 알고리즘만을 대체할 수 있는 일반화된 DLAPCO 모델도 제안한다.

요약하여, 본 학위논문에서는 두 가지 주요 임상 문제를 해결하기 위해 컨볼루션 신경망의 중간 계층 정보를 이용하는 방법을 제안하였다. 모델의 해석 가능성 (Interpretability), 특화(Task-specific) 모델의 필요성, 데이터의 편향성과 부정확성의 내재 가능성 등 일반적인 데이터에서 나타나지 않는 의료 데이터의 속성을 고려한 의료 인 공지능 모델을 구축하였다. 제안한 EG 와 DLAPCO 는 보다 신뢰할 수 있는 의료 영상 질병 영 역 검출 방법 및 환자의 편향과 측정의 부정확성을 대처할 수 있는 방법등으로써 임상 애플 리케이션에 매우 유용하게 사용될 수 있을 것이라고 사료된다.