Cephalo Landmark Detection using 3D Convolutional Neural Network

Abstract

Oral and maxillofacial surgery is a difficult procedure because it requires moving the bones of the skull to desired locations without functional problems. Recently, navigation technology to guide this has been developed and simulation software for automatically detecting landmarks from 3D computed tomography (CT) scans is being developed. In this paper, we propose an algorithm to quickly and accurately detect the landmarks in the skull. Recently, various machine learning and deep learning techniques have been proposed for landmark extraction, but most of them are applied to 2D images and training was unstable when extended to operate in 3D CT images due to the memory limitation. To solve this problem, we propose a 3D convolutional neural network using ResNet18 structure that estimates the location of landmarks within 3D patches roughly extracted near each landmark. To effectively use the location information of the landmark, we input the landmark index together with the 3D patch image to the network and then extract the image features by ResNet18 and then estimate the landmark location by passing through the fully connected layer matching the landmark index. Patches extracted from all landmarks are learned from a single network to well extract the low level features of the three-dimensional patches, while the final prediction is separately conducted by the fully connected layer with each landmark index to reflect the differentiation of the area around each landmark. To evaluate the performance of the proposed method, pre- and post-operative CT images were collected from 62 patients with oral and maxillofacial surgery. 78, 10, and 28 CT images were used for training, validation, and testing, respectively, to find 10 landmarks in each image. We achieved an average error of 2.55±1.55 mm and detection time of 0.51 seconds, which was better than other comparison methods.|구강악 안면 수술(양악 수술)은 두개골의 뼈들을 기능적으로 문제없이 원하는 곳으로 이동시켜야 하기 때문에 까다로운 시술이다. 최근 이를 가이드 해주기 위한 내비게이션 기술이 개발되고 있고3차원 컴퓨터단층촬영(CT) 스캔으로부터 랜드마크들을 자동으로 검출하여 시뮬레이션을 해주기 위한 소프트웨어가 개발되고 있다. 이에 본 논문에서는 두개골에서 랜드마크 검출을 빠르고 정확하게 해주기 위한 알고리즘을 제안한다. 최근 다양한 기계학습 및 딥러닝 기법들이 랜드마크 추출을 위해 제안되었으나 대부분 2차원 영상에 적용되어 3차원 CT 영상에서 동작하도록 확장하면 메모리 문제가 발생하였다. 이러한 문제를 해결하기 위해 제안하는 기법은 각랜드마크로부터 3차원 패치를 추출하여 패치들 내에서 랜드마크의 위치를 정확하게 추정해주기 위한 ResNet18 구조를 기반으로 하는 3차원 컨벌루션 뉴럴 네트워크 기법을 제안한다. 랜드마크의 위치 정보를 효과적으로 이용해주기 위해 3차원 패치영상 함께 랜드마크 인덱스를 입력으로 넣어주면 초기 레이어에서 영상 특징들을 추출하고 인덱스에 매칭되는 완전 연결 계층을 통과하여 랜드마크 위치를 추정한다. 모든 랜드마크에서 추출한 패치들을 하나의 네트워크에서 학습하되 완전 연결 계층에서는 각 랜드마크 인덱스에 적합한 추정을 해줌으로써3차원 패치들의low level 특징들을 잘 추출해줌과 동시에 각 랜드마크 주변영역의 특징들을 반영해 줄 수 있는 기법을 제안한다. 제안하는 기법의 성능을 평가하기 위해 구강악 수술 환자 62명의 수술 전후 구강악 CT 영상 데이터를 수집하였고, 78개의 CT 영상을 학습에, 10개를 검증 단계에, 28개를 테스트 데이터로 놓고 각 영상에서 10개의 랜드마크를 검출하는 실험을 진행하였다. 제안하는 기법은 평균 2.55±1.55 mm의 오차와 0.51초의 탐지 시간을 기록하여 기존의 기법들보다 좋은 성능을 나타냈다.