Intelligent multimodal otoscope for the mobile diagnosis of ear diseases

Abstract

본 논문에서는 3-모드 스마트폰 오토스코프의 개발에 대해 설명합니다. 저희는 스마트 폰 기반 스펙트럼 이미징 오토스코프에 대해 논의하기 시작합니다. 이 장치는 렌즈 시스템, 광섬유, 인터페이스 회로 기판, 스마트폰, 안드로이드 애플리케이션, 9개의 협대역 LED를 포 함하는 LED 멀티플렉서로 구성되어 있으며, 405 nm에서 700 nm 사이의 피크와 백색광 LED 를 방출합니다. 스마트폰 오토스코프의 목적은 OM 진단에 도움이 되도록 고막과 중이에서 정량적 스펙트럼 서명 형태로 생화학적 정보를 추출하는 것입니다. 저희는 팬텀 및 생체 내 실험에서 스마트폰 오토스코프로 캡처한 스펙트럼 이미지의 중요성을 테스트했습니다. 첫째, LED 멀티플렉서를 사용하면 필터 휠에서 모터 사용으로 인한 모션 노이즈를 줄이는 데 도움이 된다는 점에 주목했습니다. 둘째, 팬텀 실험 결과는 캡처한 스펙트럼 데이터를 사용하여 OM 진단의 중요한 기능인 반투명 멤브레인 뒤에 배치된 다양한 유형의 유체를 감 지하고 구별할 수 있음을 시사합니다. 저희의 생체 내 실험은 RGB 이미지의 55.9% 정확도에 비해 스펙트럼 이미지 분류에 82.8%의 픽셀 단위 분류 정확도를 가져왔고, 귀 스펙트럼 이 미지에는 OM 진단을 개선할 수 있는 정보가 포함되어 있다는 결론을 도출했습니다. 그러나 생체 내 이미지는 몇 개만 획득되었으며 스펙트럼 이미지 분석에는 매우 간단한 알고리즘이 사용되었습니다. 그런 다음 OM 진단에 스펙트럼 영상과 형광 영상의 조합을 연구했습니다. 이전 시스템 과 비교하여 새로 개발된 장치에는 UV 범위의 빛을 방출할 수 있는 광학 필터와 협대역 LED 가 추가로 포함되었습니다. 여기서 저희의 목표는 전자기 스펙트럼에서 볼 수 있는 영역을 탐색하여 하나의 광학 영상 촬영 방식만 사용하는 것과 비교할 때 진단 성능을 높일 수 있는 보완적인 정보를 포착하는 것입니다. 오실로스코프 멀티모드 스마트폰 기반의 이투시경은 서울대학교 병원에서 30개의 정상 샘플, 30개의 OM 샘플 및 29개의 AdOM 샘플을 수집한 임상 시험에 사용되었습니다. 여러 기계 학습 알고리즘을 사용하여 캡처된 이미지 큐브를 픽 셀 단위로 분류하여 다층 퍼셉트론으로 최대 79.63%의 정확도를 얻었습니다. 그러나 AdOM 클래스의 분류에서는 알고리즘 성능이 54.72%로 낮았습니다. OM 진단에서 평가된 또 다른 중요한 기능은 고막의 모양입니다. 그러나 2D 영상 양식 은 샘플의 3D 형태학을 잘 나타내지 못하는 것으로 알려져 있습니다. 최근 결과는 AdOM 클래스의 낮은 분류 메트릭이 캡처된 데이터에 대한 형태학적 정보 부족의 결과일 수 있다 는 가설을 고려하게 합니다. 또한 이미지의 형태학적 정보를 완전히 무시하는 픽셀 단위 분류를 사용했습니다. 따라서, 저희는 멀티모달 모바일 오토스코프에 형태학적 영상 촬영 방식인 광도 스테레오 영상을 포함시켰습니다. 이는 4개의 독립적으로 제어되는 백색광 LED와 4개의 광섬유를 오실로스코프의 프로브에 추가하여 가능했으며, 여기서 이 LED의 빛을 유도하는 4개의 광섬유는 이 섬유들이 서로 반대되는 지점에 배치되었습니다. 이 작업의 중요한 기여는 기성 렌즈와 필터로 완전히 구축된 새로운 렌즈 시스템의 개발 입니다. 이 시스템은 이전 작업에 비해 구성 요소의 수가 줄어들어 제조 비용이 절감됩니다. 가장 중요한 것은 물체 앞에 조리개를 사용하면 필드 깊이가 넓어진다는 것입니다. 저희는 물체 거리가 10.87mm에서 15.85mm까지 다양하기 때문에 40lp/mm의 해상도를 경험하는 반면 최대 해상도인 51lp/mm는 물체가 13.4mm 근처에 배치될 때 인식된다는 것을 실험 적으로 발견했습니다. 좁은 필드 깊이가 있었던 이전 시스템과 달리 이는 다양한 외이도 길이를 가진 환자의 초점 이미지를 캡처할 수 있는 중요한 기능적 개선입니다. 저희는 팬텀 실험을 통해 모바일 오실로스코프로 캡처한 광도 스테레오 이미지가 볼록 및 오목 구조의 3D 형태를 구별할 수 있는 재구성을 가능하게 한다는 것을 보여주었습니다. 서울대학교 병원의 임상 실험에서는 13개의 정상 귀, 10개의 후퇴 귀, 7개의 OME 귀에서 데 이터를 산출했습니다. 저희는 데이터 전처리 및 확대 단계를 적용하고 잘 확립된 컨볼루션 신경망 기반 딥 러닝 분류기를 사용하여 캡처된 데이터를 검사하여 스펙트럼 이미지 큐브 데이터 유형을 고려할 때 최대 77.14% 및 73.36% 정확도와 F1 점수를 각각 달성했으며, 광 스테레오 이미지와 백색광 이미지에서 추출한 벡터 맵의 조합이 77.14% 및 71.30%의 정확 도를 달성했습니다. 3-모드 데이터 분류는 AdOM 사례를 포함하는 후퇴 클래스에서 70% 의 최고 F1 점수를 달성했습니다. 백색광 이미지에서 도달한 최고의 성능은 각각 67.43% 및 64.12%, 정확도 및 F1 점수에 불과했습니다. 또한 이전 작업에서 데이터를 참조하여 발 견된 중요한 기능만을 사용한 분류도 고려했습니다. 이 경우 최고의 분류 성능은 62.28%의 정확도와 60.80%의 F1 점수에 도달하여 백색광 이미지에서 볼 수 있는 것보다 낮았지만, 이 데이터 유형은 고려된 두 가지 딥 러닝 모델에서 다른 조합 중 두 번째 및 세 번째로 우수한 성능을 달성하여 중요한 기능만 분류할 수 있는 가능성을 지적했습니다. 이는 스펙트럼의 중요한 영역에서만 이미지를 획득하여 이미지 큐브 획득 시간을 줄이는 가능한 접근 방식을 나타냅니다. 그러나 임상 시험에서 샘플 수가 적다는 것은 제한 요소이므로 보다 신뢰할 수 있는 메트릭을 얻기 위해서는 추가 임상 시험 및 실험이 필요합니다. 캡처된 스펙트럼 채널의 수를 줄이면 스펙트럼 데이터 캡처가 눈에 띄게 감소할 수 있지 만 스펙트럼을 통해 2D 장면을 스캔하는 스펙트럼 이미징 시스템은 본질적으로 긴 데이터 획득 시간을 겪습니다. 향후 작업에서는 스냅샷 스펙트럼 이미징 및 라이트 필드 이미징과 같이 스펙트럼 및 3D 형태학적 정보를 한 번의 샷으로 캡처할 수 있는 다른 이미징 양식을 탐색할 수 있습니다. 또한 본 연구에서는 사용된 딥 러닝 모델을 RGB 이미지를 분류하도록 설계했습니다. 이를 사용하기 위해 모든 이미지 양식을 단일 데이터 유형으로 처리했습니 다. 향후에는 멀티모달 모바일 이토스코픽 데이터 분류에 대한 멀티모달 딥 러닝 모델을 개발하고 검사할 수 있습니다. 전체적으로 여러 광학 영상 양식에서 데이터를 캡처할 수 있는 멀티모달 스마트폰 기반의 이투시경을 시연했습니다. 멀티모달 데이터를 분석한 결과 기존의 단일 모드 백색광 이투시경 영상과 비교했을 때 더 높은 분류 지표가 도출되었으 며, 이는 유비쿼터스 환경에서 스마트폰 기반 이투시경이 중이염 자동 진단을 위한 강력한 도구로서의 가능성을 보여줍니다.|A traditional otoscope is the preferred tool for the diagnosis of otitis media, a term used to refer to a spectrum of common ear diseases characterized by the presence of middle ear effusion. Physicians examine the color and the morphology of the eardrum, illuminated with white light, to provide a diagnosis of otitis media. However white light imaging is known for its poor performance on early detection of diseases and 3D morphology of the sample. Moreover, diagnosis based uniquely on the examination of white light images leaves the decision-making to the examiner resulting in subjective and inconsistent diagnosis. In this thesis, we propose smartphone-based otoscopes capable of additional imaging modalities such as spectral imaging, fluorescence imaging, photometric stereo imaging, and a combination thereof. The capabilities of our otoscopes are evaluated via phantom experiments and further clinical trials emphasize the findings. Our experimental results show that the analysis of additional imaging modalities can potentially increase classification accuracy and the combination of these modalities can further improve the automatic diagnostic performance. In all, the combination of machine learning classifiers and multimode imaging of the ear in a smartphone otoscope has the potential to serve as an important automatic diagnosis tool, especially in underdeveloped and country areas, where the presence of specialized physicians is scarce