Self-Supervised Learning in Holographic Image Analysis for Biomedical Applications

Abstract

Digital holography (DH) is a technology that records a spatial interference pattern (hologram) between a coherent or semi-coherent reference wave and a target wave passing through a living cell and reconstructs the hologram into a phase image by performing numerical propagation. The reconstructed phase image provides quan- titative information such as the morphology and content of the sample. We combined the data obtained by digital holography and self-supervised learning (SSL) to derive biological conclusions from the phase image analysis of samples. Most deep learning requires a large amount of labeled data for training, but SSL can learn with unlabeled data, so it is suitable for DH, where it is challenging to generate a large number of labeled images dataset. We analyzed two cases in DH using SSL. First, the SSL model was designed to classify seven types of cancer cells belonging to different organs, and the results were compared with supervised learning. When using a large amount of data, it shows similar performance to the existing supervised learning model, but the self-supervised learning method shows high performance on a small training data set. Next, we propose a model for phenotypic evaluation of red blood cell storage lesions as a novel approach for self-supervised pretraining on a segmentation architecture that pretrains the entire network with unlabeled data. Our method consistently outperforms previous supervised and self-supervised methods in terms of dice scores. We are convinced that self-supervised learning can be an effective tool to further improve phase image analysis obtained from DH by utilizing unlabeled data.

디지털 홀로그래피는 간섭성 또는 반간섭성 기준파와 살아있는 세포를 통과하는 물체파 사이의 공간 간섭 패턴(홀로그램)을 기록하고 수치 전파를 수행하여 홀로그램을 위상 이미지로 재구성하는 기술입니다. 재구성된 위상 이미지는 샘플의 형태 및 함량과 같은 정량적 정보를 제공합니다. 우리는 자기 지도 학습 (SSL)과 디지털 홀로그래피로 얻은 데이터를 결합하여 샘플 분석에서 생물학적 결론을 도출했습니다. 대부분의 딥러닝은 교육을 위해 많은 양의 레이블이 지정된 데이터가 필요하지만 SSL은 레이블이 지정되지 않은 데이터로도 학습할 수 있으므로 레이블이 지정된 이미지를 대량으로 생성하기 어려운 디지털 홀로그래피에 적합합니다. SSL을 사용하여 디지털 홀로그래피에서 두 가지 경우를 분석했습니다. 먼저, 서로 다른 장기에 속하는 7종의 암세포를 분류하는 자기 지도 학습 모델을 설계하고 그 결과를 지도 학습과 비교하였다. 많은 양의 데이터를 사용할 경우 기존의 지도 학습 모델과 유사한 성능을 보이지만, 자기 지도 학습 방식은 작은 훈련 데이터 세트에서 높은 성능을 보인다. 다음으로, 레이블이 지정되지 않은 데이터로 전체 네트워크를 사전 훈련하는 분할 아키텍처에 대한 자가 감독 사전 훈련을 위한 새로운 접근 방식으로 적혈구 저장 병변의 표현형 평가 모델을 제안합니다. 우리의 방법은 주사위 점수 측면에서 이전의 감독 및 자체 감독 방법을 지속적으로 능가합니다. 우리는 자기 지도 학습이 레이블이 지정되지 않은 데이터를 활용하여 디지털 홀로그래피에서 얻은 위상 이미지 분석을 더욱 향상시키는 효과적인 도구가 될 수 있다고 확신합니다.