Precise Nuclei Segmentation and Classification for Enhanced Tumor Microenvironment Analysis in H&E Histopathology Images

Abstract

Performing accurate analysis of the tumor micro-environment in H&E histopathology images requires precise detection, segmentation and classification of multiple types of cells. In oncology clinical practice, some prognostic indicators are directly derived from the presence, abundance or ratio between specific types of cells. Other diseases required more in depth analysis as some types of immune cells can help to reduce the proliferation and migration of tumor cells but, the presence of other types might suppress their anticancer activities. Therefore, the correct identification of individual cells and their type are fundamental steps to reliably analyze histopathology samples and to compute clinically relevant scores. However, manually labeling and analyzing large images with thousands of cells per region of interest is a tedious and time consuming task for clinicians, highlighting the need for automatic tools to ease the burden in clinical practice. Applying machine learning to leverage data to learn models for detection, segmentation and classification has demonstrated great potential in a wide variety of domains. However, in the case of histopathology images, tumor induced abnormalities usually change the morphology of nuclei as well as the tissue structures resulting in irregular agglomerations that makes the automatic detection and separation of individual instances difficult. In addition, the non-uniform distribution of cell types also introduces limitations during the learning process leading to limited detection of rare types of cells. In this thesis we propose methodologies to address the correct separation and segmentation of neighboring nuclei as well as cell type classification under a long-tailed distribution. In the first work, we propose a set of Siamese networks to correctly find the boundaries between adjacent nuclei given an initial, but inaccurate segmentation map. In the second work, we propose an end-to-end segmentation model that considers overlapping between neighboring cells to resolve ambiguous boundaries via amodal masks prediction. In the final work, we leverage the high level learned representation of the Segment Anything Model (SAM) to improve classification on rare types of nuclei effectively mitigating the effects of the natural long-tailed distribution of cell types in histopathology images. Overall, we present several techniques to aid the correct detection, segmentation and classification of individual nuclei in order to provide a strong foundation for tumor micro-environment analysis in H&E histopathology images. Keywords: Computer aided diagnosis, Deep learning, Histopathology, Nuclei segmentation, Tumor micro-environment.|H&E 조직병리 영상에서 종양 미세 환경을 정확하게 분석하려면 다양한 종류의 세포를 정밀하게 감지, 영역화 및 분류해야 합니다. 종양학 임상 시험에서는 특정 세포의 존재 여부, 밀도 또는 세포 간의 비율로부터 여러 예후 지표가 유도됩니다. 일부 면역 세포는 종양 세포의 증식과 이동을 억제할 수 있지만 다른 세포는 항암 활동을 저해할 수 있으므로 더 심층적인 분석이 필요한 질병도 있습니다. 따라서 개별 세포와 그 유형을 올바르게 식별하는 것은 조직병리학 샘플을 안정적으로 분석하고 정확한 측정항목을 계산하기 위한 기본 단계입니다. 그러나 대형 이미지에는 관심 영역 당 수천 개의 세포가 포함되어 있어 이를 수동으로 분석하는 것은 시간이 많이 걸리고 지루한 작업이므로, 이를 문제를 해결하기 위한 자동화 도구가 필요합니다. 기계 학습을 적용하여 탐지, 세분화 및 분류 모델을 학습하는 것은 매우 다양한 영역에서 큰 잠재력을 입증하였습니다. 그러나 종양으로 인한 변화는 종종 핵의 형태와 조직 구조를 변형하며, 이는 자동 감지와 분리를 어렵게 만듭니다. 또한, 세포 유형의 불균일한 분포로 인해 학습 과정에서 한계가 발생할 수 있습니다. 이 논문에서 우리는 긴 꼬리 분포 하에 세포 유형 분류 및 근접한 세포 핵의 분리 및 영역화를 다루는 방법을 제안합니다. 첫째, 부정확한 영역화 맵이 주어진 경우 인접한 핵 사이의 경계를 올바르게 찾기 위한 시아미즈 네트워크 세트를 제안합니다. 둘째, 근접 세포 간의 중첩을 고려하는 엔드 투 엔드 영역화 모델을 제안합니다. 최종 작업에서는 SAM(Segment Anything Model)이 학습한 잘 최적화된 분할 패턴을 사용하여 희귀 유형의 핵에 대한 분류를 개선하고 조직병리학 이미지에서 세포 유형의 자연적인 긴 꼬리 분포의 영향을 효과적으로 완화합니다. 우리는 H&E 조직병리 영상에서의 각 세포핵의 검출, 영역화 및 분류 기술을 제안하여 종양 미세 환경 분석을 위한 강력한 기반을 제공합니다. 핵심어: 컴퓨터 지원 진단, 딥러닝, 조직병리학, 핵 영역화, 종양 미세 환경.