Multi Contour-Aware SAM: Multi Contour-Layer Guided SAM for Histology Image Nuclei Instance Segmentation

Abstract

One of foremost process for analyzing diseases in digital pathology is precise segmentation of nuclei from the tissue and other artifacts. Recent achievements from the segmenta- tion foundation model, segment anything model (SAM), in natural domain shows the potential solution in medical domain downstream tasks. However, the applications to nuclei instance segmentation task with SAM still go through low performance in terms of separation of clustered and high variance shaped nuclei. To overcome this problem of densely clustered and high variance shaped nuclei, we propose the Multi Contour-Aware SAM (MCA-SAM). With gradually converging contour layer mask while preserving each nucleus shape, hybrid PEFT adaptation layer and auxiliary nuclei counting task is unified with the segmentation foundation model, SAM. By fully utilize the implicit information inside the multi contour layer mask approach, our MCA-SAM have precise recognition of nucleus shape, nucleus center and each nucleus boundary from disturbing artifacts. Extensive experiment results show and support the superiority MCA-SAM on various datasets compared to previous methods.

Keywords: Computational Pathology, Pathology Image Analysis, Nuclei Instance Segmentation, Foundation Segmentation Model|디지털 병리학에서 질병을 분석하는 가장 중요한 프로세스 중 하나는 조직 및 기타 인공물에서 세포핵을 정밀하게 분할하는 것이다. 기존의 제안된 다중 분기 디코더 기반 세포핵 인스턴스 세분화방법들은 세포핵의 다른 표현형 맵(세포핵 타입 맵, 수직 거리맵, 수평 거리맵, 각도맵, 등...)을 상응하는 잘 디자인된 디코더 를 이용하여 예측한다. 해당 방법론은 각 디코더의 출력물을 개별 후처리 방법으로 정제한 뒤, 통합하는 과정을 거쳐 최종적인 세포핵 인스턴스 세분화를 진행하므로, 개별적인 후처리 단계에서 하이퍼파라미터 (hyperparameter) 선택에 따라 민감하게 반응하며, 후처리 단계의 하이퍼파라미터 조합에 따라 최종 결과물 의 품질이 매우 다를 수 있는 단점이 존재한다. 최근, 세분화 기반모델인 Segment Anything Model (SAM) 의 개발로 기반모델 훈련에 사용된 다양한 분야의 이미지에서 학습된, 즉, 수 많은 데이터로 사전학습된 지식을 의료영상 다운스트림(downstream) 작업에 적용하여 성능을 끌어올리는 움직임이 존재하였다. 게 다가, 자연 영역에서 SAM의 최근 성과는 의료 영역 downstream 작업의 잠재적 해결가능성을 보여주었다. 그러나, SAM을 응용한 세포핵 인스턴스 세분화 downstream 작업은 모여있는 핵과 형상의 불일관성이 큰 핵의 분리 측면에서 여전히 낮은 성능을 보인다. 또한, 자연영역과 매우 다른 병리학 영역의 이미지는 SAM 의 사전학습에 사용되지 않았기 때문에, 사전지식과 매우 이질적인 병리학 이미지를 세분화 하는 작업에 바로 적용할 수 없다는 연구들이 발표되었다. 우리는 밀집되어 있고 형상의 변동성이 높은 형태의 세포핵을 인스턴스 세분화하는 문제를 해결하기 위해 MCA-SAM(Multi Contour-Aware SAM)을 제안한다. 각 핵 모양을 유지하면서 점진적으로 핵의 중앙 윤곽 선으로 수렴하는 다중 윤곽선 마스크 기반 SAM 모델 훈련을 바탕으로 하이브리드 (hybrid) PEFT 방법과, 염색 영상정보 주의 방법, 보조 세포핵 계수 작업을 통합한다. 다중 윤곽선 마스크에서 찾을 수 있는 암시적 정보인 개별 세포핵의 형상을 유지하며 중심으로 수렴하는 경계선-중심 정보는 다른 방법론에서 모두 간과한 세포핵의 갯수 정보를 보조 계수 작업으로 이용하여 기반모델의 훈련에 사용하였다. 또한, SAM의 기반이 되는 비전 트랜스포머 구조 (ViT) 의 근본적인 문제로 지적되는 주변 패치 (patch) 들 간의 낮은 상호작용 성을 컨볼루션 보조 하이브리드 PEFT 방법으로 개선한다. 마지막으로, 병리학적 분석에 사용되는 염색된 조직영상에서 세포핵과 다은 조직구성 요소를 컬러 디컨볼루션 (color deconvolution)으로 분리하여, 분리된 염색 영상정보를 염색 주의 모듈(stain attention module)에 공급하여 세포핵 포착성능을 개선한다. 이러한 방법들과 다중 윤곽선 마스크 접근 방식의 내부의 암시적 정보를 최대한 종합하여 MCA-SAM은 세포핵이 아닌 교란 아티팩트로부터 핵 모양, 핵 중심 및 각 핵 경계를 정확하게 인식한다. 모두 여섯가지 공개된 데이터셋 (MoNuSeg, CoNSeP, CPM17, TNBC, PanNuKe, Lizard)을 사용하여 제 안된 방법을 평가하였다. 다양한 장기 조직에서 가져온 염색영상에서 볼 수 있는 다양한 형상의 세포핵을 인스턴스 세분화 하는 작업에서 MCA-SAM은 이전에 제안된 여러 최신 방법론들의 성능을 뛰어넘는 결과를 보여주었다. 다양한 데이터셋에서 실험된 광범위한 실험 결과는 이전 방법론에 비해 MCA-SAM의 우수성을 보여준다.

핵심어 : 디지털 병리학, 병리학 영상 분석, 세포핵 인스턴스 분할, 기반 세분화 모델