fNIRS-T Incept: A CNN-Transformer Hybrid for Enhanced fNIRS-based Schizophrenia Classification

Abstract

fNIRS-T Incept: fNIRS 기반 정신분열증 분류를 위한 하이브리드 CNNTransformer 모델 본 연구에서는 정신분열증 환자와 건강 대조군의 전전두엽 뇌활성 데이터를 기반으로 정신분열증 분류 정확도를 향상시키기 위한 새로운 딥러닝 모델 fNIRS-T Incept 를 제안한다. 제안된 모델은 기존 Transformer 기반 모델인 fNIRS-T 의 이중 분기 구조를 바탕으로, CT-Net 에서 영감을 받은 Inception 기반 다중 스케일 CNN 모듈을 통합함으로써 지역적 특징(공간 및 단기 시간 패턴)과 장기 의존성(전반적 시간-공간 상호작용)을 동시에 효과적으로 학습할 수 있도록 설계되었다. 특히 입력 신호 길이를 기준으로 한 다양한 커널 크기(S/4, S/8, S/16)를 활용함으로써 정신분열증과 관련된 저주파 대역(약 0.01–0.2 Hz)의 특징적 헤모다이내믹 변화를 포착하도록 최적화되었다. 본 연구에 활용된 데이터는 서울대학교병원에서 수집된 Verbal Fluency Task(VFT) 수행 시의 전전두엽 fNIRS 신호이며, 총 105 명(정신분열증 환자 50명, 건강 대조군 55 명)을 대상으로 하였다. 모든 실험은 동일한 전처리, 동일한 조건의 훈련 설정 하에 5-fold 교차검증을 통해 수행되었다. 그 결과, 제안된 fNIRS-T Incept 모델은 80.63%의 정확도와 0.7789 의 F1-score 를 달성하여 기존의 CNN 기반 모델(AlexNet, ResNet34) 및 Transformer 기반 모델(fNIRS-T, CT-Net)보다 우수한 성능을 보였다. 또한 분기 제거 및 Transformer 제거 기반 절제(ablation) 실험을 통해, 제안한 다중 분기 구조와 Self-Attention 매커니즘이 성능 향상에 필수적임을 검증하였다. 본 연구는 뇌혈류역학적 변화를 기반으로 한 정신분열증 분류 모델 개발에 있어 CNN 과 Transformer 의 상호 보완적 결합이 높은 임상적 잠재력을 가짐을 제시한다. 향후 연구에서는 다양한 인지과제 적용, 환자군 세분화 및 종단 연구를 통해 정신질환 조기 진단 및 예후 예측을 지원하는 신뢰도 높은 뇌영상 기반 바이오마커 개발로 확장될 수 있을 것으로 기대된다.|Schizophrenia is a chronic psychiatric disorder characterized by impaired cognitive and executive functioning, yet reliable neurobiological biomarkers for clinical diagnosis remain limited. Functional near- infrared spectroscopy (fNIRS) has emerged as a promising neuroimaging modality for detecting cortical dysfunction due to its portability, safety, and ability to capture task-evoked hemodynamic responses in naturalistic environments. However, effectively modeling the complex spatial–temporal dynamics of fNIRS signals remains a major challenge. This thesis proposes fNIRS-T Incept, a novel hybrid deep learning architecture that integrates multi-scale convolutional feature extraction with Transformer-based global dependency modeling to classify schizophrenia patients from healthy controls. The model extends the dual-branch Transformer design of fNIRS-T by incorporating Inception-style convolutional modules that operate at proportional receptive fields (S/4, S/8, S/16), enabling simultaneous learning of localized and distributed neural activation patterns. Experiments were conducted using fNIRS data acquired during a Verbal Fluency Task from 105 participants (50 schizophrenia, 55 healthy controls). A five-fold cross-validation procedure demonstrated that fNIRS-T Incept significantly outperformed both CNN-based (AlexNet, ResNet34) and Transformer-based (fNIRS-T, CT-Net) baselines, achieving 80.63 % accuracy and an F1-score of 0.7789. Ablation results further confirmed the importance of the dual-branch structure and self-attention mechanisms for robust classification. These findings provide compelling evidence that hybrid CNN–Transformer models can enhance diagnostic capability in neuropsychiatric disorders. This work contributes toward the development of objective, non-invasive biomarkers for schizophrenia and highlights the clinical potential of deep learning-powered fNIRS analysis. Keywords: fNIRS, Schizophrenia, Deep learning, Transformer