YOLOv12 기반 RGB-IR 멀티모달 융합을 이용한 차량 내 객체 검출에 관한 연구

Abstract

최근 차량 내 안전성과 편의성 향상을 위해 in-cabin 객체 검출 기술에 대한 연구가 활발히 이루어지고 있다. 기존의 단일 모달 기반(RGB 또는 IR) 접근 방식은 조명 변화나 반사, 저조도 환경 등 다양한 주행 조건에서 인식 성능이 불안정하다는 한계를 가진다. 이에 본 연구에서는 이러한 문제를 해결하기 위해 YOLOv12 기반의 RGB–IR 멀티모달 객체 검출 모델을 제안한다. 제안된 모델은 입력 단계에서 RGB 및 IR 영상을 동시에 받아 Early Fusion 기반의 Gated Fusion 모듈을 통해 두 모달리티의 특징을 효과적으로 융합한다. Gated Fusion은 학습 가능한 게이트를 통해 RGB와 IR 정보의 상대적 중요도를 동적으로 조정함으로써, 조명 변화나 환경적 요인에 강건한 특징 표현을 학습할 수 있도록 한다. 융합된 특징은 YOLOv12 백본을 통해 다단계 특징 추출 및 객체 검출을 수행한다. 실험은 차량 내부 객체 인식을 위한 공개 데이터셋인 SVIRO를 이용하여 수행하였다. 실험 조건은 RGB 단일 모달, IR 단일 모달, 그리고 RGB–IR 멀티모달 입력으로 나어 비하였으며, 제안된 융합 방식의 유효성을 검 하였다. 본 연구는 멀티모 달 융합을 통한 조명 변화에 강인한 객체 검출의 가능성을 제시하며, 향후 실시간 차량 내 탑승자 모니터링 시스템으로의 확장 가능성을 보인다.