전경 분리를 활용한 인간 행동 인식 분석 실험

Abstract

본 연구는 HMDB51 데이터셋에서 선별한 11개 행동 클래스를 대상으로, 전경 분리가 3D 행동 인식모델 성능에 미치는 영향을 분석하였다. 선정된 클래스는 drink, eat, smoke, talk, pick, smile, laugh, clap, pour, wave, shake_hands로, 일상적 제스처와 상호작용을 포함한다. 원본 데이터셋과 Detectron2 기반 전경 분리 데이터셋을 각각 SlowFast 모델에 학습 및 평가한 결과, 전경 분리의 적용은 전반적으로 성능 향상으로 이어지지 않았으며, 오히려 배경 단서 등의 소실로 성능 저하가 관찰되었다. 이러한 결과는 전경 분리가 보편적인 성능 개선 기법이 아님을 보여주며, 행동 인식에서 전경 및 배경 단서가 상호보완적으로 작용함을 규명하는 데 의의가 있다.