Graph Transformer SlowFast 모델 기반의 아동 이상 행동 분석 시스템

Abstract

본 논문에서는 아동 안전사고를 사전에 방지하고자 4가지 유형의 아동 이상 행동 분석이 가능한 Graph Transformer SlowFast 모델을 제안한다. 기존 아동 행동 분석 모델의 경우 자세 추정 모델을 3D 차원 좌표계로 변환하여 RRT(Rapidly Explore Random Tree) 알고리즘 기반의 분류 기법을 사용한다. 하지만 RRT의 초기 입력에 해당하는 3D 좌푯값이 부족할 경우 RRT는 최적의 분류 결과를 얻을 수 없으며, 자세 추정과 분류 모델을 단일 스트림으로 처리하여 다중 인원 분석 시 지연이 발생한다. 제안하는 모델은 공간적 특징과 시간적 특징을 분리하여 특징 정보를 학습 가능토록 하며, 해당 특징 간의 연관성을 위해 Transformer 모델을 그래프 기반에서 동작하도록 변형한다. 그리고 분리된 특징의 학습은 GPU기반의 두 개의 스트림을 생성하여 병렬로 처리한다. 제안된 모델은 아동 이상 행동 분석에서 기존보다 F1-Score 10%의 정확도 향상을 보이며, 분석 속도에서 7FPS 빠른 결과를 나타낸다.

This paper proposes a Graph Transformer SlowFast model capable of analyzing 4 types of abnormal child behavior to prevent child safety accidents in advance. Previous child behavior analysis models transform the pose estimation model into a 3D coordinate system and use a classification technique based on the RRT(Rapidly Explore Random Tree) algorithm. However, when RRT initial 3D coordinate inputs are insufficient, we cannot obtain optimal classification results. Also, the pose estimation and classification model will be processed as a single stream, resulting in delays in simultaneous analysis of multiple people. The proposed model separates spatial and temporal features in order to enable the training of many feature information, and, for the association between those features, the Transformer model is changed to operate on graph basis. This training of separated features is processed in parallel by creating two GPU-based streams. Regarding the analysis of children's abnormal behavior, the proposed model shows a 10% improvement of accuracy based on F1-Score, and 7FPS improvement in analysis speed over the previous models.