본 발명은 깊이 영상을 이용한 손 영역 분류 방법 및 그 장치에 관한 것이다. 본 발명에 따르면, 카메라의 깊이 영상으로부터 손 영역을 검출하는 단계와, 상기 손 영역에 포함된 각 픽셀의 특징값을 연산하되, 상기 깊이 영상 내에서 상기 픽셀로부터 설정 오프셋만큼 떨어진 두 지점을 기준으로 임의 크기로 생성된 두 오프셋 패치에 대한 평균 깊이값의 차이를 이용하여 상기 각 픽셀의 특징값을 연산하는 단계와, 입력되는 특징값에 대응하는 분류 라벨을 출력하도록 미리 학습된 랜덤 결정 트리 앙상블(Random Decision Forest) 내에 상기 각 픽셀의 특징값을 개별 입력하여 상기 손 영역을 다수의 파트로 분류하는 단계와, 상기 분류된 다수의 파트 별로 중심점을 설정하는 단계, 및 상기 설정된 중심점들을 이용하여 상기 손의 스켈레톤(skeleton)을 추출하는 단계를 포함하는 깊이 영상을 이용한 손 영역 분류 방법을 제공한다. 상기 깊이 영상을 이용한 손 영역 분류 방법 및 그 장치에 따르면, 손의 깊이 영상만으로 손 영역을 다수의 파트로 효과적으로 분류할 수 있으며 이를 통해 손의 스켈레톤 정보를 정확하게 추출하고 손 동작의 인식률을 향상시킬 수 있는 이점이 있다.