본 발명은 얼굴 자세 추정 장치 및 그 방법에 관한 것이다. 본 발명에 따른 얼굴 자세 추정 방법은 입력 영상으로부터 사용자의 얼굴 영역을 검출하는 단계; 상기 검출된 얼굴 영역의 화소를 ECSP(Exetended Center Symmetric Pattern) 값들로 변환하여 상기 얼굴 영역을 전처리하는 단계; 상기 전처리된 얼굴 영역으로부터 NDM(Neighboring Dependence Matrix)을 사용하여 특징 정보를 추출하는 단계; 및 상기 특징 정보를 기 학습된 분류기에 반영하여 패치 영상의 사용자의 얼굴 자세를 추정하는 단계를 포함한다. 이와 같이 본 발명에 따르면, ESCP 전처리 과정 및 NDM 특징 추출을 이용하는 랜덤 포레스트 인식기를 설계함으로써 빅데이터에서도 실시간으로 얼굴 자세 추정이 가능하다. 또한, 본 발명은 조명 변화에도 얼굴 자세 추정의 효율을 증대시킴으로써 조명 변화에 강인하다.