본 발명은 얼굴 인식과 자세 추정을 이용한 개인 인증 방법 및 그 장치에 관한 것이다. 본 발명에 따르면, 카메라의 획득 영상으로부터 사용자의 얼굴 영역을 검출하는 단계와, 상기 얼굴 영역의 각 화소를 ECSP(Exetended Center Symmetric Pattern) 값들로 변환하여 상기 얼굴 영역을 전처리하는 단계와, 상기 전처리된 얼굴 영역으로부터 특징 벡터를 추출하는 단계와, 상기 특징 벡터를 사전에 학습된 분류기에 반영하여 상기 사용자의 1차 개인 인증을 수행하는 단계와, 패턴 인식을 위한 키패드를 화면 상에 노출하는 단계와, 상기 1차 개인 인증된 사용자에 대해 얼굴 영역을 검출하고, 시간에 따른 상기 얼굴의 자세 변화를 추정하는 단계, 및 상기 추정된 얼굴의 자세 변화에 대응되는 패턴이 기 저장된 보안 패턴과 일치하면 상기 사용자의 2차 개인 인증을 완료하는 단계를 포함하는 얼굴 인식과 자세 추정을 이용한 개인 인증 방법을 제공한다. 상기 얼굴 인식과 자세 추정을 이용한 개인 인증 방법 및 그 장치에 따르면, 사용자의 얼굴 인식을 이용한 1차 개인 인증 이후 사용자의 얼굴 자세 변화의 추정을 이용한 패턴 인식에 따른 2차 개인 인증을 수행함에 따라 개인 인증 절차에 대한 보안성을 강화시킬 수 있으며 보다 안전한 개인 인증이 가능한 이점이 있다.