손 모양 및 제스처에 의한 기기 제어 방법 및 그에 의한 제어 장치가 제공된다. 본 발명의 실시예에 따른 손 모양 및 제스처에 의한 기기 제어 장치는, 손 영상을 인식하여 차량의 기기를 제어하는 장치에 있어서, 상기 차량의 기어 또는 리어뷰 미러 주변에 구비되어 깊이 카메라를 이용하여 상기 손 영상을 촬영하는 영상 촬영부; 및 상기 촬영된 영상을 분석하여 손 모양과 제스처의 조합에 해당하는 인식값을 생성하고, 상기 인식값에 해당하는 기기 제어를 수행하는 동작 인식 제어 장치;를 포함한다.