본 발명은 가상 리모트 컨트롤 장치 및 그 방법에 관한 것이다.본 발명의 가상 리모트 컨트롤 장치는, 촬상 장치로부터 촬영 정보를 수신하는 촬영 정보 수집부; 상기 촬영 정보를 분석하여 사용자의 움직임을 감지하는 사용자 감지부; 상기 촬영 정보를 분석하여 사용자의 양손 중 제1 손은 패널로 인식하고, 제2 손은 제어 수단으로 인식하여, 상기 패널 상에서의 상기 제어 수단의 움직임에 따라 제어 정보를 생성하는 손동작 인식부; 및 상기 사용자 감지부로부터 사용자가 감지되었음을 알리는 감지 정보를 수신하면, 상기 손동작 인식부를 동작시키며 상기 손동작 인식부로부터 수신한 상기 제어 정보에 매칭되는 제어 명령을 생성하여 상기 전자 기기를 제어하는 제어부를 포함한다이러한, 본 발명에 따르면, 손을 이용하여 공간 상에서 정확도 높게 전자 기기를 원격 제어할 수 있는 효과를 기대할 수 있다.