본 발명은 스테레오 카메라 제어 장치 및 그 방법을 개시한다. 스테레오 카메라 제어 장치는 스테레오 카메라로부터 수신한 컬러 영상과 깊이 영상을 이용하여 관심 영역 및 관심 영역에 포함된 객체를 추출하는 객체 추출부; 상기 관심 영역의 시차값을 이용하여 상기 객체의 거리값을 결정하는 거리값 결정부; 상기 거리값을 이용하여 스테레오 카메라의 왼쪽 렌즈와 오른쪽 렌즈의 초점 거리 또는 상기 왼쪽 렌즈와 오른쪽 렌즈 간의 베이스라인을 조절하는 조절부를 포함한다.