영상 데이터 처리 장치 및 제어 방법이 개시된다. 영상 데이터 처리 장치의 제어 방법은 영상 데이터를 입력받는 단계, 입력받은 영상 데이터에 기초하여 복수의 CNN에서 출력되는 출력값의 평균값을 산출하는 단계, 평균값 산출에 포함된 복수의 CNN을 포함하는 평균 모델의 손실값 및 평균값 산출에 포함된 복수의 CNN 각각에 대한 보조 손실값을 산출하는 손실값 산출 단계, 산출된 평균 모델의 손실값과 산출된 보조 손실값에 기초하여 총 손실값을 산출하는 단계 및 산출된 총 손실값에 기초하여 평균값을 미세 조정하는 단계를 포함한다.