본 발명은 비지도 학습 기법을 이용한 영상데이터의 정합 방법 및 장치에 관한 것으로, 제1 영상데이터 및 제2 영상데이터를 획득하는 단계, 제1 영상데이터와 제2 영상데이터를 기반으로 복수의 레벨에 대응되는 변위맵을 추정하는 단계, 변위맵을 기반으로 제1 영상데이터를 변환하여 복수의 제1 변환 영상데이터를 생성하는 단계, 제1 영상데이터로부터 추출된 제1 특징맵으로 복수의 제1 변환특징맵을 생성하는 단계, 쌍(pair)을 이루는 복수의 제1 변환특징맵과 제2 영상데이터로부터 추출된 제2 특징맵을 이용하여 학습을 수행하는 단계 및 학습의 수행결과를 기반으로 복수의 영상데이터를 정합하는 단계를 포함하며 다른 실시 예로도 적용이 가능하다.