본 발명은 심층 전이학습 기반 암호화된 데이터 분류 방법 및 그 시스템에 관한 것이다. 본 발명에 따르면, 제 1 데이터 세트를 암호화하는 단계; 암호화된 제 1 데이터 세트를 이용하여 딥러닝을 수행하여 제 1 학습 모델을 생성하는 단계; 제 2 데이터 세트를 암호화하는 단계; 및 암호화된 제 2 데이터 세트를 이용하여 상기 제 1 학습 모델을 튜닝하여 제 2 학습 모델을 생성하는 단계를 포함하고, 필요에 따라, 제 2 데이터 세트의 데이터 규모를 증강하는 단계를 더 포함할 수 있다. 이와 같이 본 발명에 따르면, 광학 기반의 암호화 방법인 이중 랜덤 위상 암호화 방법을 사용하여 동형암호와 같은 다른 암호화 방법에 비해 처리 속도가 향상되고, 클라우드에 전송 및 저장되는 데이터에 포함된 개인정보를 보호하면서 데이터를 분류할 수 있다. 또한, 실생활에서 획득한 데이터를 사용함으로써 복잡한 데이터에 대해서도 높은 분류 성능을 보일 수 있고, 타겟 데이터의 데이터 규모가 작은 경우, 데이터 증강을 적용하여 전이학습을 수행함으로써 분류가 가능할 수 있다.