다중 스케일 스펙트럼 특징을 활용한 이중 인코딩 음성의 원 코덱 식별

Abstract

본 연구는 다양한 손실 및 무손실 오디오 코덱에서 발생하는 인코딩 아티팩트를 분석하여, 오디오 코덱 변환 이력을 효과적으로 추적하고 원 코덱을 식별할 수 있는 딥러닝 기반 프레임워크를 제안한다. 특히, 고음질 원본 음원을 현실적인 미디어 운용 환경에서 자주 사용되는 코덱으로 1차 인코딩한 후, 이를 다시 AAC 또는 FLAC으로 2차 재인코딩하여 실험 데이터를 구성하였다. 이후 STFT를 적용하여 주파수 도메인 특성을 추출하고, 다중 스케일 주파수 밴드로 분할한 후 신경망에 입력함으로써, 코덱 간 미세한 차이를 정량적 으로 분석하였다. 실험에서는 균형 잡힌 데이터셋과 다양한 증강 기법을 적용하여 모델의 일반화 성능을 검증하였으며, 다양한 평가 지표를 통해 1차 인코딩 코덱 식별에 있어 우수한 탐지 성능을 입증하였다. 본 연구는 향후 딥페이크 음성 탐지 및 미디어 포렌식 분야에서의 실질적인 응용 가능성을 갖추고 있으며, 시간적 특징 분석 및 도메인 적응 기법을 통한 성능 향상의 가능성도 함께 제시한다.