Content-Adaptive Image Style Transfer with Pretrained VQ Autoencoders

Abstract

We introduce Content-Adaptive Style Transfer (CAST), a novel training-free approach for arbitrary style transfer that enhances visual fidelity using vector quantized-based pretrained autoencoder. Our method systematically applies coherent stylization to corresponding content regions. It starts by capturing the global structure of images through vector quantization, then refines local details using our style-injected decoder. CAST consists of three main components: a content-consistent style injection module, which tailors stylization to unique image regions; an adaptive style refinement module, which fine-tunes stylization intensity; and a content refinement module, which ensures content integrity through interpolation and feature distribution maintenance. Experimental results indicate that CAST outperforms existing generative-based and traditional style transfer models in both quantitative and qualitative measures. Keywords: Style transfer, Image-driven, Image editing, Multimodal model, Vector-quantized model |본 논문은 스타일 전환의 시각적 완성도를 향상시키기 위한 새로운 학습 없이 가능한 기법인 콘텐츠 적응형 스타일 전환 기술을 제안합니다. 이 방법은 벡터 양자화 기반의 사전 학습된 오토 인코더를 활용하여, 콘텐츠 이미지의 전역 구조를 먼저 포착하고, 이후 정교하게 설계된 스타일 주입 디코더를 통해 국소적인 세부 스타일을 반영합니다. 본 논문에서 제안하는 방법의 핵심 구성 요소는 세 가지입니다. 첫째, 이미지의 고유한 영역별 특성에 맞춰 스타일을 반영하는 콘텐츠 일관 스타일 주입 모듈, 둘째, 스타일 강도를 콘텐츠에 맞게 조절하는 적응형 스타일 정제 모듈, 셋째, 콘텐츠의 구조적 일관성을 유지하기 위한 콘텐츠 정제 모듈입니다. 특히 각 모듈은 특징 분포 유지와 보간 기반 정제 과정을 통해 스타일 전환 과정에서도 원본 콘텐츠의 본질을 보존하는 데 중점을 둡니다. 다양한 실험 결과를 통해, 본 논문에서 제안한 방법이 기존의 생성 기반 및 전통적 스타일 전환 방법보다 정량적 지표와 시각적 평가 모두에서 우수한 성능을 나타냄을 입증하였습니다. 핵심어: 스타일 전환 (Style transfer), 이미지 기반 (Image-driven), 이미지 편집 (Image editing), 멀티모달 모델 (Multimodal model), 벡터 양자화 모델 (Vector-quantized model)