FRACTAL: Fisher-Guided Residual Adaptation for Compact and Low-Bit LLMs

Abstract

본 논문은 초저비트 post-training quantization 환경에서 대규모 언어 모델의 정확도 저하를 효과적으로 복구하기 위한 FRACTAL 프레임워크를 제안한다. 기존 보정 기반 PTQ 방법은 저정밀 표현 내부에서만 양자화 오차를 완화하므로, 비트 폭이 낮아질수록 누적되는 정보 손실을 충분히 보상하기 어렵다. 또한 기존 저랭크 오차 재구성 방법은 제한된 고정밀 보정 예산을 전체 파라미터 공간에 넓게 분산시키기 때문에 실제 성능에 큰 영향을 미치는 민감한 영역에 복구 용량을 집중하기 어렵다. FRACTAL은 양자화된 추론 경로에서 추정한 Fisher information을 활용하여 projection별 중요도를 정량화하고, 전역 보정 예산을 중요도 기반 water-filling 전략으로 배분한다. 이후 각 projection 내부에서는 Fisher-pruned candidate pool과 pooled ridge refinement를 통해 실행 효율적인 column-structured correction support를 선택하고, output-aware ridge fitting을 통해 실제 projection-level output error를 최소화하도록 보정 계수를 재추정한다. 선택된 보정 패널은 compact FP16 dense skinny sub-GEMM으로 표현되며, GPU의 low-bit main GEMM과 CPU의 고정밀 보정 경로를 병렬화하는 CPU--GPU co-execution을 통해 추가 지연을 줄일 수 있다. 다양한 LLM과 benchmark에서 FRACTAL은 기반 PTQ 모델 및 기존 저랭크 재구성 방법 대비 perplexity와 zero-shot accuracy를 지속적으로 개선하였고, 제한된 FP16 예산 하에서 우수한 정확도-효율성 trade-off를 보였다. 이러한 결과는 초저비트 LLM 배포에서 효과적인 복구가 단순한 전체 오차 근사가 아니라, 중요도 기반 선택, 구조화된 support, output-aware coefficient fitting, 그리고 실행 가능한 시스템 설계를 함께 고려해야 함을 보여준다.|Low-bit post-training quantization has been widely adopted as an effective lightweighting technique for large language models (LLMs) because it significantly reduces memory usage and computational cost. However, as the bit width decreases, quantization-induced information loss becomes more severe, leading to substantial performance degradation. Existing calibration-based methods remain limited to corrections within low-precision representations, while low-rank error reconstruction methods distribute a limited correction budget across the entire parameter space, making it difficult to focus on the small set of parameters that most strongly affect model performance. We propose FRACTAL (Fisher-guided Residual Adaptation for CompacT And Low-bit LLMs), a Fisher-guided residual adaptation framework for compact and low-bit LLMs. FRACTAL estimates Fisher information along the quantized inference path to quantify parameter importance and selectively allocates recovery resources to performance-critical regions. Specifically, it introduces a global correction budget, allocates resources across projections using a water-filling strategy based on projection-wise importance, and applies residual correction only to the selected regions through structured sparse masks. By doing so, FRACTAL concentrates limited recovery capacity on the most influential parts of the model rather than uniformly reconstructing all quantization errors. Furthermore, FRACTAL extends this selective recovery structure to an adapter-style formulation in which only the parameters within the selected sparse mask regions are trained. This provides a parameter-efficient adaptation perspective by restricting high-precision trainable parameters to Fisher-selected high-importance regions, enabling effective model adaptation under highly limited training resources. This approach is particularly promising in super-low-bit settings and may also complement LoRA-based methods by directly correcting sensitive parameters. Across diverse LLMs and benchmarks, FRACTAL consistently improves perplexity and zero-shot accuracy over the underlying PTQ models, while delivering a better accuracy-efficiency trade-off than prior low-rank reconstruction methods, reducing latency by up to 24.2% and increasing throughput by up to 29%.