MX format Quantization Optimization for Lightning-NeRF

Abstract

NeRF(Neural Radiance Fields)는 최근 신경 렌더링 분야에서 주목받고 있는 기술로, 2D 이미지 세트를 기반으로 복잡한 3D 장면을 새로운 시점에서 생성하는 데 사용된다. NeRF 는 명시적인 3D 모델을 구축하지 않고도 부드럽고 연속적인 시점 전환을 통해 고품질의 사실적인 렌더링을 제공하는 능력으로 많은 관심을 받고 있다. 기존의 3D 렌더링 방식이 메쉬, 포인트 클라우드, 복셀 등을 활용해 3D 장면을 렌더링하는 것과 달리, NeRF 는 신경망을 사용해 장면의 부피 밀도와 색상을 예측하고 이를 통해 3D 구조를 암시적으로 학습한다. 이러한 NeRF는 가상현실(VR), 증강현실(AR), 자율주행 등 다양한 분야에 응용되고 있다. 그러나 NeRF 는 특히 실시간 응용에서 여러 계산상의 한계에 직면하고 있다. Mildenhall 등이 제안한 초기 NeRF 모델은 고성능 GPU(NVIDIA V100)에서도 초당 0.03 프레임의 낮은 렌더링 속도를 보이며, 이는 상호작용이 중요한 VR 환경이나 자율주행과 같은 시간 민감형 응용에는 적합하지 않다. 따라서 최근 연구는 NeRF 의 효율성을 높이기 위해 렌더링 기술을 최적화하고, 이를 위한 전용 하드웨어 솔루션을 탐구하고 있다. 이 과정에서 양자화(Quantization), 특히 학습 후 양자화(PTQ, Post-Training Quantization)가 NeRF 모델의 계산 효율성을 높이는 유망한 방법으로 떠올랐다. PTQ 는 신경망의 가중치와 활성화 값을 고정소수점 형식으로 변환해 메모리 사용량과 계산 복잡도를 줄인다. 이를 통해 NeRF 는 더 적은 하드웨어 자원으로도 높은 품질의 렌더링을 수행할 수 있다. 또한 MX(Microscaling) 형식과 같은 새로운 데이터 형식은 더욱 효율적인 데이터 표현을 가능하게 하여 계산 비용을 줄일 수 있다. MX 형식은 블록 단위로 스케일링을 적용하여 부동소수점 및 정수 데이터를 효율적으로 표현하고, 메모리 사용량과 계산 오버헤드를 줄이는 데 기여한다. 본 연구에서는 이러한 양자화 기법과 MX 형식을 자율주행을 위한 NeRF 모델인 LightningNeRF 에 적용하여, 모델 크기와 추론 시간을 줄이는 동시에 렌더링 품질을 유지하는 방법을 탐구한다. 실험 결과, 이러한 양자화 전략이 NeRF 의 계산 복잡성을 효과적으로 줄이면서 실시간 응용에 더욱 적합한 성능을 발휘함을 보여준다.|NeRF (Neural Radiance Fields) is an emerging technology in the field of neural rendering that generates complex 3D scenes from sets of 2D images, allowing rendering from novel viewpoints. Unlike traditional 3D rendering methods that rely on meshes, point clouds, or voxels, NeRF leverages neural networks to predict volume density and color, implicitly learning the scene's 3D structure. Due to its ability to achieve high-quality, realistic rendering with smooth, continuous viewpoint transitions without explicit 3D models, NeRF has garnered significant interest. Applications span various domains, including virtual reality (VR), augmented reality (AR), and autonomous driving. Despite its advantages, NeRF presents several computational challenges, particularly in real-time contexts. The original NeRF model proposed by Mildenhall et al. achieves a low rendering speed of only 0.03 frames per second, even on high-performance GPUs like the NVIDIA V100, making it unsuitable for time-sensitive applications such as interactive VR environments or autonomous driving systems. Consequently, recent research has focused on optimizing NeRF rendering techniques and developing specialized hardware solutions to enhance its efficiency. Among these approaches, quantization—particularly post-training quantization (PTQ)—has emerged as a promising method to improve NeRF's computational performance. PTQ reduces memory usage and computational complexity by converting the neural network's weights and activations into a fixed-point format, enabling high-quality rendering with fewer hardware resources. Additionally, new data formats, such as the MX (Microscaling) format, facilitate more efficient data representation and reduce computational costs. The MX format applies block-wise scaling to effectively represent both floating-point and integer data, thereby contributing to reduced memory usage and computational overhead. This study investigates the application of quantization techniques, including the MX format, to Lightning-NeRF, a NeRF model optimized for autonomous driving. The goal is to minimize model size and inference time while maintaining rendering quality. Experimental results demonstrate that these quantization strategies significantly reduce the computational complexity of NeRF, making it more feasible for real-time applications. Keywords: NeRF, Quantization, Post-Training Quantization, MX Format, Lightning-NeRF