Robust 3D Scene Representations for Autonomous Agents

Abstract

강건한 3차원 장면 표현은 자율주행 차량 및 실내 로봇과 같이 현실 세계 환경에서 작동하는 자율 에이전트에게 필수적인 핵심 기능입니다. 현대의 시스템은 원시 센서 입력으로부터 정확한 3차원 기하학적 구조를 복원해야 할 뿐만 아니라, 주변 환경이 어떻게 변화할지 예측하고 이러한 예측을 안전한 움직임으로 변환해야 합니다. 본 학위 논문은 이 파이프라인의 세 가지 주요 병목 현상을 다루며, 단일 시점 인지에서 다중 시점 인지, 그리고 궁극적으로 예측적 4차원 세계 모델링으로 점진적으로 확장되는 구조를 갖습니다. 첫째, 거울이나 정반사 재질에서 램버시안 가정이 무너지는 반사 표면에서의 자기 지도 단안 깊이 추정 내 광도 불일치 문제를 해결합니다. 우리는 고유 이미지 분해를 깊이 학습 파이프라인에 통합하는 완전한 자기 지도 방식의 엔드-투-엔드 프레임워크를 제안합니다. 각 입력을 난반사 및 시점 종속적인 잔차 구성 요소로 분리함으로써, 이 프레임워크는 픽셀 단위의 반사 영역을 국소화하고 보조적인 지도 학습 없이 학습 목표에서 이를 제외합니다. 둘째, 자율주행을 위한 전방위 단안 깊이 추정에서 발생하는 스케일 및 교차 시점 불일치 문제를 다룹니다. 우리는 파운데이션 모델의 지식을 경량화된 학생 모델로 전달하는 상호 보완적인 두 가지 지식 증류 기법을 제안합니다. 교차 상호작용 지식 증류는 학생 모델의 빈 중심이 목표 메트릭 스케일을 학습하도록 하는 동시에, 교사 모델의 스케일 불변 구간 확률을 전달합니다. 시점 관계 지식 증류는 구간 확률에 대한 관계 잠재 함수를 통해 인접한 서라운드 카메라 간의 구조적 관계를 추가적으로 전달합니다. 셋째, 정적인 3차원 인지를 넘어 동적인 주행 환경을 예측하는 단계로 확장합니다. 우리는 세계 모델 아키텍처에 거친 수준에서 세밀한 수준으로 이어지는 캐스케이드 패러다임을 직접 주입한 자기회귀 점유 세계 모델을 제안합니다. 계층적 다중 척도 VQVAE는 3차원 점유 복셀 그리드를 공간 토큰 피라미드로 토큰화하며, 캐스케이드 트랜스포머는 가장 거친 전역적 맥락에서부터 가장 세밀한 동적 디테일에 이르기까지 예측을 점진적으로 정제합니다. 나아가 교차 척도 잔차 어텐션을 통해 장기 및 단기 의존성을 융합하는 게이트 시간 피라미드 모듈인 TimeMixer를 설계합니다. 우리의 이 세 가지 주요 기여는 단일 시점에서의 강건한 기하학적 인지에서 시작하여 척도 일관성을 갖춘 다중 시점 인지를 거쳐, 동작 계획으로의 루프를 완성하는 예측적 4차원 세계 모델링으로 이어지는 일관된 발전 과정을 형성합니다. 이를 관통하는 통합적 원리는 자율 에이전트를 위한 강건한 3차원 장면 표현이 단순히 더 큰 모델이나 더 많은 데이터만으로 이루어지는 것이 아니라, 3차원 세계의 물리적, 구조적 사전 지식과 학습 신호를 세심하게 정렬함으로써 달성된다는 것입니다. 즉, 암묵적으로 용인되어 사용되어오던 가정의 취약점을 해결하고, 일반화가 가능한 수준에서 표현을 증류하며, 주행 환경을 지배하는 공간적, 시간적 계층 구조를 따라 이를 구조화하는 것입니다. 우리는 이 원리가 자율주행을 넘어 일반화될 수 있으며, 동적인 3차원 환경을 인지하고 예측하며 행동하는 차세대 강건한 체화된 에이전트를 위한 기반을 제공할 것이라 믿습니다.|Robust 3D scene representation is a fundamental capability for autonomous agents operating in real-world environments such as self-driving vehicles and indoor robots. Modern systems must not only recover accurate 3D geometry from raw sensor inputs, but also forecast how the surrounding scene evolves and translate these predictions into safe motion. This dissertation addresses three critical bottlenecks in this pipeline, structured progressively from single-view perception, to multi-view perception, and finally to predictive 4D world modeling. First, we tackle the photometric inconsistency problem in self-supervised monocular depth estimation on reflective surfaces, where the underlying Lambertian assumption collapses on mirrors and specular materials. We introduce a fully self-supervised, end-to-end framework that incorporates intrinsic image decomposition into the depth-learning pipeline. By separating each input into diffuse and view-dependent residual components, the framework localizes per-pixel reflective regions and excludes them from the learning objective without any auxiliary supervision. Second, we address scale and cross-view inconsistency in Full Surround Monocular Depth Estimation for autonomous driving. We propose two complementary knowledge-distillation schemes that transfer foundation-model knowledge to lightweight students. Cross-interaction Knowledge Distillation transfers the teacher's scale-invariant bin probabilities while letting the student's bin centers learn the target metric scale. View-relational Knowledge Distillation further transfers structural relationships across adjacent surround cameras through a relational potential function over bin probabilities. Third, we move beyond static 3D perception toward forecasting dynamic driving scenes. We propose CascadeOcc, an autoregressive occupancy world model that injects the cascade, coarse-to-fine paradigm directly into the world-model architecture. A hierarchical multi-scale VQVAE tokenizes the 3D occupancy voxel grid into a spatial token pyramid, and a cascade transformer progressively refines forecasts from the coarsest global context to the finest dynamic details. We further introduce TimeMixer, a gated temporal-pyramid module that fuses long- and short-range dependencies through cross-scale residual attention. Taken together, the three contributions form a coherent progression from robust geometric perception on a single viewpoint, through scale-consistent multi-view perception, to predictive 4D world modeling that closes the loop into motion planning. The unifying principle is that robust 3D scene representations for autonomous agents arises not from larger models or more data alone, but from carefully aligning the learning signal with the physical and structural priors of the 3D world: resolving the vulnerabilities of implicitly accepted assumptions, distilling representations at the level where they generalize, and structuring them along the spatial and temporal hierarchies that govern driving scenes. We believe this principle generalizes beyond autonomous driving and provides a foundation for the next generation of robust embodied agents that perceive, anticipate, and act in dynamic 3D environments.