Motion-Aware 3D Perception and Forecasting for Autonomous Driving

Abstract

안전한 자율주행을 위해서는 주변 교통 참여자를 3차원 공간에서 정확히 인지하고, 이들의 현재 운동 상태를 이해하며, 미래 움직임을 예측하는 기술이 필수적이다. 그러나 실제 주행 환경에서는 라이다 센서와 주행 환경의 변화, 정지 객체와 이동 객체 사이의 모호성, 그리고 검출 및 추적 결과의 불완전성으로 인해 인지에서 예측에 이르는 전체 파이프라인의 성능이 저하될 수 있다. 본 학위논문은 이러한 문제를 해결하기 위해 라이다 기반 3차원 객체 검출을 위한 준지도 도메인 적응, 거리 영상 기반 이동 객체 분할, 그리고 검출기 및 추적기 출력 기반 운동 예측에 관한 세 가지 연구를 수행한다. 세 연구는 각각 공간 인지, 운동 상태 이해, 미래 궤적 예측이라는 단계에 대응하며, 움직임 인지 기반 자율주행 시스템을 위한 일관된 인지–예측 구조를 구성한다. 첫째, 본 논문은 배포 환경 변화에 강건한 3차원 객체 검출을 위해 라이다 기반 준지도 도메인 적응 방법을 제안한다. 학습 환경과 실제 배포 환경 사이에 센서 종류나 주행 조건이 달라질 경우 객체 검출 성능은 크게 저하될 수 있다. 이를 완화하기 위해 제안 방법은 소스 도메인에서 학습된 지식을 타깃 도메인으로 효과적으로 이전하고, 제한된 수의 라벨이 있는 타깃 데이터와 라벨이 없는 데이터를 함께 활용한다. 이를 통해 차량, 보행자, 자전거 탑승자와 같은 주요 교통 참여자에 대한 타깃 도메인 검출 성능을 향상시킨다. 둘째, 본 논문은 라이다 시퀀스에서 이동 중인 객체에 속하는 포인트를 식별하기 위한 거리 영상 기반 이동 객체 분할 프레임워크인 RVMOS를 제안한다. 기존 방법들은 주로 시간적 모션 정보에 의존하기 때문에 저속으로 이동하거나 일시적으로 정차한 차량을 주차된 차량과 구분하는 데 어려움을 겪을 수 있다. RVMOS는 의미 정보와 모션 정보를 함께 활용하여 이러한 한계를 완화하며, 거리 영상 표현의 기하학적 특성을 고려한 구조를 통해 이동 객체 분할 성능과 효율성을 동시에 향상시킨다. 셋째, 본 논문은 검출기 및 추적기 출력으로부터 미래 궤적을 예측할 때 발생하는 학습–추론 분포 불일치 문제를 다룬다. 실제 배포 환경에서 검출 및 추적 결과는 오검출, 위치 오차, 미검출, 단절된 트랙 등을 포함할 수 있으며, 이러한 오류는 깨끗한 궤적 데이터로 학습된 예측 모델의 성능을 저하시킨다. 본 논문은 객체 중심의 좌표 표현과 인지 오류를 모사하는 학습 전략을 통해 예측 모델이 실제 인지 결과의 불완전성에 보다 강건하게 대응하는 것을 목표로 한다. 종합적으로, 본 학위논문은 움직임 인지 기반 3차원 인지에서 미래 운동 예측에 이르는 자율주행 파이프라인의 주요 문제들을 다룬다. 특히 데이터 증강을 단순한 데이터 확장 수단이 아니라, 센서 차이, 환경 변화, 약한 운동 단서, 상위 인지 단계의 오류 등 실제 배포 환경에서 발생하는 다양한 불일치를 모사하는 전략으로 활용한다. 또한 각 단계에서 기하학적 특성을 고려한 표현 설계를 통해 불필요한 변동을 줄이고, 인지 및 예측의 강건성을 향상시킨다. 이를 통해 본 논문은 실제 도로 환경에서 안정적으로 동작할 수 있는 움직임 인지 기반 자율주행 시스템을 위한 실용적인 기반을 제공한다.|Safe autonomous driving requires motion-aware 3D perception and forecasting: localizing surrounding traffic participants in 3D, estimating their current motion states, and predicting future trajectories under deployment mismatch. In practice, variations in LiDAR sensors and driving environments, ambiguity between stationary and moving objects, and imperfect detection and tracking outputs degrade performance across this perception-to-forecasting stack. This dissertation addresses these challenges through three studies: semi-supervised domain adaptation for LiDAR 3D object detection, range-view moving object segmentation, and motion forecasting from detector and tracker outputs. The stages are organized as a coherent perception - motion-state - forecasting arc, while each method is evaluated in its own task setting and benchmark. First, to establish a reliable spatial foundation under deployment shift, we tackle semi-supervised domain adaptation for LiDAR-based 3D object detection. Detection performance can drop sharply when the sensor type or driving environment changes between training and deployment. To overcome this, we propose a three-stage training method that combines source-domain pre-training with per-class object-size alignment and sensor-position adjustment, partially frozen target-domain fine-tuning with copy-and-paste augmentation, and pseudo-label self-training coupled with teacherstudent knowledge distillation. This method improves target-domain detection of vehicles, pedestrians, and cyclists when only a small number of labeled target frames are available. On the ECCV 2022 3D Perception for Autonomous Driving challenge test set, the final system achieved an XYIoU of 0.6088 and ranked third. Second, moving from object localization to current motion-state understanding, we propose RVMOS, a range-view-based moving object segmentation framework that identifies LiDAR points belonging to moving traffic participants in a sequence. Prior methods that rely mainly on temporal motion cues can struggle to distinguish slow-moving or temporarily stopped vehicles from parked ones. RVMOS addresses this limitation by combining semantic and motion features through an attention-based fusion architecture, a feature extraction module designed for the geometric distortion of range-view projections, and temporal augmentation strategies. In the reported SemanticKITTI comparison, RVMOS achieves a 19% relative mIoU improvement over LMNet while running at 34 FPS on an RTX 3090. Third, to make forecasting robust to upstream perception errors, we address the train--inference distribution mismatch in trajectory prediction from detector and tracker outputs. During deployment, detector and tracker outputs can contain false positives, localization errors, missed detections, and fragmented tracks, causing models trained on clean trajectories to underperform. The proposed method mitigates this mismatch by applying an object-wise coordinate transformation to reduce coordinate-frame-induced variation and by introducing class-conditioned noise injection and missing-timestep simulation to emulate perception degradation during training. On the official Argoverse 2 End-to-End Forecasting Challenge test set, the submitted system achieved mAP_f=42.91 across 26 classes. Together, these studies present a coherent set of methods along a motion-aware 3D perception-to-forecasting pipeline. Across the dissertation, augmentation is used not merely to increase data volume, but to emulate missing or underrepresented deployment conditions caused by sensor heterogeneity, environmental variation, weak motion cues, and upstream perception errors. Geometry-aware representation design further reduces unnecessary variation at each stage, from object-size and sensor-position alignment, to range-view feature extraction, to object-wise coordinate transformation. By establishing reliable spatial perception, identifying current motion states, and improving tolerance to perception noise, this dissertation provides a practical foundation for deploying motion-aware autonomous-driving systems in real-world environments.