Bridging Geometric and Semantic Cues for Monocular Depth Estimation

Abstract

We present Bridging Geometric and Semantic (BriGeS), an effective method that fuses geometric and semantic information within foundation models to enhance Monocular Depth Estimation (MDE). Central to BriGeS is the Bridging Gate, which integrates the complementary strengths of depth and segmentation foundation models. This integration is further refined by our Attention Temperature Scaling technique. It finely adjusts the focus of the attention mechanisms to prevent over-concentration on specific features, thus ensuring balanced performance across diverse inputs. BriGeS capitalizes on pre-trained foundation models and adopts a strategy that focuses on training only the Bridging Gate. This method significantly reduces resource demands and training time while maintaining the model's ability to generalize effectively. Extensive experiments across multiple challenging datasets demonstrate that BriGeS outperforms state-of-the-art methods in MDE for complex scenes, effectively handling intricate structures and overlapping objects.|본 논문은 단안 깊이 추정 성능 향상을 위해 파운데이션 모델의 기하학적 정보와 의미론적 정보를 융합하는 효과적인 방법론을 제안한다. 핵심 모듈은 연결 게이트로, 이를 활용해 깊이 및 세그멘테이션 파운데이션 모델의 상보적인 강점을 통합한다. 이러한 통합은 어텐션 온도 스케일링 기법으로 한층 정교화되며, 어텐션 가중치 분포의 집중도를 파인튜닝하여 특정 특징에 대한 과도한 집중을 방지함으로써 다양한 입력 전반에서 균형 잡힌 성능을 보장한다. 또한 사전 학습된 파운데이션 모델을 활용하고, 연결 게이트만을 학습하는 전략을 채택하여 학습 시의 자원 요구와 학습 시간을 크게 절감하면서도 우수한 일반화 성능을 달성한다. 다양한 데이터셋을 활용해 실험을 수행한 결과, 제안하는 기법은 복잡한 장면에서 기존의 단안 깊이 추정 기법들을 능가하며, 깊이 추정 시 복잡한 구조와 중첩된 객체를 효과적으로 처리함을 입증한다.