DEQ-Stereo: Deep Equilibrium Video Stereo Matching with Temporal State Transfer

Abstract

본 논문에서는 심층 평형(Deep Equilibrium, DEQ) 패러다임을 적용하여 스테레오 매칭을 암시적 평형 연산(implicit equilibrium computation)으로 새롭게 정립하는 프레임워크, DEQ-Stereo를 제안합니다. 고정된 업데이트 스케줄에 의존하는 기존의 반복적 방식들과 달리, DEQ-Stereo는 수렴된 은닉 상태(converged hidden state)를 직접적으로 계산함으로써, 보다 적은 업데이트만으로 적응형 추론(adaptive inference)을 수행하여 연산 효율성을 높입니다. 더 나아가, 비디오 데이터 처리 시 효율성과 시간적 일관성을 제고하기 위해, 이전 프레임에서 수렴된 은닉 상태를 현재 프레임의 초기값으로 전달하는 시간적 상태 전이(Temporal State Transfer, TST) 기법을 도입하였습니다. 이러한 웜 스타트(warm-start) 전략은 매칭 정확도의 손실 없이, 특히 움직임이 크지 않은 상황에서 은닉 상태의 수렴 속도를 효과적으로 개선하고 프레임 간 안정성을 증진시킵니다. 본질적으로 DEQ가 지닌 암시적 모델링의 강력함과 비디오 데이터의 시간적 연속성을 동시에 활용함으로써, DEQ-Stereo는 지연 시간을 단축시키면서도 우수한 매칭 성능을 달성합니다. 이는 자율 주행 및 로보틱스 등 실시간 비디오 기반 깊이 인식 응용에 높은 적용 가능성을 제시합니다.|In this paper, we propose DEQ-Stereo, a novel framework that formulates stereo matching as an implicit equilibrium computation using the Deep Equilibrium (DEQ) paradigm. Unlike traditional iterative methods with fixed update schedules, DEQ-Stereo directly solves for the converged hidden state, enabling adaptive inference with fewer updates. To further improve efficiency and temporal consistency in video, we introduce Temporal State Transfer (TST) that transfers the converged hidden state from the previous frame as initialization for the current one. This warm-start strategy significantly accelerates convergence and improves stability across frames, especially under moderate motion, without sacrificing matching accuracy. By leveraging both the implicit modeling power of DEQ and the temporal coherence of video, DEQ-Stereo achieves strong performance with reduced latency, making it well-suited for real-time, video-based depth perception tasks in applications such as autonomous driving and robotics.