Generalizable Camera Soiling Detection Using Double Cost Volume for Achieving Safe DDT Fallback in Autonomous Driving

Abstract

Camera-based perception in autonomous vehicles is vulnerable to lens soiling from environmental factors such as rain, mud, and dust. To address this, we propose a double cost-volume framework that constructs group- wise correlation (GWC) and group-wise difference (GWD) volumes at multiple scales. A lightweight 2D hourglass network first refines these volumes. A GRU then processes the current and previous cost volumes to enforce temporal consistency and suppress transient false positives; its hidden state is fused with image features at the prediction head to produce the soiling mask. On seen datasets, our model outperforms the image-only baseline. On unseen random-shape (untrained) conditions, it shows significant improvements in mIoU, F1, and accuracy over the image-only baseline. Furthermore, on a closed track with a real vehicle, we implemented and validated a response logic that issues a takeover request when the predicted soiling mask covers more than 10% of the image area for over 0.5 seconds; if the request is not acknowledged within 3 seconds, Autonomous Emergency Braking (AEB) is activated to bring the vehicle to a safe in-lane stop. In closed-track experiments, the vehicle correctly detected camera-lens soiling and, following the designed procedure, issued a takeover request and subsequently executed a safe stop. These results indicate practical applicability and contribution to safety in DDT fallback scenarios caused by camera-lens soiling. Keywords: Soiling Detection, Autonomous Vehicle, Dynamic Driving Task Fallback|자율주행차의 카메라 기반 인지는 비·진흙·먼지 등 환경 요인으로 인한 렌즈 오염에 취약하다. 이를 해결하기 위해 본 연구는 다중 스케일에서 Group-Wise Correlation(GWC)과 Group-Wise Difference(GWD)로 구성한 이중 코스트 볼륨을 구축하고, 경량 2D hourglass 네트워크로 1 차 정제를 수행한 뒤, 현재·이전 시점의 코스트 볼륨을 GRU 로 시간적 정합성을 부여하여 일시적 오염에 따른 오탐을 억제한다. 최종적으로, GRU 의 은닉 상태를 이미지 특징과 융합해 오염 마스크를 예측한다. 제안 모델은 학습 데이터셋에서 단일 이미지 기반 대비 성능이 향상되었고, 학습에 포함되지 않은 무작위 도형(비학습) 조건에서도 mIoU, F1, 정확도 지표 전반에서 유의미한 개선을 보였다. 나아가 폐쇄 시험로에서 차량에 탑재한 실험을 통해, 예측된 오염 마스크가 영상 영역의 10%를 0.5 초 초과하여 지속될 경우 운전자 인계 요청을 발령하고, 3 초 내 인계 미확인 시 차로 내 안전 정지를 위해 **자동 비상제동(AEB)**을 작동하는 대응 로직을 구현·검증하였다. 폐쇄 시험로 결과, 차량은 렌즈 오염을 정확히 감지하였고 설계된 절차에 따라 인계 요청 후 안전 정지를 수행하였다. 이는 제안 기법이 실차 적용 가능성을 지니며, 카메라 오염으로 인한 DDT(Dynamic Driving Task) Fallback 상황에서 안전성 향상에 기여함을 시사한다.