Robust Object Detection in Adverse Weather Conditions: A YOLO-based Approach

Abstract

The goal of object detection in adverse weather conditions, such as darkness, fog, rain, and snow, in this paper is crucial for the safety and advancement of autonomous vehicles. Existing YOLO-based models have limitations in overcoming adverse weather conditions, either relying on specific datasets or utilizing image enhancement modules tailored for darkness and fog. Moreover, obtaining real-world adverse weather data is costly compared to acquiring regular weather data, and obtaining a diverse range of such data quantitatively is challenging and time-consuming. This study proposes a method to address the data scarcity issue through image similarity-based quantitative adverse weather data generation techniques and datasets. Additionally, it introduces a methodology using Temporal Ensemble to adapt to adverse weather conditions in real-time. Furthermore, it suggests leveraging light-weighted Image-to-Image Translation Models to enhance object recognition performance in nighttime conditions. Our approach not only makes the training datasets more realistic and diverse but also enables smooth object detection in noisy situations like darkness, fog, rain, and snow.|본 논문의 악천후 상황 내 객체 인식은 어둠 및 흐린 날씨와 비와 눈 등의 악천후 노이즈를 극복하고 원활히 객체를 검출해야 하는 것을 목표로 하며, 이는 자율주행 자동차의 안전 및 자율주행 단계의 발전에 있어 핵심적인 사항이다. 현존하는 YOLO 기반의 모델들은 데이터에 의존하거나 이미지 강화 모듈을 통해 어둠 및 안개 상황 만의 악천후 상황을 극복하는 등의 한계가 있다. 게다가, 실제 세계의 악천후 데이터를 얻는 것은 일반 기상 상황 데이터를 습득하는 데 비해 비용이 많이 들며, 정량적으로 다양한 악천후 데이터를 모두 얻는 것은 시간적으로도 어려운 작업이다. 이 연구에서는 이러한 데이터 부족 문제를 해결하기 위한 이미지 유사도 기반 정량적 악천후 데이터 생성 방법 및 데이터셋, 그리고 Temporal Ensemble을 사용하여 실시간으로 악천후에 대응할 수 있는 방법론을 제시한다. 또한, 더 나아가 경량화한 Image-to-Image Translation Model을 활용하여 밤 상황에서 객체 인식의 성능을 향상하는 방법을 제안하고자 한다. 우리의 방법은 학습에 사용되는 데이터셋을 더 현실적이고 다채롭게 할 수 있을 뿐 아니라, 어둠, 흐림, 비, 눈와 같은 노이즈 상황에서도 원활한 객체 인식을 가능하게 할 수 있다.