Enhancing Collaborative Lane Detection for Autonomous Vehicles Using a Scalable Late Fusion Architecture

Abstract

Research in autonomous systems is gaining popularity both in academia and industry. These systems offer comfort, new business opportunities such as self-driving taxis, more efficient resource utilization through car-sharing, and most importantly, enhanced road safety. Different forms of Vehicle-to-Everything (V2X) communication have been under development for many years to enhance safety. Advances in wireless technologies have enabled more data transmission with lower latency, creating more possibilities for safer driving. Collaborative perception is a critical technique to address occlusion and sensor failure issues in autonomous driving. To enhance safety and efficiency, recent works have focused on sharing extracted features instead of raw data or final outputs, leading to reduced message sizes compared to raw sensor data. Reducing message size is important to enable collaborative perception to coexist with other V2X applications on bandwidth-limited communication devices. To address this issue and significantly reduce the size of messages sent while maintaining high accuracy, we propose our model: LaCPF (Late Collaborative Perception Fusion), which uses deep learning for late fusion. We demonstrate that we can achieve better results while using only half the message size over other methods. Our late fusion framework is also independent of the local perception model, which is essential, as not all vehicles on the road will employ the same methods. Therefore LaCPF can be scaled more quickly as it is model and sensor-agnostic. While previous studies have examined the impact of foggy weather on RGB sensors on single vehicles, there needs to be more research on the effects of foggy weather on collaborative perception using V2X communication. By fusing sensor data from multiple vehicles, it is possible to overcome the limitations of individual sensors and enhance overall perception capabilities. To make a contribution in this area, we are studying the influence of foggy weather in this paper. Keywords Autonomous Vehicles, BEV Lane Segmentation, Collaborative Perception, Late Fusion, V2X|최근 몇 년 동안 자율 주행 기술에 대한 관심이 크게 증가하고 있으며, 도로 위에서 다양한 자율성을 가진 차량 의 존재가 늘어나고 있습니다. 차선 유지 보조 및 적응형 크루즈 컨트롤과 같은 자동화 기능들이 이미 편안함과 안전성을 향상시키고 있지만, 운전자나 승객의 개입 없이 작동하는 완전 자율성을 달성하기 위한 여정은 여전 히 많은 도전과제에 직면하고 있습니다. 이러한 발전에도 불구하고, 단일 자율 차량(AV)이 환경을 인식하는 능력은 여전히 센서의 한계, 특히 특정 상황과 환경에 의해 제약을 받습니다. 이러한 한계는 예를 들어, AV의 센서가 장애물에 의해 가려질 때 환경 가시성의 도전과제로 이어질 수 있습니다. 안개나 폭우와 같은 악천후 조건은 특히 멀리 있는 차량을 감지하는 센서의 능력에 영향을 미칩니다. 자율 시스템에 대한 연구는 학계와 산업계 모두에서 인기를 얻고 있습니다. 이러한 시스템들은 편안함을 제공하며, 자율 주행 택시와 같은 새로운 비즈니스 기회, 카셰어링을 통한 더 효율적인 자원 이용, 그리고 가장 중요한 것은 향상된 도로 안전성을 제공합니다. 다양한 형태의 차량-모든 것과의 통신(V2X)이 많은 년 동안 안전성을 향상시키기 위해 개발되어 왔습니다. 무선 기술의 발전은 지연시간을 줄이고 더 많은 양의 데이터 전송을 가능하게 하여, 보다 안전한 운전을 위한 더 많은 가능성을 창출하였습니다. 협력적 인식은 자율 주행 에서 가림 및 센서 실패 문제를 해결하기 위한 중요한 기술입니다. 안전성과 효율성을 향상시키기 위해, 최근 연구들은 원시 데이터나 최종 출력 대신 추출된 특징을 공유하는 데 집중하고 있으며, 이로 인해 원시 센서 데이터에 비해 메시지 크기가 줄어듭니다. 메시지 크기를 줄이는 것은 대역폭이 제한된 통신 장치에서 다른 V2X 애플리케이션과 협력적 인식이 공존할 수 있게 하는 데 중요합니다. 이 문제를 해결하고 높은 정확도를 유지하면서 전송되는 메시지 크기를 크게 줄이기 위해, 우리는 ’Late Fusion’을 위한 딥 러닝을 사용하는 모델인 LaCPF(Late Collaborative Perception Fusion)를 제안합니다. 우리가 제안한 방법은 기존 방법보다 메세지 크기를 절반으로 줄임으로써 더 좋은 성능을 보여줍니다. 또한 우리의 ’Late Fusion’ Framework는 로컬 인식 모델과 독립적이며, 이는 도로 위의 모든 차량이 동일한 방법을 사용하지 않을 것이기 때문에 중요합니다. 따라서 LaCPF는 모델 및 센서에 구애받지 않아 더 빠르게 확장될 수 있습니다. 저희의 연구 결과는 LaCPF가 동질적 환경에서 ’intermediate fusion’과 비슷한 결과를 달성할 뿐만 아니라, 이 질적 환경에서 ’intermediate fusion’을 크게 능가한다는 것을 보여줍니다. 이러한 향상된 성능은 LaCPF가 미리 정의된 형식을 준수하는 모든 인식 방법의 맥락을 정확하게 해석할 수 있는 능력에 크게 기인합니다. LaCPF 의 이러한 특성은 높은 확장성을 촉진하며, 다양한 로컬 인식 모델에 대한 무관심을 보장합니다. 또한, 다른 인식 방법론에 대한 사전 지식이 필요 없는 것을 우리 실험 결과가 입증합니다. 더욱이, LaCPF의 주목할 만한 장점은 CoBEVT의 ’intermediate fusion’ 접근 방식에 비해 운영에 필요한 대역폭의 절반만을 요구하는 데이터 사용 효율성입니다. 전반적으로, LaCPF는 BEV 분할을 위한 강력하고 효율적인 해결책으로, 확장성, 데이터 효율성, 다양한 인식 시스템에 대한 적응성 측면에서 중요한 이점을 제공하며, 협력적 인식 분야에서 매력적인 선택이 됩니다. 확장성 측면에서, LaCPF는 실제 CAVs에서 협력적 인식의 통합에 적합함을 보여줍니다. 저희의 작업에는 또한 OpenCOOD 프레임워크의 확장이 포함되어 있으며, 이제 BEV 공간 내의 궤적 예측 작업을 포함합니다. 이 확장은 협력적 인식이 융합되지 않은 방법들과 비교하여 IoU 점수를 향상시킬 뿐만 아니라 궤적 예측을 상당히 향상시킨다는 것을 보여줍니다. 특히 도로 및 차선 분할에서의 작은 개선조차도 궤적 예측의 정확도를 크게 증가시킬 수 있어 차량 안전성을 강화하는 것이 주목할 만합니다. 또한, 저희의 연구 결과는 악천후 조 건에서 협력적 인식의 뚜렷한 이점을 강조합니다. 이 이점은 맞춤형 데이터셋을 사용한 안개 날씨 환경에서 생생하게 나타나는데, 여기서 협력적 인식은 로컬 인식 시스템의 훈련에 의해 해결되지 않은 시나리오에서 상당한 개선을 보였습니다. 이러한 측면에서 퓨전 기술이 도전적이고 비정형적인 상황을 관리하는 데 효과적 임을 확인 할 수 있습니다. 마지막으로, 저희의 LaCPF 모델을 사용하여 CARLA 시뮬레이터 상에서 협력적 인식을 시뮬레이션 환경 을 성공적으로 구현하였습니다. 미래 연구를 향해, 우리가 시뮬레이터에 자율 차량의 추가적인 구성 요소들, 예를 들어, 고급 계획 및 의사 결정 모듈을 통합함에 따라, 실제 차량 안전성에 대한 협력적 인식의 전체적인 영향에 대해 더 깊은 통찰을 얻을 것으로 기대합니다. 이 지속적인 탐구는 다양한 실제 세계 시나리오에서 AVs 의 운영 능력을 향상시키는 데 협력적 인식의 역할을 더 명확히 밝혀낼 것으로 예상됩니다.