Sensor-based Object and Behavior Detection System for Autonomous Driving Safety

Abstract

The purpose of automobiles has been charged from simple transportation to safe and convenient transportation through autonomous driving technology. Autonomous driving technology is a crucial element in protecting occupants from driving fatigue and the risk of accidents. The core of autonomous driving consists of perception, decision, and control processes. In particular, accurate perception of objects is essential for determining the driving path and control to determine steering angle, acceleration, and deceleration. The perception of an object includes the type, size, and behavior of the object and the distance between the vehicle and the object.

Many important issues need to be addressed to improve object recognition performance in autonomous driving. Some of the important issues are addressed in this dissertation. First, autonomous vehicles must ensure the safety of pedestrians as well as drivers. The pedestrians can have a variety of movements that are difficult to predict. In addition, the pedestrians obscured by some obstacles can suddenly appear on the road. Second, the false detection of an object degrades autonomous driving performance. Even if there is no obstruction in an autonomous vehicle's driving path, the object's false detection will prevent normal driving. Finally, we address the behavior perception problem of other vehicles. In a mixed environment of autonomous and non-autonomous vehicles, the behavior of non-autonomous vehicles can affect the performance of autonomous driving. We provide sensor-based methods to solve the mentioned problems.

First, we propose an ROI (Region of Interest) fusion method of LiDAR and radar sensors for the detection of pedestrians obscured by other objects. A LiDAR can measure the precise position of an object with a laser but cannot penetrate an object. On the other hand, radar can penetrate an object through mmWave (millimeter wave), but it isn't easy to measure the precise position of the object. We create a shaded area by a forward object from LiDAR data and detect a dynamic object within the shaded area through radar data. In addition, pedestrians in shaded areas are classified through Doppler profiles obtained from radar sensors. The ROI fusion method improves driving safety by detecting pedestrians in shaded areas.

Second, we propose a 3D Weighted Box Fusion (WBF) that improves performance by reducing the false detection of objects by utilizing two deep learning-based object detection networks. Recently, deep learning-based object detection networks have been actively used in many fields due to their high detection performance. 3D WBF is a late fusion strategy that efficiently fuses the results of deep learning networks using different sensors. A late fusion strategy reduces false detection of objects and provides improved object detection results compared to a single network.

Finally, we provide a system that classifies the behavior of vehicles through IMU sensors and shares them as Vehicle-to-Everything (V2X). The vehicle's behavior is divided into aggressive behavior, normal behavior, and defensive behavior. The behavior of the vehicle can be expressed as 3-axis acceleration. The 3-axis acceleration is used as input to the extended CNN-LSTM network for classification. We provide driving safety improvement results based on real-world experiments of driving behavior classification and sharing systems.|자동차의 목적은 자율주행 기술을 통해 단순한 운송에서 안전하고 편리한 운송으로 발전하고 있습니다. 자율주행 기술은 운전자의 운전 피로와 의도하지 않은 사고의 위험으로부터 탑승자를 보호하는 중요한 요소입니다. 자율주행 기술의 핵심은 인지, 의사결정, 제어과정으로 구분된다. 특히 물체에 대한 정확한 인식은 주행 경로를 판단하기 위한 판단과 조향각, 가감속을 판단하기 위한 제어가 중요하다. 물체에 대한 인식에는 물체의 유형, 크기, 행동, 차량과 물체 사이의 거리가 포함됩니다.

자율주행의 인식 성능을 향상시키기 위해서는 많은 중요한 문제가 해결되어야 합니다. 이 논문에서는 몇 가지 중요한 문제를 다루고 있습니다. 첫째, 자율주행차는 보행자와 운전자의 안전을 보장해야 합니다. 보행자는 예측하기 어려운 다양한 움직임을 가질 수 있습니다. 또한 일부 장애물에 가려진 보행자가 도로에 갑자기 나타날 수 있습니다. 둘째, 물체를 잘못 감지하면 자율주행 성능이 저하된다. 자율주행 차량의 주행 경로에 장애물이 없더라도 물체를 오탐지하면 정상 주행을 방해할 수 있습니다. 마지막으로 다른 차량의 행동 인식 문제를 다룹니다. 자율주행차와 비자율주행차가 혼합된 환경에서 비자율주행차의 행동은 자율주행 성능에 영향을 미칠 수 있다. 언급된 문제를 해결하기 위해 센서 기반 방법을 제공합니다.

먼저, 다른 물체에 가려진 보행자를 감지하기 위해 LiDAR와 레이더 센서의 ROI(Region of Interest) 융합 방법을 제안합니다. LiDAR는 레이저로 물체의 위치를 정확하게 측정할 수 있지만 물체를 관통할 수는 없습니다. 반면, 레이더는 mmWave(밀리미터파)를 통해 물체를 관통할 수 있지만 물체의 정확한 위치를 측정하기 어렵다. LiDAR 데이터로부터 전방 객체로 음영 영역을 생성하고 음영 영역 내의 동적 객체는 레이더 데이터를 통해 감지합니다. 또한 음영 지역의 보행자는 레이더 센서에서 얻은 도플러 프로파일을 통해 분류됩니다. ROI 융합 방식은 그늘진 곳에서 보행자를 감지해 주행 안전성을 높인다.

둘째, 두 개의 딥 러닝 기반 객체 감지 네트워크를 활용하여 객체의 잘못된 감지를 줄여 성능을 향상시키는 3D Weighted Box Fusion(WBF)을 제안합니다. 최근 딥러닝 기반의 객체 감지 네트워크는 높은 탐지 성능을 바탕으로 다양한 분야에서 활발히 활용되고 있다. 3D WBF는 서로 다른 센서를 사용하는 딥 러닝 네트워크들의 결과를 효율적으로 융합하는 후기 융합 전략입니다. 후기 융합 전략을 통해 단일 네트워크에 비해 객체의 오탐지를 줄이고 향상된 개체 감지 결과를 제공합니다.

마지막으로 IMU 센서를 통해 차량의 행동을 분류하고 V2X(Vehicle-to-Everything)로 공유하는 시스템을 제공합니다. 차량의 행동은 공격적 행동, 정상적 행동, 방어적 행동으로 구분됩니다. 차량의 거동은 3축 가속도로 표현될 수 있습니다. 3축 가속은 분류를 위해 확장된 CNN-LSTM 네트워크에 대한 입력으로 사용됩니다. 운전 행동 분류 및 공유 시스템의 실제 실험을 기반으로 운전 안전 개선 결과를 제공합니다.