LOIC: LiDAR Object Focused Image Classification for 3D Object Detection

Abstract

Fast and accurate 3D object detection is one of the key technologies in autonomous driving. With the advancement of sensor technology and deep learning, the performance of 3D object detection has greatly improved. However, the false-positive remains a challenging issue and causes performance degradation. To address this problem, multiple sensor (especially LiDAR and Camera) fusion approaches have been presented that utilize the complementary characteristics of different sensors. Although many Camera-LiDAR fusion models show state-of-the-art performance, but high computational load leads low speed.

Therefore, in this paper, we propose LiDAR object-focused image classification for 3D object detection (LOIC), which is simple, fast and applicable across any LiDAR-based 3D object detector. We observed that Camera is specialized in object classification, while LiDAR is specialized in detecting the object position in 3D space. Hence, LOIC employed LiDAR-based 3D object detection to predict the object position and determined the class of the corresponding object with Camera-based image classification. As a result, LOIC was able to accurately classify objects that are difficult to distinguish in LiDAR point cloud space due to their small size or similar shape. Moreover, LOIC used the predicted result of LiDAR-based object detection (classes and confidence scores) for image classification to classify objects even when the image is not clear. Finally, LOIC successfully reduced the false-positive and contributed to the improvement of 3D object detection performance with real-time speed. |빠르고 정확한 3D 객체 탐지는 자율 주행의 핵심 기술 중 하나로, 센서와 딥러닝의 발전과 함께 큰 발전이 있었다. 그럼에도 객체의 오탐지는 완전히 해결되지 않으며, 성능 저하의 원인으로 남아있다. 이를 해결하기 위해 서로 다른 센서들 (특히 라이다와 카메라)의 상호 보완적인 특성을 활용하는 방법이 연구되어 왔다. 많은 카메라-라이다 융합 모델들은 높은 성능을 보이고 있지만, 높은 연산 부하로 인해 느린 속도를 가진다.

본 논문에서 우리는 카메라 이미지 분류를 활용하여 라이다 기반의 3D 객체 탐지 성능을 향상시키는 모델 (LOIC)을 제안한다. LOIC은 간단하고 빠르며, 모든 라이다 기반의 3D 객체 탐지 모델에 적용이 가능하다. 우리는 라이다가 3D 공간에서 물체의 위치를 정확하게 탐지하는 데 특화된 것에 비해, 카메라는 해당 물체가 어떤 클래스에 속하는 물체인지 분류하는 것에 특화되어 있다고 보았다. 따라서 LOIC은 라이다를 통한 3D 객체 탐지를 통해 물체의 위치를 찾고, 해당 물체의 클래스 분류를 위해 카메라 이미지를 사용한다. 이를 통해, 크기가 작거나, 형태가 비슷해서 라이다 포인트 클라우드 공간에서는 구분하기 힘든 물체를 성공적으로 분류할 수 있었다. 또한 LOIC은 이미지 분류를 위해 라이다에서 예측한 클래스와 신뢰도 점수를 함께 사용하기 때문에, 이미지가 정확하게 물체를 담고 있지 않은 경우에도 정확하게 클래스를 분류할 수 있었다. 끝으로, LOIC을 통한 빠르고 정확한 분류는 객체 오탐지를 줄임으로써 객체 탐지의 성능 향상에도 기여할 수 있음을 확인할 수 있었다.