Collision Avoidance for Autonomous Mobile Robot: Adaptive Prediction Length based Dynamic Window Approach with Deep Reinforcement Learning

Abstract

Path planning for autonomous mobile robot is considered as the core algorithm to avoid static and dynamic obstacles. Thus, many recent researches were achieved with dynamic window approach (DWA) as local path planner, whose combination of weighting parameters could easily generate different path planning strategies. However, the performance of DWA highly depends on such combination, and requires large amount of time to find the optimal value through trial and error. To solve these drawbacks, we implemented deep reinforcement learning (DRL) network model based on DWA to dynamically adapt parameters. By the proposed approach, we took the advantages of time efficiency and secured safety compared to full replacement of path planning algorithm as end-to-end learning algorithm. Furthermore, we proposed a new tunable parameter in DRL based DWA and trained our algorithm based on our network model. As a result, collision free action of the mobile robot was strongly guaranteed, and relatively high success rate was successfully observed in simulations. Moreover, we have tested our path planning model on real world environment and showed improved performance in obstacle avoidance than other DWA algorithms that had set tunable parameters as a constant value.

본 논문은 심층 강화 학습 기법을 지역 경로 계획 알고리즘 중 하나인 동적 창 접근 방식에 적용하여 실시간 장애물 회피 주행을 하는 알고리즘을 제공한다. 기존 동적 창 접근 방식을 수정하여 회피 주행 능력을 결정하는 기존 가중치 변수 외에 또 다른 하나의 변수를 제안한다. 강화 학습의 관찰 영역은 모바일 로봇의 선속도와 각속도이며, 행동 영역은 기존 가중치 변수 3개와 제안된 변수 하나이다. 제안한 강화 학습 모델과 보상 함수는 2개의 층으로 구성된 신경망을 통해 차륜 구동 모델의 모바일 로봇과 장애물이 포함된 랜덤한 시나리오가 구현된 가상환경 속에서 학습을 거친다. 가장 잘 학습된 모델을 시뮬레이션 평가 환경과 실험 환경에 적용한다. 본 연구에서 제안한 실시간 장애물 회피 주행 알고리즘은 기존 동적 창 접근 방식과 같이 성공적으로 회피 주행하는 것을 관찰할 수 있다.