A Deep Reinforcement Learning-Based Policy for Efficient Resource Management in Vehicular Edge Computing

Abstract

Recently, the rapid development of autonomous vehicles has significantly increased the demand for data processing, making edge computing, which offloads computational tasks from the vehicle to nearby servers, essential. However, excessive offloading can overload network traffic, emphasizing the need for efficient resource management policies. In this paper, we propose a dynamic resource allocation model using a deep queueing network within a three- tier structure of local, edge, and cloud servers to optimize data processing for high-priority vehicles such as emergency vehicles. This approach can keep vehicle queues stable and reduce offload costs. Although the usage cost of cloud servers is generally higher than that of edge servers, this paper considers several scenarios, including a realistic scenario where the usage cost of edge servers is higher due to the installation cost. The proposed policy aims to efficiently allocate resources in an autonomous vehicle network by differentiating the resource allocation according to vehicle priority and offloading cost. Our analysis shows that the cost structure and vehicle priority have a significant impact on the resource allocation in an autonomous vehicle network. Keywords: Load balancing, vehicle-to-everything, vehicle edge computing, autonomous driv- ing, deep reinforcement learning|최근 자율주행차의 급속한 발전으로 데이터 처리 수요가 크게 증가하였으며, 차량에서 인근 서버로 연산 작업을 오프로딩하는 엣지 컴퓨팅 기술이 부각되고 있다. 그러나 과도한 오프로딩은 네트워크 트래픽을 과부하시키기 때문에 효율적인 자원 관리 정책이 필요하다. 본 논문에서는 로컬, 엣지, 클라우드 서버로 구성된 3계층 구조 내에서 심층 Q-네트워크를 활용한 동적 자원 할당 모델을 제안하여, 응급 차량과 같은 고우선순위 차량의 데이터 처리를 최적화한다. 이를 통해 차량의 대기열을 안정적으로 유지하고 오프로딩 비용을 절감할 수 있다. 일반적으로 클라우드 서버의 사용 비용이 엣지 서버보다 더 높지만, 본 논문에서는 설치 비용으로 인해 엣지 서버의 사용 비용이 더 높은 현실적인 시나리오를 포함한 여러 시나리오를 고려하였다. 제안된 정책은 차량의 우선순위와 오프로딩 비용에 따라 자원을 효율적으로 배분하는 것을 목표로 한다. 분석 결과, 자율주행 네트워크에서 비용 구조와 차량 우선순위가 자원 할당에 중요한 영향을 미친다는 점을 확인하였다.