Real-Time Scheduling Framework for Multi-DNN Inference

Abstract

Deep Neural Networks (DNNs) are increasingly central to real-time AI systems, particularly in safety-critical domains such as autonomous vehicles and medical diagnostics, where both timing guarantees and high inference accuracy are essential. However, DNN workloads present significant challenges: they involve a trade-off between execution time and accuracy, require intensive computation and memory resources, and must operate under strict constraints of processing capacity, memory, and energy. This dissertation proposes a real-time scheduling framework for multi-DNN inference that addresses these challenges by modeling DNN behavior across heterogeneous resources, integrating system-wide timing mechanisms to ensure predictability, and providing transparent management of both resources and DNN tasks. By unifying system-level allocation with task-level scheduling, the framework enables efficient resource sharing while maintaining timing guarantees and accuracy. The contributions of this dissertation advance the foundation of real-time AI systems, offering practical methods for deploying complex DNN workloads with predictable performance and reliability in high-stakes environments.|딥 뉴럴 네트워크 (Deep Neural Networks, DNN)는 실시간 인공지능 시스템의 핵심 구성 요소로 자리 잡고 있으며, 특히 자율주행차나 의료 진단과 같은 안전 필수 분야 에서는 높은 추론 정확도와 더불어 엄격한 시간 제약이 필수적이다. 그러나 DNN 기반 워크로드는 실행 시간과 정확도 간의 트레이드오프를 내포하고 있으며, 막대한 연산 및 메모리 자원을 요구하고, 한정된 처리 성능·메모리·에너지 제약 하에서 동작해야 한다는 점에서 새로운 도전 과제를 제시한다. 본 논문은 이러한 문제를 해결하기 위해, 다중 DNN 추론 환경을 대상으로 한 실시간 스케줄링 프레임워크를 제안한다. 제안된 프레임워크는 이기종 자원 환경에서의 DNN 동작 특성을 정밀하게 모델링하고, 시스템 전반의 시간 제약사항을 통합적으로 관리함 으로써 예측 가능한 수행을 보장하며, 자원과 DNN 태스크 모두를 투명하게 관리한다. 또한 시스템 수준의 자원 할당과 태스크 수준의 스케줄링을 통합함으로써 자원 공유의 효율성을 극대화하면서도 시간 제약과 정확도를 동시에 만족시킨다. 이 연구의 기여는 복잡한 DNN 워크로드를 자원 제약적이고 안전 필수적인 환경에서 도 신뢰성과 예측 가능한 성능으로 실행할 수 있는 실시간 AI 시스템의 기반을 확립하는 데 있다. 이를 통해 실제 응용 가능한 실시간 AI 시스템 구현을 위한 실질적인 방법론을 제시한다.