diffusion-based generative system surrogates for scalable learning-driven optimization in virtual playgrounds

Abstract

In this paper, we introduce DiffNEST, a diffusion-based surrogate framework for scalable, learning-driven optimization in complex computing environments. The growing complexity of modern systems often renders traditional optimization techniques inefficient, while reinforcement learning (RL)-based methods struggle with high data collection costs and hardware constraints. DiffNEST employs a diffusion model to generate realistic, continuous system traces, enabling optimization without reliance on physical hardware. DiffNEST generates realistic traces that reflect diverse workload characteristics, facilitating rapid exploration of large optimization search spaces. A case study demonstrates that DiffNEST can accelerate real-world optimization tasks, achieving up to 50% improvement in task-aware adaptive DVFS and 16% in multi- core cache allocation compared to RL approaches trained directly on physical hardware. Through fine-tuning, we show that DiffNEST can also be reused across multiple optimization tasks and workload domains, indicating its potential as a general-purpose surrogate modeling framework for system-level optimization. Keywords: Modeling and simulation, System optimization, Surrogate, Diffusion, Reinforcement Learning|본 논문에서는 복잡한 컴퓨팅 환경에서 학습 기반의 대규모 최적화를 가능하게 하는 확산 기반 대리모델(surrogate) 프레임워크인 DiffNEST를 제안한다. 현대 시스템의 복잡성이 증가함에 따라 기존의 전통적 최적화 기법은 효율성이 떨어지며, 강화학습(Reinforcement Learning, RL) 기반 방법 또한 높은 데이터 수집 비용과 하드웨어 제약으로 인해 실용성이 제한된다. 이에 DiffNEST은 확산 모델(diffusion model)을 활용하여 실제와 유사한 연속형 시스템 트레이스(system trace)를 생성함으로써, 물리적 하드웨어에 의존하지 않는 효율적인 최적화를 가능하게 한다. DiffNEST 은 다양한 워크로드 특성을 반영하는 현실적인 트레이스를 생성하여, 대규모 탐색 공간 내에서 빠른 최적화 탐색을 지원한다. 사례 연구(case study)를 통해 DiffNEST 이 실제 최적화 작업에서 최대 50%의 성능 향상(DVFS 기반 태스크 적응형 최적화) 및 16%의 성능 향상(멀티코어 캐시 할당) 을 달성함을 확인하였다. 이는 물리 하드웨어에서 직접 학습한 RL 기반 접근법보다 우수한 성능이다. 또한, 미세 조정을 통해 DiffNEST 가 여러 최적화 작업 및 워크로드 도메인에 재활용될 수 있음을 보였으며, 이는 시스템 수준 최적화를 위한 범용 대리모델 프레임워크로서의 가능성을 시사한다.