A Lightweight CXL Memory Emulation Framework for Modern AI Workload Exploration

Abstract

Compute Express Link (CXL) has emerged as a promising solution for disaggregated memory systems, enabling both memory pooling and near-data processing (NDP) capabilities. However, the limited availability of physical CXL hardware poses significant challenges for researchers and developers seeking to evaluate its performance under real-world conditions. In this paper, we present CXLite, a lightweight emulation framework for CXL devices, designed to replicate the key characteristics of CXL systems within a NUMA-based environment. CXLite simulates flit-level memory access, latency, and bandwidth characteristics of CXL, while also supporting NDP offloading. To demonstrate the capabilities of CXLite, we evaluate its latency behavior across various configurations using synthetic benchmarks, and assess the performance impact of CXL memory using SPEC CPU2017 workloads. Furthermore, we explore the effectiveness of CXLite in handling modern AI workloads, including large language models (LLMs), recommender systems, and graph neural networks (GNNs). The results demonstrate that CXLite accurately replicates the behavior of CXL systems and provides valuable insights into the performance implications of CXL devices and near-data processing for memory-intensive workloads. Keywords: Computer Express Link, Emulation, Near Data Processing|본 논문은 차세대 메모리 인터커넥트 기술인 Compute Express Link(CXL)의 실제 하드웨어 접근성이 낮다는 문제를 해결하기 위해, 고성능 AI 워크로드의 실행 환경을 모사할 수 있는 경량 에뮬레이션 프레임워크인 CXLite를 제안한다. CXL은 고대역폭·저지연의 메모리 확장 및 Near-Data Processing(NDP)을 지원하는 기술로, 특히 대용량 메모리와 불규칙한 접근 패턴을 요구하는 LLM, 추천 시스템, 그래프 신경망(GNN) 등의 워크로드에 적합하다. 그러나 CXL Type 2 및 Type 3 디바이스는 상용화되지 않았거나 매우 제한된 형태로 존재하며, 기존 에뮬레이터는 정확한 지연 특성 모사와 NDP 기능 지원에 한계가 있다. CXLite는 NUMA 기반 시스템 위에서 flit 단위(256바이트)의 접근 지연을 동적으로 주입하며, PyTorch와의 통합을 통해 실제 AI 프레임워크 환경에서 CXL 메모리 시스템을 재현한다. 또한, 메시지 큐 기반의 요청 처리 구조를 통해 NDP 요청을 원격 메모리 노드로 오프로딩하고, 성능 모니터링 및 지연 삽입을 통해 다양한 CXL 토폴로지를 모사할 수 있다. 실험 결과, CXLite는 SPEC2017, LLM, DLRM, GNN 등 다양한 워크로드에 대해 실제 CXL 지연 특성과 성능 양상을 충실히 재현하며, NDP 기능이 포함될 경우 최대 14 배까지 지연 개선 효과를 보여준다. 본 프레임워크는 CXL 시스템 설계와 소프트웨어 최적화를 위한 현실적인 평가 환경을 제공하며, 향후 CXL 기반 메모리 아키텍처 연구와 AI 응용에 중요한 기여를 할 수 있다.