Building Efficient Key-value Storage Systems with Emerging Storage Technologies

Abstract

This dissertation investigates efficient key-value (KV) storage systems using emerging storage technologies to meet modern data center demands. The study introduces four systems—LightStore, BigKV, MigFlow, and KEVIN—to reduce costs and improve performance. LightStore replaces x86 servers with lightweight, ARM-based SSD nodes directly connected to networks, achieving 2.0× better power efficiency, 2.3× greater space efficiency, and up to 7.4× higher energy efficiency. BigKV optimizes flash-based KV caching for large objects, improving throughput by 3.5× and reducing latency by 57%, enabling cost-effective, petabyte-scale caching. MigFlow enhances multi-tiered memory systems using persistent memory and CXL. With MigOpt, an offline optimizer, MigFlow reduces migration overhead and achieves up to 2.76× better performance while cutting migration traffic by 60.6%. KEVIN integrates file systems directly with KV storage, eliminating block-based overhead. It improves metadata performance by 6.2× and boosts throughput by 68% for real workloads. This work demonstrates how emerging technologies can enhance scalability, efficiency, and cost-effectiveness in hyperscale data centers. Keywords: Key-value storage system, Key-value store, Key-value cache, Multi-tiered memory system, File system.|본 논문은 차세대 스토리지 기술을 활용하여 효율적인 키-값 저장 시스템을 설계하고 현대 데이터 센터의 성능과 비용 문제를 해결하는 방법을 제시한다. 이를 위해 LightStore, BigKV, MigFlow, KEVIN 네 가지 시스템을 제안한다. LightStore는 ARM 기반의 SSD 노드를 도입해 기존 x86 기반 키-값 스토리지 서버를 대신하는 역할을 수행하며, 이로써 전력 효율을 2.0배, 공간 효율을 2.3배 향상시키며 에너지 효율은 최대 7.4배 높인다. BigKV는 대형 객체를 효율적으로 캐싱하는 플래시 기반 키-값 캐시로서, 처리량을 3.5배 향상시키고 지연 시간을 57% 줄여 페타바이트 캐싱 비용을 절감한다. MigFlow는 PMEM과 CXL을 활용 등을 사용하는 이기종 멀티 티어 메모리 최적화 시스템으로, MigOpt의 오프라인 분석을 통해 마이그레이션 오버헤드를 줄이고 성능을 최대 2.76배 향상시킨다. KEVIN은 파일 시스템을 키-값 저장소와 직접 통합해 블록 추상화를 제거하고, 메타데이터 성능을 6.2배, 처리량을 68% 개선한다. 본 연구는 차세대 스토리지 기술을 기반으로 확장성과 비용 효율성을 개선하는 새로운 키-값 저장 시스템을 제시한다.