Bifrost: Improving Translation Coverage across Cache Hierarchy with Page Table-Centric Enhancements

Abstract

As the working sets for emerging workloads and scenarios grow drastically with scaled memory process technologies, address translation overhead has become a criti- cal performance bottleneck due to the massive memory footprint required to transfer translation information （i.e., page table）. Although several previous works have been proposed to reduce translation overhead, many works are still suffering from high design complexity and limited scalability.

In this paper, we propose a scalable hardware-software co-design, Bifrost, to achieve high cacheability across the processor’s cache hierarchy, breaking through the scala- bility limits imposed by small caching structures within the MMU. Given the unused bits in a page table entry, our proposed method centralizes the page-size management within the page table by smartly leveraging these bits to coalesce table entries. We also compact coalesced table entries to further enhance each entry’s cacheability, as table entries exhibit a high cache miss rate across the cache hierarchy for emerging data-intensive workloads and scenarios. Furthermore, Bifrost employs hardware-based address-computation logic to precisely locate both coalesced and uncoalesced entries, 2Bifrost is a bridge that connects between Asgard and Midgard. Since our method is centralized to the page table and enables faster and scalable translation from virtual memory space to physical memory space, we name our proposed method Bifrost. and hence, locating entries incurs negligible overhead compared to the case of normally accessing a page table. Consequently, Bifrost yields 1.10× and 1.44× speedups over the previous state-of-the-art work in the native and virtualized scenarios, respectively.

Key words: Address Translation, Memory Hierarchy, Page Contiguity|최근 메모리 공정 기술의 발전과 함께 새로운 워크로드 및 실행 환경에서 작업 공간 （Working Set）이 급격히 증가함에 따라, 주소 변환 오버헤드는 번역 정보를 전달하기 위해 필요한 방대한 메모리 사용량（즉, 페이지 테이블）으로 인해 중요한 성능 병목으로 부각되고 있다. 이러한 문제를 해결하기 위해 다양한 선행 연구들이 제안되었지만, 여전히 많은 기법들은 높은 설계 복잡도와 제한된 확장성이라는 한계를 가지고 있다.

본 논문에서는 프로세서의 캐시 계층 전반에서 높은 캐시 활용성을 달성하고, MMU 내 소규모 캐싱 구조가 가지는 확장성 한계를 극복하기 위한 확장 가능한 하드웨어-소프트웨어 공동 설계 기법인 Bifrost를 제안한다. 제안하는 기법은 페이지 테이블 엔트리 내의 사용되지 않는 비트를 활용하여 페이지 크기 관리 기능을 페이지 테이블에 집중시키고, 이를 통해 테이블 엔트리들을 병합한다. 또한, 데이터 집약적인 최신 워크로드에서 페이지 테이블 엔트리는 캐시 계층 전반에서 높은 캐시 미스율을 보이기 때문에, 병합된 엔트리들을 추가로 압축하여 각 엔트리의 캐시 활용도를 더욱 향상시킨다. 더 나아가, Bifrost는 병합된 엔트리와 비병합 엔트리를 정확하게 탐색할 수 있도록 하드웨어 기반 주소 계산 로직을 적용하며, 이를 통해 페이지 테이블 접근 시 기존 방식과 비교해 무시할 수 있을 정도의 오버헤드만을 발생시킨다. 그 결과, Biforst는 최신 기법 대비 네이티브 환경과 가상화 환경에서 각각 1.10배 및 1.44배의 성능 향상을 달성한다.

핵심어: 주소 변환, 메모리 계층 구조, 페이지 연속성