Analyzing Causes of Metadata Service Overheads in Ceph File System

Abstract

Distributed File System (DFS) is a popular file system in High-Performance Computing (HPC) due to the demand for a petabyte-scale file system. Among several DFSs, Ceph File System (CephFS) is one of the most widely adopted DFS. It shows advantages in service availability and data reliability. However, CephFS suffers from severe performance degradation when processing requests about a large number of files in HPC environment. The performance degradation is caused by metadata service overheads in CephFS. In this paper, we discovered CephFS metadata service overheads in terms of performance and scalability through metadata performance experiments. Also, we analyzed the causes of overheads by doing additional experiments. The causes of metadata service overheads in CephFS are decoupled metadata service and strict client cache policy in a multi-client environment. We verified the causes of overheads by showing that removing causes of overheads in CephFS improves performance greatly compared to the existing CephFS. Therefore, we expect that this work can help improve the performance degradation of CephFS in the near future.|최근 고성능 컴퓨팅과 같은 분야에서 페타바이트 크기의 파일 시스템을 요구하면서 분산 파일 시스템은 고성능 컴퓨팅 분야에서 널리 쓰이는 파일시스템이 되었다. 그 중에서도 Ceph 파일 시스템은 서비스 가용성과 데이터 안정성 덕분에 가장 널리 쓰이는 분산 파일 시스템 중 하나이다. 하지만 Ceph 파일 시스템은 고성능 컴퓨팅 환경에서의 많은 수의 파일에 대한 요청을 처리함에 있어 심각한 성능 저하가 발생한다는 문제점이 있다. 이는 Ceph 파일 시스템에 존재하는 메타데이터 서비스 오버헤드에 의한 성능 저하이며 이 논문에서는 메타데이터 성능 실험을 통해 Ceph 파일 시스템의 성능 측면과 확장성 측면에서 메타데이터 서비스 오버헤드가 존재함을 발견하였다. 또한 추가적인 실험을 통해 이 오버헤드들의 원인을 분석하였으며 분리된 메타데이터 서비스와 다중 클라이언트 환경에서의 엄격한 클라이언트 캐시 정책이 오버헤드의 원인인 것으로 나타났다. 우리는 Ceph 파일 시스템에서 오버헤드의 원인들을 제거했을 때 성능이 기존의 Ceph 파일 시스템보다 크게 개선됨을 보여줌으로써 오버헤드의 원인을 증명하였으며 이 논문의 결과가 추후에 Ceph 파일 시스템의 성능 저하를 개선하는데 있어 도움이 될 것이라 기대한다.