An Energy-scalable and Low-power Inference Hardware for Deep Learning

Abstract

Convolutional Neural Networks (CNNs) have demonstrated an outstanding performance in image analysis by learning from image features. However, as image analysis tasks become more complex and diverse, CNN models continue to grow in both structural complexity and model size. In this thesis, we present an SW- HW co-optimization methodology to enable efficient inference of CNN models, especially on embedded platforms with limited hardware resources. To maximize energy efficiency while maintaining the original model accuracy, we propose a specially designed CNN model that consists of two different bit-precision paths. By adjusting the ratio of low-precision and high-precision paths, the proposed network enables to achieve energy scalability, supporting models from low-power models to high-accuracy but large models. Additionally, we introduce an automatic search algorithm based on an evolutionary algorithm that layer-wisely explores the optimal ratio of the two precision paths to satisfy the specified constraints. For the SW-HW co-optimization, we also propose a novel hardware accelerator architecture that can energy-efficiently perform the inference of the dual-precision network. This employs a heterogeneous Processing-in-Memory (PIM) structure designed with two different types of memory. To further enhance energy efficiency, we developed a simulator that can find out the optimal data mapping when the dual-precision networks are deployed onto the heterogeneous PIM architecture. This simulator generates an optimal data mapping strategy based on various performance metrics (latency, memory footprint, and energy consumption). By integrating these proposed techniques, the experimental results show significant improvements in overall performance metrics, demonstrating the effectiveness of the co-design methodology Additionally, a novel heterogeneous PIM architecture that combines digital-based PIM and analog-based PIM is proposed to overcome the challenges and limitations of analog-based PIM. This approach enables the development of inference accelerators that achieve both high energy efficiency and model accuracy. Through this thesis, we demonstrate the potential and scalability of a heterogeneous PIM architecture capable of effectively executing the inference on various deep learning models.

Keywords: Convolutional Neural Network, Processing-In-Memory, Energy-Scalability, SW-HW Co- Optimization

|본 논문은 이미지들의 인식, 분류, 분석 등에서 뛰어난 성능을 보여주고 있는 딥러닝 기반 컨볼루션 신경망(CNN)의 연산 효율성을 높일 수 있는 새로운 알고리즘 기법을 다룬다. 최근 이미지 분석 작업이 점점 더 복잡하고 다양해짐에 따라 CNN 모델은 구조적 복잡성과 모델 크기 모두에서 계속 성장하고 있다. 이 논문에서는 하드웨어 리소스가 제한된 임베디드 플랫폼을 기반으로, CNN 모델을 효율적으로 추론할 수 있도록 SW-HW 공동 최적화 방법론을 제시힌다. 제안한 CNN 모델은 기존 모델 정확도를 유지하면서 에너지 효율을 극대화하기 위해 서로 다른 두 가지 비트 정밀도 (저정밀 및 고정밀)로 양자화된 경로를 결합한 구조를 가진다. 두 경로의 비율을 조정함으로써, 제안한 CNN 모델은 최소한의 에너지를 가진 소형 모델부터 더 높은 정확도를 가진 에너지 집약적 모델에 이르기까지 다양한 모델을 생성할 수 있는 에너지 확장성을 달성할 수 있다. 또한 유저가 제공하는 다양한 제약 조건들 (에너지 효율성 및 메모리 크기)을 충족하기 위해 두 정밀 경로의 최적 비율을 계층별로 탐색하는 진화 알고리즘 기반 자동 검색 알고리즘을 제안한다. SW-HW 공동 최적화를 위해 이중 정밀 네트워크의 추론을 에너지 효율적으로 수행할 수 있는 새로운 하드웨어 가속기 아키텍처도 제안된다. 이 가속기는 두 가지 유형의 메모리로 설계된 이기종 PIM(Processing-in-Memory) 구조를 사용하게 된다. 에너지 효율성을 더욱 향상시키기 위해 이중 정밀 네트워크가 이기종 PIM 아키텍처에서 연산될 때 최적의 데이터 매핑을 찾을 수 있는 시뮬레이터 또한 설계가 되었다. 이 시뮬레이터는 다양한 성능 지표들 (모델 추론시 필요한 지연 시간, 메모리 크기 및 에너지 소비)을 기반으로 최적의 데이터 매핑 전략을 생성한다. 앞서 제안된 기술들을 통합함으로써 전체 성능 지표에서 상당한 개선을 보여주며, CNN의 실제 배포를 발전시키는 데 있어 이 공동 설계 방법론의 효과를 입증한다. 추가적으로, 아날로그 기반 단일 PIM의 문제점과 한계성을 극복하기 위한 디지털 기반 PIM과 아날로그 기반 PIM을 결합한 새로운 이기종 PIM 구조를 제시함으로써, 높은 에너지 효율성과 모델 정확성을 확보할 수 있는 추론 하드웨어 가속기도 제안된다. 본 논문을 통해, 다양한 딥러닝 모델을 효과적으로 추론할 수 있는 이기종 PIM 구조에 대한 새로운 가능성 및 확장성을 입증하고 이를 제안한다.

핵심어: 컨벌루션 신경망, 메모리 내 프로세싱, 에너지 확장성, SW-HW 공동 최적화