Hardware-Software Co-design Methodology for Highly-Efficient Operation of Spiking Neural Networks

Abstract

본 논문은 에너지 제약이 있는 환경에서 스파이크 신경망(SNN)을 위한 계산적으로 효율적인 접근 방식을 제안한다. 스파이킹 신경망(SNN)은 에너지 효율적인 뉴로모픽 컴퓨팅에 상당한 잠재력을 가지고 있지만, 소프트웨어 구현과 하드웨어 통합의 복잡성으로 인해 실제 애플리케이션에서 사용이 제한되고 있다. 본 논문은 스파이킹 신경망의 정확도 손실을 최소화하면서 모델 크기를 줄이는 방법과 각 기법에 최적화된 하드웨어 설계를 제안한다. 가장 먼저, 낭비되는 비활성 뉴런을 제거하여 분류 정확도 저하 없이 모델 크기를 4배로 줄이는 LSM (Liquid State Machine)의 pruning을 제안하고 FPGA에 구현하여 에너지 효율성을 증명하였다. 다음으로, LSM에서 뉴런 간의 시냅스 중 가장 관련성이 높은 시냅스를 동적으로 선택하는 SA-STL 학습 알고리즘을 제시하였다. FPGA에서 구현된 이 접근 방식은 더 적은 하드웨어 리소스로 실시간 스파이크 재생산을 가능하게 했다. 또한 단일 스파이크 위상 코딩을 활용하여 컨볼루션 신경망(CNN)을 스파이크 신경망으로 효율적으로 변환하여 에너지 효율을 최대 17.26 배까지 증가시켰다. 이에 더불어 구조적 수정 없이 트랜스포머를 원 스파이크 SNN 으로 변환하는 방법도 제안하여 에너지 효율은 2 배이상 증가시켰다.마지막으로, 극히 희박한 SNN의 성능을 개선하기 위해 최적화된 SpMM(Sparse Matrix-Matrix) 가속기의 설계와 에너지 소모를 줄이는 방법을 제시한다. 저희가 제시한 에너지 효율을 높이는 방법은 탄소 배출을 줄이고 에너지 제약이 있는 디바이스에서 SNN을 더욱 실용적으로 사용할 수 있게 한다. 핵심어: 뉴로모픽, 스파이크 신경망, 인공지능 경량화, 희소행렬 가속기, FPGA|Spiking neural networks (SNNs) have significant potential for energy-efficient neuromorphic computing, but the complexity of software implementation and hardware integration limits their adoption in real-world applications. Our thesis introduces a computationally efficient approach for Spiking Neural Networks (SNNs) in energy-constrained environments. We developed methods to reduce the model size with minimal accuracy loss and optimized hardware designs for each technique. First, we proposed a pruning strategy for Liquid State Machines (LSMs) to remove inactive neurons, achieving a 4× model size reduction without compromising classification accuracy. We also implemented a look-up table (LUT) based LSM on FPGA, significantly enhancing performance compared to CPU/GPU-based methods. Next, we presented the SA-STL learning algorithm to prune recurrent connections in liquid neurons, dynamically selecting the most relevant synapses. This approach, implemented on FPGA, allowed real-time spike reproduction with fewer hardware resources. Furthermore, we proposed an efficient conversion method for Convolutional Neural Networks (CNNs) into SNNs, leveraging single-spike phase coding to increase energy efficiency by up to 17.26× while maintaining accuracy on benchmarks such as CIFAR-10, CIFAR-100, and ImageNet. We also proposed converting transformers into one-spike SNNs, using spike-based computations to enhance energy efficiency without structural modifications. Lastly, we designed an optimized Sparse Matrix-Matrix (SpMM) accelerator based on Gustavson product to improve the performance of highly sparse SNNs, making it ideal for edge devices. Future work will focus on converting complex models like Large Language Models (LLMs) into SNNs and optimizing training and hardware modules for further improvements. In summary, our pruning and energy-efficient techniques make SNNs more viable for energy-constrained devices, without increasing the carbon footprint. Keywords: Neuromorphic, Spiking Neural Network, Lightweighting AI, Sparse Matrix Multiplication Accelerator, FPGA