Improving the Accuracy of Precision Switchable Neural Networks with Feature-based Knowledge Distillation

Abstract

본 논문은 이미지 분류 및 인식, 음성 인식 및 자연어 처리 등의 분야에서 뛰어난 성능과 편의성으로 각광받고 있는 심층 신경망 (DNN)의 자동화를 추구한 신경망 구조 탐색 (NAS)의 성능 향상을 다루고 있다. 심층 신경망은 다양한 분야에 적용이 가능한 범용성 덕에 클라우드 서비스, 엣지 디바이스, 대규모 언어 모델 (LLM) 등 여러 시스템에 접목하여 응용할 수 있으며, 환경의 특성 및 변화에 따라 다양한 DNN 모델들을 선택하여 사용할 수 있다는 장점이 있다. 하지만 연구자들이 일일이 DNN모델을 데이터셋과 구동 환경에 맞게 디자인하는 것은 코스트가 많이 들며, 또한 이것이 실제로 목표한 환경에서 최적의 성능을 도출하는지를 보장할 수 없다는 한계가 있었다. NAS는 데이터셋과 탐색하고자 하는 레이어의 모집단을 입력 받아 네트워크의 구조 자체를 학습하는 프레임워크로, DNN 설계 및 학습을 자동화하여 기존 네트워크보다 더 좋은 성능을 가진 구조를 찾고, 연구자가 원하는 한도 내에서 가장 성능이 좋은 최적의 네트워크를 구축할 수 있게 되었다. 하지만 NAS는 구조를 탐색하는 과정에서 시간 및 연산 자원의 대량 소모라는 단점이 존재하였다. 따라서 본 연구는 다양한 환경 및 요구에 대응하고 저 정밀도 연산 정확도 보완 및 시간의 절약을 위한 multi-precision quantization과 정확도 향상을 위한 지식 증류 기법을 도입하여 precision-aware하며, feature기반 지식 증류 기법을 적용한 NAS를 제안하고자 한다. 결론적으로, feature기반 지식 증류 기법은 다양한 FLOPS를 요구하는 환경에 대해서도 기존 response기반의 지식 증류 기법보다 저 정밀도에서 DNN model의 정확도를 약 2배가량 향상시켰으며, 다른 정밀도에서의 정확도 역시 향상되었다. 또한 다양한 데이터셋 및 탐색 공간에서도 효과가 있음을 확인하였으며, 기존 방식과 유사한 FLOPS를 가진 구조를 탐색한 것을 통해 유의미한 수준의 overhead가 발생하지 않았음을 파악할 수 있었다. 핵심어: 심층 신경망, 신경망 구조 탐색(NAS), 양자화, 지식 증류(Knowledge Distillation)|Recently, deep learning has attracted attention for its excellent performance and convenience in areas such as image classification and recognition, speech recognition, and natural language processing. Due to its versatility, it can be applied to various systems such as cloud services, edge devices, and large language models (LLM), and various deep learning models have emerged and are still being used as technology advances and the environment changes. However, it is costly for researchers to design a deep neural network (DNN) model for each dataset and operating environment, and there is a limitation that it may not produce optimal performance in the target environment. This is where neural architecture search (NAS) comes in. By learning the architecture of the network itself from the input image set and the population of layers to explore, neural architecture search can automate deep neural network design, finding structures that perform better than existing networks and learning from them to build the optimal network that performs best within the constraints desired by the researcher. However, neural architecture search has the disadvantage of consuming a large amount of time and computational resources in the process of structure discovery. Therefore, this study proposes a precision-aware neural architecture search with feature-based knowledge distillation (KD) method by introducing multi-precision quantization to compensate for low-precision computational accuracy and save time, and knowledge distillation techniques to improve accuracy, in response to different environments and needs. In conclusion, this study shows that feature-based KD is more effective at preventing accuracy drops than traditional response-based KD-based NAS frameworks at low-precision, and the figure is about 2 times larger than that of previous studies. In addition, the average accuracy is higher for all precision, and the structure discovery based on FLOPS works in the same way as the traditional response-based KD, which indirectly shows that the overhead is negligible. Keywords: Deep neural network, Neural architecture search, Quantization, Knowledge distillation