PersonalizedHD: Hyperdimensional Online Learning with Scalable Personalization and Memory-Efficient Replay

Abstract

Large-scale learning ecosystems such as voice assistants, wearables, and industrial IoT generate con- tinuous, personalized streams that demand models capable of integrating new classes from few examples while adapting to heterogeneous users under strict resource constraints. Neural approaches to few-shot class-incremental learning (FSCIL) often rely on experience replay and gradient-based updates, which inflate memory footprint, latency, and energy cost, limiting their deployment in edge environments. We propose PersonalizedHD, a hyperdimensional computing framework that unifies scalable personaliza- tion with compact memory replay for online FSCIL over evolving data streams. Each input is encoded into a task hypervector and associated with a compact user hypervector, enabling user-specific adap- tation without per-user models. Hypervectors are then binarized and bit-packed, reducing memory by up to 58× and supporting efficient Hamming-domain replay and retrieval. Across speech, biosignal, and human activity datasets, PersonalizedHD achieves competitive accuracy with deep neural baselines while using up to 28× fewer trainable parameters, 4–6× faster training, and 5.9–15.8× faster inference on com- modity phone, Jetson, CPU, and GPU platforms. By combining personalization, memory efficiency, and lightweight updates into hyperdimensional computing, PersonalizedHD enables scalable, resource-aware online learning for evolving per-user data streaming.|본 논문은 대규모 음성 인터페이스, 웨어러블, 산업용 IoT와 같이 사용자별 데이터가 지속적으로 유 입되는 환경에서 온라인 few-shot class-incremental learning을 효율적으로 수행하기 위한 PersonalizedHD 프레임워크를 제안한다. 기존 딥러닝 기반 증분학습 방법은 새로운 클래스를 학습할 때 과거 데이터를 replay 하거나 경사 기반 재학습을 수행해야 하므로 메모리 사용량, 지연시간, 에너지 비용이 증가하고, 사용자별 모델을 별도로 유지할 경우 대규모 사용자 환경에서 확장성이 떨어진다. 제안 방법은 입력 샘플을 task hypervector로 인코딩하고, 사용자 특성을 나타내는 user hypervector를 결합하여 하나의 개인화된 고차 원 표현을 생성한다. 이후 hypervector를 이진화하고 bit-packing하여 replay memory에 저장함으로써 원 시 데이터를 저장하지 않고도 과거 클래스 정보를 효율적으로 재사용할 수 있다. 학습 과정에서는 역전파 대신 class hypervector에 대한 단순한 원소별 덧셈과 뺄셈을 사용하여 오분류를 보정하고, 추론 과정에 서는 Hamming-domain similarity search를 통해 낮은 계산 비용으로 클래스를 판별한다. Google Speech Commands, Ninapro DB1, UCI HAR 데이터셋을 이용한 평가에서 PersonalizedHD는 기존 HDC 및 CNN, DNN 기준선과 비교하여 경쟁력 있는 정확도를 유지하면서도 학습 파라미터 수, 학습 시간, 추론 처리량, replay memory 사용량 측면에서 높은 효율성을 보였다. 특히 사용자 정보를 학습과 추론 모두에 활용하는 설정에서 개인화 효과가 가장 크게 나타났으며, 차원 수와 사용자 hypervector 분산에 따른 분석을 통해 정확 도와 자원 사용량 사이의 조절 가능성도 확인하였다. 또한 원시 데이터 대신 압축된 고차원 표현을 저장하는 방식은 개인정보 노출 위험과 저장 부담을 줄이는 데에도 도움이 될 수 있어 실제 배포 가능성을 높인다. 이러한 결과는 제안한 hyperdimensional computing 기반 접근법이 제한된 메모리와 연산 자원을 갖는 edge device에서 지속적으로 변화하는 사용자 데이터를 처리하는 데 적합함을 시사한다