본 발명의 행렬 곱 연산 장치는 제1 입력 행렬 및 제2 입력 행렬을 저장하는 보조 기억 장치, 상기 제1 입력 행렬, 상기 제2 입력 행렬, CPU 메모리 크기 및 GPU 메모리 크기를 기초로 복수의 큐보이드 후보군 및 복수의 하위 큐보이드 후보군을 생성하는 큐보이드 후보군 결정 모듈, 상기 복수의 큐보이드 후보군 중 상기 CPU 메모리 크기를 기초로 상기 복수의 큐보이드의 크기를 결정하고, 상기 복수의 하위 큐보이드 후보군 중 상기 GPU 메모리 크기를 기초로 상기 복수의 하위 큐보이드의 크기를 결정하는 큐보이드 크기 결정 모듈, 상기 큐보이드 크기 결정 모듈에서 결정한 복수의 큐보이드의 크기를 기초로 상기 제1 입력 행렬 및 상기 제2 입력 행렬을 상기 복수의 큐보이드로 분할하는 행렬 분할 모듈, 상기 큐보이드 크기 결정 모듈에서 결정한 복수의 하위 큐보이드의 크기를 기초로 획득된 상기 복수의 하위 큐보이드에 대한 행렬 곱 연산을 수행하는 행렬 곱 계산 모듈 및 상기 행렬 곱 계산 모듈에서 획득한 상기 복수의 하위 큐보이드에 대한 행렬 곱 연산을 누적하는 행렬 블록 누적 모듈을 포함할 수 있다.