Community-based methods for neural architecture search and knowledge base population

Abstract

정보화 방법의 급속한 발전과 함께 많은 실제 응용 분야(예: 소셜 미디어, 신경망 구조 검색, 지식베이스)에서 다양한 그래프가 널리 보급되었다. 다양한 작업에서 그래프를 이용할 때 중요한 역할을 하는 개념은 네트워크 커뮤니티이다. 커뮤니티는 서로 연결된 정점 그룹을 의미한다. 그래프에서 커뮤니티를 검색하는 작업 중 중요한 예는 신경망 구조 설계 및 지식베이스 증식(knowledge base population)이 있다. 신경망 구조 검색은 그래프(구조 검색 공간)에서 조건(계산 비용 절감 및 다중 작업 학습)을 만족하는 커뮤니티(신경망 구조)를 검색한다. 지식베이스 증식은 그래프(입력 문서 및 지식베이스의 의미 그래프)에서 커뮤니티(지식베이스에 대한 추가 지식)를 찾아 지식베이스에 추가한다. 추가 지식의 예는 주어, 술어 및 객체로 구성된 트리플이다. 최근 심층 신경망의 발전에도 불구하고 다중 작업 학습은 심층 신경망을 완전히 사용하기 어려웠다. 본 학위논문에서는 다중작업 학습에서 신경망 구조를 자동으로 설계하고, 계산 비용을 절감하며, 지식베이스에 지식을 추가하는 세 가지 커뮤니티 검색 방법을 제안한다. 본 학위논문의 첫 번째 부분에서는 다중작업에서의 신경망 구조 검색을 위한 커뮤니티 검색에 집중하며, 우리가 제안하는 ConnectomeNet 은 다중작업에서 신경 세포의 중요한 부분을 자동으로 공유하고 새 작업에 대한 토폴로지를 경제적으로 조정하는 방법을 학습한다. Ablation study 를 포함한 광범위한 실험은 ConnectomeNet 이 다중작업에 대한 순차학습에서 치명적인 망각 문제(catastrophic forgetting problem)에 완화에 대해 최첨단 방법(SOTA)을 능가한다는 것을 보여준다. 치명적인 망각 문제에 대해 정규화 된 정확도로 표현했을 때, ConnectomeNet (즉, 100%)은 IMM (89.0%) 및 DEN (99.97%)을 능가한다. 본 논문의 두 번째 부분에서는 단일작업에서의 신경망 구조 검색을 위한 커뮤니티 검색에 집중하며, 우리가 제안하는 TENAS 는 세심하게 신경망 검색 공간을 설계하지 않고 소량의 컴퓨팅 자원만을 사용해도 기존 작업과 경쟁력 있는 성능을 달성한다. TENAS 가 검색한 신경망 구조는 convolution 의 채널 측면에서 희박(sparse)하며, 서로 다른 셀에서 서로 다른 토폴로지를 가진다. CIFAR-10 과 ImageNet 에 대한 실험 결과는 TENAS 에서 검색한 희박한 모델이 기존 방법으로 검색한 밀집(dense) 모델과 매우 경쟁력 있는 성능을 나타냄을 보여준다. 본 논문의 세 번째 부분에서는 지식베이스 증식을 위한 커뮤니티 검색에 집중하며, BERT 로 강화한 그래프 신경망 기반의 BGKBP 를 제시한다. 우리의 실험은 대규모 지식베이스(예: Wikidata)에 BERT 및 GNN 을 직접 적용하면 지식베이스 증식 품질이 향상되고 이전의 최첨단 방법보다 성능이 우수함을 보여준다. BGKBP 는 객체연결 및 신규 객체감지에서 각각 0.723 및 0.495 의 최고 F1 점수를 달성한다. 요약하면 다중작업 학습에서 효율적인 신경망 구조를 자동으로 설계하고, 단일작업 학습에서 계산 비용을 줄이고, 지식베이스 정보를 증식하는 세 가지 커뮤니티 검색 방법을 제안한다. 우리는 광범위한 실험을 통해 제안한 방법의 효율성을 검증했다. 제안하는 방법은 효율적인 신경망 구조와 유익한 지식베이스를 필요로 하는 다양한 응용에 도움이 될 수 있을 것이다.|With the rapid improvement of information methods, various big graphs are prevalent in many real applications (e.g., social media, search space of neural architecture, and knowledge bases). An important part of these graphs is the network community. Basically, a community is a group of vertices that are connected among themselves. Designing neural architecture and knowledge base population are important applications of searching for the community from a graph. In neural architecture search, the existing work searches communities (neural architectures) from a graph (search space) to find the neural architecture satisfying the conditions (e.g., reducing computation costs and learning multi-task). In the knowledge base population, the existing work search communities (additional knowledge for knowledge base) from a graph (a semantic graph from input documents and knowledge base) to populate the knowledge base. An example of additional knowledge is a triple consisting of subject, predicate, and object. Despite recent advances in deep neural networks (DNNs), multi-task learning has not been able to fully use DNNs. In this dissertation, we propose three community search methods, which automatically design neural architecture in multi-task learning, and reduce computation cost in single task learning, and add additional knowledge to knowledge bases. In the first part of this dissertation, we focus on community search for designing neural architecture in multi-task learning. Inspired by findings from neuroscience, we propose a unified DNN modeling framework, called ConnectomeNet, that not only encompasses the best principles of contemporary DNN designs but also unifies them with the transfer, curriculum, and adaptive structural learning, all in the context of multi-task learning. Specifically, ConnectomeNet iteratively resembles connectome neuron units (CNUs) with a highlevel topology represented as a directed acyclic graph. As a result, ConnectomeNet enables non-trivial automatic sharing of neurons across multiple tasks and learns to economically adapt its topology for a new task. Extensive experiments including the ablation study demonstrated that ConnectomeNet outperforms the state-of-the-art methods in terms of the performance in multi-task learning, such as the degree of catastrophic forgetting from sequential learning. For the degree of catastrophic forgetting, with normalized accuracy, our proposed method (i.e., 100%) outperforms mean-IMM (i.e., 89.0%) and DEN (i.e., 99.97%). In the second part of this dissertation, we focus on community search for reducing computation cost of neural architecture search in single task learning. we investigate the possibility of achieving competitive performance with the existing work only using a small amount of computing power and without designing the search space carefully. We propose TENAS using Taylor expansion and only a fixed type of operation. The resulting architecture is sparse in terms of channels and has different topologies at different cells. The experimental results for CIFAR-10 and ImageNet show that a fine-granular and sparse model searched by TENAS achieves very competitive performance with dense models searched by the existing methods. In the third part of this dissertation, we focus on community search for knowledge base population. we present BGKBP, a deep-learning algorithm based on BERT, and a graph neural network for knowledge base population (KBP). Our experiments showed that a straightforward application of BERT and GNN on a large knowledge base (e.g., Wikidata) improves KBP quality and outperforms the previous state-of-the-art methods. We developed four techniques to improve the BGKBP’s KBP capability: (1) serialization, (2) fine-tuning, (3) node regression, and (4) text augmentation. BGKBP achieved the best F1 scores of 0.723 and 0.495 on entity linking and new entity detection, respectively. We further showed that using text augmentation (BGKBP-TA) achieved the best F1 score of 0.547 on relation linking, which is more difficult than entity linking because of the various representations of some of the relations. In summary, we propose three community search methods, which automatically design efficient neural architecture in multi-task learning, and reduce computation costs, and add additional knowledge to knowledge bases. We have verified the efficiency of the proposed methods through extensive experiments. We also believe that the proposed methods could be helpful for various applications requiring efficient neural architecture and informative knowledge bases.