Weakly Supervised Semantic Segmentation via Learning to Propagate

Abstract

The deficiency of segmentation labels is one of the main obstacles to semantic segmentation in the wild. To alleviate this issue, I present a novel framework that generates segmentation labels of images given their image-level class labels. In this weakly supervised setting, trained models have been known to segment local discriminative parts rather than the entire object area. My solution is to propagate such local responses to nearby areas which belong to the same semantic entity. To this end, I propose a Deep Neural Network (DNN) called AffinityNet that predicts semantic affinity between a pair of adjacent image coordinates. The semantic propagation is then realized by random walk with the affinities predicted by AffinityNet. More importantly, the supervision employed to train AffinityNet is given by the initial discriminative part segmentation, which is incomplete as a segmentation annotation but sufficient for learning semantic affinities within small image areas. Thus the entire framework relies only on image-level class labels and does not require any extra data or annotations. On the PASCAL VOC 2012 dataset, a DNN learned with segmentation labels generated by my method outperforMaster previous models trained with the same level of supervision, and is even as competitive as those relying on stronger supervision.|분할 정답 레이블의 부족함으로 인해 의미론적 분할의 실용적 적용은 제한된다. 이 문제를 완화하기 위해, 본 논문에서는 영상 수준의 분류 레이블만으로 의미론적 분할 레이블을 생성하는 새로운 방법을 소개한다. 이전 약지도 학습 모델의 경우 물체의 전체 영역 보다는 지역적으로 특징적인 부분 만을 찾는 것이 일반적이나, 본 방법에서는 그러한 지역적 신호들을 같은 의미적 특성을 지니는 주변 영역으로 전파하는 해결책을 제시한다. 이를 위해 새로운 깊은 신경망 모델인 어피니티넷(AffinityNet)을 고안하였으며, 본 모델은 영상 좌표에서 인접한 쌍들의 의미론적 관련성을 예측한다. 의미론적 영역 전파는 어피니티넷이 예측한 의미론적 관련성을 활용해 무작위 걸음 알고리즘을 수행함으로써 이루어지게 된다. 어피니티넷은 초기의 특징적 영역 분할에서 얻은 단서로 지도를 받으며, 이 국소적인 분할은 의미론적 분할을 위한 정답 레이블로 사용되기에 불완전하나 확실한 영역에서의 의미론적 관련성을 학습하기에는 충분함으로 효과적으로 사용된다. 이로인해 전체 방법은 영상 수준의 분류 레이블만을 필요로 하며 다른 추가적인 정답 데이터를 요구하지 않는다. 특히 PASCAL VOC 2012 기준 검사에서 본 논문에서 제안한 방법으로 학습된 의미론적 분할 신경망 모델은 이전 영상 수준의 분류 레이블을 사용하는 방법들을 큰 격차로 능가하였으며 더 강한 지도를 받는 모델들에 비해서도 비슷한 수준의 성능을 달성했다.