Semantically Consistent Visual Segmentation in Dynamic Environments

Abstract

시각적 세분화는 이미지 이해부터 복잡한 비디오 분석에 이르기까지 다양한 사용자 요구에 의해 주도되는 컴퓨터 비전의 근본적인 작업입니다. 이러한 응용 분야 전반의 핵심 과제는 의미론적 일관성을 유지하는 것이며, 특히 모델이 도메인 변화, 시간적 단절, 복잡한 언어를 특정 비디오 콘텐츠에 정렬해야 하는 어려움에 직면하는 동적이고 실제적인 환경에서 이는 더욱 중요합니다. 우리는 의미론적 불일치의 세 가지 핵심 영역을 점진적으로 다루며, 지도 신호를 지능적으로 정제함으로써 견고한 세분화가 달성될 수 있음을 입증합니다. 첫째, 모델이 합성 데이터로부터 여러 실제 도메인으로 일반화하는 데 실패하는 이미지 수준의 의미론적 세분화를 위한 일반화 문제를 다룹니다. 우리는 단일 네트워크에서 다양한 타겟 도메인 분포를 시뮬레이션하여 광범위한 시각적 스타일을 포괄하는 직접 적응 프레임워크를 제안합니다. 이 프레임워크는 의미론적으로 모호한 영역을 식별하고 필터링하여 모델이 도메인 불변의 일관된 특징을 학습하도록 강제하는 양방향 적응형 영역 선택 전략을 구현함으로써 학습 신호를 동시에 정제합니다. 둘째, 시간적 일관성 유지가 가장 중요한 비디오 인스턴스 세분화로 이 원칙을 확장합니다. 가려짐 현상 중 오래된 특징으로 인한 메모리 오염으로 발생하는 추적 실패를 해결하기 위해, 우리는 새로운 메모리 관리 시스템을 제안합니다. 우리는 특징을 평균화하는 대신 가려짐 중에 최신의 유효한 객체 상태만을 저장하고 이 상태를 유지하는 메모리 메커니즘을 활용하여 일관성을 보장합니다. 또한, 기존 객체와 새로 나타나는 객체를 분리하여 관리함으로써 모호성을 해결하는 연관 전략으로 이를 보완합니다. 셋째, 지시형 세분화에서 비디오와 텍스트 간의 의미론적 정렬이라는 복잡한 과제를 다룹니다. 우리는 모델이 행동 기반 텍스트를 관련 없는 정적 프레임과 연관시키도록 강제되는, '의미론적 모순'이라 명명한 기존 학습의 근본적인 결함을 식별합니다. 우리는 명시적인 시간 주석을 사용하여 교차 양식 신호를 정제하는 시간 기반 학습 프레임워크를 제안합니다. 우리는 언어적 설명이 능동적으로 참(true)인 시공간적 세그먼트에서만 손실을 적용하는 선택적 지도 메커니즘을 통해 이를 달성합니다. 요약하면, 이러한 기여들은 이미지 수준의 일반화에서 시간적 일관성, 그리고 시공간-언어 정렬로 이어지는 일관된 진행 과정을 보여주며, 의미론적 불일치를 방지하기 위한 지도 신호의 세심한 정제가 동적 환경에서 의미론적으로 일관된 시각적 세분화를 달성하기 위한 핵심 원칙임을 확립합니다.|Visual segmentation is a fundamental task in computer vision, driven by diverse user needs ranging from image understanding to complex video analysis. A core challenge across these applications is maintaining se- mantic consistency, especially in dynamic, real-world environments where models are confronted with domain shifts, temporal disruptions, and the difficulty of aligning complex language to specific video content. We pro- gressively address three key areas of semantic inconsistency, demonstrating that robust segmentation is achieved by intelligently purifying the supervisory signal. First, we address generalization for image-level semantic seg- mentation, where models fail to generalize from synthetic data to multiple real-world domains. We introduce a direct adaptation framework that simulates diverse target domain distributions from a single network to cover a wide range of visual styles. This framework simultaneously purifies the learning signal by implementing a bi- directional adaptive region selection strategy, which identifies and filters out semantically ambiguous regions to force the model to learn domain-invariant, consistent features. Second, we extend this principle to video instance segmentation, where maintaining temporal consistency is paramount. To solve tracking failures caused by memory contamination from outdated features during occlusions, we propose a novel memory management system. We ensure consistency by utilizing a memory mechanism that stores only the latest valid object state, crucially holding this state during occlusion rather than averaging features. We complement this with an association strategy that resolves ambiguity by separately managing existing and newly appearing objects. Third, we address the complex challenge of semantic alignment between video and text in referring segmentation. We identify a fundamental flaw in existing training, which we term semantic contradiction, where models are forced to associate action-based text with unrelated static frames. We propose a temporally grounded learning framework that uses explicit temporal annotations to purify the cross-modal signal. We achieve this through a selective supervision mechanism that enforces loss only on the spatio-temporal segments where the linguistic description is actively true. In summary, these contributions demonstrate a coherent progression from image-level generalization to temporal consistency and spatio-temporal-linguistic alignment, establishing that a meticulous refinement of the supervisory signal to prevent semantic inconsistencies is a critical principle for achieving semantically consistent visual segmentation in dynamic environments. Keywords: Visual segmentation, Domain adaptation, Temporal consistency, Video-text alignment