A Joint Source Channel Coding System That Transmits Foveated Images

Abstract

Deep Joint Source-Channel Coding (Deep JSCC) integrates source and channel coding within an end-to-end neural network to enable efficient and robust data transmission. However, because of the limitations on communication resources, the vanilla JSCC structures are not directly applicable for several immersive applications, such as virtual reality (VR), where extremely high-resolution images should be sent in real time. So, we integrate foveated rendering into the JSCC framework. Foveated rendering aims to achieves efficiently allocate computa- tional resources by imitate human focal mechanism. Log-polar transformation, which com- presses peripheral information while preserving central details, is particularly suited to this purpose. This study proposes a model integrating Deep JSCC with log-polar compression and expansion. The network jointly optimizes log-polar compression and deep joint source- channel coding layer to get foveation and robustness to channel noise. By mimicking log-polar compression, the network preserves central vision information and reduces peripheral informa- tion in alignment with the human focal mechanism, maintaining visual experience. The model achieves higher fovea’s Peak Signal-to-Noise Ratio (PSNR) than vanilla Deep JSCC and higher average PSNR than rule-based log-polar transmission. Additionally, it shows relatively less PSNR degradation under low Signal-to-Noise Ratio (SNR) conditions, further highlighting its robustness in noisy transmission environments.|Deep Joint Source-Channel Coding (Deep JSCC)는 효율적이고 안정적인 데이터 전송을 위해 소스 코딩과 채널 코딩을 end-to-end 뉴럴 네트워크로 통합하는 기술이다. 그러나 통신 자원의 제한으로 인해 일반적인 JSCC 구조는 가상 현실(VR)과 같이 초고해상도 이미지를 실시간으로 전송해야 하는 여러 몰입형 응용 분야에 직접 적용하기 어렵다. 이를 해결하기 위해 본 연구에서는 JSCC 프레임워크에 포비티드 렌더링을 통합하였다. 포비티드 렌더링은 인간의 초점 메커니즘을 모방하여 계산 자원을 효율적으로 할당하는 것을 목표로 한다. 중심시의 세부 정보를 유지하면서 주변시 정보를 압축하는 로그-폴라 변환이 이러한 목적에 특히 적합하다. 본 연구에서는 Deep JSCC와 로그-폴라 압축 및 확장을 통합한 모델을 제안한다. 제안된 네트워크는 로그-폴라 압축과 Deep JSCC 레이어를 상호 최적화하여 포비에이션 효과와 채널 노이즈에 대한 강건성을 확보한다. 로그-폴라 압축을 모방함으로써 네트워크는 중심 시각 정보는 유지하고 주변부 정보는 줄여 인간의 초점 메커니즘에 맞춰 시각적 경험을 보존한다. 제안된 모델은 일반적인 Deep JSCC보다 중심시의 Peak Signal-to-Noise Ratio (PSNR)가 더 높으며, 규칙 기반 로그-폴라 전송 방식보다 평균 PSNR이 더 높게 나타난다. 또한, 낮은 신호 대 잡음비(SNR) 환경에서도 PSNR 저하가 상대적으로 적어, 잡음이 있는 전송 환경에서 강건한 성능을 보인다.