CNN Based Non-linear SerDes Equalizer

Abstract

This thesis proposes a CNN-based equalizer to address the performance limitations of conventional equalizers in PAM-4 high-speed wireline receivers under ADC integral nonlinearity (INL). The widely adopted 21-tap feed-forward equalizer (FFE) combined with a 1-tap decision-feedback equalizer (DFE) degrades significantly under severe INL because it cannot adequately model signal-dependent distortion introduced by the ADC. The proposed approach processes raw ADC samples using a compact convolutional neural network that jointly mitigates ADC nonlinearity, inter-symbol interference, and channel impairments, while avoiding heavyweight fully connected layers to keep the implementation suitable for real-time FPGA deployment. Training and MATLAB-based behavioral modeling use reduced-precision fixed-point weights for efficient simulation and hardware alignment. Hardware verification was carried out on an RFSoC platform (Xilinx ZCU111), where the CNN-based receiver path was deployed alongside the conventional FFE+DFE datapath on the same device, sharing identical input samples for a fair, direct bit-error-rate (BER) comparison. MATLAB simulation indicates improved BER relative to the FFE+DFE baseline under INL conditions. Hardware verification on the RFSoC platform confirmed correct implementation of both datapaths at 21 dB and 26 dB channel loss. The RTL was also synthesized in a 28-nm CMOS process using Synopsys Design Compiler in topological mode, and layout floorplans were generated for both the conventional and CNN-based datapaths to compare silicon area and power.|본 논문은 ADC-DSP 기반 PAM-4 고속 유선 수신기에서 ADC의 적분 비선형성(INL)으로 인한 성능 저하 문제를 해결하기 위한 CNN(합성곱 신경망) 기반 이퀄라이저를 제안한다. 기존에 널리 사용되는 21-탭 피드포워드 이퀄라이저(FFE)와 1-탭 결정 피드백 이퀄라이저(DFE)의 조합은 선형 필터 구조 특성상 ADC 비선형성에 의한 왜곡을 충분히 보상하기 어려우며, INL이 심화될수록 BER 성능이 저하되는 경향을 보인다. 또한 DFE의 피드백 루프는 슬라이서 오류를 연속 기호에 전파시켜 버스트 오류를 발생시키며, 이는 순방향 오류 정정(FEC) 디코더의 유효 코딩 이득을 저하시킨다.

시뮬레이션 결과, ADC 비선형성이 존재하는 조건에서 NanoCNN은 FFE+DFE 대비 일부 INL 조건에서 BER 개선 경향을 나타내었으며, 이는 합성곱 신경망이 선형 필터로는 보상이 어려운 비선형 왜곡을 부분적으로 완화할 수 있음을 시사한다. INT8 고정소수점 모델은 FP32 기준 모델과 유사한 성능을 나타내어 양자화 절차의 유효성을 확인하였다. Xilinx ZCU111 RFSoC 플랫폼에 이중 데이터패스를 구현하고 21 dB 및 26 dB 채널 손실 조건에서 하드웨어 BER을 측정한 결과, FFE+DFE와 NanoCNN 모두 FEC 임계값 이하의 BER을 달성하여 하드웨어 구현의 정상 동작을 확인하였다. 또한 28-nm CMOS 공정을 대상으로 Synopsys Design Compiler를 이용한 ASIC 합성을 수행하고, 두 데이터패스에 대한 레이아웃 플로어플랜을 생성하여 면적을 비교하였다.