多元LDPC编码调制系统CNN辅助迭代检测译码算法

万 飞，白宝明，朱 敏

(西安电子科技大学 综合业务网理论及关键技术国家重点实验室，陕西 西安710071)

0 引言

近年来，深度学习(Deep Learning,DL)已经在图像处理、机器翻译、语音识别等领域展现出了显著的性能提升，也在通信领域收到了广泛的关注。DL在物理层的典型应用包括模型/数据驱动的检测、均衡和译码。

当前，将DL应用到译码中已经成为学术界和工业界的广泛认同。文献[1]将神经网络(Neural Network,NN)引入到信道译码(BCH码)中，其展现的优异性能激发了DL与译码结合的研究热潮。随后，越来越多基于DL的译码方案被提出[2-3]，例如，自编码器[4]和不同类型的NN译码方案的性能分析[5-6]。同时，DL与经典算法的结合也被视为另一种有效利用深度学习能力的方案。文献[7] 基于置信传播译码算法与NN的结合，将因子图上的权重视为分枝重要性度量，剪枝低重要性的因子图分枝，对于Reed-Muller码和短LDPC码取得了良好的比特错误率(Bit Error Rate,BER)性能，并且显著降低了译码复杂度。其他传统译码算法，比如最小和译码算法及偏移最小和算法[8]通过NN给因子图增加乘性训练权重和偏移参数减少了近似误差，也取得了性能提升。而针对相关噪声的影响，文献[9]在二元LDPC码中使用卷积神经网络(Convolution Neural Network,CNN)来辅助收端抵抗噪声的影响，同样的方案也被采用辅助Polar码译码[10]。当下，大部分的工作都集中在二元码上，并且除了基于掩模图的方案[11]，其他所有方案都受限于信息长度，基本都在中短码长下使用[12]。

而一般来说，在等效比特长度下，相较于二元LDPC码，多元LDPC码有着更小的生成矩阵和更优异的误码性能。因此，神经网络的规模随着码长的增长呈指数增长的限制对于多元码不再是困难。并且，多元LDPC码天然适合与高阶调制相结合的特性也使得其更具有实用性。但是，软判决译码算法的复杂度太高，这是限制多元LDPC码实用的最大问题。在文献[13] 中，对于加性高斯白噪声(Additive White Gaussian Noise,AWGN)信道传输的符号使用sinc脉冲成形，提出一种基于硬消息传递的多元LDPC码联合检测译码迭代(Iterative Joint Detection Decoding,IJDD)的方案。

本文考虑到更实际的场景，在发端使用了平方根升余弦(square-Root Raised-Cosine,RRC)脉冲成形滤波器。对于AWGN信道，在收端也使用对应的RRC滤波器和适当的采样。因此，端到端的等效离散模型可以视为信号经历了一个相关噪声信道。同时，文献[14]及后续的工作也展现出了一种全新的角度——从噪声的角度考虑译码的方案。基于相关噪声的特性，采用DL来减弱噪声的影响以提升传输的性能。

本文提出了一种CNN辅助的迭代检测译码(Iterative Detection and Decoding,IDD)框架，可以有效抵抗相关信道噪声。NN从接收序列中恢复出相关噪声，然后迭代地从接收序列中减去学习到的噪声数据，减弱了噪声影响的信号能够得到更好的BER性能。并且，受利用NN译码方案的启发，在CNN辅助的IDD方案(CNN-IDD)后再级联一个网络，可以达到进一步的性能提升。

1 基础原理

1.1 多元LDPC码

在中短码长下，多元LDPC码的性能优于二元LDPC码，尤其是与高阶调制相结合时。然而，软判决译码算法的高复杂度限制了其实际使用。在文献[19-20]中，基于硬信息的IJDD译码算法被提出，在复杂度与性能之间实现了良好的平衡。IJDD算法的基本思想是采用硬消息迭代将信号检测器和多元LDPC译码器融为一个整体，在信号空间上通过多次迭代将有噪接收信号逐步修正到正确信号点上。此后，基于符号投票准则的大数逻辑算法被提出[13,21]。

1.2 深度学习(DL)

DL在图像分类、语言处理和机器翻译等方面的巨大成功引起了跨领域合作的热潮。常用的NN包括多层感知机、CNN和循环NN，本文使用CNN来辅助译码。

如图1所示，神经网络从左到右分别由输入层、隐藏层和输出层组成。

图1 NN结构图

输入层将数据集传入NN，因此，其包含的神经元数目与数据集的特征数一致。对应地，输出层将预测结果传出NN，其包含的神经元数目与标签维度一致。隐藏层是整个NN最为重要的部分，对应于第i层的操作为：

zi=g(i)(wixi+bi)，

(1)

其中，zi为当前层的输出，xi为第i-1层的输出zi-1。wi和bi分别为第i层的权重矩阵和偏置向量。激活函数g(·)给NN引入了非线性，也是DL强大表达能力的原因之一。常用的两种激活函数——线性整流(Rectified linear unit,Relu)和sigmoid函数如下所示：

(2)

另一种重要的函数是损失函数，它衡量了模型预测与真实标签之间的差异，比如均方差(Mean Square Error)损失函数：

(3)

因为其在像素图上强大的特征提取能力，CNN被广泛应用在图像处理中。如图2所示，CNN利用卷积操作从部分像素点中提取特征。

图2 CNN处理框图

卷积核对于数据的复用能够减少数据集规模需求，同时也会加速训练过程。后续的池化操作能够避免过拟合。

2 CNN辅助的迭代检测译码框架

2.1 系统模型

结合CNN-IJDD的多元LDPC码编码调制系统框图如图3所示。

图3 CNN-IDD传输框图

如图4所示，经过RRC脉冲成形，等效离散时间信道输出为:

图4 等效离散时间信道模型

y=x+n，

(4)

式中，噪声n是拥有自相关矩阵R的复高斯随机向量。令Ri,j为R的第(i,j)个元素，则

Ri,j=ρ|i-j|，

(5)

式中，ρ为相关系数。这样的信道模型在文献[22] 中也被引用。

(6)

zHT=0。

(7)

(8)

因此，估计的噪声序列为：

(9)

这就是NN的原始数据。

CNN在获取噪声序列之后，利用实/复数转换、卷积和非线性函数等操作，在损失函数和标签指引下进行训练。

2.2 级联网络的CNN-IDD优化结构

受NN可以直接用于译码的启发，在CNN-IDD迭代后再级联CNN网络，得到图5的优化CNN-IDD结构，对最后一次迭代的译码器输出再经过一次CNN网络修正来辅助CNN-IDD框架的译码输出。

图5 优化的CNN-IDD传输框图

2.3 数据处理和CNN设计

将原始数据传入CNN时，简单地将复数向量直接联合，得到类似图像的矩阵是不合理的。考虑到实际通信传输中复数信号的特点，如图6所示，对应图3中的红色虚线框，利用实部虚部分离和重构的预处理操作。

图6 CNN设计流程

(10)

通过此操作，训练所需要的数据集数量可以减半。将实部与虚部按列放置组合构造得到数据矩阵。

由于池化操作和输出层前的全连接结构在本文提出的方案中会引起较大的性能损失，因此并不推荐采用。为了得到与标签向量相同的特征维度，设定最后一层隐藏层中卷积核的水平滑动步长为2，其余层中水平滑动步长均为1。垂直滑动步长由超参数设定，CNN的详细处理过程如算法1所示。

相对应的，在输出层后，需要将预测数据按照下式，进行实部虚部重新组合，整合为复数形式，即网络学习到的噪声序列：

(11)

算法1 CNN处理过程输入:数据集:r^,J^特征向量:R(n),I(n)网络参数:长度n,批量大小Bz,卷积层数L,每一层神经元数目[a0=0,a1,…,aL]和滤波器大小[b1,b2,…,bL]目标:输出估计噪声r^,J^1:将r^,J^传入输入层;2:将输入向量转化为(Bz,n,0,1)形式张量;3:fori∈[1,L] do4:令卷积核大小为[bi,1,ai-1,ai];5:使用步长[1,1,1,1]移动卷积核fori

3 仿真结果与分析

3.1 参数设置

在训练阶段，本文使用在多个信噪比[8 dB,18 dB,0.5 dB] 下生成的数据，对于每个信噪比生成200 000个符号，其中90%用于网络训练，剩下的用于测试。模型共使用5层网络，每一层的神经元数目和激活函数设置如表1所示，其中“(a,b×c)”指的是通道数目a和卷积核大小b×c。利用Xavier初始化[24]、Adam优化算法[25]和MSE损失函数,设定学习率为0.01，衰减率为0.99。训练的截止条件设定为损失不再下降或者达到最大迭代次数5 000次。为了提高模型对于信噪比的稳健性，使用了批量归一化，对于每个信噪比下选取了50个样本。同时，也采用了0.001的正则化和0.999的滚动平均来改善模型的泛化能力。

表1 CNN参数设置表

3.2 性能与分析

图7比较了多元LDPC码硬判决译码和仅采用CNN的译码性能，对于BER=10-4时，CNN方案可以取得约1 dB的性能增益,这也验证了优化的CNN-IDD方案的出发点。

图8展现了迭代次数对于BER性能的影响。可以看到，对于BER=10-4时，2次迭代和10次迭代的CNN-IDD方案分别取得了0.5 dB和0.4 dB的性能增益。对10次迭代下仅采用一次网络调用而不是每次IDD后都调用网络的做法，在保证性能的前提下进一步降低了复杂度。

图8 CNN-IDD方案在不同迭代次数下的性能

图9比较了CNN-IDD方案和优化的CNN-IDD方案性能，对于2次迭代，优化的CNN-IDD比原IJDD算法取得近1 dB的性能增益，比CNN-IDD方案取得了0.5 dB的性能增益。

图9 优化的CNN-IDD性能

4 结束语

本文针对多元LDPC码编码调制系统，提出了CNN-IDD方案及其优化来减小相关信道噪声影响。通过从接收信号中删除CNN预测噪声的迭代操作，收端减弱了噪声对于信息的影响，从而给检测和译码提供了经过去噪处理的数据，即改善了接收信号的信噪比。仿真结果表明，对于GF(64)域上的(42,21)多于LDPC码，优化的CNN-IDD算法可以取得近1 dB的性能增益。后续，将考虑更高域上的多元LDPC码的CNN-IDD方案，同时将信道扩展至衰落噪声信道和码间干扰信道。