APP下载

基于残差生成对抗网络的调制识别算法

2022-05-23秦博伟齐子森

系统工程与电子技术 2022年6期
关键词:残差梯度准确率

秦博伟, 蒋 磊, 许 华, 齐子森

(空军工程大学信息与导航学院, 陕西 西安 710077)

0 引 言

通信信号的自动调制分类识别(automatic modulation classification, AMC)是认知无线电系统的关键技术之一,在非协作通信系统条件下,接收端在信号调制信息未知的情况下能否快速准确地判别接收信号的调制样式,是后续对信号进行解调的关键前提。复杂电磁环境下,AMC技术在战场侦察、信号参数估计和频谱监测等方面都发挥重要作用。

调制识别技术发展至今,无论是基于人工设计特征的传统方法还是基于深度学习的算法均已取得了丰硕的研究成果。传统方法方面,文献[3-5]通过构造不同似然函数来实现信号的调制分类,文献[6-8]利用信号的循环谱特征来区分不同调制方式的信号,文献[9-11]利用信号的高阶累积量实现信号的调制方式识别。深度学习算法方面,文献[12-14]分别利用卷积神经网络(convolution neural network, CNN)和残差网络(residual network, Resnet)完成了对11种调制信号的分类识别,并且使用监督学习思想建立调制信号端到端的识别模型。文献[15]将自编码器和CNN结合,实现对数据的降维处理,一定程度上降低了算法复杂度。FAN等人提出了一种联合噪声估计的调制识别算法,该算法同时将原始信号数据和信噪比作为神经网络的输入,仿真结果表明这种算法在不同信噪比、不同频偏下的识别准确率已经接近理论识别准确率的上限。Qi等人设计了一种多模特征匹配残差网络,大样本条件下对调制信号的识别准确率在10 dB可以达到94%。文献[18]从数据生成的角度出发,首次将生成式对抗网络(generative adversarial networks, GAN)应用于数据的分类识别。Bu等人则将GAN引入到迁移学习中,利用GAN生成的虚假数据来训练网络,最后迁移到真实数据的调制样式识别。

传统调制识别方法依赖人工设计特征、可识别的信号种类较少、网络泛化能力较弱;而基于深度学习的调制识别算法往往需要利用大量的标签数据来训练网络、算法复杂度较高。针对上述问题,本文提出一种基于残差GAN(Residual GAN, Res-GAN)的调制识别算法,首先生成网络学习不同分布域数据的特征信息,通过噪声生成高质量的虚假数据来扩充数据集;其次设计了一种由新残差单元组成的Resnet作为判别网络,有效提升了网络的特征提取能力,更好地区分相似信号。实验证明,本文提出的算法在小样本条件下识别准确率显著提升,模型收敛速度加快,算法复杂度明显降低。

1 Res-GAN

1.1 网络模型设计

网络深度不仅决定了网络提取信号特征的复杂性,而且会影响模型整体性能,网络层的数量堆积可以丰富特征级别,层堆叠的方式可以获得信号高维特征空间的参量,但是由于深层网络反向传播时,层数堆积的累积效应会造成梯度消失或梯度爆炸,导致深层网络性能退化。因此需要合理选择网络深度使模型的整体性能达到最佳。CNN可以对信息进行较为广泛的特征提取,而Resnet则被证实在信号的细微特征提取和改善网络梯度训练方面具有很好的效果,因此本文算法的网络模型用CNN作为生成器(generator,G)网络,用新残差单元组成的Resnet作为判别器(discriminator,D)网络。

为了达到网络生成虚假数据并实现信号分类的目的,将网络输出层修改为两部分:判别数据的真假属性和类别属性。根据G、D网络间的逻辑关系,Res-GAN结构如图1所示。

图1 Res-GAN结构

G输入为噪声、输出为虚假数据,D输入为无标签数据、有标签数据和虚假数据,输出为两部分:真假分类器判定虚假数据与无标签数据的相似度,类别分类器判定有标签数据的类别属性。通过D的输出结果分别训练G和D,当训练一方时,固定另一方的参数和网络权值,从而实现两者之间对抗训练、互相提高的目的。

组成D网络的新残差单元结构如图2所示,利用Leakyrelu作为隐藏层激活函数并去除池化层,一方面较好地保留了初始信息量,另一方面在执行反向传播过程中对输入小于零的部分也可以计算得到梯度(而不是像ReLU一样值为0),更好地实现了网络参数和偏置项的最优化更新。Leakyrelu表达式为

图2 残差单元的网络结构

(1)

式中:表示神经网络某一层的输入数据;为(0,1)之间的一个常数。

(2)

式中:代表神经网络第层的输入数据;代表第层的输入数据;(·)代表直接映射;(·)代表残差部分;(·)代表激活函数;代表卷积操作。假设本文的Resnet存在个残差单元,则式(2)变为

(3)

式中:=1,2,…,-1。

根据梯度下降算法中使用导数的链式法则,损失函数关于的梯度可以表示为

(4)

从式(4)中可以得出本文Resnet的两个属性:

(2) ∂∂表示层的梯度可以直接传递到任何一个比其浅的层。

1.2 损失函数

(5)

为了简化算法复杂度,将输出向量扩展为+1维向量,第+1维向量用来判定无标签数据的训练情况,由于只需要判定数据的真假性,因此第+1维向量可以被判定为前个向量中的任意一个类别,这样本文的损失函数表达如下所示:

(6)

式中:和分别代表监督学习下的损失函数和无监督学习下的损失函数;′代表残差判别器映射的可微函数;是求期望,表示标签数据被判定为第维向量(=1,2,…,);表示无标签数据被判定为第+1维向量;表示生成的虚假数据被判定真实数据。目标函数为最小化,假设输入数据服从~c()分布,则目标函数为

min=
min [exp(())+exp(+1())]=
c()(=,)(∀<+1)+c()()

(7)

式中:c()意为信号总是服从于同一种分布。

2 基于Res-GAN的调制识别算法

2.1 网络参数设置

考虑到本文设定的小样本条件,参照文献[13]对于网络层数的选择标准,本文通过大量对比实验得出G网络选择3层卷积结构,D网络选择4个残差单元,残差单元选择3层卷积结构时网络的性能最好。图3和图4分别为残差单元和G、D网络的结构参数图。图4中,zeropadding(·)为零填充。

图3 残差单元的结构参数

图4 G、D网络的结构参数

2.2 算法实现

基于Res-GAN的调制识别算法实现分为训练和测试两个阶段,训练阶段G和D交替训练,最终网络的收敛结果为G生成的虚假数据与真实数据相似度最高,D则可以准确地分辨出信号的调制样式。测试阶段则是为了进一步检验网络的性能。Res-GAN算法的具体步骤如下所示。

算法 1 Res-GAN算法输入 噪声、调制信号数据集。输出 生成数据的真假概率、分成各个类别概率。1. 初始化2. 设置Adam,epoch,Dropout2.1 利用服从同一分布的噪声信息生成L个100维的噪声向量{z1,z2,…,zm}2.2 将噪声向量通过G生成L个无标签虚假样本{x1,x2,…,xm}2.3 将步骤2.2中L个无标签虚假样本分别送入G网络和残差判别网络中执行梯度下降训练2.4 设置终止条件2.5 保存训练好的G网络和残差判别网络结构参数和网络权重2.6 读取m个带标签真实数据,通过G网络生成等量的虚假样本2.7 将2m个带标签数据送入G网络和残差判别网络中,导入步骤2.5中保存的网络继续执行梯度下降训练2.8 设置终止条件2.9 保存网络模型和权重3. 输出训练分类结果4. 读取q个带标签数据作为测试数据5. 读取步骤2中保存的网络模型,进行网络测试,输出测试结果

残差单元和G、D网络分别去除了批量归一化层和池化层,添加零填充层并且采用步幅为1的非对称递减小卷积核,这样选择的理论依据如下:

(1)去除批量归一化层和池化层可以最大限度地保留信号的原始信息。

(2)添加零填充层可以增大感受野范围,步幅为1的非对称卷积有助于提取边缘特征信息。

(3)递减小卷积核可以提取信号的不同层次特征,明显减少网络参数和降低算法复杂度。

3 实验仿真与结果分析

3.1 仿真环境及数据集

本文的网络模型训练均使用Python的Keras环境,配置为Nvidia GTX 1650 GPU,借助Tensorflow后端进行训练,调制信号数据集采用Deepsig公开调制识别数据集RML 2016.10b,表1为本文采用的数据集信息。调制样式选择10种常见的模拟调制和数字调制样式,分别为二进制相移键控(binary phase shift keying, BPSK)、四进制相移键控(quadrature phase shift keying, QPSK)、八进制相移键控(8 phase shift keying, 8PSK)、高斯频移键控(Gaussian frequency shift keying, GFSK)、连续相位频移键控(continuous phase frequency shift keying, CPFSK)、四连续脉冲振幅调制(4-level pulse amplitude modulation, PAM4)、16种符号正交振幅调制(16 quadrature amplitude modulation, QAM16)、64种符号正交振幅调制(64 quadrature amplitude modulation, QAM64),双边带调幅(amplitude modulation double side band, AM-DSB)和宽带调频(wide band frequency modulation, WBFW)。每种调制样式采样128个点并选择I/Q两路信号,每2 dB为一个信噪比区间。

表1 调制信号数据集

3.2 实验一:网络初始参数设置

根据3通道原则,将数据维度由(2,128)增加为(2,128,1),因为数据集信号已经进行归一化,所以直接利用服从(0,1)高斯分布噪声进行拟合数据,训练轮数设置为90个epoch。

本文通过大量实验对比了网络层数、不同的梯度优化算法和隐藏层激活函数对网络性能的影响。网络层数方面,用代表残差单元的卷积层个数,用代表D网络残差单元的个数,分别对比和不同取值下的网络性能,实验结果如图5所示。

图5 不同网络层数结果对比

从图5中可以得出残差单元为3层卷积结构、D网络选取4个残差单元可以最大限度实现网络模型的最优化。

为证明本文选择的梯度下降算法的优势,对比随机梯度下降(stochastic gradient descent,SGD)算法、动量梯度下降(momentum gradient descent,Momentum)算法、微分加权平均(root mean square prop,RMSProp)算法和自适应估计(adaptive moment estimation,Adam)算法。不同梯度优化算法结果对比图如6所示。

图6 不同梯度优化算法结果对比

Adam梯度优化算法相比较于其他3种算法,低信噪比下收敛速度较快、高信噪比下稳定性强,算法适应性好。具体原因为Adam优化算法采用一阶矩和二阶矩分别对加权后的梯度进行误差校正。同时由于网络测试时使用的样本数量较少,因此曲线会呈现非单调的波动趋势。

当改变Adam学习率的默认设置时,发现网络无法训练,所以Adam学习率设置为默认值0.000 2。结合Leakyrelu表达式,分别对比取不同数值和不同激活函数下的网络性能,实验结果如图7和图8所示。

图7 Leakyrelu不同参数下的结果

图8 不同激活函数结果对比

结合图7和图8结果,Leakyrelu中参数值取0.25时网络性能最好,相比较另外两种激活函数收敛更快,识别准确率提升2%~4%。除此之外,在基于Adam优化算法的前提下还通过大量实验对比了不同Batch-size、Dropout和Adam参数设置下的网络性能,部分实验结果如表2所示。

表2 不同参数下的网络性能对比

综合上述实验结果,Res-GAN算法选择Adam梯度优化算法(学习率设置为0.000 2,第一指数衰减率设置为0.5),激活函数选择Leakyrelu(=0.25),Dropout设置为0.05, Batch-size设置为64。对比实验结果,发现不同的初始化参数对模型性能还是有一定影响(准确率浮动范围为3%~5%)。由此得出通过实验优选网络模型的初始化参数集合是必要的。

3.3 实验二:调制信号分类识别

按照实验一的网络参数初始值设定和表1的具体算法步骤,将(-4~18 dB)信噪比下的每种信号分别随机选取660,1 800,3 600,7 200,15 000,30 000,60 000个标签数据(取值),取86 400,取500,将选取后的数据按照8∶1∶1比例划分为训练集、验证集和测试集进行。选取模型最优化的结果,图9为损失函数曲线,图10为网络测试后的混淆矩阵结果。Res-GAN算法训练阶段先训练D网络,从图9(a)可以看出损失函数曲线总体保持平稳下降趋势,在60个epoch以后验证集已经达到收敛状态。D网络训练结束后将参数固定,接着训练G网络,由图9(b)的损失函数曲线看出验证集和训练集拟合程度较高,网络训练没有出现过拟合问题。

图9 损失函数曲线

图10 混淆矩阵结果

从网络测试后的混淆矩阵图可以看出,Res-GAN算法在信噪比SNR=0 dB时识别准确率可以达到91%,在SNR=18 dB时识别准确率可以达到98%。除WBFM和AM-DSB以外的信号均可以达到精准识别。由于原始数据集中两种信号的幅值图相似程度较高,因此会出现识别混淆的情况。

3.4 实验三:对比实验

为了充分说明本文设计的残差单元可以更好地提取信号的多层维度信息,更好地区分调制信号,将Res-GAN算法分别对比文献[14]设计的卷积长短时全连接网络(convolutional long short-term memory fully connected deep neural networks, CLDNN)模型、文献[15]设计的自编码卷积神经网络(automatic convolutional neural networks,AUCNN)模型、文献[17]提出的多模匹配残差融合神经网络(residual networks with a waveform-spectrum multimodal fusion, Resnet-WSMF)算法和文献[18]设计的辅助分类GAN(auxiliary classifier GAN, ACGAN)模型,选取5种网络的最优化结果,图11和表3分别为网络分类准确率和网络参数之间的对比。

图11 分类准确率结果对比

表3 不同网络参数对比

运行时间代表一个epoch时间,从图11和表3结果可以得出,在本文设定的小样本条件下。ACGAN的网络参数最少,识别准确率最低; CLDNN网络参数较多,识别性能一般;AUCNN和Resnet-WSMF 网络性能稳定,但训练时间较长,相比较于上述4种网络,Res-GAN算法取得了最高的识别准确率,而网络参数和时间复杂度仅比ACGAN略高。

为了验证小样本条件下本文算法的性能,分别选取不同数量的标签样本数量进行对比实验,结果记录在表4中。对比表4的结果可以得出,在标签样本量为660左右时,除了本文算法,其他网络的识别准确率均较低,随着标签样本量的增加,对比网络性能均有不同程度的提升。综合表3和表4结果,本文算法一方面验证了在小样本条件下的实用性,另一方面在降低算法复杂度上也具有一定优势。网络收敛的最小标签样本量为660左右。

表4 不同标签样本量对网络的性能影响

4 结 论

针对小样本条件下信号识别准确率不高、算法复杂度高的问题,本文提出了一种基于Res-GAN的调制识别算法,借助GAN模型用CNN和新残差单元组成的Resnet作为基本网络,通过定义新的目标函数,将半监督学习与监督学习结合起来,充分利用了无标签数据并有效实现了样本数量的扩充。仿真实验结果证明,新残差单元不仅可以丰富特征提取的复杂度,还能更好地实现网络参数的最优化更新;相比较于近年来广泛应用的其他算法,本文算法具有识别准确率高、实现过程简单、稳定性较好、复杂度低的特点。小样本条件下针对10种调制信号识别准确率在SNR=18 dB时可以达到98%,验证了本文算法的有效性。下一步将针对识别混淆的信号进行预处理,通过添加辅助信息来使得网络可以更好地区分相近信号。

猜你喜欢

残差梯度准确率
磁共振梯度伪影及常见故障排除探讨
基于应变梯度的微尺度金属塑性行为研究
基于残差-注意力和LSTM的心律失常心拍分类方法研究
基于双向GRU与残差拟合的车辆跟驰建模
乳腺超声检查诊断乳腺肿瘤的特异度及准确率分析
不同序列磁共振成像诊断脊柱损伤的临床准确率比较探讨
2015—2017 年宁夏各天气预报参考产品质量检验分析
颈椎病患者使用X线平片和CT影像诊断的临床准确率比照观察
基于残差学习的自适应无人机目标跟踪算法
基于深度卷积的残差三生网络研究与应用