改进的一致性正则半监督辐射源个体识别方法

吕昊远，俞 璐

(陆军工程大学 通信工程学院，江苏 南京 210007)

0 引 言

由于辐射源设备内部硬件制造工艺差异而产生的辐射源细微特征，对于检测并识别具有个体特性的辐射源有着重要作用。辐射源个体识别通过检测手段获得辐射源细微特征，提取出反映目标身份的信息，确定特定辐射源个体，针对性地对目标个体进行有效监控[1]。近年来通信辐射源个体识别已成为情报侦查、通信干扰、电子对抗等领域的研究热点，是现代电磁空间环境中控制信息权的关键环节，在通信网络结构分析和电子设备管制等方面发挥着巨大作用[2]。

与传统的识别方法相比，快速发展的深度学习为辐射源个体识别提供了新的思路，如图1所示，无需专家先验知识的深度网络通过强大的表征能力，直接从获取的信号样本中提取个体细微特征并进行分类识别[3]，可以节省大量的科研成本，具有很高的学术研究价值和广阔的实际应用前景。

图1 深度学习的个体识别过程

但有监督学习的深度模型需要充足的有标签样本，在非合作通信条件下，获取到的具有标签信息的辐射源信号样本数目非常有限，但实际环境中又存在大量的无标签信号样本，针对这种状况，近期的研究已经取得了一定的成就，文献[4]提出的基于伪标签的辐射源个体识别方法，有效地提升了深度网络的识别准确率。文献[5]设计出适合于辐射源信号样本的自编码器，通过自编码器的降维提取信号样本特征，再经过有监督的网络微调训练，实验验证了方法的可行性。文献[6]将自编码器改进成为矩形网络，提取到更加精准的个体特征。文献[7]在样本集的构建上提出创新，将信号数据转化为图片，以简单的特征转换方法增强了实用性。但这些方法仍然存在一定的波动偶然性，如何根据少量的有标签信号样本和大量的无标签信号样本精准迅速地提取辐射源个体特征，研究出更加高效的端到端半监督个体识别方法还有待研究。

本文提出改进的一致性正则半监督辐射源个体识别方法，在3种一致性正则方法的基础上，加入伪标签正则项改进算法过程。并根据实际辐射源设备采集的信号数据设计Inception深度网络验证算法性能，并与全监督方法、伪标签半监督方法、自编码器特征提取方法、改进前的一致性正则方法进行对比，实验结果表明，相同的数据集设置条件下，本文方法能够达到优于其它方法的识别性能。

1 一致性正则半监督

半监督学习策略中，对于无标签样本来讲，一致性正则方法在实际的深度模型训练中有着巨大的优势，可以有效避免面对“小样本”问题时深度模型容易陷入过拟合的困境。分别介绍一致性正则的概念和3种基于一致性正则的半监督深度学习模型。

1.1 一致性正则

很多损失函数都有一致性(consistency)的含义，KL散度和交叉熵都是在训练中最小化深度网络预测和样本标签间的差值[8]，从而希望两者能够一致，所以一致性就是一种非常内在而本质的目标，在达到这个目标的过程中，可以让深度网络得到有效的训练，学习到样本内在的不变性[9]。

但在半监督学习中，大量的无标签样本没有类别标签，为了利用好这些无标签样本使其发挥出最大作用，提出了不需要标签信息的一致性正则方法，其基本概念就是，对于一个固定的样本输入，即使受到了多次的加噪干扰，深度网络对其每次的预测结果都应该一致。

一致性正则具体应用在半监督深度学习方法中的思路是，对于有标签样本，使用标准的交叉熵损失函数计算网络预测和真实标签间的误差，保证少量有标签样本训练拟合；而对于无标签样本，就需要使用一致性正则方法，即最小化无标签样本的多次预测结果之间的差值[10]，最后加入权重系数将有监督损失与无监督损失两部分结合，构建出总的半监督损失函数。

1.2 π模型

图2 π模型算法流程

π模型中大量的无标签样本也参与到算法的训练之中，大幅降低了模型对于有标签样本的依赖。

1.3 时序组合模型

图3 时序组合模型算法流程

在具体的算法中，上一迭代周期的预测值，并不只是一个周期的预测结果，而是引入指数移动平均(exponential moving average，EMA)思想，将之前所有周期预测结果加权平均累加，再通过偏差校正提高较近迭代周期预测值的比重，最终得到预测标签值，其中t为训练中的迭代次数

(1)

加权平均操作既可以稳定当前的预测结果，减弱早期迭代周期中产生的不稳定结果，对于某一次错误的预测值可以起到平滑的作用，对错误预测有一定的容忍，也能很好地保留历史信息，使得模型具有更强的鲁棒性。

1.4 师生模型

图4 师生模型算法流程

教师网络不直接参与训练，也无需梯度反向传播更新网络参数，其参数值由原有的学生网络之前迭代周期中的参数经过加权平均得到。

师生模型的核心思想中，深度网络既充当学生，又充当教师。师生关系就是：作为学生，利用教师模型产生的目标进行学习提高识别准确度，作为教师，对于无标签样本产生的预测结果作为学生学习时的目标，从而形成一个良性循环。θt为学生网络在第t个迭代周期中的参数，教师网络参数θ′t的移动计算形式为

θ′t=αθ′t-1+(1-α)θt

(2)

在时序组合模型中，无标签样本的目标标签来自模型前几个迭代周期预测结果的加权平均。而在师生模型中，无标签样本的目标标签来自教师模型的预测结果。由于是通过模型参数的加权平均来实现标签预测，因此在每个训练批次中都可以把无标签中的信息更新到模型中，而不必像时序组合模型需要等到一个训练周期结束再更新，在稳定预测值的基础上，有效缓解了网络更新缓慢带来的滞后性的问题。

2 深度学习方法设计

通过分析伪标签半监督个体识别方法的优劣，提出在一致性正则半监督方法的基础上加入伪标签正则项的改进思想，并设计出适合本文实采信号数据的Inception深度网络结构。

2.1 方法改进

伪标签半监督辐射源个体识别方法中，使用少量有标签信号样本预先训练深度网络，利用熵最小化获得置信度高的预测分布作为无标签信号样本的伪标签，无标签信号样本的交叉熵损失中将伪标签作为训练目标，这一部分就是整体损失函数中的伪标签正则项。

伪标签辐射源个体识别方法存在着一些问题，当无标签信号样本数目所占总数目比重大时，模型在测试集上的识别准确率不太理想，训练初期的深度网络对于大量的无标签信号样本中的特征信息无法正确表征，会产生错误的预测干扰伪标签的正确赋值，网络进一步会受到错误伪标签的训练指导，在训练过程中产生较大的波动影响最终结果。但伪标签的思想中降低模型识别概率的熵，可以将网络对于无标签信号样本的识别概率集中到某一类，对于将决策面靠近低密度数据分布区域还是有很大的作用[13]。本文在一致性正则半监督方法基础上，加入伪标签正则项，改进算法训练过程，重新构建总的损失函数。

DL是有标签信号样本集，f(x,η;θ) 表示网络参数为θ，η是跟噪声有关的参数，深度网络对于样本x的标签预测值，定义有标签信号样本预测标签和真实标签之间的交叉熵损失函数

(3)

DU是无标签信号样本集，y′是深度网络对无标签信号样本赋予的伪标签，定义无标签信号样本预测标签和伪标签之间的交叉熵损失函数

(4)

定义所有信号样本的均方误差，计算一致性损失

(5)

ω1(t)和ω2(t)是权重系数，控制伪标签正则项和一致性正则项在总体损失函数中的相对占比重要性，最后结合3部分损失，定义深度模型总的损失函数

(6)

太小的权重系数对于提升模型性能有限，太大又会使性能退化，由于训练前期网络的预测准确度不高，所以ω1(t)初始值为0，随着训练迭代次数的增加而缓慢增长(增长过快会使模型陷入局部最优)并最终固定。t是迭代次数，T1和T2是两个固定阈值(T1

(7)

ω2(t)表现为高斯增长函数，其初始值较小，也随着训练迭代次数的增加而缓慢增长并最终固定

(8)

改进的一致性正则半监督算法流程如图5所示。

图5 改进的一致性正则算法流程

具体的算法训练过程如下：

(1)将少量有标签信号样本输入加入Dropout的深度网络，计算得到的预测标签和真实标签之间的交叉熵损失(师生模型中只需由学生模型的预测结果和真实标签比较)。

(2)将无标签信号样本输入深度网络，将预测值作为样本的伪标签，再次经过网络预测得到预测标签值，计算和伪标签之间的交叉熵损失。

(3)将全部信号数据输入深度网络，计算得到的两个预测标签值之间的一致性损失(3个模型的两个预测值实现方式见表1)。

(4)把3部分损失进行加权平均计算构建总的损失函数，梯度反向传播更新网络参数(师生模型中只需更新学生模型参数，通过学生模型的参数移动平均得到教师模型)。

(5)重复步骤(1)～步骤(4)，直至网络训练结束。

表1 不同模型预测值的实现方式

2.2 网络结构设计

深度学习中加深神经网络层数是提升深度模型性能的有效方法，但也会使得网络参数量增大，在“小样本”条件下很容易训练过拟合[14]。Inception网络用到密集成分近似或代替局部稀疏结构的思想，以网络宽度换取识别准确度，其中不同大小的卷积核意味着不同尺度特征的融合，使得提取个体特征更为精准[15]。

本文在Inception v1基础上，根据输入信号样本的形式以及对网络的需求关系，设计出如图6所示的Inception模型，除输入输出层外，中间的特征提取过程包括3条卷积路线和两个全连接层。

图6 Inception结构

网络的输入信号样本维数为2×128，3条卷积路线中，第一条路线的卷积核大小分别为(1，1)和(1，3)，第二条路线的卷积核大小分别为(1，1)和(1，8)，第三条路线的卷积核为(1，1)。3条路线输出连接后通过展平转换为一维序列再进入全连接层，第一个全连接层的神经元个数为256，第二个全连接层神经元个数为5，对应5个辐射源个体识别的五分类问题，最后通过Softmax层进行分类，训练过程中通过梯度反向传播持续优化网络参数。除最后一层使用Softmax激活函数，其余层使用Relu激活函数，并且在每层后连接至Dropout层进行正则化，参数设置为0.3，实验选用Adam优化器。

3 实验与分析

本节中介绍实验条件，包括所用信号数据的采集方式和深度模型训练过程中参数的设置，分析实验结果，比较不同训练集和参数设置条件下不同方法的性能。本文实验运行在一台惠普OMEN Lapto-p 15笔记本电脑上，硬件配置CPU为Intel(R) Core(TM) i7-10870H 2.2 GHz，GPU为Nvidia RTX 2070 Max-Q，内存为DDR4 8G×2，使用Anaconda(2020.02)+PyTorch(1.7.1)+PyCharm的软件开发环境构建深度学习模型并实现算法的训练与测试。

3.1 数据集准备

IQ信号数据已经被证实了非常适用于深度学习辐射源个体识别方法[16]，本文实验直接将IQ信号数据输入至深度网络中进行特征提取。使用基于LabVIEW的辐射源数据采集方法实际采集到5台USRP N210设备的信号数据，图7展示了发射端的实物图。

图7 发射端实物

其中数据采集过程中的采样参数设置见表2。

表2 采样参数设置

图8展示了具体的信号数据采集过程，虚线框中表示在实验室环境下，辐射源设备的通信间隔为1 m，中间无障碍物时信号的发射与接收，再将获取的原始信号数据经过数模转换和IQ正交双路解调输入至计算机。

图8 样本采集过程

采集到5台辐射源设备的IQ两路载波信号数据，对采集到的信号数据进行预处理，用数据清洗的方式去除采样帧初始阶段中帧间切换时产生的不规则样本点，并且进行功率归一化的比例变换，图9所绘制的是一台辐射源设备经过预处理后的部分IQ数据图，选取了100个数据点。

图9 IQ信号数值

根据辐射源设备个数将辐射源个体进行类别标号，设置5类标签值，接着将信号数据按照一定比例分为训练集和测试集，训练集中的信号样本在输入模型前加入数据增强操作，包括样本数组的随机数值遮挡和样本数组的翻转，最终完成样本数据集的构建。

3.2 实验参数设置

实验选取训练集中的少量信号样本作为有标签训练集和大量信号样本作为无标签训练集。将划分好的有标签和无标签信号样本输入一致性正则半监督深度模型中，其中无标签信号样本在输入深度模型之前去除了标签信息，标签值只用在每次训练迭代后计算无标签信号样本的识别准确率，不投入深度网络指导训练。

3个一致性正则模型在半监督算法中的参数设置见表3，其中包括训练过程中的迭代次数、控制权重系数的阈值数T1和T2、伪标签正则项的固定权重ωf、参数移动平均值α、有标签信号样本输入网络的batch size、Adam优化器学习率大小。需要注意π模型中没有移动平均参数，无标签信号样本的batch size根据与有标签信号样本的比例大小做相应的设置。

表3 模型训练参数设置

3.3 不同模型性能对比实验

实验中将改进的3种一致性正则半监督方法与全监督方法、伪标签半监督方法、自编码器特征提取方法、改进前的一致性正则半监督方法进行对比。表4和表5分别展示了当有标签样本数为1000和2000时，在不同的有标签训练集与无标签训练集的比例大小的设置条件下，9种方法在包含900个信号样本的测试集上的识别准确率(通过100次蒙特卡洛实验得出)，其中带*的为改进后添加伪标签正则项的一致性正则半监督方法。

表4 识别准确率(1000个有标签样本)

表5 识别准确率(2000个有标签样本)

固定有标签信号样本数目，随着无标签信号样本数目增多，模型的识别准确率也会增大，但超过一定范围，过多的无标签样本数据会加大模型对于标签错误预测的概率，使得训练过程中受到影响并出现较大的波动，导致最终的识别性能下降。当有标签信号样本数目为1000时，一致性正则半监督方法的性能提升更为明显。这说明在标签信号样本数目较少的情况下，一致性正则半监督学习在训练过程中才更能体现出避免过拟合增强鲁棒的特性。

表6展示了不同模型从训练开始到训练结束的时长。全监督算法由于训练集规模小，训练过程简单，所以训练时间最短。π模型由于在训练过程中每次迭代网络都要预测两次，而师生模型中学生网络和教师网络各预测一次，所以两种模型训练时间较长，师生模型在每个训练批次中都有参数移动平均更新教师模型的参数，所以相比于π模型，师生模型训练时间更长。伪标签算法训练时间较短，这是因为时序组合模型中所有数据都参与了无监督训练部分，而伪标签算法中只有无标签数据参与无监督训练。

图10 测试集混淆矩阵

表6 模型训练时间/s

3.4 不同深度网络对比实验

选择与前文同样的训练集设置条件，表7展示基于不同深度网络结构下3种一致性正则模型的识别准确率。对比Inception网络和简单的全连接网络以及CNN网络的识别准确率，Inception提取到不同尺度特征有利于识别任务，达到了最好的识别效果。

表7 不同深度网络下的识别准确率/%

3.5 参数变化对比实验

图11绘制了随着Adam优化器学习率数值的减小，3种一致性正则模型识别准确率变化的折线图。可以发现，当学习率为0.001时有着最好的识别性能，学习率设置过大会增加模型难以收敛的风险，设置过小会使模型训练缓慢，易陷入局部最优。

图11 不同学习率下的识别准确率

改变投入模型样本的长度，测试3种模型在测试集上的识别准确率，实验结果如图12所示，较短的样本长度不利于特征提取，识别准确率较低，样本长度在128时达到稳定，长度继续增长识别率也不会有明显变化，而且会大大增加训练时间，甚至会出现过拟合降低泛化性能的现象。

图12 不同样本长度下模型识别准确率

4 结束语

针对辐射源个体识别技术在真实环境中面临着“小样本”问题，本文提出改进的一致性正则半监督个体识别方法，介绍了半监督学习中一致性正则方法的基本思想以及3种一致性正则半监督深度模型的算法过程，加入了伪标签正则项进行方法改进，重新定义算法的训练过程，构建总的损失函数，并且根据实际样本数据集的采集情况设计Inception深度网络结构进行算法性能的验证。

通过分析不同方法在实际采集的5台USRP辐射源数据集上的分类结果，可以看到改进后添加伪标签正则项的一致性正则半监督方法的识别性能明显提升，当有标签信号样本数为1000和2000，所占样本总数的四分之一时，师生模型分别得到92.19%和97.96%的最高识别准确率，通过实验也验证了设计的Inception深度网络和选择的学习率、样本长度参数的有效性。下一步的工作中，会在深度网络对于辐射源个体特征的具体提取形式以及训练过程中超参数设置等方面继续深入研究探索。