嵌入注意力机制的通信辐射源个体识别方法

曲凌志, 杨俊安, 刘 辉, 黄科举

(国防科技大学电子对抗学院, 安徽 合肥 230037)

0 引 言

辐射源个体识别(specific emitter identification, SEI)是指提取同型号、同批次通信辐射源信号中的个体特征来识别不同辐射源个体的过程。由生产和制造工艺决定的电子电路和射频组件特性,使得通信设备的SEI是可以实现的。并且由于这种特性独特且不易造假,在军事通信、电子侦察、战场网络态势感知等领域具有至关重要的作用。

根据通信电台的工作状态,可以将用于电台识别的指纹特征分为暂态特征和稳态特征。基于暂态特征的个体识别方法提出较早,识别效果较好,但是暂态信号的持续时间短,捕获难度大,难以得到有效利用。基于稳态特征的个体识别方法近年来研究较为广泛,有时频分析、双谱、调制分析等多种方法。文献[9]结合希尔伯特-黄变换提取熵、峰度、偏度、均值作为特征。文献[10]应用固有时间尺度分解(intrinsic time-scale decomposition, ITD)方法得到信号的时频分布。Satija等人提出的利用变分模态分解和谱特征(variational mode decomposition and spectral features, VMD-SF)的辐射源识别方法,在单跳和中继情况下识别效果优于基于变分模态分解提取熵、一阶和二阶矩方法和基于经验模态分解提取熵、一阶和二阶矩方法。文献[13]从辐射源信号中提取双谱特征,再利用支持向量机进行识别。文献[15]提取信号的I/Q两路的不平衡性作为特征进行识别,在仿真信号上取得了较好的效果。文献[17]利用联合协作表示模型能够识别无意幅度和相位调制特征。

通过特征提取进行分类的方法取决于信号特征的先验知识和现有的信号处理工具,并且其先验知识与接收信号的特定属性有关,提取的特征相对单一,对特征有效性要求较高,因而辐射源状态变化导致其鲁棒性不足。伴随着深度学习的发展,近年来国内外学者尝试着将深度学习的思想应用到SEI的研究。文献[20]在无线电认知任务中运用了卷积神经网络(convolutional neural network, CNN)。文献[21]分析了深度神经网络在无线电调制识别任务的研究进展情况。文献[22]使用基于长短时记忆的递归神经网络(recurrent neural network, RNN)进行射频指纹识别,即使在强噪声存在的情况下也取得了较高的检测精度。文献[23]在双谱上训练的CNN,比传统方法具有更高的精度。周东青等提出的基于深度限制波尔兹曼机的识别方法,对8类不同的雷达信号的识别效果较好。刘高辉等分析了通信辐射源互调干扰产生机理,结合矩形积分双谱和深度置信网络对辐射源进行识别。吴子龙等引入堆栈式长短时记忆网络来解决SEI的问题,便于工程化和实用化。文献[18]直接用小波变换处理信号,结合深度残差网络(residual network,ResNet)取得了较好的效果。文献[27]结合深度ResNet和深度适配网络,在半监督的迁移学习场景下对频率变化的电台识别准确率较高。文献[28]比较了将信号转换为图像作为CNN输入的各种方法,包括递归图、连续小波变换和短时傅里叶变换,实验表明基于小波的方法优于其他方法。

为解决低信噪比环境下上述神经网络分类准确率下降的不足,本文提出结合双层注意力机制和ResNet(double-deck attention mechanism ResNet,DDAM-ResNet)的识别算法,将双层注意力机制嵌入到残差堆栈骨干网络的前后,既保留残差网络的性能,又能检测与识别任务关联性更强的特征。实验证明,在低信噪比条件下,DDAM-ResNet识别算法表现出更好的性能,对比残差神经网络,将注意力单元作为独立的网络层增强了网络的鲁棒性,适用于复杂环境下的SEI。

1 注意力机制

卷积块注意模块(convolutional block attention module,CBAM) 模拟视觉感知,关注卷积运算中重要的特征,抑制不必要的特征,提高信息在神经网络中的传递。其主要是由通道注意模块和空间注意模块组成,用通道注意模块和空间注意模块分别获得特征的关键通道位置信息和关键空间位置信息,对每一个电台样本的数据特征进行更好的自适应细化处理。

1.1 通道注意力机制

通道注意模块关注通道维度上的特征,利用特征间的通道关系生成通道注意图。通道注意模块的注意力聚焦在通道注意图的“什么”是有意义的,将通道注意图中的每个通道作为一个特征检测器,根据每个通道的重要程度赋予不同的权重。对于电台的信号,I、Q两路信号之间存在内在联系,不同通道的特征图都能反应电台数据的一部分细微特征,利用通道注意力能够抑制无用特征,提高分类识别效果。

在通道注意模块中,对于一维的电台数据,设输入特征∈×,经过平均池化层和最大池化层得到∈1×和∈1×:

(1)

=MaxPool()=max((1≤≤,))

(2)

再将通过平均池化层和最大池化层聚合的特征输入到由多层感知器(multi-layer perceptron,MLP)构成的共享网络中,共享网络包含一个隐层,隐层的神经元个数为。将经过共享网络后的两个特征图的对应元素进行求和来合并输出特征向量,再利用Sigmoid函数对合并后的输出特征进行激活得到通道注意力权重系数()∈1×,将权重系数与相乘得到经过通道注意力细化的输出特征′:

()=(MLP(Avgpool())+MLP(Maxpool()))=
((())+(()))

(3)

′=()⊗=((())+(()))⊗

(4)

式中：表示Sigmoid函数；∈×和∈×分别表示多层感知机隐层和输出层权重。

对于不同通道的特征向量,通道注意力权重系数可以看作是一个特征检测器。利用通道注意力权重系数给特征图中的每个通道都分配一个权值,哪个通道带来的有用信息越多,相应获得的权重就越大。通道注意模块和空间注意模块示意图分别如图1和图2所示。

图1 通道注意模块Fig.1 Channel attention module

图2 空间注意模块Fig.2 Spatial attention module

1.2 空间注意力机制

空间注意模块关注空间维度上的特征,利用特征间的空间关系生成空间注意图。与通道注意模块不同,空间注意模块将注意力聚焦在空间注意图的“哪里”是有价值的信息部分,这与通道注意模块互补。卷积运算通过混合跨通道和空间信息来提取信息特征,特征图的不同空间位置映射的特征信息不同,找到关键特征的空间位置信息对特征分类有重要作用。

(5)

(6)

再将两个一维通道特征图拼接起来,利用7×7大小的卷积核对拼接起来的特征图进行通道维度压缩,得到×1的特征图。利用Sigmoid函数对特征图进行激活,得到通道注意力权重系数(′)∈×1:

(7)

式中：表示Sigmoid函数；表示大小为7的卷积核。

空间注意力权重系数反映了不同区域特征的重要性。特征图中所有区域对识别任务并不都是同等重要的,与识别任务相关的区域更值得关注,这部分区域应该获得更大的权值。

1.3 注意力机制模块

文献[29]把通道注意模块和空间注意模块的串行顺序和并行进行了实验对比,发现先通道注意模块再空间注意模块的串行效果最佳。本文使用的注意力单元的整体流程可以概括如下。

首先,将特征∈×输入到通道注意力机制中得到通道权重系数,将其与输入特征相乘得到更能体现特征关键通道信息的特征图′。其次,将′作为空间注意模块的输入,得到空间权重系数。最后,将其与′相乘得到包含通道位置信息、空间位置信息的特征图″。

注意力机制模块的整体流程如图3所示,可以表示为

图3 注意力机制Fig.3 Attention mechanism

″=(′)⊗′=(()⊗)⊗(()⊗)

(8)

1.4 残差神经网络

深度神经网络因为强大的信息表征能力使其成功的应用到各个领域中,在数据充足的情况下,更深的网络结构可以获得更好的结果,多层特征能够通过网络的深度来丰富其表达。但是网络深度的增加会导致梯度消失和网络误差增大。

深度ResNet是深度卷积网络的经典模型之一,较好地解决了模型的退化问题。ResNet模型的主要创新在于引入残差结构,通过残差块将浅层结构与映射増加层连接在一起,使得模型的训练误差不会进一步升高,兼顾了模型层数与精准度的关系。ResNet的基本模块是残差单元,如图4所示。

图4 残差单元 Fig.4 Residual unit

残差单元由卷积层、批归一化层和激活函数组成:

()=+()

(9)

式中:为残差单元的输入;()为残差函数的输出;()为残差单元的输出。

2 基于DDAM-ResNet的SEI

2.1 数据预处理

数据预处理由数据分段、信号筛选和标准化3部分组成。

(1) 由于采集到的信号存在传输静默时间,而这部分样本数据无法体现辐射源个体特征,因此设置一个合理的阈值,当一段时间内样本信号值的方差小于规定的阈值时,认为这段时间信号样本处于静默状态并予以舍弃。

(2) 对处理过后的数据集按照固定长度做切片化处理,将数据集Ⅰ和数据集Ⅱ分割为长度为8 192个采样点的若干样本。

(3) 用接收设备采集到的不同电台的发射信号功率存在一定的差异,为了避免信号功率差异对识别效果造成的影响,需要对数据集进行标准化处理。计算每个样本中8 192个采样点的平均值,将样本数据减去均值后再除以标准差,使得所有样本数据的均值为0,方差为1,图5是处理后的信号数据。

图5 分段标准化信号 Fig.5 Segmented normalized signal

2.2 网络模型设计

以18层的ResNet网络为骨干网络,在保留整体残差结构的基础上嵌入双层注意力机制,网络模型如图6所示。

图6 网络模型Fig.6 Network model

(1) 相比于其他连接方式,采用先通道模块后空间模块的串行注意力机制结构,对辐射源个体细微特征的识别效果更好。

(2) 用一维ResNet提取一维信号序列的特征,缩小了运算时间和存储空间,降低了卷积计算的冗余,便于工程化实现。

(3) 保留了残差堆栈骨干网络的完整性,使得算法更容易收敛,稳定性更强。

(4) 用两层注意力单元检测堆栈网络的输入输出特征,根据其重要性进行加权,将与识别相关性更大的特征分配更大的权重,提高分类识别的效果。

2.3 模型概述

本文的对比算法都是基于一维卷积的ResNet,残差结构均采用一维卷积结构,卷积层均采用一维卷积核，网络结构参数如表1所示。以数据集Ⅱ为例,DDAM-ResNet的布局如图4所示,其中一维残差堆栈包含两个相同残差单元。

表1 网络布局

2.4 网络参数与对比实验设置

(1) 设置参数和初始化

模型的权重和偏置按照He initialization方式初始化,网络模型的参数设置如表2所示。

表2 模型主要参数设置

(2) 对比实验设置

采用基于本征模态分解(empirical mode decomposition,EMD)和固有时间尺度分解(intrinsic time-scale decomposition,ITD)的人工特征提取方法,以及ResNet算法、CBAMResBlock算法作为对比实验算法。其中,CBAMResBlock算法是指用ResBlock+CBAM模块替换ResNet算法中的ResBlock模块,其他网络层不变的一种网络模型,如图7所示。由EMD和ITD算法提取出的特征都采用支持向量机作为特征分类器,而ResNet算法和CBAMResBlock算法的网络参数设置和初始化与DDAM-ResNet算法设置相同。

图7 ResBlock+CBAM基础模块Fig.7 ResBlock+CBAM base module

3 实验结果与分析

3.1 实验数据

本文中同一样本集的实验数据由相同型号的辐射源电台产生,经过信道模拟器,最后由同一台接收设备采集得到。信号分为Ⅰ路和Q路,数据集Ⅰ是采集得到的跳频数据集,数据集Ⅱ是采集得到的定频数据集。两个数据集的采集时间、电台型号均不相同,并且在样本数据集中,所有电台所发射的信号是随机的,因此同一型号不同辐射源电台的所发射的基带信号也不相同。

数据集Ⅰ:实验数据来自8个相同型号的辐射源电台,跳频频率为450～460 MHz,每隔1 MHz为一个频点,具体参数如表3所示。

表3 数据集Ⅰ信号参数

数据集Ⅱ:实验数据来自9个相同型号的辐射源电台,具体参数如表4所示。

表4 数据集Ⅱ信号参数

3.2 跳频数据集识别结果

数据集Ⅰ:从每个电台经过预处理的若干分段跳频数据样本集中随机选择500个样本作为训练样本集,1 500个样本作为测试样本集,按照训练样本和测试样本为1∶3的比例,构建4 000个样本的训练样本集和12 000个样本的测试样本集。随机选取样本,每次选取的样本不同,独立重复实验5次取识别结果的平均准确率,识别效果对比如表5所示。

表5 数据集Ⅰ的识别准确率

其中,ResNet算法和DDAM-ResNet算法的混淆矩阵结果如图8所示。从混淆矩阵可以看出,对于数据集Ⅰ中的8个电台,电台1和电台2的识别效果最好,电台5和电台8的错分概率较高。相比于ResNet算法,DDAM-ResNet识别算法的识别准确率更高,对8个电台的识别效果更好一些。

图8 数据集Ⅰ的混淆矩阵结果Fig.8 Confusion matrix results for dataset Ⅰ

为了能够获得训练样本数对于SEI的影响,在保持训练样本和测试样本为1∶3的比列不变的条件下,改变跳频数据集每个电台的训练样本数目,得到的识别准确率如表6所示。

表6 不同训练样本数目的识别准确率

随着训练样本数的增加,能够从训练数据中得到的特征更多,识别准确率也随之上升。在训练样本数为500时,相比于CBAMResBlock算法,ResNet算法和DDAM-ResNet算法的识别效果更好。为了进一步比较几种识别算法的效果,在数据集Ⅱ中加入高斯白噪声,改变样本集的信噪比条件,模拟设置通信信道质量不同的定频数据集。

3.3 不同信噪比条件的识别结果

数据集Ⅱ:从每个电台经过预处理的若干分段数据样本集中,随机选择500个样本作为训练样本集,1 500个样本作为测试样本集,通过添加高斯白噪声改变信噪比条件(-10 dB,-9 dB,-8 dB,-1 dB),随机选取样本重复实验5次取识别结果的平均准确率,识别效果对比如图9所示。对于EMD和ITD进行特征提取并用支持向量机进行分类的识别方法,当输入经过高斯噪声处理的低信噪比电台数据时,EMD和ITD算法的识别准确率不高,而基于深度学习神经网络识别算法的识别效果明显优于支持向量机分类器的传统识别方法。根据获得射频指纹的不同,SEI方法可以分为两大类:基于人为提取特征的和基于深度学习的。人为提取特征的识别算法需要专家知识支撑,对特征的有效性要求较高,而深度学习分类方法能够避免人为提取特征的主观性,直接输入I、Q两路数据又简化了数据预处理的流程,利于工程上的实践应用,在非协作通信领域具有较明显的优势。

图9 数据集Ⅱ的识别准确率Fig.9 Recognition accuracy of dataset Ⅱ

相比于ResNet算法,将两层注意力机制模块嵌入残差堆栈骨干网络的前后,既保留了ResNet的收敛性,又在少量增加网络参数的条件下,使得识别准确率提升较多。在低信噪比的条件下,DDAM-ResNet算法的鲁棒性更强的原因在于通过注意力机制能够抑制噪声带来的无效特征,将网络参数的权重聚焦在体现电台指纹特征的部分,提高了分类识别的效果。

3.4 消融性实验

为了进一步探求空间注意力机制模块与通道注意力机制模块对分类效果的影响,做了消融性实验,结果如表7和表8所示。其中，ResNet+CA算法是在ResNet残差堆栈模块之后加上通道注意模块,ResNet+SA算法是在ResNet网络残差堆栈模块之后加上空间注意模块,ResNet+AM算法是在ResNet网络残差堆栈模块之后加上一层注意力单元。AM+ResNet算法是在ResNet骨干网络残差堆栈模块之前加上一层注意力单元。

表7 数据集Ⅱ 450 MHz消融性实验的识别准确率

表8 数据集Ⅱ 512 MHz消融性实验的识别准确率

4 结 论

针对复杂信道环境下的SEI问题,本文提出了一种结合双层注意力机制和ResNet的DDAM-ResNet识别算法,将注意力机制构建成独立的网络层,获取残差单元的输入、输出特征,并能根据其重要性对特征进行加权处理。实验证明,低信噪比环境对SEI结果的影响较大,但相比于其他对照算法,本文方法数据利用率高、抗噪性能好,有效提升了低信噪比场景下对通信辐射源个体的识别能力。