基于深度学习注意力机制的调制识别方法*

杜志毅，张澄安，徐 强，李保国

（国防科技大学电子信息系统复杂电磁环境效应国家重点实验室，湖南长沙410073）

0 引言

信号的自动调制识别[1-2]是指已知信号所在调制集合，利用相关技术正确识别目标信号调制类型。随着通信技术的发展，各种新型调制方式不断出现，调制识别技术需要不断发展以适应不同情况下的识别要求。

现有的有关调制识别的大多数技术一般都是基于特征提取和机器学习分类算法[3-4]。但是这些方法多数为模型驱动，需要对信号进行预处理。另外其适应信道环境单一，在复杂信道环境时识别性能较差。传统的特征提取方法是基于统计资料的[5]，因此分类结果易受环境变化影响。基于机器学习的调制识别方法也是需要人为提取信号的特征，不能像深度学习一样自主提取出信号的特征。因此这些方法在复杂的信道环境下识别准确率不会很高，在实际的通信系统中难以使用。

深度学习的方法[6-7]被认为是突破性能瓶颈的有效方法[8]。Xie等人提出了一种改进的深度神经网络识别方法网络(DNN)[9]。Aslam等将基因编程(GP)和KNN结合起来准确识别4种调制模式[10]。与上述方法不同，本文提出了一种基于注意力机制的双向LSTM卷积神经网络（BLACN)。其通过对同向正交IQ样本进行训练,利用卷积神经网络优秀的特征提取能力，实现对复杂调制方式识别特征的提取。并通过注意力机制和双向LSTM关注信号的关键特征与时序信息来提高信号的识别准确率。

1 系统与信号模型

1.1 系统模型

图1展示了信号调制识别的系统架构。信号源的信息通过信号调制转换为不同调制样式的信号，通过信道进行传输。本文考虑的信道环境为高斯信道。接收端首先将接收到的信号进行调制样式的识别，之后对识别出调制样式的信号进行解调得到所要传输的信息。

图1 信号调制识别系统结构框图

样本为2×K大小的实值矩阵。

1.2 信号模型

通信信号的调制方式按照其调制原理的不同，主要分为模拟调制和数字调制2大类。模拟调制分为幅度调制和角度调制2种。数字调制分为幅度键控、频移键控、相移键控、正交振幅调制4大类，分别通过对载波的幅度、频率、相位、幅度和相位进行调制，以传输基带信号。本文给出正交振幅调制的信号模型如下：

信号的基带波形可以表示为：

式中,ν(t)表示加性高斯白噪声；g(t)表示等效滤波器，包括成型滤波、信道滤波和匹配滤波；a n表示发送端所发送的符号序列。不同的调制方式，符号序列呈现的样式也不尽相同。

对于正交振幅调制，有：

此信号为M(M=2k,k=1,2…)进制，A i、B j分别是2支路信号的幅度，其定义为：

式中，i,j=1,2,…,L，对于取值范围L，其与信号的阶数M相关。例如，L=1,则为4QAM；若L=2时，则为16QAM。本文主要考虑11种信号，分别为BPSK、QPSK、8PSK、16QAM、2FSK、MSK、FM、AM、2ASK、4FSK和OQPSK。这11种信号能覆盖大部分常见的信号调制方式，使本文的仿真实验更具有说服力。

2 识别算法

2.1 注意力机制

Mnih V、Heess N[11]首先在图像识别领域提出注意力机制。从视觉注意力机制来说明注意力机制：人类视觉通过快速扫描全局图像，获得需要重点关注的目标区域，也就是一般所说的注意力焦点，而后对这一区域投入更多注意力资源，以获取更多所需要关注目标的细节信息，而抑制其他无用信息。这就是我们在学习中所理解的注意力。

目前注意力机制主要有自注意力机制和注意力池化2种。由于自注意力机制能够关注到序列中每个位置之间的关系，因此通信信号识别过程可以在LSTM输出层加入自注意力机制，从而让深度学习算法能够关注由LSTM提取的信号特征表现出的序列性，增强通信信号的时序特征。

注意力机制包括3个结构：查询项(Query)、键项(Key)，值项(Value)。根据这3个结构可以计算出深度学习学习出的通信信号的特征对于对应类别的信号的影响程度。计算过程图2所示。

图2 注意力计算流程

即将Source中的构成元素想象成是由一系列的＜Key,Value＞数据对构成，此时给定Target中的某个元素Query，通过计算Query和各个Key的相似性或者相关性，得到每个Key对应Value的权重系数，然后对Value进行加权求和，即得到了最终的Attention数值。所以本质上Attention机制是对Source中元素的Value值进行加权求和，而Query和Key用来计算对应Value的权重系数。

上述过程可表示为：

注意力机制可以帮助深度学习模型关注到信号数据集的关键特征。本文提出的BLACN网络注意力层采用的是乘性注意力。

2.2 双向长短期记忆网络Bi LSTM

Bi LSTM网络是LSTM网络的改进网络。LSTM网络凭借其记忆时序的特性，首先运用于NLP自然语言处理领域，随后在各个领域都取得了较好的效果。通信领域中，多篇深度学习相关的论文都应用了LSTM，提高了模型的鲁棒性。

LSTM又称为长短期记忆网络，为RNN循环神经网络的变种。RNN循环神经神经网络能够对记忆数据的特征，但是由于网络层数过多，在参数的方向传播中产生了梯度爆炸的问题，因此LSTM应运而生。

LSTM的每一个隐含层都包括遗忘门、输入门、输出门3个“门”结构。LSTM长短期记忆网络凭借3种门结构，能够学习数据的时序特征，并且很大程度上解决了梯度爆炸的问题。

LSTM网络能够提取信号的时序特征信息，而双向长短期记忆网络BiLSTM网络在提取信号时序特征情况的前提下，还可以关注信号的历史信息，BiLSTM网络结构如图3所示。本文采用双向LSTM网络来进行模型的搭建。

图3 BiLSTM网络结构图

2.3 BLACN网络结构

本文提出的网络结构是结合了上文介绍的注意力机制与双向长短期记忆网络BiLSTM的深度学习神经网络BLACN，其网络结构图如图4所示。网络首先是4层Conv卷积网络，其中第1层卷积至第4层卷积皆在卷积后使用了1×2最大池化。4层卷积网络后是两层双向长短期记忆网络层(BiLSTM Layer)，来关注信号的时序信息，之后是一层注意力层(Attention Layer),来找到信号的关键特征用于调制方式的识别。最后就是经过全连接层(Dense Layer)输出11种信号调制类别的识别结果。网络除输出层采用Softmax激活函数外，其余各层皆采用ReLu激活函数。

图4 BLACN网络结构图

网络优化过程中，采用Adam算法进行网络参数的最优解求解。

2.4 数据集制作

为了使样本更具多样性，考虑到实际接收信号存在多方面因素的影响，本文设置了高斯白噪声信道环境进行数据集的制作。图5为数据集制作流程。在研究初期，为了更好地控制信号的质量，信号集利用Matlab平台产生。

图5 数据集制作流程图

1）特定调制模式与随机比特数据

仿真数据集为2×1024大小的IQ数据，本文所需识别的调制类型包含前文所说的11种常见信号。信号码元由MATLAB生成随机比特数据进行调制。

2）标准信号的生成

数字信号中心频率在902 GHz，模拟信号中心频率在100 GHz，脉冲成型滤波器采用根升余弦成型滤波器，其滚降系数为0.35，初始相位在0～2π范围内随机选择，采样频率是200 MHz，每个符号采样点数为8，单个样本长度为1 024，每一帧长度为128。

3）信道环境

本文信道环境采用高斯白噪声信道。信噪比范围为0～10 d B，步进为1，单载波信号每种调制方式在每种信噪比下样本数目为500个，样本数55 000个。

2.5 算法识别流程

根据前面的分析，本文算法识别流程如下：

1）构建网络模型，利用预先制作好的训练样本对网络进行训练，当网络达到稳态时，保存网络。

2）对于目标测试信号，通过傅里叶变换进行载频粗估，并利用包络谱线估计出符号速率，用估计出的载频对信号进行下变频，根据符号速率计算方根升余弦函数进行匹配滤波得到基带复信号。

3）对信号进行采样得到2×1 024的IQ信号样本。再对处理好的数据进行归一化处理得到待识别的信号样本。

4）利用所保存的网络对已进行预处理的信号进行调制识别，最终得到信号调制类别。

3 仿真验证及分析

深度学习的环境语言配置为Python 3.7，Tensor-Flow 1.14.0，Keras 2.3.1，计算机设备为CPU:E5-2630,GPU:2080T。对整个数据随机(固定随机种子)将其划分为训练集和测试集，比例为8∶2；批尺寸batch size为64。

3.1 网络识别性能对比

本文中定义的调制识别性能指标为：

本文采用O’Shea 2016年提出的传统卷积网络CNN[12]作为基线模型，对本文提出的BLACN网络进行性能测试。下面给出仿真测试的结果图，首先是3种网络在不同信噪比下的信号识别率（如图6所示）。从图中可以看出本文提出的算法性能在一定程度上优于其他算法。这是由于本文算法利用了双向长短期记忆网络和注意力机制关注信号的关键特征与时序信息，提高了信号的识别准确率。传统卷积网络CNN在信噪比为10 d B的情况下识别率为93%左右，而对于加入双向长短期记忆网络层的CNNBi LSTM网络，在10 d B的情况下识别率能够提升到97%左右。本文提出的BLACN网络的识别效果最佳，在10 d B的情况下能够达到99%。

图6 不同信噪比下信号识别率

从BLACN网络0 dB、5 d B、10 d B3种信噪比下的信号识别混淆的情况看，本文算法在低信噪比下仍能取得较好的性能，相移键控信号中QPSK，8PSK与正交振幅调制信号16QAM识别效果在低信噪比下较差。而对于幅度键控调制、频移键控调制和模拟调制信号在0 dB条件下，识别效果仍能接近100%。

3.2 算法时间复杂度对比

表1给出了不同算法对目标信号进行识别的时间复杂度，实验结果是对10 000个实验样本的结果进行统计平均得出的。从表中可以看出，BLACN网络识别过程的时间复杂度高于CNNBi LSTM网络，CNNBiLSTM网络高于CNN网络。这是由于网络中增加的双向长短期记忆网络层和注意力层提高了网络的复杂度，使算法的时间复杂度提高。但另一方面，深度学习方法得益于现在GPU并行运算能力的提高，神经网络大部分运算都可以并行完成。所以深度学习方法可以利用计算开销换取计算速度，最终能够实现快速运算。总体可以看出，本文提出算法的信号识别时间在毫秒级别。虽然高于传统CNN网络，但增加的时间在可接受的范围内，可以达到实时性处理的要求。

表1 时间复杂度ms

4 结束语

本文提出的BLACN，是通过对信号同向正交IQ样本进行训练,利用卷积神经网络优秀的特征取能力，来实现对复杂调制方式识别特征的提取。并通过注意力机制和双向LSTM关注信号的关键特征与时序信息来提高信号的识别准确率。仿真实验表明，相比于传统的卷积神经网络，识别性能有明显的提升并且有着较好的泛化性能，证明注意力机制与双向长短期记忆网络在信号调制识别方面有着较好的效果，具有较好的应用前景和研究价值。