基于多头自注意力机制的协作频谱感知算法*

李 涛，张煜培，赵知劲，2

（1.杭州电子科技大学 通信工程学院，浙江 杭州 310018；2.中国电子科技集团第36 研究所通信系统信息控制技术国家级重点实验室，浙江 嘉兴 314001）

0 引言

近年来，随着多媒体、大数据、物联网等科学技术的快速发展，无线通信技术的应用需要更多的频谱资源，部分频谱资源空闲和部分频谱资源竞争激烈已演变成为无线频谱资源利用的主要问题之一，而解决这一问题的思路是尽量提高现有的频谱利用率。为此，认知无线电技术[1]应运而生。认知无线电技术能够动态地利用暂时空闲的频谱资源，在不对主用户(PU）造成干扰的前提下实现与次用户(CU)地频谱共享，有效提高频谱利用率。频谱感知技术[2]是认知无线电的关键一步，其主要目的是在复杂的无线通信环境中准确、快速地检测出主用户信号是否存在。目前频谱感知的研究主要分为单个次用户频谱感知技术和多个次用户协作频谱感知技术。相对于单个次用户频谱感知，协作频谱感知技术可以充分利用次用户感知环境的多样性，避免单用户由于多径衰落和阴影效应造成的误差，能够有效地提高整体感知系统性能。在协作频谱感知中，融合策略是协作频谱感知的关键所在，融合准则可以分为硬判决[3]和软判决[4]两种。硬判决融合中，融合中心接收到的是所有次用户的判决结果，常见的融合准则有“与”准则、“或”准则和“K”秩准则[5]。硬判决的优点是实现简单，传输开销较小，但由于这些单比特的局部判决结果丢失了大量信息，不能为全局决策提供足够的信息，因此其检测性能一般。软判决融合中，本地次用户直接将检测数据发送到融合中心，融合中心利用这些数据，根据“最大比合并”“等增益合并”和“选择性合并”等准则判决主用户存在与否。由于检测数据中包含了大量信息，因此检测性能优于硬判决融合方法。但是这些软融合方式没有充分利用各个次用户检测数据的信息，检测性能有待提高。

机器学习具有强大的特征提取和学习能力，已在各个领域得到应用。已有学者研究了利用机器学习进行协作频谱感知的相关算法[6-11]，该类算法无需理论推导准确的检测门限，且对不同噪声环境的适应度高。文献[6]将频谱感知问题转化为图像二分类问题,利用各次用户传输到融合中心的正交相移键控(QPSK)信号，计算协方差矩阵，并进行归一化灰度处理,作为深度卷积神经网络的输入。文献[7]利用各次用户传输到融合中心的IQ 信号，经过IQ 分解与重建提取信号特征，使用K-Medoids 聚类算法对特征进行分类，提高了在协作次用户较少情况下的感知性能。文献[8]首先利用各次用户传输到融合中心的IQ 信号分别按照顺序拆分和间隔拆分为两组新的信号序列，然后根据各次用户接收的都是同一主用户信号，利用它们之间是否具有相关性，用以判断主用户信号是否存在，因此将次用户之间的相关系数作为提取的信号特征向量，使用K-Means 聚类算法对特征进行分类，提高了协作感知性能。文献[9]结合文献[8]的IQ 信号拆分重组得到两个协方差矩阵，通过计算重组得到的协方差矩阵到黎曼均值的测地线距离，作为信号的统计特征，结合Fuzzy C-Means 聚类算法提高了协作频谱感知的性能。但文献[6]-[9]方法都需要较大的传输开销。文献[10]将各次用户得到的能量传输到融合中心组成能量向量，多次感知的能量向量组成特征矩阵，特征矩阵经过主成分分析处理后转换成低维特征矩阵，利用低维特征矩阵训练K-Means++聚类分类器，最后利用训练好的聚类分类器感知主用户信号存在与否。文献[11]将各次用户得到的能量传输到融合中心组成能量向量，然后融合中心对能量向量进行数据处理变换为概率向量，并利用K-Mediods 和模糊支持向量机算法进行训练和分类，有效降低了算法的训练时间与分类延迟。

但是文献[10]-[11]算法没有充分利用能量向量包含的深层特征信息，而且由于多径衰落和信噪比等问题，各个协作用户的感知结果可信度不一致。对此，本文提出一种基于多头自注意力机制的深度学习频谱感知方法。多头自注意力机制[12-13]是一类模拟人脑关注机制的算法，它可以实现将不同可信度的协作用户赋予不同的权重，然后融合其结果做出最终决策。因此，本文由融合中心收集各次用户得到的能量组成能量向量，针对各次用户接收的信号能量与噪声能量存在的明显差异问题，设计了多头自注意力网络结构，用于提取能量向量的特征，从而抽取更加重要和关键的能量特征信息，并进行特征分类做出最终决策，进一步提高了协作频谱感知的检测性能。

1 算法设计

1.1 能量向量模型构建

协作频谱感知网络模型如图1 所示，由一个主用户、M个次用户和一个融合中心组成，所有次用户感知同一频段。H0假设表示频段空闲，主用户信号不存在，次用户可以接入该频段；H1假设表示频段被占用，存在主用户信号，次用户不可接入该频段。

图1 协作频谱感知网络模型图

因此，次用户检测主用户信号可以表述为如下的二元假设检验问题:

式中，m=1,2,3,…,M，表示次用户序数；n=0,1,…,N-1,N是总的采样点数；ym(n) 是第m个次用户接收到的基带信号，vm(n)为第m个次用户接收到的均值为0、方差为的复高斯噪声,xm(n)表示第m个次用户接收到的经过信道后的主用户信号。第m个次用户接收到的能量统计量为:

在本文中，各次用户将能量统计量Em传输给融合中心，融合中心根据得到的次用户的能量统计量Em组成能量向量=[E1,E2,…,EM]，将能量向量作为网络输入，进行频谱感知。

1.2 基于多头自注意力机制的协作频谱感知网络

由于多头自注意力机制是对输入序列总体信息的相互关系进行建模和学习综合之后，对局部焦点给予更多关注，实现自动特征学习，可以有效提取局部特征，因此，本文在融合中心采用多头自注意力网络提取能量向量的特征，实现协作频谱感知。

本文设计的基于多头自注意力机制的协作频谱感知网络结构如图2 所示，主要由输入层、多头自注意力网络层、前馈神经网络层和输出层组成。

图2 基于多头自注意力机制的协作频谱感知模型图

1.2.1 输入层

图2 中，将融合中心收集得到的批量各个次用户感知能量向量作为协作频谱感知网络输入向量集，使用全连接层(FC1)，实现对数据的特征嵌入，然后输入自注意力网络层。其中，输入层计算方式如下：

1.2.2 多头自注意力网络

使用FC 模块提取空间特征后，本文通过多头自注意力网络模块提取底层特征，强化对输入数据的特征提取。多头自注意力网络由多个如图3 所示的自注意力层并联而成,对输入数据利用并行计算方式从输入信息中提取相关信息。

图3 自注意力层网络结构图

然后，通过缩放Qi和Ki的内积运算，并使用Softmax函数归一化后与Vi相乘得到自注意力得分向量Zi如下所示：

式中，β是缩放系数，Zi∈R1×P；Softmax 函数的作用是将分类的结果以概率的形式展现出来，其表达式为：

其中，xi是向量x的第i个元素。最后，当有h个自注意力层时，拼接h个自注意力的得分向量[14]如式(8)所示，利用全连接层FC2 进行线性变换如式(9)所示，并保证输出特征维度和输入特征维度相同。

式中，w2∈R(P+h)×L和b2∈R1×L为FC2 的网络参数;Z(X)∈R1×(P+h)，ZFC∈R1×L。

多头自注意力网络层输入与输出之间采用Add&Norm 网络结构，Add 模块是在经过自注意力网络模块的基础上加了一个残差连接，目的是解决在深度神经网络训练中发生的权重矩阵退化问题和梯度消失；Norm 模块是对输入数据进行归一化。该步骤的计算过程如下：

式中，Y1∈R1×L。

1.2.3 前馈神经网络层

前馈神经网络层由两层全连接层构成，如图4 所示，先进行线性变换将输入数据映射到高维空间，然后通过ReLU 激活函数非线性化，最后再进行线性变换映射回原来的维度，保证输出特征维度和输入特征维度相同，同时提供非线性变换，用于进一步处理提取的信号特征，提高模型的拟合效果。前馈神经网络层输入和输出之间也采用残差连接结构，并且经过一层归一化概率分布处理。其中，前馈神经网络层计算方式如下：

图4 前馈神经网络层结构

式中，Y1为前馈神经网络层的输入，w3和b3为FC3 的网络参数，w4和b4为FC4 的网络参数。其中，w3∈RL×P，w4∈RP×L，b3∈R1×P，b4∈R1×L，Y2∈R1×L，Y3∈R1×L。

1.2.4 输出层

本文自注意力机制的深度神经网络模型由2 个At‐tention 模块串接而成。经过网络模型完成特征提取操作之后，最终将所提取的特征通过全连接层FC5 和Soft‐max 函数输出类别概率分布，如式(13)所示：

本文采用给定虚警概率，使检测概率尽可能大的准则，因此采用如式(15)所示的判决规则：

其中，r是根据不同的虚警概率Pf设置的检测门限。

综上得到本文提出的协作频谱感知算法主要分3 个阶段实现：（1）第一阶段中各个次用户独立采样信号和计算信号能量，融合中心收集得到各个次用户的感知能量向量，并作为自注意力网络模型的输入;(2)第二阶段利用训练向量集训练基于多头自注意力机制的网络模型;(3)第三阶段利用已训练好的基于多头自注意力机制神经网络进行协作频谱感知，输入为单个能量向量，输出为该向量的分类概率分布，最后根据判决规则进行频谱感知，即判断主用户信号存在与否。

2 实验结果分析

2.1 实验数据集

主用户发送的是QPSK 信号，码元数设为1 000，每个码元采样点数为8，噪声是均值为0、方差为1 的复高斯噪声。在仿真中，假设认知无线电网络中参与协作频谱感知的用户数量从3～12 不等，当参与协作的各次用户的信道条件和接收信噪比各不相同,各次用户接收到的信噪比设置[15]如下所示：

CU1:snr dB、CU2:(snr-0.5)dB、CU3:(snr-1)dB、

CU4:(snr-0.25)dB、CU5:(snr-0.75)dB、

CU6:(snr-1.25)dB、CU7:(snr-0.5)dB、

CU8:(snr-1.75)dB、CU9:(snr-2)dB、

CU10:(snr-1.25)dB、CU11:(snr-1.5)dB、

CU12:(snr-2.25)dB、

其中，snr 为融合中心接收到的检测信道的信噪比，snr-x表示该次用户的接收信号信噪比。次用户数为3 时选用次用户CU1～CU3，次用户数为6 时选用次用户CU1～CU6，次用户数为9 时选用次用户CU1～CU9。

由MATLAB 仿真产生数据集，调整信号幅度得到不同信噪比下的主用户信号数据。在不同的次用户数量下，训练集信号样本中的snr 为-16 dB～-10 dB，间隔1 dB，每个信噪比下产生1 000 个样本；测试集信号样本中的snr 为-20 dB～-9 dB，间隔1 dB，每个信噪比下产生1 000 个样本。在相同条件下，生成与信号数据集相同维度和数量的高斯白噪声样本，分为训练集和测试集。

2.2 实验平台及网络参数设置

仿真硬件平台为Intel 处理器CPU（Intel Core i7-7700），编程环境为Python 语言，PyTorch1.3 的深度学习框架，网络训练周期为30 轮，训练批次大小batch 设置为128；设置学习率为0.000 1；缩放系数β设置为64；L和P均设置为64；使用随机梯度下降法，其中，动量参数设置为0.99。

2.3 算法性能分析

将本文算法、文献[5] K 秩准则算法和文献[10]K-Means++聚类算法进行性能对比，其中K选取文献[5]的最优K 值。

(1)采样长度对算法性能影响

当信噪比为-20 dB～-9 dB,虚警概率Pf为0.01，协作次用户数为6，本文算法在采样长度分别为2 000、4 000和8 000 点情况下的检测概率曲线如图5 所示。

图5 不同采样长度下的检测曲线

由图5 可见，随着信噪比的增加，算法的检测概率随之提高；随着采样点数的增加，算法的检测性能随之提高。但是各个次用户的计算负担也增加。综合考虑，下文取采样点数为4 000 点。

(2)次用户数对算法性能影响

本节训练了协作次用户数M为3、6、9 和12 的网络模型，检验算法性能。在信噪比为-20 dB～-9 dB,虚警概率Pf为0.01 时，本文算法在不同次用户个数情况下的检测概率曲线如图6 所示。

图6 不同次用户数下的检测曲线

由图6 可见，随着次用户数的增加，本文算法的检测性能越好。在信噪比为-17 dB 时，协作次用户数分别为3、6、9 和12 时的检测概率为32%、38%、46%和52%。但是，次用户个数增加导致融合中心计算和存储的复杂度增大。故下文折中选取6个次用户与对比算法进行性能对比。

(3)算法性能对比

当信噪比为-20 dB～-9 dB,虚警概率Pf分别为0.01和0.001 时，本文算法、文献[5]算法和文献[10]算法的检测概率曲线如图7 所示。

图7 3 种算法在不同虚警概率不同信噪比下的性能曲线

从图7 可以看出，本文算法在两种Pf下的检测性能都远优于两种对比算法；甚至在Pf为0.001 时本文算法的检测性能优于Pf为0.01 时的两种对比算法。这得益于自注意力网络模型能够充分提取次用户的能量向量特征。

(4)算法ROC 对比

信噪比分别为-15 dB～-17 dB，虚警概率Pf在区间[0.001,0.2]取不同值情况下3 种算法的ROC 曲线如图8所示。

图8 3 种算法的ROC 性能

由图8 可见，在相同信噪比、相同虚警概率下，本文算法检测概率最高，进一步说明本文网络模型的优越性。

3 结论

为了进一步提高协作频谱感知算法的检测性能，本文本文提出了一种基于多头自注意力机制的协作频谱感知算法，设计了多头自注意力网络，提取融合中心收集到的能量向量特征，进行频谱感知。仿真结果表明，相比K 秩准则算法和基于降维及聚类的深度协作频谱感知算法，本文算法在提升检测概率的同时降低了虚警概率。由于频谱感知算法检测性能易受无线电环境的影响，因此后续将进一步研究对于更低的信噪比环境以及更复杂的恶意攻击下，如何保证感知算法的性能。