基于残差神经网络和注意力机制的频谱感知方法

王安义，孟琦峰，王明博

(西安科技大学 通信与信息工程学院，陕西 西安 710054)

0 引言

在全球信息技术和经济发展中,频谱资源已经成为各国建立新的竞争优势的关键战略资源,制约5G网络高速大容量的重要因素之一频谱资源的稀缺[1]。无线应用增长迅速,但固定频谱分配策略导致资源利用不充分,需探索新的频谱分配方法以高效利用频谱资源[2-3]。为了解决频谱资源短缺的问题,认知无线电(Cognitive Radio,CR)作为一种潜在的方法被提出[4],它允许次用户(Secondary User,SU)在主用户(Primary User,PU)不使用时访问PU,进而使得PU的传输不会受到其他因素影响。

传统的频谱感知方法主要包括能量检测(Energy Detection,ED)[5]、匹配滤波器检测[6]和环平稳特征检测[7-8]。传统的频谱感知方法在低信噪比(Signal to Noise Ratio,SNR)和复杂电磁环境下缺乏实时性和适应性,导致检测准确率较低。例如,能量探测器在卫星频谱传感场景中有着广泛应用,但在SNR下降到很低时,ED的表现依旧很差,甚至不能良好地工作。

深度学习(Deep Learning,DL)作为一种有效提取目标特征的方法,近年来已经被证明对许多复杂任务都是有效的,例如计算机视觉和自然语言处理等任务[9]。近年来,DL技术也开始广泛应用于频谱感知。文献[10]将深度神经网络与矿井下的频谱感知相结合,虽然这种方法检测概率有所提高,但是信号强度在矿井下严重衰落,导致在低SNR下该方法的检测概率依然很低。文献[11-12]提出利用信号协方差矩阵的频谱感知方法,将协方差矩阵灰度图像作为数据输入到卷积神经网络(Convolutional Neural Network,CNN)模型中,完成频谱感知。文 献[13-14]提出将信号的灰度图像送入CNN中进行分类,从而确定PU是否存在。但是CNN模型在提取特征方面存在一定限制,而且随着网络层数的增加,容易出现梯度消失的问题,导致频谱感知的准确度仍然相对较低。文献[15]把残差神经网络应用到频谱感知中,残差网络可以随着网络层数的增加而保持网络模型的性能,进而减缓模型性能退化的情况发生。为了提高CNN特征提取的能力,从而有效捕捉到特征图中更显著的特征,文献[16]引入了注意力机制,通过该机制可以增加目标重要特征的权重并抑制不重要信息的权重来提高模型的性能。

综上,本文提出了一种基于残差网络和注意力机制相结合的正交频分复用(Orthogonal Frequency Division Multiplexing,OFDM) 频谱感知方法,该方法利用对OFDM信号的循环自相关性进行分析,将频谱感知问题转换为图像处理问题。首先将信号循环自相关归一化后进行灰度处理,得到灰度图像,并将灰度图像分为训练集和测试集。然后将训练集输入到神经网络模型中训练提取信号的深层次特征。最后,使用训练好的模型对测试集进行频谱感知。

1 OFDM信号的循环自相关和系统模型分析

1.1 OFDM信号的循环自相关分析

OFDM的等效基带信号为:

(1)

式中:G表示OFDM信号的总长度,P(t)表示矩形脉冲,Tc表示码片时间,Ts表示符号有效周期时间,Ck,l表示插入CP中的第k个OFDM符号的第l个采样点。

时域的表达式为:

(2)

式中:N表示有效长度,D表示插入CP的长度,l=0,1,…,G-1,ak,n表示第k个OFDM信号的第n个子载波上的调制数据,n=0,1,…,N-1。

OFDM信号中传输数据与其复制源之间的相关性为:

非对称自相关函数表示为:

式中:τ=nτTc。插入CP引入了相关特性,从式中可以看出,OFDM信号有2个周期,大周期为Ts,小周期为Tc,所以有:

(5)

式中:τN=|τ|-NTc。

以上证明了OFDM信号具有循环自相关特征,并且Rx(t,τ)具有周期性。进一步对Rx(t,τ)进行傅里叶变换,该表达式可以表示为:

(6)

式中:α表示循环频率。

1.2 OFDM信号的系统模型分析

频谱感知是通过SU感知PU是否存在于一个特定的通道中。由此,频谱感知可以建模为经典的二元假设检验问题,分别对应于PU的存在和不存在,该问题可以表示为:

(7)

式中:H1表示信道中有授权用户,即存在OFDM信号;H0表示信道中无授权用户。因此,频谱感知问题可以被视为一个二元分类问题,其中H0表示仅存在噪声,而H1表示存在PU信号和噪声。此外,本文将通过检测概率Pd和虚警概率Pfa这2个性能指标来评估频谱感知模型的性能,Pd和Pfa的计算如下:

Pd=P{{H1|H1}},

(8)

Pfa=P{{H1|H0}}。

(9)

根据1.1节的说明,OFDM信号的循环自相关特征与噪声信号有所不同。通过对三维循环谱图进行归一化处理,使用灰度值来表示循环谱图中自相关值的大小(较深的颜色表示较大的值)。这一过程生成了H0和H1情况下的循环自相关灰度图。其中,H0和H1情况下的三维循环自相关及其相应的灰度图分别如图1和图2所示。

(a)H1时OFDM的循环自相关三维图

(a)H0时OFDM的循环自相关三维图

(b)H0时OFDM循环自相关灰度图像

2 基于ResNet-CBAM的OFDM频谱感知模型

2.1 频谱感知系统框架

传统的CNN频谱感知模型通常采用LeNet-5网络结构,由于其网络层数较少,会造成特征提取的不充分。此外,随着网络层数的增加,网络梯度消失的问题也会更加明显,进而影响模型的感知性能。

针对上述问题,提出了具备更强的特征提取能力的ResNet-CBAM频谱感知模型。该模型在传统的CNN频谱感知模型中加入残差结构以缓解模型梯度消失的问题,同时使用注意力机制捕捉到特征图中更显著的特征。频谱感知系统框架如图3所示。首先采集OFDM信号,然后将其进行特征提取后映射转化为灰度图像,分为训练集和测试集。然后使用训练集训练ResNet-CBAM频谱感知模型,对数据进行深层次的特征提取并完成模型的训练。最后将测试集输入到模型中完成频谱感知。

图3 频谱感知系统框架Fig.3 Framework of spectrum sensing system

2.2 ResNet-CBAM频谱感知模型

传统的CNN频谱感知模型随着网络层数的增加,会导致模型梯度的消失,从而降低模型的准确率。为了解决这一问题,使用了残差神经网络ResNet作为频谱感知的基准模型,如图4所示,其中ResNet频谱感知模型由输入层、浅层特征提取Conv层、多个级联的ResNetblock层、Fc层和分类标签层组成。

图4 ResNet频谱感知模型Fig.4 ResNet spectrum sensing model

为了在网络模型计算能力有限的情况下进一步提高模型的精度,提出了ResNet-CBAM频谱感知模型,如图5所示。该模型把卷积注意力机制 (Con-volutional Block Attention Module,CBAM) 整合到ResNet网络中,即把图4中级联的Resblock替换为Resblock-CBAM。其中CBAM可以利用其空间注意力机制(Spatial Attention)和通道注意力机制(Channel Attention),将更多的计算资源分配到更重要的特征上并抑制对不重要特征的关注,进一步增强对图像特征的提取,从而更好地学习信号特征,避免资源浪费。由于CBAM属于轻量级模块,在保留图像信息并提升模型准确率的同时,不会增加过多的模型参数。在ResNet-CBAM模型中,浅层特征提取Conv层卷积核的大小为 1 × 1,卷积核数为 2,Resblock-CBAM卷积核大小为3× 3,卷积核数为16。

图5 ResNet-CBAM频谱感知模型Fig.5 ResNet-CBAM spectrum sensing model

Resblock-CBAM结构如图6所示,由此可得ResNet-CBAM模型的残差函数为:

图6 Resblock-CBAM结构Fig.6 Resblock-CBAM structure

F(x)=f(x)+x+C(x),

(10)

式中:x为残差块输入值,f(x)为Resblock的观测值,C(x)为CBAM的观测值,F(x)为Resblock-CBAM的输出。

CBAM示意如图7所示。

图7 CBAM示意Fig.7 CBAM schematic

通道注意力机制为:

Mc(F)=σ{MLP[avgpool(F)]+MLP[maxPool(F)]}=

(11)

空间注意力机制为:

Ms(F)=σ(f7×7{[avgPool(F);maxPool(F)]})=

(12)

2.3 ResNet-CBAM模型的训练

在ResNet-CBAM模型中,使用前n对数据{(x(1),y(1)),(x(2),y(2)),…,(x(n),y(n))}作为训练集,后m对数据{(x(n+1),y(n+1)),(x(n+2),y(n+2)),…,(x(n+m),y(n+m))}作为测试集,其中x(·)表示灰度图像,y(·)表示灰度图像的标签值。在该模型的前向传播过程中从输入到输出映射关系为:

(13)

(14)

3 实验分析

3.1 实验条件

为了验证ResNet-CBAM频谱感知模型的性能,进行了以下的仿真实验,并标明了实验中使用到的参数配置。在实验中,CPU采用Intel Core i7,GPU采用NVIDIA GeForce 3060。使用Matlab 2020a生成OFDM信号,该信号的载波频率fc为10 MHz,采样频率fs为40 MHz,选取SNR为-20～0 dB的OFDM信号作为实验数据。选取的OFDM信号经过瑞利信道和高斯白噪声信道后,按照1.2节的方法对信号进行循环自相关归一化处理,再将处理后的信号转化成灰度图像。在转化灰度图像的过程中,设置采样点N=900,使得构建的灰度图像长、宽为30。OFDM信号的详细参数如表1所示。模型训练的损失函数采用交叉熵损失函数,训练过程中使用自适应矩估计(Adam)[17]优化算法 ,Batch设为32,学习率为0.001。

表1 OFDM参数Tab.1 OFDM parameters

3.2 实验1 模型的网络层数对模型准确率的影响

在本实验中,OFDM信号的SNR在-20～0 dB,以2 dB为间隔变化,每种SNR下取相同数量的OFDM信号数据和噪声数据,每种SNR选取100组数据,形成1 100组信号数据和1 100组噪声数据。为了创建训练数据集,选择了990组信号数据和990组噪声数据,而110组信号数据和110组噪声数据则保留为测试数据集。在实验设置中,ResNet-CBAM和CNN均采用相同数量的卷积层。图8显示了随着网络深度增加,频谱感知方法(ResNet-CBAM和CNN)的分类准确率变化情况。

图8 ResNet-CBAM、CNN的准确率随网络层数的变化Fig.8 Changes of ResNet-CBAM,CNN accuracy with the number of network layers

ResNet-CBAM、CNN的准确率随网络层数的变化如图8所示,当网络层数小于23时,ResNet-CBAM的准确率持续上升,并在23层时达到最高,CNN准确率持续下降至50%,而ResNet-CBAM的准确率始终比CNN高。随着层数的逐步增加,ResNet-CBAM的准确率缓慢下降至85%左右,而CNN的准确率一直维持在50%。网络层数的增加导致CNN梯度的消失,从而使得模型的准确率下降。然而深度ResNet-CBAM由于可以有效提取更多的图像特征,从而提高模型的准确率。过深的网络层数也会使ResNet-CBAM的性能下降,因为过深层数的ResNet-CBAM在训练时会出现过拟合现象。由于ResNet-CBAM在网络层为23时准确率最高,所以本文中ResNet-CBAM模型的网络层数选取为23。

3.3 实验2 残差结构对模型损失的影响

本实验中ResNet-CBAM和CNN的网络层数均为23,数据集选取方式与实验1相同。ResNet-CBAM、CNN的损失随迭代次数的变化如图9所示,随着迭代次数的增加,ResNet-CBAM的损失最终稳定在0.1左右,而CNN的损失下降幅度小,很难收敛,最终维持在0.66左右,并且ResNet-CBAM的损失始终低于CNN的损失。ResNet-CBAM、CNN的准确率随迭代次数的变化如图10所示,随着迭代次数增加,ResNet-CBAM的准确率稳定在0.96左右,CNN的准确率稳定在0.52左右,而且ResNet-CBAM的准确率始终远高于CNN的准确率。说明ResNet-CBAM的优势在于具有残差结构,能够防止梯度消失发生,降低了损失并且提高了准确率,在CNN中加入残差结构可以有效防止梯度消失问题。

图10 ResNet-CBAM、CNN的准确率随迭代次数的变化Fig.10 Changes of ResNet-CBAM,CNN accuracy with the number of iterations

3.4 实验3 训练数据规模对ResNet-CBAM性能的影响

为了对比不同规模的训练样本对23层的ResNet-CBAM检测概率的影响,选取了SNR在 -20～0 dB间隔为2 dB的训练数据,其中每种SNR下取相同数量的OFDM信号数据和噪声数据,取 4个不同大小的训练集(H),分别为4 400、8 800、 17 600、22 000。测试集由1 100组信号数据和 1 100组噪声数据组成。训练数据规模对算法检测概率影响如图11所示,在训练样本较小时,ResNet-CBAM在不同SNR下检测概率波动很大。随着样本规模的增大,ResNet-CBAM在不同SNR下检测概率逐渐增加。

图11 训练数据规模对算法检测概率影响Fig.11 Influence of training data size on algorithm detection probability

3.5 实验4 不同模型的频谱感知检测概率比较

ResNet-CBAM、CNN、SVM、ED和自相关检测(Autocorrelation Detection,AD)[18]在不同SNR下的检测概率如图12所示。

图12 ResNet-CBAM、CNN、SVM、ED和AD在不同SNR下的检测概率Fig.12 Detection probabilities of ResNet-CBAM,CNN,SVM,ED and AD under different SNR

比较了ResNet-CBAM、CNN、SVM、ED和AD频谱感知方法SNR在-20～0 dB下的检测概率。本实验中,实验数据选取实验3中样本规模H=22 000的数据集作为训练集,由1 100组信号数据和1 100组噪声数据组成测试集。由于传统算法不需要训练,样本为接收端处理后的数据。可以看出,在SNR低于-10 dB时ResNet-CBAM频谱感知方法的检测概率始终高于CNN、SVM、ED和AD频谱感知检测概率。这是因为ResNet-CBAM具有注意力模块,能够提取更多有用的特征并抑制无用的特征,从而有效提高模型的检测能力。

除了检测概率,虚警概率也是评估频谱感知算法性能的重要度量之一。为了全面验证所提出的ResNet-CBAM频谱感知方法的有效性,进行了一组实验,其中SNR=-14 dB。通过多次实验系统记录虚警概率及其对应的检测概率,获得了ResNet-CBAM、CNN、SVM、ED和AD频谱感知方法的Receiver Operating Characteristic(ROC)曲线,如图13所示。

由图13可以看出,ResNet-CBAM频谱感知方法具有更优的检测性能。在虚警概率Pfa=0.05时,ResNet-CBAM、CNN、SVM、ED和AD五种方法的检测概率分别为0.98、0.87、0.70、0.36和0.30。在给定虚警概率的情况下,ResNet-CBAM的检测概率优于其余4种方法,说明ResNet-CBAM通过残差结构和注意力机制可以有效提高特征提取能力,从而提高检测概率。

4 结束语

针对传统CNN模型在频谱感知中存在的梯度消失和特征提取不足等问题,通过结合残差神经网络和注意力机制,提出了ResNet-CBAM频谱感知方法。通过利用OFDM信号的循环自相关性来获取其灰度图像,并将这些图像作为模型的数据集,将频谱感知问题转化为图像处理问题。仿真结果表明,在低SNR条件下,这一方法不仅在性能上超越了常规的CNN频谱感知方法、避免了梯度消失等问题,还在相同的虚警概率下,相较于传统的SVM、ED等频谱感知方法,表现出更高的检测概率。