基于深度卷积神经网络的协作频谱感知方法

盖建新 薛宪峰 吴静谊 南瑞祥

(哈尔滨理工大学测控技术与仪器黑龙江省高校重点实验室 哈尔滨 150080)

1 引言

频谱感知是认知无线电技术的一项关键性任务。传统的单节点频谱感知方法主要包括能量检测[1]、循环平稳特征检测[2]、匹配滤波检测[3]等。传统的单节点频谱感知方法易受到阴影衰落、低信噪比(Signal to Noise Ratio,SNR)和隐藏终端等影响。文献[4–6]提出基于信号协方差矩阵的协作频谱感知算法，在一定程度上弥补了上述频谱感知方法的缺陷。为解决协作频谱感知确定检测门限难的问题，研究人员将机器学习策略引入频谱感知。基于机器学习的频谱感知方法无需确定检测门限，就可进行信号识别和分类。文献[7–9]提出基于支持向量机(Support Vector Machine,SVM)的频谱感知方法，该方法将接收到的能量信号作为特征向量，能够有效地区分信号和噪声，SVM算法存在需构造特征参数以及训练时间较长的不足。卷积神经网络(Convolutional Neural Network,CNN)具有多层网络结构，适合解决图像特征提取问题，在提取2维图像特征方面具有优势[10–13]。文献[10–13]将CNN引入高光谱分类中，并取得了较高的识别率。文献[14–16]将CNN引入频谱感知领域中，将接收信号的灰度图像作为CNN的输入，然后训练CNN模型进行频谱感知。该方法无需理论推导检测门限，无需构造特征参数。但传统CNN频谱感知方法受限于网络层数少，提取的特征信息有限。随着训练网络层数的增加，CNN容易出现梯度消失，导致频谱感知准确率下降。

捷径连接早期应用在霍普菲尔德网络[17]，通过在两个神经元之间加入一条“捷径”的回路，使梯度直接传递到下一个神经元，有利于网络信息传递。早期的多层感知机也在网络层之间添加捷径连接，用于解决梯度消失，实现堆叠更多的网络层数[18,19]。深层结构的网络有助于提升图像分类和识别的准确率，将捷径连接引入频谱感知问题，捷径连接可以跳过1个或多个层，使得梯度更容易传递到更深的网络，有望克服传统CNN频谱感知方法提取图像特征受限、深层的网络导致梯度消失等问题。

为解决CNN频谱感知方法网络结构简单导致提取接收信号的特征信息有限，直接堆叠层数会降低频谱感知准确率和频谱感知效率等问题，本文在CNN中加入捷径连接，提出深度卷积神经网络(Deep Convolutional Neural Network,DCNN)协作频谱感知方法。本方法首先将接收信号的协方差矩阵进行归一化处理，形成协方差灰度图像。然后使用DCNN频谱感知模型学习灰度图像的深层特征。最后将测试数据输入到DCNN频谱感知模型中，完成基于图像分类的频谱感知。理论分析和实验结果验证了本文方法的有效性。

2 系统模型

假设认知无线电网络是由1个授权用户和M个非授权用户组成的。非授权用户检测有无授权用户信号可表示为2元假设检验问题

其中，H0表示频谱空闲；H1表示频谱占用。x(n)表示接收信号，s(n)表 示授权用户的发射信号，u(n)表示均值为0和方差为σ2的高斯分布噪声。从分类的角度可将H0,H1表示为二分类问题：H0只有噪声，H1有授权用户的发射信号和噪声。本文采用文献里常用检测概率Pd和虚警概率Paf两个频谱感知性能指标来评价频谱感知算法性能，检测概率和虚警概率分别定义为

设第k个非授权用户接收的信号向量为

接收信号矩阵为

其中，N为接收信号的采样点数。接收信号协方差矩阵R使用N点接收信号矩阵X进行估计，其表达式为

在H0情况下，R矩阵中对角线元素仅包含噪声功率信息；在H1情况下，对角线元素包含授权用户的发射信号和噪声信息。本文利用在H0和H1情况下接收信号协方差矩阵图像的特征差异，借助深度学习在图像分类方面的优势来完成频谱感知。

3 基于DCNN的协作频谱感知方法

传统CNN频谱感知模型采用LeNet-5网络结构[16]。CNN的层数越多，学习到的特征越丰富，这样更有利于对图像进行分类。传统CNN频谱感知模型结构简单，过多地增加网络层数会出现梯度消失，导致图像分类准确率下降。

本文为提高CNN提取深层图像特征的能力，在传统CNN频谱感知方法中加入捷径连接，提出DCNN协作频谱感知方法。该方法首先将接收信号的观测向量矩阵转换成协方差矩阵灰度图像作为DCNN频谱感知模型的输入，使用训练集数据训练DCNN频谱感知模型，提取深层2维灰度图像的信息，将测试数据输入到模型中，完成基于图像分类的频谱感知。频谱感知模型如图1所示。

图1 频谱感知模型

3.1 数据预处理

图2为正交相移键控(Quadrature Phase Shift Keying,QPSK)系统框图，接收信号通过串并转换、瑞利信道、加性高斯白噪声(Additive White Gaussian Noise,AWGN)、低通滤波、抽样判决得到I,Q两路信息。

图2 QPSK系统框图

当非授权用户数为M时，R矩阵大小为M×M，接收信号为

其中，Ik(n)和Qk(n)分别代表第k个非授权用户接收到I路和Q路信号。M个非授权用户进行N次采样得到接收信号的实部和虚部的矩阵，其表达式分别为

3.2 残差学习

在研究更深层的CNN收敛时，梯度消失问题时有发生。残差学习在一定程度上可以解决梯度消失问题。如图3所示，残差学习不需要每一层X都直接对应一个最优特征映射图H(X)，而是通过捷径连接实现残差映射F(X):=H(X)-X。这样原最优特征映射图H(X)改写成F(X)+X。F(X)+X通过在上一层网络中做一个捷径连接来实现。

DCNN的块结构定义为

其中，x和y分别为各层的输入和输出向量，F(x,{Wi})表示残差特征映射图。在图3中，DCNN的块结构有2层，F=W2f(W1x)中的f为线性整流函数(Rectified Linear Unit,ReLU)。相比于CNN,DCNN的复杂度并未提高，因为在正向传播时，F(X)+X是由F(X)和X相加得出的，并未引入额外的参数。

图3 DCNN的块结构

3.3 捷径连接

本文受文献[17–19]启发，在传统CNN频谱感知方法中引入捷径连接思想用于解决梯度消失问题。为了便于分析且不失一般性，图4给出了简化的具有多个残差学习模块(Residual Learning Module,RLM)的DCNN模型示意图，省略了第1个浅层特征提取的卷积层以及捷径连接内的卷积层。

图4 简化的DCNN结构

DCNN通过捷径连接由浅层l到深层L的学习特征，可表示为

利用链式求导法则，反向传播过程中的梯度为

在前向传播过程中，DCNN的期望输出与实际输出存在误差，误差损失函数可表示为

在反向传播过程中，图4中最后一层x18的梯度表示为

将l=15,12,9,6,3,0分别代入式(11)，并与式(13)联立可推导出x0的梯度

使用类似方法推导未加入捷径连接的CNN的反向传播，可得x0的梯度为

从式(14)可以看出，在DCNN中加入捷径连接，有了系数1的存在，即使每个卷积层的权值W进行累乘，得到的数值接近为0，x0的梯度也不会出现梯度消失问题。从式(15)可以看出随着网络层数的增加，每个卷积层的权值W进行累乘，使得x0的梯度变化越来越小，直到消失。

3.4 DCNN的结构

本文设计的21层DCNN是由输入层、卷积层(Conv)、批处理规范化层(Batch Normalization,BN),RLM1～6,ReLU层、全连接层、分类标签和捷径连接组成的。图5为DCNN的结构框图，DCNN使用捷径连接恒等映射到更深层次的网络，同时避免梯度消失的问题。在低SNR、多用户协作感知时，DCNN频谱感知方法的性能指标显著超过传统CNN频谱感知方法的性能指标。

图5 DCNN的结构框图

本文设计的DCNN结构参数如表1所示。其中，m@(n×n)中m表 示卷积核个数，n表示卷积核大小。

表1 DCNN的结构参数

图6为基本RLM，当卷积层的大小发生改变时，捷径连接通过使用1×1卷积层及BN来改变卷积层的大小。

图6 基本RLM

其中，Conv表示卷积层，K表示卷积核的数量，S表示填充的大小。

3.5 DCNN频谱感知算法

本文所提基于DCNN的频谱感知算法如表2所示。DCNN频谱感知算法采用m对训练数据{(x(1),y(1)),...,(x(m),y(m))}，n对测试数据{(x(m+1),y(m+1)),...,(x(m+n),y(m+n))}，其中，x(·)表示接收信号的协方差矩阵，y(·)表示接收信号的分类标签值。DCNN频谱感知模型的输入到输出的残差映射图表示为

表2 基于DCNN的协作频谱感知算法

DCNN训练的损失函数表示为

4 实验结果及分析

4.1 测试配置

实验中CPU采用Intel Core i7-1065G7,GPU采用NVIDIA GeForce MX350。本文面向通信中常用的QPSK调制方式，通过MATLAB仿真QPSK调制解调过程，得到I,Q两路各自的协方差矩阵信号数据并进行归一化灰度处理，作为授权用户发射信号的数据集。QPSK的串行信息比特率为20 kbps，载波频率为40 kHz，每个载波周期的采样点数为40，噪声是均值为0、方差为1的高斯白噪声(White Gaussian Noise,WGN)。为模拟信道衰落效应，实验中用MATLAB仿真瑞利分布信道。模型训练的损失函数采用均方误差函数，训练时所有参数按高斯分布随机初始化。训练时将小批量(batch)设定为16，采用动量GDM作为训练方法，动量因子为0.9，学习率为0.01。通过调整Simulink的AWGN模块参数，得到不同SNR下授权用户发射信号数据。协方差矩阵灰度图的大小是M×M，本文训练非授权协作用户M为40的DCNN模型。

4.2 算法的性能对比

本文设计4个实验来验证基于DCNN的协作频谱感知方法的有效性。实验1考察网络层数对DCNN,CNN频谱感知方法分类准确率的影响；实验2对比捷径连接对DCNN,CNN频谱感知方法的梯度的影响；实验3对比DCNN,CNN[16]和SVM[7]频谱感知方法的感知效率；实验4对比DCNN,CNN和SVM频谱感知方法的感知精度。

实验1考察网络层数对DCNN,CNN频谱感知方法分类准确率的影响。

本实验中，授权用户发射信号数据的SNR在–19～0 dB范围内变化，步进为1 dB。每种SNR选取50组信号数据，形成的1000组信号数据作为有信号的训练集。选取1000组WGN信号作为无信号的训练集。为了具有普遍意义，测试集也选取多种SNR的信号，选取方法如下：每种SNR选取5组信号数据，形成的100组信号数据作为有信号的测试集；选取100组WGN信号作为无信号的测试集。在实验中，DCNN和CNN都采用相同卷积层数，图7给出了随着网络层数的增多DCNN,CNN频谱感知方法分类准确率的变化曲线。

由图7可见，当网络层数小于等于16时，DCNN比CNN的准确率稍高；网络层数大于16时，DCNN的准确率先上升，在网络层数为21时达到最高点，随后缓慢下降至90%左右。而此时CNN的准确率则是急剧下降，在网络层数为21层时低至50%，最后稳定在50%左右。图8给出了在不同非授权用户数时，DCNN频谱感知分类准确率随网络层数的变化情况(DCNN_10,DCNN_20,DCNN_40分别对应10,20,40个非授权用户)。由图8可见，在其他非授权用户数时，DCNN也呈现出上述近似规律。究其原因，网络层数过多，导致CNN梯度消失，训练误差变大，进而影响了分类准确率。深层DCNN通过提取更多的灰度图像特征起到了提升频谱感知分类准确率的作用。然而过深的DCNN分类准确率也出现了缓慢下降，其原因是过深的DCNN所需要训练的参数会增加，频谱感知模型的复杂度也会随着变高，过深的DCNN训练时出现了过拟合。当网络层数达到21层时，DCNN的准确率达到峰值，故本文选取具有21层网络结构的DCNN作为频谱感知网络模型。

图7 DCNN,CNN准确率随网络层数的变化

由图8还可以看出，在网络层数相同时，随着非授权用户数的增多，总体上DCNN频谱感知分类准确率呈上升趋势。由于非授权用户的数量增多，所提供授权用户发射信号的特征信息也随之增多，有助于提升DCNN频谱感知方法分类准确率。

图8 不同非授权用户数的DCNN分类准确率随网络层数的变化

实验2对比捷径连接对DCNN、CNN频谱感知方法的梯度的影响。

本实验中，DCNN,CNN频谱感知方法选取的网络层数为21层，卷积层和卷积核的大小参数相同，数据集选取方法同实验1。图9和图10分别为DCNN,CNN的准确率、损失随着迭代次数的变化曲线。

由图9和图10可见：随着迭代次数的增加，DCNN的准确率逐渐稳定在99%左右，CNN的准确率稳定在50%左右，DCNN的准确率显著高于CNN的准确率；DCNN的损失稳定在0.02左右，CNN的损失稳定在0.69左右，DCNN的损失低于CNN的损失。可见随着迭代次数的增加，DCNN在准确率和损失方面均表现出了较大优势。DCNN优势可归因于其模型中有捷径连接，梯度信息可跨层传递，抑制了梯度消失的发生，降低了损失，提高了准确率；而CNN在网络层较多时，随着迭代次数的增加则很快发生了梯度消失现象，在进行反向传播时，卷积层的权值参数无法得到更新，导致CNN模型训练的准确率大幅度下降。充分说明在传统CNN频谱感知方法中加入捷径连接可提高网络模型的准确率并缓解梯度消失问题。

图9 DCNN,CNN的准确率随迭代次数的变化

图10 DCNN,CNN的损失随迭代次数的变化

实验3DCNN,CNN和SVM频谱感知方法的感知效率对比。

在实验中，DCNN和CNN频谱感知方法使用了5层(分别对应DCNN_5L,CNN_5L)和21层(分别对应DCNN_21L,CNN_21L)的网络，其他的网络参数相同。实验的数据集选取方法与实验1相同。

表3对比了3种不同频谱感知方法在离线训练时间、在线检测时间等方面的性能。由表3可见，当DCNN,CNN具有相同的网络参数时，DCNN的在线检测时间和离线训练时间优于CNN频谱感知方法。这是由于DCNN中的捷径连接加快网络收敛速度，缩短在线检测时间和离线训练时间。与SVM[7]相比，本文方法所需离线训练时间较长，在线检测时间较短。这是由于DCNN所需要训练的参数要多于SVM方法，导致离线训练时间略长。在线检测阶段，信号数据可直接输入预先训练好的DCNN中，而SVM仍需提取信号数据的特征参数，因此，DCNN频谱感知方法所需的在线检测时间更短。

表3 3种算法的离线训练时间和在线检测时间(s)

从复杂度角度考虑。令n表示训练样本数，m表示非授权用户数。SVM算法需要计算矩阵特征值和进行复杂度为O(n3)的分类，总体的复杂度为O(nm3+n3)。CNN频谱感知算法的复杂度为[20]，其中，L,Fl,Kl,Ql分别表示网络层数、第l个Conv输出的特征图的边长、卷积核的边长以及输出通道数。DCNN频谱感知算法的复杂度与CNN算法的复杂度的唯一的差别在于网络层数l的不同。DCNN频谱感知算法通过捷径连接可以跳过一个或多个Conv，这使得中的l可以“跳跃式”选择层数，而不需要像CNN算法那样复杂度l从第1层一直累加到第L层，因此DCNN减少了训练卷积层所需要的参数，降低了算法的复杂度。

实验4DCNN,CNN和SVM频谱感知精度对比。

图11比较了DCNN,CNN和SVM频谱感知方法在SNR为–19～0 dB的检测概率。在实验中，每种SNR下取40个非授权用户共同测得的1000组信号数据和1000组WGN噪声数据为训练集数据，每种SNR下取40个非授权用户共同测得的100组信号数据和100组WGN噪声数据为测试集数据。由图11可见，当SNR低于–10 dB时，DCNN的检测概率始终高于CNN,SVM的检测概率，例如，在SNR=–19 dB时，DCNN,CNN的检测概率分别为0.98,0.88。当SNR大于等于–10 dB时，DCNN的检测概率与CNN相同、优于SVM，其原因是DCNN利用深层网络的优势，能够提取更丰富的接收信号的信息，有效地区分有无授权用户发射信号。

图11 DCNN,CNN和SVM在不同SNR下的检测概率

虚警概率也是评价频谱感知有效性的重要指标之一。为了更全面地验证所提出DCNN频谱感知方法的有效性，通过统计和记录1000次实验中的虚警概率及其对应的检测概率，得到了DCNN,CNN和SVM频谱感知方法的受试者工作特征(Receiver Operating Characteristic,ROC)曲线，如图12所示。实验中，每次实验选取数据集的方法与实验1相同。

图12 DCNN,CNN和SVM频谱感知方法的ROC曲线

由图12可见，总体上3种频谱感知算法虚警概率与检测概率相互制约，欲获得较高的检测概率，虚警也会增大。在虚警概率Paf=0.01时，SVM,CNN,DCNN 3种方法的检测概率分别为0.60,0.76,1.00。在虚警概率一定时，DCNN的检测概率高于CNN,SVM的检测概率，其原因是DCNN通过残差学习，只需要学习网络输出与输入之间的差值，降低了提取灰色图像特征的难度，提高了检测概率。

5 结论

针对传统CNN频谱感知方法提取特征能力依赖网络深度、过深的网络引起梯度消失等问题，本文在传统CNN中结合捷径连接的思想，提出一种基于DCNN的协作频谱感知方法。本方法将频谱感知问题转化为图像二分类问题，将接收信号的协方差矩阵转换为灰度图像，通过训练DCNN频谱感知分类器，将测试集数据输入训练好的分类器中，完成基于图像分类的频谱感知。数值仿真结果表明，相比于CNN,SVM等频谱感知方法，本文提出的DCNN频谱感知方法，在相同的虚警概率下具有更高的检测概率，在相同的检测概率下虚警概率更低，且网络不易发生梯度消失等问题。