基于残差密集网络的频谱感知方法

盖建新，薛宪峰，南瑞祥，吴静谊

（哈尔滨理工大学测控技术与仪器黑龙江省高校重点实验室，黑龙江 哈尔滨 150080）

1 引言

频谱感知是认知无线电（CR,cognitive radio）的核心技术之一。传统频谱感知方法主要包括能量检测法[1-3]、循环平稳特征检测法[4-5]、匹配滤波检测法[6]、特征值检测法[7]等。这些方法主要面向高斯白噪声（WGN,white Gaussian noise）干扰下的频谱感知问题，频谱感知前需先计算检测门限。在实际无线电环境中，噪声不一定服从高斯分布，计算出的检测门限也是近似值，检测门限的准确与否将直接影响频谱感知的检测性能。

为克服传统频谱感知方法不易确定检测门限的问题，学者们提出了基于机器学习的频谱感知方法。此类方法不需要计算检测门限，利用训练分类器就可完成信号识别。Awe 等[8]、Bao 等[9]和陈思吉等[10]提出了基于支持向量机（SVM,support vector machine）的频谱感知方法，SVM 将采样到的能量信号作为训练集与测试集，能够对信号与噪声进行分类识别。但是该方法需求解特征参数并且存在感知时间长的缺点。Tang 等[11]和Vyas 等[12]分别提出基于人工神经网络（ANN,artificial neural network）的频谱感知方法，ANN 将信号能量与周期平稳特征作为输入，用训练好的ANN实现频谱感知。与SVM 相比，ANN 通过调整权值、偏置，可提高频谱感知的准确度。ANN 采用反向传播算法，ANN 层数越多越容易出现梯度消失问题。卷积神经网络（CNN,convolutional neural network）利用卷积层、池化层、全连接层等多层网络结构，可克服二维图像特征提取困难，便于处理图像识别与分类任务[13]。高红民等[13]、Yu等[14]、Maffei 等[15]和Chen 等[16]分别将CNN 应用到高光谱图像识别领域，通过提取图像特征，训练高光谱分类网络，最后将高光谱图像输入CNN中并取得良好的分类准确率。Liu 等[17]、Lee 等[18]和张孟伯等[19]将CNN 用于解决频谱感知问题，CNN 的数据集由接收信号的灰度图像组成，此类方法训练CNN 提取图像的特征，将在线数据输入CNN 中进行频谱感知。CNN 避免了计算检测门限，省去了求解特征参数；但其对特征图信息利用率低且提取的特征信息有限，频谱感知的准确率有待提高。

捷径连接最早在 Hopfield Network[20]中提出，通过在任意2 个神经元之间添加捷径连接，使梯度能够传递到其他神经元，加速信息传递。多层感知机也利用捷径连接缓解梯度消失问题，训练深层网络[21]。密集连接的思想早期体现在神经网络结构中，前一层的所有神经元直接和下一层的神经元相连，形成一个类似于扇形的密集结构[22]。下一层的神经元充分利用前一层的所有神经元的信息，神经元之间的密集连接有利于神经网络的训练。Wilamowski 等[23]在全连接层使用密集连接，通过全连接层中两两相连的神经元进行信息传递，提高了网络分类的准确率。在传统CNN 频谱感知方法中加入捷径连接，有望训练更深的网络，CNN 提取特征的能力随着网络层数的增多而增强。在传统CNN 频谱感知方法中加入密集连接，有望实现任意2 个卷积层特征提取信息重利用，有助于提升图像分类和识别的准确率，有望克服传统CNN 频谱感知方法未能有效利用特征图信息并且提取图像特征能力薄弱等问题。

本文为充分利用传统CNN 频谱感知方法的特征图信息，并训练深层网络来提高特征图信息提取能力，在传统CNN 频谱感知方法中加入捷径连接和密集连接，提出一种残差密集网络（ResDenNet,residual dense network）频谱感知方法。该方法首先将接收信号分割成矩阵，对矩阵进行归一化处理并转为灰度图像作为ResDenNet 的输入；然后使用ResDenNet 中的基本密集单元提取灰度图像的特征，进行局部特征融合，在密集单元两端引入捷径连接，提取任意的密集单元特征，进行特征融合；ResDenNet 训练完成后，将在线数据输入ResDenNet 中，完成频谱感知。

2 感知模型

在CR 网络中，非授权用户检测有无授权用户信号可对应为二元假设检验问题

其中，H0表示频谱信道空闲，即不存在授权用户信号；H1表示频谱信道占用，即存在授权用户信号。n表示采样点数，x(n)表示接收信号，s(n)表示受到瑞利信道衰落的授权用户的发射信号，u(n)表示均值为0 且方差为σ2的高斯分布噪声。从分类的角度可将H0和H1表示为二分类问题：H0只有噪声，H1有授权用户的发射信号和噪声。本文使用检测概率Pd和虚警概率Pfa这2 个频谱感知性能指标来评价算法性能。其中，Pd是指授权用户存在且被成功检测的概率，Pfa是指授权用户不存在却被错误检测为存在的概率，可分别表示为

设非授权用户接收的n个采样点的信号向量为

信号向量经过I、Q解调后分割成2 个M行、n/M列的信号矩阵。

信号矩阵存在2 种情况，一种情况是存在授权用户的发射信号与噪声，另一种情况是仅存在噪声。有无发射信号的区别在于采样矩阵的整体分布不同。

3 基于ResDenNet 的频谱感知方法描述

传统CNN 频谱感知方法[17]采用LeNet-5 网络结构，将接收信号X的矩阵灰度图作为CNN的输入层，通过卷积（Conv,convolution）、池化（Pooling）、激活函数ReLU 和全连接（FC,full connection）整合提取特征，输出层利用Softmax，输出结果为H0、H1。传统CNN 频谱感知方法存在两方面的不足。一方面，传统CNN 频谱感知方法的当前层的特征信息经过Conv 或Pooling操作后，不会参与之后的计算，导致对特征信息的浪费。另一方面，传统CNN 频谱感知方法结构简单，不能提取更深层的灰度图像特征。若直接增加过多的层数，会发生梯度消失，梯度一旦消失，CNN 无法更新权值信息，导致频谱感知性能下降。

针对上述问题，本文在传统CNN 频谱感知方法中加入密集连接，使基本密集单元中的Conv 相互传递信息，将特征图信息利用最大化。同时，在传统CNN 频谱感知方法中添加捷径连接可解决梯度消失问题，使输入层恒等映射更深层的网络结构。CNN 深度的增加提升了图像分类和识别的准确率。本文在传统CNN 频谱感知方法中结合上述思想，提出基于ResDenNet 的频谱感知方法。该方法首先将接收信号的观测向量分割成矩阵，将矩阵进行归一化灰度处理作为ResDenNet 频谱感知模型的输入，使用离线数据训练ResDenNet，将在线数据输入ResDenNet 中，进行频谱感知。频谱感知模型如图1 所示。

图1 频谱感知模型

3.1 数据预处理

为了仿真实际情况，本文对发射机和接收机分别进行仿真，进而生成训练集和测试集。需要指出的是，对于实际频谱感知系统来说，只需要接收机部分，不需要对发射机信号进行上述处理。QPSK 系统发射机与接收机仿真原理如图2 所示，发射信号通过串并转换、瑞利衰落信道、加性白高斯噪声（AWGN,additive white Gaussian noise）加噪，得到接收信号。加入WGN 的发射信号或WGN 通过正交采样、低通滤波和抽样判决，得到I、Q两路信号，然后共同组成频谱感知模型的原始数据，即

图2 QPSK 系统发射机与接收机仿真原理

其中，I(n)、Q(n)分别代表非授权用户对接收到的I、Q两路信号。对I、Q两路信号的n个采样点（n为M的整数倍）等距分割可得到M行n/M列的矩阵XI与XQ，其表达式分别为

对XI和XQ进行归一化灰度处理，用灰度值表征矩阵归一化后数值的大小。以矩阵XI为例，归一化灰度处理步骤如下。首先，计算最大值和最小值的差值的倒数rec 如下

其次，设xm,n为XI中第m行第n列的数值，归一化后的数值可表示为

将归一化灰度处理后的XI与XQ作为ResDenNet 频谱感知模型的输入。

3.2 捷径连接和密集连接

本文图3～图7 中，实线箭头表示任意2 个卷积层结构的连接，虚线箭头表示多个卷积层结构的省略连接。

传统CNN 频谱感知方法的结构如图3 所示，第l层的输入xl映射为第L层的输出H(xL)。传统CNN 频谱感知方法若堆叠过多的网络层数，当反向传播更新权重、偏置以及损失函数时，会导致梯度消失。其原因是，反向传播采用链式求导方法更新权值，对权值进行一系列连乘求偏导，使网络浅层部分的梯度接近于0，影响浅层部分的权值得不到更新，导致频谱感知模型性能下降。

图3 传统CNN 频谱感知方法的结构

在传统CNN 频谱感知方法中加入捷径连接可以改变梯度的流向，捷径连接通过跳过一个或多个Conv实现输出与输入特征图之间的残差映射，为基本残差块（BRB,basic residual block），其结构如图4 所示，F(·) 表示残差特征映射图，x l的梯度通过捷径连接直接传递到H(xS)，特征映射图H(xS)可表示为

图4 BRB 的结构

残差学习不需要每个输入层xl都直接映射一个最优特征映射图H(xS)，而是利用捷径连接实现残差映射F(xS)=H(xS)-xl，因此原最优特征映射图H(xS)就变成了F(xS)+xl。BRB利用捷径连接可使xl的梯度信息流向S层，避免了发生梯度消失问题，可利用深层网络强大的特征提取能力进行频谱感知。

BRB 并没有多次利用每个Conv 输出的信息，为加强BRB 的特征提取能力，本文通过密集连接，改进Conv 之间的信息流动，使任意不同的Conv实现特征信息重复利用，提高网络的特征提取能力。基本密集块（BDB,basic dense block）结构如图5 所示，xl可以直接获取x0,x1,…,xl-1经过Conv操作后的特征图信息，xl可表示为

图5 BDB 的结构

其中，[·] 表示不同特征图中的密集连接。密集单元内部采用密集连接方式，将不同Conv 输出的特征映射图连接起来，实现了特征图信息连续传递。

3.3 残差密集网络

ResDenNet 以残差密集块（RDB,residual dense block）为基础，RDB 由多个Conv 和ReLU 构成，起到特征提取的作用，每个RDB 中的输出都会与下一个RDB 的每个Conv 的输出建立捷径连接，实现特征图信息连续传递。第d个RDB 结构如图6所示。第d个RDB 的输入与输出分别为Fd-1和Fd，RDB 中第l个Conv 的输出为

图6 第d 个RDB 结构

其中，Hl(·) 表示含有批处理归一化（BN,batch normalization）、ReLU、Conv 等操作的复合函数。

在RDB 的输入与输出之间引入捷径连接，实现局部残差学习。RDB 最后的输出Fd可表示为

通过将RDB 的输入和输出相加实现局部残差学习，进一步提高RDB 的特征提取能力，有助于提高频谱感知能力。

RDB 将密集连接和捷径连接的优势结合起来，实现特征信息连续传递和局部残差学习，可有效缓解梯度消失，实现更深的网络，有望提取频谱信号的深层特征，克服传统CNN 频谱感知方法特征提取能力受限的问题。

本文提出的深层ResDenNet 频谱感知模型由输入层、浅层特征提取Conv、多个RDB 级联、FC和分类标签组成。ResDenNet 频谱感知模型如图7所示，本文将含有接收信号的灰度图像经过浅层卷积层特征提取F0作为RDB 的输入，F0表示为

图7 ResDenNet 频谱感知模型

其中，xi表示输入的第i张灰度图像，W表示xi浅层提取的权值，H(·) 表示当前卷积层的非线性操作函数。

本文在RDB 内引入了捷径连接，每个RDB 的输入都与前面所有RDB 的输出相连，形成残差自适应学习，实现浅层特征与深层特征自适应结合，充分利用特征图信息并且优化了网络模型。RDB 通过Conv、ReLU 等操作，提取灰度图像的密集特征，Fd的计算式为

其中，HRDB,d(·) 为第d个RDB 的非线性操作函数。

灰度图像经过所有的RDB 特征提取后的FD表示为

针对频谱感知特定的应用范围，利用FC 中Softmax 函数对接收信号进行二分类，得到分类标签结果H0或H1，进而完成频谱感知。

本文设置ResDenNet 的RDB 内部的卷积核大小为1×1，浅层特征提取的卷积核为3×3，每层卷积核的个数为8。

3.4 ResDenNet 频谱感知算法

ResDenNet 算法选择m对训练样本数据对测试样本数据其中为接收信号的矩阵，y(·)为接收信号的分类标签值。训练方法使用动量随机梯度下降法（SGDM,stochastic gradient descent with momentum），ResDenNet 算法的输入输出的映射图满足

ResDenNet 训练的损失函数为

4 实验结果及分析

4.1 测试配置

本节通过MATLAB 仿真QPSK 解调过程，得到I、Q两路信号的N个采样点数值，分割成M行n/M列的矩阵并进行归一化灰度处理。噪声采用均值为0、方差为1 的WGN（或粉红噪声）。为模拟信道衰落效应，本节实验使用MATLAB 仿真瑞利分布信道。训练时参数按高斯分布随机初始化，损失函数为交叉熵误差函数，将小批量（MB,mini-batch）设置为128，使用SGDM 作为训练方法，其中，动量因子设置为0.9，学习率设置为0.01。通过改变Simulink 的AWGN 模块参数，得到不同SNR 下授权用户发射信号数据。

4.2 算法的性能对比

为了验证所提方法的有效性。本节设计5个实验：实验1 研究网络层数对ResDenNet、CNN 频谱感知方法性能的影响；实验2 考察采样点数对ResDenNet频谱感知方法性能的影响；实验3 对比ResDenNet、CNN[19]和SVM[10]频谱感知方法的感知效率；实验4对比在WGN、粉红噪声情况下，ResDenNet、CNN和SVM 频谱感知方法的Pd；实验5 比较ResDenNet、CNN 和SVM 频谱感知方法的受试者工作特征（ROC,receiver operating characteristic）曲线。

1) 网络层数对ResDenNet、CNN 频谱感知方法性能的影响

本节实验中，2 种网络的参数相同、结构不同。ResDenNet 含有捷径连接和密集连接，CNN 无捷径连接和密集连接。为全面考察网络层数对ResDenNet、CNN 频谱感知方法性能的影响，实验选择多个SNR 混合的授权用户发射信号作为训练样本：在SNR 为−19～0 dB 范围内以1 dB 为间隔，每种SNR 取50 对信号数据，组成的1 000 对信号数据作为有信号的训练样本；取1 000 对WGN 信号作为没有信号的训练样本。测试样本选取方法如下：每种SNR 取5 对信号数据，组成的100 对信号数据作为有信号的测试样本；取100 对WGN 信号作为没有信号的测试样本。

ResDenNet、CNN 分类准确率随网络层数L的变化如图8 所示。由图8 可知，当L<11 时，ResDenNet 的准确率比CNN 略高；当L≥11 时，ResDenNet 的准确率明显高于CNN。如当L为5、20、74 时，ResDenNet 的准确率分别比CNN 高4%、34%、69%。原因在于ResDenNet 的密集连接对输入的特征图信息重利用，提升了ResDenNet 的特征提取能力，并且密集连接和捷径连接缓解了梯度消失问题，有利于提高分类准确率。从图8 还可以看出，当L=20 层时，ResDenNet 的准确率为最大值94%。可见采用ResDenNet 实现频谱感知时，L并不需要太多，后文ResDenNet 频谱感知方法取20 层。

图8 ResDenNet、CNN 准确率随网络层数的变化

为了进一步说明深层CNN 频谱感知分类准确率下降是由于梯度消失引起的，图9 给出了20 层、44 层、74 层ResDenNet、CNN 损失随迭代次数的变化。

由图9 可知，3 种网络层数下ResDenNet 频谱感知模型的损失波动幅度均比CNN 大；20 层、44 层、74 层CNN 频谱感知模型的损失分别稳定在0.63、0.65、0.70 左右。与20 层、44 层CNN 相比，74 层CNN 的损失更为平稳。由式(17)可知，损失函数与有关，由式(16)可知，映射图的输出与W有关。损失函数一直处于平稳状态，可知卷积层的W没有进行更新，在深层CNN 中发生了梯度消失，同样说明，本文所提方法梯度消失不严重。

图9 20 层、44 层、74 层ResDenNet、CNN 损失随迭代次数的变化

2) 采样点数对ResDenNet 频谱感知方法性能的影响

在具体频谱感知过程中，可以通过QPSK 系统获取不同的采样点数，来完成频谱感知工作。不同的采样点数可能影响ResDenNet 频谱感知方法的性能。不失一般性，以64、81、100、400、900、1 600 个采样点为例，分析ResDenNet 的频谱感知分类准确率随采样点数的变化情况，如图10 所示。

图10 ResDenNet 准确率随采样点数的变化

由图10 可知，随着采样点数增大，ResDenNet频谱感知分类准确率总体呈先上升再下降的趋势。如当SNR=−19 dB，采样点数为64、81、100、400、900、1 600 时，频谱感知分类准确率分别为74%、80%、90%、84%、80%、69%。由此可知，I路、Q路的采样点数并不需要太多，下面本文以采样点数为100 为例，进行实验分析。

3) ResDenNet、CNN 和SVM 频谱感知方法感知效率的对比

本节实验中，2 种CNN 分别为5 层[19]（对应CNN-5L）和20 层与所提方法具有相同参数的网络结构（对应CNN-20L），ResDenNet 与CNN-20L 不同之处在于有无捷径连接和密集连接，训练样本和测试样本选取方法同4.2.1 节。

几种算法的Pd、Pfa、训练时间和感知时间如表1 所示。由表1 可见，与CNN-20L 相比，本文方法的Pd提升71%，Pfa降低57%，所需训练时间缩短10%，感知时间降低12%。这是由于ResDenNet中的捷径连接和密集连接提高了收敛速度，缩短了训练时间，同时缓解深层CNN-20L 由梯度消失带来的Pd下降的问题。与CNN-5L 相比，本文所提方法的训练时间增加了26%，感知时间增加了95%。原因在于本文方法具有20 层深层网络，深层网络比浅层网络提取的特征信息更丰富，计算量略有提高。尽管如此，本文方法的Pd提升了13%，Pfa降低了68%。与SVM 相比，本文方法的Pd提升了124%，Pfa降低了83%且所需训练时间增加了113%，感知时间降低了62%。这是由于ResDenNet 方法训练参数多于 SVM，因此训练时间长。感知阶段，ResDenNet 算法可对接收信号的灰度图像直接进行频谱感知，而SVM 算法需重新提取特征参数，所以ResDenNet 频谱感知方法所需的感知时间较短。考虑到在实际应用中训练过程一般是一次性完成，而检测过程要实时进行。因此，本文所提出的ResDenNet在实际应用中是高效可行的频谱感知方法。

表2 几种算法的Pd、Pfa、训练时间和感知时间

从计算复杂度方面分析。n为训练样本数量。SVM 算法的复杂度为算法的复杂度为其中，L、Fl、Kl和Ql分别为网络总层数、第l层卷积层输出特征图长度、卷积核长度和输出通道数。ResDenNet 与CNN 算法计算复杂度的不同之处在于l。ResDenNet 算法中的捷径连接和密集连接通过连接任意2 个卷积层，而CNN 中的l要从第一层堆叠到第L层，因此ResDenNet 减少了训练参数，降低了计算复杂度。3 种算法的计算复杂度排序为

4) WGN、粉红噪声条件下本文方法与传统CNN 和SVM 频谱感知方法的Pd

本节实验中传统CNN 频谱感知方法使用了经典的5 层网络结构，SNR 在−19～0 dB 范围内以1 dB 为间隔变化，每种SNR 下取非授权用户测得的1 000 对信号数据，同时取1 000 对WGN噪声数据为训练样本数据，每种SNR 下取非授权用户测得的100 对信号数据，同时取100 对WGN或粉红噪声数据为测试样本数据。

当测试样本中的噪声为WGN 时，图11 给出了ResDenNet、CNN 和SVM 频谱感知方法在SNR 为−19～0 dB 的Pd。由图11 可见，当SNR <−10 dB时，在Pd方面ResDenNet 与其他频谱感知算法相比均表现出优势。例如，当 SNR=−19 dB 时，ResDenNet、CNN、SVM 的Pd分别为0.86、0.70、0.60。当SNR ≥ −10 dB 时，ResDenNet 的Pd与CNN 的Pd相近，均比SVM 高10%。由此可知，ResDenNet 频谱感知方法优于CNN、SVM 频谱感知方法。尤其是在低SNR 的情况下，ResDenNet频谱感知方法的性能增益更明显。其原因是，在训练深层网络时，捷径连接和密集连接起到了重要的作用。ResDenNet 利用密集连接，使接收信号的特征信息重利用。同时，ResDenNet 的捷径连接解决了深层CNN 频谱感知方法的梯度消失问题。深层网络的特征提取能力优于浅层网络，有助于提高频谱感知的Pd。从图11 还可以看出，在不同的信道环境（Rayleigh 和AWGN）、不同的调制方式（QPSK和BPSK）下，ResDenNet 频谱感知算法的检测性能基本相同，充分说明了所提ResDenNet 算法具有较强的稳健性和实用性。

图11 ResDenNet、CNN 和SVM 频谱感知方法在不同SNR、测试样本噪声为WGN 下的Pd

大多数传统频谱感知方法都是基于噪声是高斯白噪声的假设。然而，在实际频谱感知过程中，通信信道会不可避免地受到粉红噪声的影响。所以本文进一步验证了所提方法在粉红噪声频谱感知环境下的泛化能力。为了进一步说明ResDenNet 方法对不同噪声功率不确定性具有稳健性，图12 比较了在不同SNR、3 种方法不同噪声不确定性（P=(1.0,1.1,1.2) dB，P为噪声不确定性因子）下的Pd。

由图12 可知，当存在噪声功率不确定性时，本文方法的频谱感知性能几乎不受影响，说明了该方法对噪声功率不确定性具有稳健性。当SNR <−10 dB 时在Pd方面ResDenNet 与其他频谱感知算法相比均表现出了优势。例如，当SNR=−19 dB,P=1.0 dB 时，ResDenNet、CNN、SVM 的Pd分别为0.80、0.66、0.40。当SNR ≥−10 dB 时，ResDenNet的Pd与CNN 的Pd相近，均比SVM 高20%。可见本文方法在训练样本中学习白噪声的特征，即使测试样本是未经过训练的粉红噪声，本文方法也能以较高的Pd识别出授权用户发射信号，可见本文方法对不同特性噪声下的频谱感知问题具有较强的泛化能力。

图12 不同SNR、3 种方法不同噪声不确定性下的Pd

5) 本文方法与传统CNN、SVM 频谱感知方法的ROC 曲线

记录1 000 次的Pfa与Pd得到ResDenNet、CNN和SVM 频谱感知方法的ROC 曲线，如图13 所示。传统CNN 频谱感知方法使用经典的5 层网络结构，以SNR=−19 dB 为例，训练样本取非授权用户测得的1 000 对信号和1 000 对WGN，测试样本取非授权用户测得的100 对信号和100 对WGN。

图13 ResDenNet、CNN 和SVM 频谱感知方法的ROC 曲线

由图13 可知，在Pfa一定时，本文方法的Pd高于CNN、SVM 方法。例如，在Pfa为0.1 时，ResDenNet、CNN、SVM 的Pd分别为0.96、0.75、0.46。其原因是ResDenNet 频谱感知方法使用局部残差学习结合了接收信号的浅层和深层的特征，提高了频谱感知模型的特征提取能力，改善了卷积层中信息传递，提高了频谱感知的Pd。

5 结束语

传统CNN 频谱感知方法的特征图信息利用率低、不易训练深层网络来提升频谱感知的准确率。本文在传统CNN 频谱感知方法中加入捷径连接和密集连接，提出一种基于ResDenNet 的频谱感知方法。数值实验及理论分析表明，该方法充分利用特征图信息并且采用深层网络训练频谱感知模型，可提取更丰富、更深层的频谱信号矩阵图像特征，有助于提高灰度图像识别和分类的准确率，进而提升频谱感知性能。与传统CNN、SVM算法相比，本文提出的ResDenNet 频谱感知方法在Pfa一致的情况下，有着较高的Pd，当Pd一致时本文方法的Pfa较低，且对不同特性噪声下的频谱感知问题具有较强的泛化能力。下一步拟进一步研究残差密集网络在多用户协作式频谱感知方法中的应用。