基于复合2D-LSTM网络的频谱预测研究

孔 青，张建照，柳永祥

（国防科技大学第六十三研究所，江苏 南京 210000）

0 引 言

随着物联网技术的兴起，物联网设备用频需求快速增加。由于现实中物联网专用工作频段不足，如何充分利用现有频谱资源，是物联网技术发展面临的一大难题。认知无线电技术为缓解频谱资源难以充分利用问题提供了一种有效手段。通过频谱预测和频谱感知功能，认知无线电技术支持次级用户提前预测信道未来频谱占用规律，并机会性接入主用户未使用的频谱空洞，从而达到充分利用频谱资源的目的。

常用的频谱预测模型包括自回归综合移动平均（ARIMA）模型、支持向量机（SVM）模型、隐马尔科夫（HMM）模型和关联模式挖掘等传统统计学模型。随着深度学习技术的快速发展，多层感知机（MLP）和长短时记忆网络（LSTM）等技术在频谱预测领域取得了超过统计学模型的良好性能。文献[4]提出了基于MLP进行频谱预测的方法。文献[5]通过构建HMM和MLP两种频谱预测方案，从提高频谱利用率和节省感知能量两个方面分析了信道状态预测对频谱感知性能的影响。文献[6]构建了复杂LSTM网络以预测人工生成的跳频序列。文献[7]引入田口方法优化LSTM网络的超参数设计过程，在提高预测准确度的同时，计算量相比传统网格搜索优化方法减少了50%。文献[8]通过分析流行业务频段时域和频域相关性，揭示了时域和频域存在的较强相关性以及这种相关性的聚集效应。这项工作在文献[9]中得到进一步研究，文献[9]开发了一种鲁棒时频二维联合推理算法，利用与被预测频点相似或相邻频点预测同一时隙的频点状态，该方法属于推理算法，不具有时域预测功能。文献[10]测量了土耳其三家无线运营商所属频段的频谱活动数据，考虑到相邻频点的相关性和时间相关性，设计了2D-LSTM预测模型。仿真结果表明，2D-LSTM提升了预测性能，与本文不同的是，该文预测的是量化后的频谱状态并且未充分利用时间上的周期趋势。

然而，即使深度学习方法在频谱预测中有如此多的应用，处理频谱数据中的联合时间-频域相关性的工作也是有限的。此外，由于用户活动模式潜在的规律性，一些业务频带的历史频谱状态显示出潮汐效应，即日、周周期性变化。现有研究未充分考虑频谱数据频域相关性和时间周期趋势。

为此，本文在分析实测频谱数据的基础上，针对频谱数据时间-频域相关性和时间上的周期性，提出了二维采样LSTM预测框架2D-SPLSTM。基于实测数据的实验结果表明，与经典方法相比，在预测精确度指标上均有提升。

1 理论与模型

1.1 相关性理论

频谱状态之所以能够通过历史数据进行预测，正是因为频谱状态之间具有相关性。现实中的频谱数据由频谱分析仪测量得到，通常以一定聚合方式和时频分辨率存储为数据矩阵。将时间和频率维度上的频谱数据按照时隙进行划分，就得到某一频点处个连续时间序列 ,即S={,,...,X,...,X}，同理，S={X,X,...,X,...,X)} 表示时刻，在个连续频点的频谱状态。其中，代表随机变量，表示随机变量序列。

2个随机变量的相关系数可由如下公式计算：

式中：cov(·)表示协方差算子；(·)表示统计平均算子；和是2个任意的随机变量；μ和μ是统计平均；σ和σ是标准差。相关系数的绝对值越大，相关性越强。当和是同一时间序列不同延时的子序列时，由式（1）可计算出该序列的自相关系数，自相关系数表示时间序列演化的自相似性。

对图4所示的实测频谱数据进行相关性分析，从图1中可以清楚观察到频域也含有较强的相关性，并且相关性呈现聚集效应。随机选择3个信道的时间序列，计算得出延迟系数=1到720的自相关系数的变化曲线，如图2所示。信道的自相关系数呈现一日（等于480个时隙）周期性变化，这反映了信道状态演化呈现日周期特性，以上频域的较强相关性和周期特性促使本文开发更加有效的模型，以实现更加高效的频谱预测功能。

图1 实测频谱数据的频域相关性

图2 信道自相关系数

1.2 长短时记忆网络

长短时记忆网络（LSTM）模型的基本部分是具有存储单元和门结构的存储块，每个存储块的门结构分为3个部分：输入门、输出门和遗忘门。每个存储块处理时间序列的单个时隙数据，存储块按照前后时隙串行计算。门结构中包含Sigmoid函数层，该函数把值压缩到0～1之间，便于信息的更新或去除。遗忘门决定了一个值是否会保留在内存中。另一方面，输出门确定当前时刻的输出。LSTM的前向计算过程总结如下：

1.3 频谱预测模型

不同于传统频谱预测模型，仅在时域对历史数据进行建模分析，本文提出了如图3所示的预测模型2D-SPLSTM。

图3 2D-SPLSTM结构

图3中利用2个2D-LSTM组件分别对历史频谱数据中的接近趋势和周期趋势进行数据挖掘，提取的时间序列特征经过融合后激活，得到模型预测值，与真实值进行比对后计算损失，损失值经过反向传播后更新模型参数，至此完成一次训练过程。2D-LSTM每个时隙输入的是中心频点和相邻频点组成的一组向量特征 {...,X,X,X,X,X,...}，其中，X表示时刻中心频点处的频谱状态，2D-LSTM更有利于充分挖掘相邻频点之间数据相关性。

对于预测目标Y，2个2D-LSTM网络被用于建模接近趋势和周期趋势，接近趋势为历史频谱数据中与预测目标接近的时隙数据：

式中，表示接近趋势的序列长度。周期趋势为历史频谱数据中距离预测目标周期性采样得到的数据：

算法1 2D-SPLSTM算法

输入 ：历史频谱数据矩阵 {X|=1,...,；=1,...,} ；

每个时隙输入向量维度；接近趋势和周期趋势时隙长度 ：、；预测范围 Δ。

输出：训练完成的2D-SPLSTM模型和测试集上的性能指标；

（1）←；

（2）构建样本集；

（3）=max{,·-Δ} ；

（4）对1/2·(+1)≤≤-1/2·(+1)执行循环操作；

（5）对≤≤-Δ执行循环操作；

（8）X为样本标签 ；

（10）内层循环结束；

（11）循环取样结束，得到样本集，将样本集按照8/1/1和时间先后顺序，划分为训练集、验证集、测试集；

（12）训练模型；

（13）初始化2D-SPLSTM中所有可训练参数，将训练集、验证集作为模型输入，根据验证集损失值变化设置早停门限；

（14）训练至停止，得到训练好的2D-SPLSTM模型；（15）验证模型；

（16）将测试集作为模型输入，输出预测结果并计算性能指标。

1.4 算法复杂度分析

一个标准LSTM存储块中的参数总量可以计算为：

式中，、分别表示每个时间步输入向量的维度、记忆单元的数量（与隐层节点的数量相等）。将LSTM模型计算每个参数在每个时间步的时间复杂度记为(1)，由于每个时间步之间串行计算，总的时间复杂度即为time_steps·(p)，time_steps为时间步。对于1D-LSTM与2D-LSTM模型，差别主要在于每个时间步的输入维度从一维向多维扩展，这对时间复杂度影响不大。

算法的复杂度可以根据训练和验证阶段的运行时间大致表示。在模型训练阶段，2D-SPLSTM模型的时间计算复杂度可以评估为：

式中：()、()分别表示建模周期趋势和建模接近趋势的2D-LSTM组件的时间复杂度；()为融合层中全连接层的时间复杂度。由于2个组件在融合之前相互独立，可以并行计算，2D-SPLSTM模型的时间复杂度可以改写为：

对于包含一个全连接层的融合层，其时间复杂度计算为：

式中：为全连接层节点数；为全连接层输入维度；为输出维度。2D-SPLSTM模型中，由于融合层参数量相比LSTM网络很小，()相比()可以忽略，()=max{(),()}。

综上所述，模型训练一次的时间复杂度与各2D-LSTM组件的时间步呈线性正相关，本节提出的模型时间复杂度相比1D-LSTM并无明显提升。

2 实验与分析

2.1 数据集

我们采用的数据集来自一个公开的频谱分享网站Electrosense。如图4所示，频率范围为792～820 MHz，传感器imdea_adsb位于西班牙马德里一处室外场地，频谱聚合的频率分辨率为200 kHz，时间分辨率为3 min，时间跨度从2021年8月6日至2021年8月31日，所采集的频谱矩阵为11 980行141列，即11 980个时隙141个频点，采集的数据类型为无线信号的信噪比（dB）。该频带为LTE无线通信业务频带，从图4可以明显看出整个频带被划分为3个子频带，子频带中间为保护频带，一般不含有用信号，所以显示较低的功率水平。子频带中频谱演化呈现有规律的带状间隔分布，进一步表明了频谱演化的周期特性。

图4 实测频谱数据平面视图

2.2 参数设置与性能评估

仿真由基于Python环境下的Keras库实现，构建的LSTM网络模型设置了2个隐藏层，隐藏层均具有16个节点，激活函数选为整流线性单元（ReLU）。模型融合部分为一个20个节点的全连接层，激活函数为Sigmoid激活函数，输出经过归一化的待预测频谱状态。优化器选择Adam，批尺寸为1 024，最大训练轮数设置为20，损失函数选择均方误差（MSE）。接近趋势中=5，周期趋势=7，=480，每一时隙的中心频点和相邻频点总数为5。

训练集、测试集和验证集按照8/1/1划分。训练集和测试集一起进行模型训练，为防止过拟合并加快训练过程，根据测试集的损失值设定了早停门限，当测试集上的损失值降低到一定水平即停止训练。同时，采用全局最大-最小归一化方法将频谱状态归一化至(0, 1]之间，经过验证集验证，模型性能评估在反归一化后进行。平均绝对百分比误差（MAPE）、均方根误差（RMSE）和R2分数用于评估模型性能。多层感知机（MLP）和1D-LSTM模型用来进行对比分析，MLP设置2个隐层，节点数分别为20、15，对比模型的输入均为接近趋势的数据，即5个时隙的数据。

2.3 仿真结果与讨论

本节首先评估短期预测时的性能比较，设置Δ=3 min，即预测目标为下一时隙的频谱状态。为消除随机性的影响，实验进行了10次，取平均值作为最终结果。如表1所列，本文所提出的2D-SPLSTM模型在各项性能指标上均优于对比模型，由于MLP不能获取时间序列中的时空关联性，性能较低。与MLP和1D-LSTM模型相比，提出的模型MAPE指标相对提升了11.1%和3.3%，其他各项指标均有显著提升，验证了2D-SPLSTM模型在挖掘时频域相关性和周期趋势的有效性。

表1 模型性能对比

图5说明了在跨步预测场景下本文提出的2D-SPLSTM模型与其他模型的MAPE指标性能对比，跨步预测即根据历史数据直接推测不同时隙间隔的未来频谱状态。设置Δ=3 min、6 min、9 min、12 min、15 min,即预测范围从1个时隙到5个时隙，可以观察到，随着预测范围的变化，其他模型的预测性能下降明显，本文提出的模型获得了相对稳定的预测性能。这一现象说明接近趋势此时所含的相关信息明显减少，周期趋势的加入，对跨步预测场景更加重要。

图5 不同预测范围下模型性能对比

3 结 语

本文根据实测频谱数据时-频域相关性和时间上的周期趋势，提出一种能够挖掘时-频域相关性和时间上周期趋势的频谱预测模型。通过融合这两种趋势的相关性，在一定程度上提高了模型在实测数据集上的性能。本文研究的是历史数据丰富情况下的短时预测问题，与现实情况还存在一定差距。在实际应用时，频繁切换频段或改变部署地点带来的历史频谱数据不足和长时有效的预测问题，是下一步重点关注的研究方向。