基于深度学习的电离层参数预测研究

冯蕴天，吴霞，许雄，张荣庆

（1.电子信息系统复杂电磁环境效应国家重点实验室，河南 洛阳 471003；2.同济大学电子与信息工程学院，上海 201804；3.同济大学软件学院，上海 201804）

1 引言

传统的电磁态势演化预测采用纯电磁理论，时间复杂度高，并且不能实时获得计算数据。相比之下，使用深度学习的电磁态势演化预测可以大大降低计算的复杂度和时间，并且可以得到实时的仿真数据。因此，使用深度学习建立电磁态势的预测模型具有重要意义[1]。

对电离层参数预测是电磁态势预测的重要组成部分。电离层环境变化对电子信息系统有着重要影响，高频通信中，准确预测电离层参数在无线通信的多个领域，例如通信装备、航天器、雷达及导航装备的设计和运行维护都具有重要意义[2]。

为了改进传统纯电磁理论预测方式的缺点，考虑到电离层的非线性属性，国内外的学者提出了一些新的预测方法以期获得更精确的电磁态势预测模型[3-4]。已有研究证明了人工神经网络在预测非线性的短波电离层参数上的优势[5]。针对反向传播（BP,back propagation）神经网络预测存在的梯度消失等问题，长短期记忆（LSTM,long short-term memory）于1997 年被提出[6]。在逐点预测电离层参数的短期变化中，LSTM 网络对于周期性最强的F2层临界频率f0F2的预测效果较好，因此本文以LSTM 为基础，搭建神经网络模型实现电离层参数的短期和日均值变化预测，并在LSTM 网络结构中加入经验模态分解（EMD,empirical mode decomposition）算法。作为处理非线性信号的网络优化方法，EMD 算法已被广泛应用于深度学习中的数据处理[7]。文献[8-9]分别在BP 神经网络和小波神经网络中使用EMD算法进行地铁沉降监测和短期电力负荷预测，EMD算法的引入减小了预测均方误差，证明了EMD 算法在提高神经网络预测精度上的可行性。

本文提出的电离层参数预测算法使用逐点预测和序列预测2 种方法，在使用多维预测的基础上，又使用了在处理非线性数据上表现良好的EMD 算法进行优化，预测电离层参数的每小时和每天的变化规律，并分析EMD 算法和多维预测在提升预测精度上的优劣性。此外，本文将Adam 优化器作为网络的优化器[10]，以期在不降低网络对短期变化的预测精度的条件下，改善电离层参数的日均值预测，使整个网络结构可以同时应用于电离层数据的短期和日均值变化预测。

2 LSTM 网络结构

LSTM 网络是一种特殊的循环神经网络（RNN,recurrent neural network）。循环神经网络实质是把所有模块链式连接的递归神经网络，以链式相连的重复模块称为循环单元。LSTM 网络循环单元如图1 所示。

LSTM 网络内部有4 个网络层，其与传统的循环神经网络（包含3 个网络层，即输入层、隐藏层和输出层）最大不同之处就是在循环单元中增加了一个细胞状态ct。细胞状态是LSTM 网络的核心，从图1 可以看出，LSTM 网络通过3 个门控制细胞状态，分别是输入门、输出门、遗忘门。循环单元的输出ht不只取决于当前的输入和上一步的输出，还取决于细胞上一步的状态。3 个门中最重要的是遗忘门，其作用是当数据xt输入网络循环单元时决定是否丢弃上一步的循环单元状态ht−1。遗忘门状态ft为

图1 LSTM 网络循环单元

其中，σ是sigmoid 函数，bf是遗忘门偏置项，Ct−1代表细胞的上一步状态；Wxf、Whf、Wcf分别是遗忘门状态下xt,ht−1,ct−1对应的权重矩阵（后续计算式中W的含义同理），矩阵中元素的数值为0～1，0表示将数据全部丢弃，1 表示全部保留。通过权重矩阵确定是否保留上一步的细胞状态，以及上一步循环单元的输出状态与输入数据xt。确定需要丢弃的数据后，将输入数据与隐藏层状态通过输入门得到输入门状态it。输入门状态it为

其中，bi是输入门偏置项，通过式(1)和式(2)得到输入门状态和遗忘门状态后，就可以通过遗忘门状态丢弃一部分旧的细胞状态，并通过输入门更新得到新的细胞状态。新的细胞状态ct为

其中，bc是细胞状态偏置项，*是卷积符号。通过式(2)和式(3)得到输入门状态和更新细胞状态后，根据输入数据以及隐藏层上一步状态就可以得到新的循环单元输出状态ht。将细胞状态ct与输入数据xt通过输出门得到输出门的状态。输出门状态ot为

其中，ot的作用是确定循环单元的输出状态。将细胞状态ct经过一个tanh 层得到一个−1～1 的量值，该量值与输出门相乘就可以得到该循环单元的最终输出ht，如式(5)所示。

3 电离层参数逐点预测

3.1 数据预处理与模型训练

本文用于预测电离层短期变化的数据来自漠河电离层观测站2014 年的观测数据。漠河电离层观测站的数据透明度高，并且观测准确度高，是合适的测试数据。这些观测数据包括F2层临界频率f0F2、B1参数、F2层最低虚高hpf、F2层3 000 km传播因子M(3000)F2改变、F2层最小反射频率fmin等。从中选取质量较高的连续1 400 h 的数据作为样本，将得到的数据样本分为训练集和测试集。取样本中86%的数据（共1 200 h）作为训练集，剩下200 h 的数据作为测试集。为了使网络更快收敛，首先将训练集数据采用Minmaxscaler 方法进行归一化预处理；然后用预处理后的数据训练网络，用训练好的网络得到预测结果，通过对比测试集中的真实数据和预测结果分析预测效果。

训练网络时，将24 h（即一天）的数据作为一个序列输入，使用24 h 的数据预测后1 h 的数据。经过多次实验调整，将网络的batchsize 设置为16，一次训练16 个数据，网络一个周期迭代75 次，共训练3 个周期，即迭代225 次。预测采用逐点预测，即每次只预测单一的点，LSTM 网络中的序列本身是一个滑动窗口，窗口大小与序列长度相同，预测完一个点后，窗口移动到下一个测试数据，这样每次预测时都可使用完整的测试数据进行预测。例如，预测漠河电离层F2层临界频率时，如果要预测某时刻的数据，则将前面24 h 的数据输入训练好的LSTM 网络，依次类推，不断使用测试集的数据得到每一小时的预测结果。使用逐点预测方法预测电离层的不同参数，预测评价标准采用真实数据与预测数据之间的均方误差（MSE,mean-square error）。

其中，yi表示真实数据，y0表示预测数据。

在LSTM 网络的基础上使用优化器Adam。为了防止训练过程中出现过拟合，本文在第一层和第三层神经网络后面加入dropout 层，以0.2 的概率随机断开输入的LSTM 神经元，减少了神经元之间的共同适应性和相互依赖性，确保了模型在丢失个体的情况下依然能保持良好的稳健性，避免发生过拟合。

3.2 EMD 算法与多维预测算例分析

本文在搭建的LSTM 网络结构中加入EMD 算法，使用Python 的经验模态分解工具箱Pyhht 将预处理后的数据分解为多个本征模函数。将电离层数据分解为9 个本征模函数，每个本征模函数训练4 个周期，一个周期迭代75 次，每个本征模函数共迭代300 次，将EMD 算法得到的预测结果与多维预测（prediction2）结果对比，如图2 所示。通过比较预测数据波形与真实数据波形的误差以及均方误差可以看出，基于EMD 算法的预测数据在75 h 后偏离真实数据。

图2 EMD 算法和多维预测的f0F2预测结果对比

基于EMD 算法的电离层传输因子M(3 000)F2和最低虚高hpf 与多维预测结果对比分别如图3 和图4所示。显然，基于EMD 算法的M(3 000)F2预测波形在幅度上比多维预测更接近真实数据。由于M(3 000)F2序列稳定性较差，使用LSTM 预测或者多维预测得到的预测结果较差，通过EMD 可以将数据进行平稳化处理，使预测效果大大提高。与fmin参数预测结果相似，基于EMD 算法的hpf 在60 h 后的预测数据比多维预测更接近真实数据，总体预测效果也更好。

图3 EMD 算法和多维预测的F2层M(3 000)F2预测结果对比

根据实验结果可以看出，EMD 算法可以作为短期变化预测的优化方法，并且对于非平稳时间序列的优化效果要好于多维预测。但对于本身具有周期性的数据，EMD 算法的作用有限。不同预测方法的MSE 比较如表1 所示。与直接使用LSTM 网络预测的均方误差相比，基于EMD 算法的fmin预测比多维预测减少了23%；M(3 000)F2的预测均方误差比多维预测减少了18.8%；hpf 的预测均方误差比多维预测减少了11.8%。

图4 EMD 算法和多维预测的hpf 短期变化预测结果对比

表1 预测算法的MSE 比较

4 电离层参数时间序列预测

LSTM 网络在电离层的短期变化和日均值变化预测中都能较好地匹配真实数据。但这种算法存在一定的局限性，因为每一个预测点在预测前都能得到真实数据，即使预测出现错误，算法也会直接使用真实数据来预测下一个点从而忽略这个错误。但在实际研究中有时需要直接预测一段时间内的电离层参数变化，这是逐点预测无法做到的。为此，本节首先采用全序列预测，通过训练好的神经网络一次性预测电离层参数在一段时间内的变化规律。全序列预测与逐点预测的不同之处在于，预测时采用上一时刻的预测数据而不是真实数据。通过预测24 个数据点后，使用神经网络前24h 的电离层数据预测下一时刻的数据，可以一次性预测电离层参数在未来多个小时内的变化趋势。电离层参数f0F2的全序列预测结果如图5所示。实验结果证明，电离层参数的短期变化的序列预测可以和逐点预测一样通过EMD 算法优化预测精度。

图5 f0F2短期变化全序列预测结果

5 结束语

本文以LSTM 为基础，搭建神经网络模型以实现电离层参数的短期和日均值变化预测。通过预测结果分析了LSTM网络对不同类型的电离层参数的预测效果，并将这些结果作为对照组，分别使用多维预测和EMD 算法对网络进行优化，验证多维预测和EMD 算法在提高预测精度上的可行性。未来工作可以尝试在新的LSTM 网络结构变式，例如门控循环单元（GRU,gated recurrent unit）和双向LSTM（Bi-LSTM）网络使用多维预测和EMD 算法，降低网络的计算成本，并且不再局限于预测电离层数据，还包括预测经纬度、地磁指数、场强等电磁态势参数，进一步提高预测精度。