基于LSTM递归神经网络的边境站点风速时间序列预测

金伟余 张东晓 唐晓轲 周士永 邴军国

摘  要：边境站点风速预测对于智慧化边海防管理有着重要意义。基于我国5个边境站点的历年日平均风速数据，提出了一种基于长短期记忆递归神经网络的边境站点风速预测模型，以及模型设计、网络训练和预测过程实现等，并比较了5个站点2010—2015年的日平均风速在不同迭代次数下，模型的预测精度和计算成本，验证了所提出的预测模型在不同站点适用性。

关键词：风速预测  递归神经网络  长短期记忆单元  深度学习

中图分类号：TP312                             文献标识码：A                   文章编号：1674-098X（2020）09（c）-0027-06

Abstract： Wind speed prediction at border sites is of great significance for intelligent border and coastal defense management. Based on the daily average wind speed data of 5 border stations in China， a wind speed prediction model based on long-short-term memory recurrent neural network is proposed， including model design， network training and prediction process implementation， etc. Under different iteration times of the daily average wind speed from 2010 to 2015， the prediction accuracy and calculation cost of the model verified the applicability of the proposed prediction model at different sites.

Key Words： Wind speed prediction; Recurrent neural network; Long and short-term memory unit; Deep learning

边境站点的风速是边海防管控决策环节的重要环境因素，是边海防管理过程中部署兵力和防控行动的重要参考依据。准确的风速预测是实现智慧化边海防管理的前提和基础，有助于实现边海防管控决策的效率和可靠度。目前风速预测的方法主要是基于数值天气预报预测结果的物理方法和基于历史数据建模的统计方法这两大类[1]。前者受数值模式本身机理的限制，对于短期的风速预测准确率往往较低，且时间分辨率不高;统计方法需要较多的历史数据，通过统计学习的方法识别历史数据所体现的风速特征来预测对未来某个时刻风速。

风速数据是时间序列数据，现有针对时间序列数据的预测算法有多种模型，例如自回归移动平均、支持向量回归、人工神经网络、小波神经网络等。随着深度学习算法研究的不断深入，深度学习模型能够适用于时间序列数据的预测问题，深度学习算法通过对输入的数据信息逐步分层抽象并提取特征，提取出包含在数据序列中的隐含关系。递归神经网络将时间的序列概念引入到神经网络结构构建中去，使递归神经网络在时间序列数据分析中性能表现更好。长短期记忆单元是递归神经网络的一种变体，弥补了RNN可能出现的梯度消失和梯度爆炸、长期数据记忆能力有限等问题，能够有效地进行处理长时间的序列信息。LSTM 模型在不同领域的时间序列数据研究中已取得了不少成果的应用案例，包括故障诊断[2]、语音识别[3]、机器翻译，图像文字识别、交通流速预测[4]，农业领域的降雨量预测[5]等。

本文针对历年5个边境站点风速时间序列数据，提出了一种基于LSTM递归神经网络的风速预测方法，对LSTM递归神经网络模型进行训练与模拟计算，用交叉验证的方法对模型在测试集上预测的均方根误差进行评价，并比较了5个站点的模型的预测效果和计算成本。实验结果显示基于LSTM递归神经网络的预测模型在站点风速预测上具有较好的预测性能。

1  基礎理论和技术

1.1 前馈神经网络

人工神经网络是一门重要的机器学习技术，是深度学习的基础。针对不同的应用场景，目前已经形成了不同规模类型的人工神经网络。单层神经网络对应于感知机，多层神经网络构成深度学习的框架。经典的神经网络包括输入层、隐含层和输出层，前馈神经网络是一种多层结构的前向结构的网络，传递过程中没有反馈，是感知机的推广应用。连续复杂的函数可以利用该网络来拟合。如图1所示为一个三输入、三输出、隐含层具有4个神经元的网络结构示意图。

Lin表示输入层，x=（x1，x2，x3）T是多层感知器输入;Lhidden表示4个神经元的隐含层，;Lout是输出层。从Lin到Lout传递称为前向传播，可表示为：

其中W1和W2表示输入层、隐含层和输出层之间依次传递的权重，b1和b2分别为输出层和隐含层的偏置。激活函数f通常采用双曲正切函数、logistic函数或sigmoid函数。这种网络的训练利用误差采用误差反向传播算法（BP），可称为BP神经网络。虽然前馈神经网络可以解决风速数据的非线性问题，但无法处理时间序列的日平均风速。递归神经网络与前馈神经网络不同，可以解决这一问题。

1.2 递归神经网络

递归神经网络的优势是将隐含层之间互相连接，使隐入层的输出和隐含层上一时刻其输出相结合，来达到信息传递的作用。如图2所示，该网络与前馈神经网络类似，但增加了隐含层间的权重Wh。

递归神经网络的传播过程可以用公式表示：

式中：W1，W2表示输入层、隐含层与输出层依次连接的权重;b1，b2分别表示隐含层和输出层的偏置;xt表示t时刻的输入;ht表示隐含层输出;yt表示t时刻的输出;ht-1表示第t-1时刻隐含层的输出。激活函数f一般是双曲正切函数或者Relu函数。

递归神经网络和前馈神经网络可以相互转换，展开过程如图3所示。

在转换过程中，递归神经的时刻数量与前馈神经网络隐含层的数量相对应。在实际训练中，为了尽快收敛可采用有限个状态来拟合训练。总的来说，递归神经网络和前馈神经网络的区别在于是否考虑隐含层上一时刻的输出。

1.3 长短期记忆单元

相关学者对递归神经网络进行了研究，但仍然发现该网络存在著梯度消失和梯度爆炸的情况，对于边境气象站点的长时间序列预测不适用。为了解决这一问题，相关的研究更多的选用LSTM模型[6-8]。LSTM模型是将隐藏层的RNN细胞替换为长短记忆周期的细胞，使其消除递归神经网络的缺陷。LSTM模型细胞结构如图4所示。

本文选用的是适应性动量估计算法进行梯度优化，该算法是利用随机方法进行梯度优化，能够对不同参数计算适应性学习率并且占用较少的存储资源。

2  实验方法

选取了5个边境的气象站点，各个站点的维度、经度、海拔及站点代码如表1所示。5个站点分别位于我们国家的东西南北边境线上，其中宁德站点是海防线上。风速数据集包含2010—2015年6年的气象站点日平均风速，其数据如图5所示（数据来源：中国气象数据网）。

由图5可知，塔城和江城站点的平均风速在年度时间尺度上呈现了良好的周期性变化。呼玛站点前3年的平均风速呈现周期性，而2013年以后平均风速波动性变大，周期性仍然存在。二连浩特站点前2年的平均风速呈现周期性，而2012年以后平均风速波动性变大，周期性仍然存在。而宁德站点的平均风速年度周期性不明显，极端风速存在，这有可能是台风影响造成的。

2.1 基于LSTM的平均风速模型训练

人工神经网络的训练是获得预测模型的最重要过程，在训练前期需要将5个边境站点的气象数据进行预处理，包括剔除异常数据点和补充缺失数据。其次将数据集，本文按照7：3的比例划分为训练集和测试集，训练过程首先要选取损失函数和Adam优化，其次产生训练好的模型选用硬件配置为Inter Core i3 CPU，4.GB内存的64位操作系统计算机进行训练。每个气象站点的数据均训练3次，选其中最优的一个作为该站点的预测模型。最后利用测试集数据在训练好的模型中进行训练，模型构建流程图如图6所示。

2.2 评价指标

本文通过预测耗时和预测的均方根误差（RMSE）来评价模型效果。公式如下：

式中：pt是预测值;yt是实测值。

结合上面的模型构建，本文在模型训练和预测中以2010—2013年5个边境站点日平均风速数据作为训练集，2014—2015 年日平均风速数据作为测试集，模型2个评价指标如表2所示。

3  结果分析

由表2可知，随着迭代次数的增加，5个站点平均风速的LSTM模型预测的均方根部分保持不变，部分降低了很小的数值，说明增加迭代次数并不能提高模型预测的精度;5个站点在同一迭代次数下，模型训练和预测的时间相差不大，其中迭代50次时总耗时在4min10s到5min10s之间，迭代100次时总耗时在8min10s到9min14s之间，迭代200次时总耗时在17min07s到17min38s之间，造成这一结果的原因是5个站点的训练和预测数据量相同、模型结构相同。

在预测精度方面，5个站点中呼玛和宁德站点的均方根误差小于塔城、二连浩特和江城三个站点，预测精度比较高，其中在呼玛气象站前4年训练数据中，前3年的平均风速呈现周期性分布，第4年的数据相较于前3年波动较大，而与后2年的平均风速的分布基本一致，所以导致呼玛站点的模型预测精度较高;宁德气象站前4年的训练数据波动性不大，没有呈现明显的年度周期性分布，只是出现了部分局部极值点，所以导致该站点的模型预测精度也比较高。

而塔城和江城气象站点的模型训练数据中呈现周期性的波动，同时与后两年预测的数据分布基本一致，但模型预测精度较低，主要是因为这两个气象站点数据局部极值点较多，数据整体上不平稳造成的。最后二连浩特气象站点的模型训练数据周期性分布不明显，同时数据的波动性在5个站点中最大，所以导致模型的预测精度较低。

4  结语

本文选取5个具有代表性的边境站点6年的日平均风速数据，采用LSTM递归神经网络进行了模型的训练和预测，最后分析了不同站点的模型的两大指标之间的差异性，结果表明：

（1）该神经网络在边境站点日平均风速预测问题上拟合精度较高，预测的均方根误差均较小，说明该方法可以较好的预测5个站点的日平均风速。

（2）对LSTM递归神经网络的不同迭代次数的精度和耗时进行了验证，5个站点不同迭代次数实验下均方根误差差异不大，说明预测模型稳定性较好，增加迭代次数不会提高模型的精度，反而增加了计算时间，故设置合理的迭代参数就可以高效的获得相对较高的精度。

（3）LSTM递归神经网络模型在时间序列预测中耗时较长，但气象站点日平均风速的确定属于决策前参考依据，对于实时性要求不高边境管控决策，该预测模型较适用。

参考文献

[1] 魏昱洲，许西宁.基于LSTM长短期记忆网络的超短期风速预测[J].电子测量与仪器学报，2019，33（2）：64-71.

[2] 魏晓良，潮群，陶建峰，等.基于LSTM和CNN的高速柱塞泵故障诊断[J].航空学报，2020（41）：1-12.

[3] 侯云飞.中文语音关键词检出技术研究[D].南京：南京理工大学，2017.

[4] Lv YS，Duan YJ，Kang W W，et al.Traffic flow prediction with bigdata： a deep learning Approach[J].IEEE Transactions on Intelligent Transportation Systems，2015，16（ 2） ：865-873.

[5] 崔巍，顾冉浩，陈奔月，等.BP与LSTM神经网络在福建小流域水文预报中的应用对比[J].人民珠江，2020，41（2）：74-84.

[6] 王鑫，吴际，刘超，等.基于LSTM循环神经网络的故障时间序列预测[J].北京航空航天大学学报， 2018，44（4）：772-784.

[7] 张立彬，应建阳，陈教料.基于IPSO-SA算法的温室番茄产量预测方法[J].浙江工业大学学报，2019，47（5）：527-533.

[8] 雷森，史振威，石天阳，等.基于递归神经网络的风暴潮增水预测[J].智能系统学报，2017，12（5）：640-644.