基于4种长短时记忆神经网络组合模型的畸形波预报

由于波高极大，发生突然，消失快速，畸形波具有破坏力极强和预报难度大的特点，对船舶和海洋工程产生了巨大的潜在危险，人们对其研究倾注了大量的精力，研究方法包括数值实验、物理实验和理论分析等，使得畸形波研究成为非线性水波研究领域的热点问题.目前人们对畸形波产生和演化机制的认识仍然缺乏清晰统一的认识.

教育是国之重器、发展的根本，而卓越工程师计划又是“新时代工科创新型人才”培养的方向、目标与根本，学科竞赛是创新型人才培养的方法与途径，也是提高学生实践技能和动手能力的重要环节。我们的学生可以通过学科竞赛来加深自己理论知识与创新实践能力的融合度，提高自身在未来就业中的竞争力；学校则可以通过学科竞赛来增强学校的科研创新能力，实现卓越工程师的培养目标。最终完成建设创新型国家和人才强国战略目标，同时，也为社会主义现代化强国建设提供强大的人才支撑。

对于机制复杂难以建立物理模型的问题，人们基于实验数据，采用时间序列分析方法，如差分自回归移动(Auto-Aggressive Integrated Moving Average, ARIMA)模型，卡尔曼滤波(Kalman Filtering，KF)和经验模式分解(Empirical Mode Decomposition, EMD)等方法.王淑华对冯家山水库的主汛期水位进行了基于ARIMA模型的预测，结果表明ARIMA模型对水库水位数据预报效果显著.孙逸群等基于闽江流域的邵武盆洪水数据，通过卡尔曼老滤波方法预报，预报效果良好，可以用来预报洪水.阚世宜等对海洋有义波高序列进行了EMD分解，结果表明EMD通过分解时序数据，预报效果良好.

近年来，采集数据的积累，机器学习方法得到了广泛应用，开始应用于畸形波领域的预报. Doong等采用人工神经网络模型预报畸形波，表明模型具有一定的可行性. 赵勇等采用深度机器学习模型长短时记忆(Long Short-Term Memory, LSTM)神经网络模型预报畸形波，精度比传统的误差后向传播(Back Propagation, BP)神经网络模型、支持向量机(Support Vector Machin, SVM)模型的预报精度高，并且在长程预报上具有明显优势.本文为进一步提高LSTM模型预报畸形波，拟通过组合方式，结合两种模型(或方法)的各自优点，提升预报精度，组合模型在其他领域有成功应用.陆继翔等提出一种基于卷积神经网络(Convolution Neural Networks, CNN)和LSTM的组合模型预报非线性电力短期负荷，先采用CNN进行特征提取，再用LSTM进行预测的方式，结果证明精度有一定的提升.晏臻等提出了CNN与LSTM组合的交通流量预测模型，将CNN提取出的数据空间关联性与LSTM挖掘的数据时序性进行融合，预报精度较好.魏骜等将LSTM与EMD结合用来预测电力负荷，将原始电力负荷输入EMD模型中分解得到各分量，分别输入到LSTM中进行预测，预报精度得到提升.

Srivastava等利用循环神经网络(RNN)，梯度提升算法(GBM)和LSTM混合模型对电力值进行短期预测，最后三者整合得出结果，预报效果较好.Zhai等利用ARIMA和BP的混合模型对时间序列进行预测，预测结果证明，混合模型确实提高了预测精度，可用于实际预报.Jain等将传统时间序列预测模型与人工神经网络结合，用于预测科罗拉多河的流量数据，证明此混合模型既利用了时间序列预测非线性特性的优点，也构建了稳健的神经网络模型，有效提高了时间序列预测精度.

参考经典文献中的定义，以超过2倍有义波高定义为畸形波.本文将在LSTM的基础上，与CNN、EMD、ARIMA及KF结合，较为全面地考查组合模型对畸形波预报精度的影响.介绍畸形波数据来源、LSTM及4种组合模型网络结构、模型参数及各组合模型的精度对比.

1 实验数据

CNN是由Lecun等提出，由1个输入层、1个输出层和几个隐藏层组成.隐藏层可以分为卷积层、池化层和全连接层.卷积层和池化层是核心，可以提取特征，减少模型参数的数量，加快训练速度.相对功能而言，CNN更适合特征提取， LSTM 更适合时间记忆，将二者结合结合更有利于畸形波预测.图2所示为CNN-LSTM模型网络结构图， 图中Conv1D为一维卷积层.

2 LSTM及其组合模型

2.1 LSTM模型

模型训练是平均相对误差：

对所取地区土壤进行重塑得到新的试样，分别按无根系、少根系、浅根系、深根系制作试样，每组4个试件，共16个。

2.2 LSTM-CNN

数据来源于某岛礁地形模型的波浪演化实测数据，对波高数据进行采样，采样频率50 Hz, 每个时间序列波高数据数目 4 096 个.在多个时间序列中，发现了3个典型的畸形波时间序列(表中工况 1～3)，各参数信息如表1所示.

⑤ René Prieto.Miguel ángel Asturias’s archaeology of returnng.New York:Cambridge University Press,1983,P32.

2.3 LSTM-EMD

卡尔曼滤波算法可以分为两部分：时间更新方程(预测阶段)和测量更新方程(反馈阶段).时间更新方程负责在时间上向前推进当前状态和误差协方差，获得即将到来的时间步长的先验估计，测量更新方程负责反馈，即获取实际测量值并改变参数来改进卡尔曼滤波.因此，时间更新方程可以看作是预测，而测量更新方程可以看作是校正.LSTM模型只能预报时间序列的一部分特性，容易在某一因素上有波动性误差，卡尔曼可以修复这种误差.因此，利用LSTM作为静态预测模型预测原始畸形波时序数据，以此作为基础时间序列，再利用Kalman滤波进行调整，有望提升预报精度.

2.4 LSTM-ARIMA

ARIMA模型可以使时间序列数据趋于平稳，且使因变量只基于其延迟值以及当前的误差值而变化.利用 LSTM模型对传统的ARIMA模型进行了改进.ARIMA-LSTM模型不仅保持了稳定性和可解释性，相比于传统的ARIMA模型，同时也吸收了长短时记忆深度学习模型对时间序列学习的优点.在实际应用中， LSTM-ARIMA模型可以降低深度学习校正过程的复杂性，保证高频时间序列的时效性.网络结构如图4所示，先用ARIMA将畸形波分为线性部分和非线性部分，再将LSTM模型运用于ARIMA处理过的非线性部分，最后将两者预测结果叠加.

2.5 LSTM-Kalman

EMD能反映信号的固有特性，利用EMD分解，得到一组固有模态函数和残差.EMD具有良好的时频分辨率，通过信号分解，消除原始序列的自相关性，因此，被广泛应用于非线性时间序列的预处理.如图3所示，EMD 可以将数据分解为不同分量，从而降低原始数据的非平稳性与复杂度.两者结合同时具备很好的非线性拟合能力和时间记忆能力，预测精度有望得到提高.

3 参数及结果

LSTM具有存储单元和端口内存，是RNN的一种改进结构.传统的RNN不能解决长期依赖的问题，容易出现“梯度消失”现象.LSTM在RNN结构上引入门控机制的概念，通过输入门、遗忘门和输出门控制网络中数据信息的流动.输入门决定输入多少信息，对输入数据进行一次滤波，去除无用信息.遗忘门决定从当前单元中丢弃哪些信息，而有价值的信息被保留下来.输出门控制当前单元的数据信息.LSTM网络结构如图1所示.图中：为单元的存储状态；为时间的隐含状态；为时刻的遗忘门；为时刻的输入门；为时刻的输出门；为S型函数；为时刻的导入值.

式中：为预测值；为数据样本的真实数值；为样本总量. 训练的过程就是误差不断减少并最终收敛的过程.由于具有收敛快的优点，本文采用Adam算法优化方法，LSTM及其组合模型的其他超参数设置如表2所示.其中，LSTM-CNN模型采用的Maxpooling1D窗口大小为2，filters(过滤器的个数)为64，kernel_size(卷积核的大小)为2，dense层神经元个数为100.LSTM-EMD模型采用的 n_hours (输入层的时间步)为4，阈值为5，dense层神经元个数为1，kernel_regularizer(正则化)为l2(0.005)，recurrent_regularizer(施加在循环核上的正则项)为l2(0.005).LSTM-ARIMA模型采用的移动平均阶数和自回归阶数均为3.LSTM-Kalman模型采用的dense层神经元个数为1，卡尔曼niter数为4.

(1)

我应该带着他去找火车站安保人员。结果给他买了一排四瓶包装的娃哈哈A D钙奶大瓶之后，一个矮小黝黑的女人突然冲过来，把他给拉走了。女人身上背着大得吓人的两个包，神色有些愤怒。在最后被扯开的时候，那小孩还试图从我手上把剩下三瓶娃哈哈拿走。

4 各工况畸形波波高时间序列

工况1属于单峰型畸形波，其有义波高=4.59 cm，时间=77.34 s时最大波高=9.63 cm，此时波高比达到了2.11，产生了畸形波，波高时间序列如图5(a)所示，图中为波高.工况2也属于单峰型畸形波，其=2.89 cm，=45.96 s 时达到峰值=6.33 cm，波高比为2.19，波高时间序列如图5(b)所示.工况3属于三姐妹型畸形波，=2.89 cm，=45.96 s 时达到峰值=6.36 cm.此类畸形波可以连续产生几个大波具有持续性强的特点，波高时间序列如图5(c)所示.

5 预测结果

(1) 工况1.

工况1畸形波形状为单峰型，测点地形位置使得其特点为近岸浅水区，此处地形变化激烈，容易产生畸形波.工况1的训练集和测试集都有明显的畸形波，取训练数据和测试数据的期间分别为0～57.36 s和57.38～81.88 s，工况1各种模型的预报结果与真实值比较如图6(a)～6(e)所示，图6(f)中为真实值与预测值之间的误差.

预报结果显示，除了畸形波时刻附近，其余时间几乎为重合，后续工况2和工况3中将不给出真实波高与预报波高对比图.为突出不同预测模型对畸形波的预报精度，给出了畸形波时刻附近的预报误差比较，如图6(f)所示.5种模型预报误差在畸形波附近误差表现有较大差别，相较于LSTM单一模型，4种LSTM组合模型对于畸形波的预测精度都有明显提升.

第三，学生自身忽视小组合作学习方式的重要性，参与度不高.小组一般情况下都是由4～6人组成，其中一本有社交能力比较强，成绩比较好的学生，也有社交能力弱，成绩较差的学生.在进行某个知识点的合作探究的时候，成绩比较弱的学生往往不参与，仅仅在旁边听，或者是处在走神状态，根本没有参与到小组中来.如此便不会得到能力的提升以及知识的巩固.

(2) 工况2.

与工况1不同的是，只有测试集期间的数据畸形波程度明显.预报结果如图7所示.测点地形位置属于非线性变化区域，海底海山处变化较大，总体来说此类区域畸形波生成的概率较大.工况2训练集数据为0～39.32 s，测试集期间的数据为39.34～63.84 s，训练集畸形波特征不明显，测试集包含明显畸形波.

由图7可知，相比于LSTM模型，LSTM组合模型效果更优.

应邀出席庆典的领导还有农业农村部全国农业技术推广服务中心处长田有国、农业农村部耕地质量监测保护中心处长马常宝、国家微生物肥料技术研究推广中心主任孟庆伟、国家农工委土壤修复治理中心副主任李运明、中国种子集团副总经理姜涛。

(3) 工况3.

工况3的训练集数据区间为0～49.14 s，测试集数据为49.16～73.66 s，其中测试集数据畸形波特征明显.由图8可知，LSTM组合模型预报畸形波的精度比单一LSTM模型具有显著的优势.

随着英国电子商务的快速发展，网上购物活动日益频繁。但是，网上零售商、购物者、送货服务等方面都存在着一些问题，这对英国电子商务的发展和扩张有着重要的影响。与此同时，留学生是英国在线购物市场的主要群体之一。因此，本文对在英留学生网上购物行为展开了深入的调查和研究，作者认为，这将有利于在线零售商或公司针对留学生采取一些相应的营销策略或社交媒体战略来促进他们的产品或服务，以此来提高营业额，最终获得更高的利润。总体而言，本论文对第二部分所提到的研究问题进行了回答和论述。

3个畸形波时间序列预报的平均相对误差如表3所示.可以看出，LSTM组合模型预报精度均得到了显著提升.具体情况为LSTM-CNN模型精度最好，LSTM-ARIMA模型次之，LSTM-EMD模型和LSTM-Kalman更次之，LSTM效果最差，这个排序在3个畸形波序列预报中均是如此.相比较于单一LSTM模型，LSTM-CNN组合模型在3个畸形波时间序列预报的精度分别提升45.1%、74.7%及50.9%，精度得到显著提升.

需要说明的是，平均相对误差反映的是全局预报精度，但从畸形波的局部范围看，结合模型的预报精度更加具有明显优势，特别是LSTM-CNN模型表现最好.

6 结语

基于某岛礁地形模型的波高时间序列中发现的3个畸形波时间序列，针对长短时记忆神经网络，发展了其与CNN、EMD、ARIMA及KF这4种模型的组合组合，考察了4种组合模型对畸形波预报精度的提升效果.结果表明，采用平均相对误差评判，4种LSTM组合模型在3个畸形波时间序列中预报精度均得到了显著改善.4种组合模型中，LSTM-CNN组合精度提升最为明显，且误差分布较其他LSTM模型更均匀.因此，LSTM-CNN模型是预报畸形波的一种理想组合模型.后续研究中，将通过畸形波数值模拟方法，得到流场速度和压力等信息，从而建立更多变量的机器学习模型预报，用于船舶与海洋平台的载荷预报.