基于二元LSTM神经网络的船舶运动预测算法研究

张博一, 胡 雄, 唐 刚, 邵辰彤

(上海海事大学 物流工程学院, 上海 202003)

长短期记忆网络(long short-term memory, LSTM)是一种时间循环神经网络。由于其独特的设计结构,解决了早期预测数据的梯度消失问题, 在时序预测的表现通常比时间递归神经网络及隐马尔科夫模型(HMM)更好。近年来在时滞系统的预测控制设计中,受到广泛关注和应用[1]。

舰载设备属于一种典型的时滞系统, 具有惯量大、载荷重的特点。同时由于舰载设备的工作环境相对较为封闭, 大多时候船舶运动只能通过惯性器件测量, 但由于惯性器件本身电学特性和积分算法存在的缺陷, 积分位移常出现低频趋势项干扰[12]。导致常规的LSTM神经网络在对积分位移时序预测时,精度会随时间序列缩短而明显下降。

针对该问题, 本文在常规LSTM结构的基础上进行了拆分和简化, 设计改良了一种针对低频扰动降趋预测的二元LSTM神经网络结构, 并利用多组算例对网络进行了验证与误差评价, 研究了网络参数的选择对结果的影响; 最后通过船舶模拟振动台模拟船舶运动进行实时预测, 验证了该二元LSTM神经网络对模拟船舶积分位移预测具有良好的准确性和实时效率。

1 LSTM神经网络在船动预报中的应用和其局限性分析

船舶升沉运动作为实际物理系统, 当前时刻输出与相邻时刻的输出必然存在一定的相关性, 因此对惯性器件输出序列的预测采用LSTM网络是一种合适的构建形式。与传统的循环神经网络相比,LSTM对内部的结构进行了更加精心的设计, 加入了输入门、遗忘门以及输出门3个门和1个内部记忆单元ct(图1)。输入门控制当前计算的新状态以多大程度更新到记忆单元中; 遗忘门控制前一步记忆单元中的信息有多大程度被遗忘掉; 输出门控制当前的输出有多大程度上取决于当前的记忆单元[1-3]。

图1 LSTM神经网络单元Fig. 1 LSTM neural network unit

该网络模型中, 每个网络单元包含3个逻辑门,分别是输入门it、遗忘门ft和输出门ot,

式中,Wi,bi,Wf,bf,Wo,bo为网络待训权重。σ(Sigmoid函数运算)为线性单元函数, 可以将自变量映射到[0,1]区间上, 前一个基本单元传递系数ct-1上式的计算结果作线性叠加, 即记忆层ct更新公式为:

Wc为待训权重, tanh单元与σ单元类似, 表示将数值映射到区间[-1, 1]之间。式中包含了“遗忘门”的设计, 通过线性叠加确定本次输入信息的权重和对之前信息的遗忘比例。遗忘门控单元的设计主要用于控制数据长期依赖性信息的流动, 近似于滑动平均的思想, 如果ft接近于1, 则可以记忆久远地传递信息, 而ft接近于0, 则完全遗忘, 防止训练中出现由长期依赖性导致的梯度消失[5-6]。输出层ht计算公式为:

将基本单元按照问题的规模和预测输出的长度连接为拓扑结构即可完成网络主要部分的搭建。

为了验证LSTM神经网络对绝对式传感数据和相对式传感数据的预测效果, 通过船舶运动仿真平台模拟船舶甲板运动, 通过绝对式传感系统(惯性积分仪)测量平台的运动, 并利用相对式传感系统(激光测距仪)对测量结果进行校验。分别构建10层和30层的LSTM神经网络, 选取10组时序长度为500离线测量数据作为训练样本, 用训练网络分别对实时采集未校验数据和校验数据进行实时预测验证, 统计均方根误差(RMSE, root mean square error)。实训预测效果如图2所示。

图2 LSTM神经网络对绝对式传感数据和相对式传感数据预测对比Fig. 2 LSTM neural network prediction comparison of absolute sensor data and relative sensor data

可以看出, 在对无相对校验数据预测时, LSTM神经网络预测能力会随着时间序列的缩短出现较大的退化。造成这种现象的主要原因是绝对式传感系统由于电学传感器的工作时, 存在无规律超低频的直流信号偏置干扰[1]。而LSTM预测时, 干扰会随着实时信号一起输入到网络单元中, 造成误差累积。过度放大时间序列会影响网络的学习效率和时效性,因此常规的LSTM神经网络在干扰较多的恶劣工况下有很大局限性。

2 双元记忆LSTM神经网络模型

常规LSTM神经网络对绝对式传感信号预测能力会随着时间序列的缩短出现较大的退化, 预测输出的规模也会减小。因此, 常规的LSTM神经网络虽然在条件较理想环境下能取得较为理想的预测效果,但在缺少校验, 只能依赖绝对式测量法的实际海洋工况下, 其预测效果就会大打折扣。

针对这一问题, 本文构造了一个双层记忆的LSTM神经网络, 借鉴滑动均值法思路, 针对实测信号预测和趋势项提取的物理意义改良网络数学模型, 实测信号预测的短时学习权重高, 因此降低遗忘门, 提高输入门的训练权值, 趋势项提取记忆学习权重高, 因此提高遗忘门, 降低输入门的训练权值, 如图3所示。

图3 二元LSTM神经网络单元Fig. 3 Binary LSTM neural network unit

在第t个单元中,cn和pn分别表示趋势记忆层和递推记忆层,ht-1为前一个单元位移变量的传递输出,首先将其还原为趋位移变量。其关系为

其中,ξc为趋势项修正系数, 其范围区间为[0, 1]。

输入xt与连接后通过线性单元σ( Sigmoid函数运算) 转化为区间[0, 1]之间的递推遗忘门系数和递推输入门系数, 同样通过tanh单元表示将数值映射到区间[-1, 1]之间, 这一部分的特征映射表达式为

更新递推记忆层pt和趋势记忆层ct:

根据递推值和趋势值的关系, 本单元位移变量输出ht为:

将基本单元按照问题的规模和预测输出的长度连接为拓扑结构即可完成网络主要部分的搭建。由于趋势扰动频率远低于船舶的实际运动频率, 单次工况内, 输入修正系数和遗忘修正系数可以视为固定值, 以此减少了相对需要训练的网络参数, 使该网络在理论上具有更好的训练效率。

3 实验分析

趋势待定权重可以参考带权重的滑动平均值法设定, 对于时序输入xt, 使用以下公式更新加权趋势

常规运输驳船的振荡能量密度主要分布在0.05～0.25 Hz。实测对比发现, 加速度积分的趋势干扰主频率低于3 MHz, 因此分别取遗忘修正系数ξf为0.96、0.98和0.99进行验证对比, 对应输入修正系数ξi取0.04、0.02和0.01, 分别构建10层和30层二元LSTM神经网络, 选取同样10组时序长度为500离线测量数据作为训练样本对网络进行初始训练, 再对实时采集未校验数据进行多次实时预测验证并记录, 统计均方根误差(RMSE)。部分实时训练效果对比如图4所示。

其中初始输入修正系数ξi取0.04(遗忘修正系数ξf为0.96)时, 网络训练效果最优, 分别对10层和30层网络进行多次实训预测, 预测结果与对应实际数据对比如图5所示。

通过上述几个网络, 进行多组数据预测效果统计对比, 对比结果如表1所示。

表1 LSTM网络与本文LSTM网络预测误差对比Tab. 1 Comparison of prediction error between LSTM network and binary LSTM network

本文测试, 10层的LSTM网络预测结果测得峰差值均方差6.29%, 均值均方差18.59%, 峰值均方差27.87%, 而10层二元LSTM神经网络预测结果有较大改善, 对应测得峰差值均方差0.64%, 均值均方差0.42%, 峰值均方差0.57%, 能更好地针对船舶运动积分位移特性, 在精确短周期预测的基础上有效消除趋势干扰, 更准确的还原预测实际的船舶运动轨迹。

可以看出, 在同样的训练规模下, 二元LSTM神经网络相比常规LSTM神经网络对船动数据拟合和预测精度较优, 尤其在时间序列较短时改善更为明显。但在线预测过程中由于船舶振荡幅频出现波动, 以往修正系数和输入修正系数的适应性出现了波动, 当然准确率下降的原因仍有训练样本不够庞大和参数设置的原因。但通过观察图4、图5, 可以看到预测对噪声变化趋势仍保证相当的契合度, 仍可以将这个结果作为有色噪声范围对滤波算法进行优化设计。

图4 在线实时预测效果对比Fig. 4 Online predicted results

图5 二元LSTM预测效果对比图Fig. 5 Comparison of the predicted results

4 结语

在船舶升沉位移预测过程中, 单传递层的LSTM神经网络具有很好的准确性和训练效率, 并能够架构长短时深度学习网络实现对船舶升沉运动的实时快速预测, 但在船舶升沉运动测量中, 由于惯性测量器件本身特性, 使单传递层的LSTM神经网络预测中不可避免的产生偏差; 而本文架构的双层记忆传递层LSTM 网络, 针对惯性器件测量积分位移的误差特性, 设计了一种双层记忆神经单元架构, 能够在准确预测船舶升沉位移信号曲线的同时消除惯性器件测量时引起的误差。在线实时预测中本文LSTM 网络预测能力会随着环境变化出现一定的退化, 但可以通过叠加更多层LSTM 并减小预测输出的规模使预测更为精准, 再根据其输出对控制系统的滤波算法进一步优化设计。