基于正交参数优化的LSTM结构变形预测模型①

甘文娟,陈永红,韩 静,王亚飞

(长安大学 信息工程学院,西安 710064)

1 引言

随着社会大型建筑需求量的增大,在结构施工和运营过程中,自动监测已成为不可缺少的内容,通过现代化、自动化的技术对结构关键部位进行变形监测,对监测数据进行分析,可以对结构的安全状态进行预测和评价.基于结构实测数据来建立科学的预测模型,能够及时、准确地掌握结构的变形发展趋势,有效地减少安全事故,对降低生命财产损失、保障结构安全性具有重要的意义.

国内外学者对变形预测模型做了大量研究工作,现有的预测模型分为如下几类:回归预测模型、灰色模型、时间序列模型、神经网络模型及组合预测模型.由于引起结构变形的因素有很多,因此不同的预测模型对不同的监测数据有各自的适应性.

回归分析是确定结构变形与相关变形因素之间关系的数理统计方法,基于回归的预测在处理较少的变量和大量可靠有效的数据时最为有效[1],常用于大坝[2]及边坡[3]的变形预测,Dai 等[4]研究了基于统计模型和随机森林回归(RFR)模型的混凝土坝变形预测方法,RFR方法根据不同的重要性提取具有代表性的影响因素,然后用影响因素描述混凝土坝的变形,结果表明,RFR模型可用于其它结构行为的分析和预测.由于回归分析模型属于静态模型,没有充分考虑到结构监测数据之间的长期记忆性,因此有一定的局限性.1982年,Deng[5]提出灰色系统理论(GST),而基于非统计方法的灰色预测模型是灰色理论的重要内容之一,具有对于不确定因素的复杂系统预测效果较好,所需样本数据较小的优点.朱惠群等[6]在传统灰色GM(1,1)模型的基础上,利用模糊数学思想,建立灰色和模糊马尔可夫链模型的滑坡变形预测模型,通过优化误差提高预测精度.郝忠等[7]建立了不等间距多变量灰色模型来预测路基沉降变形,该模型通过灰导数和背景值对模型进行优化,可以精确有效地预测沉降变形.但灰色系统要求累加生成的新数据序列具有灰指数规律,这限制了在结构变形预测中的广泛应用.由于结构变形数据是典型的时间序列,常用的时间序列分析方法有自回归移动平均模型(ARMA)及其改进方法自回归差分移动平均模型(ARIMA).陈国良等[8]建立了基于ARMA 的变形预测模型,实测数据分析结果表明,该方法具有较高的可靠性和准确性.徐北海等[9]利用ARIMA 和ARMA 对结构变形进行预测,通过分析结构的时域特性,能够准确反映建筑物的变形.时间序列分析要求数据是线性的、稳定的,而工程结构变形监测数据具有复杂的非线性特征,这将影响模型预测的准确性.

近年来,神经网络及其改进算法在结构变形预测中得到充分的应用.Luo 等[10]提出一种基于TS 模糊神经网络的软土地基沉降变形预测模型,结果表明该方法仅适用于短期沉降.Gao 等[11]采用人工神经网络方法提取大坝变形特征,预测大坝长期静态变形.而神经网络的预测结果受样本类和模型参数的影响较大,容易陷入局部最优.

由于需要考虑的变形因素较多,单个模型难以达到预期的预测精度.因此,针对单一模型存在的问题,常采用组合预测模型对结构变形进行预测[12-15].Jiang 等[13]提出了最小二乘支持向量机-马尔可夫链模型(LS-SVMMC),通过误差修正来提高大坝预测精度.Chen 等[14]通过径向基神经网络(RBF-NN)和核主成分分析(KPCA)建立了土坝安全监测模型.为了提高桥梁结构变形预测精度,Xin 等[15]建立了广义自回归条件异方差Kalman-ARIMA-GARCH 模型.组合预测模型结合了不同模型的优点,但其预测性能受融合算法的影响较大,融合算法在结构变形预测模型中也是一个难点.

随着信息技术的发展,变形监测数据正在进入大数据时代,利用人工智能方法,特别是深度学习,来预测结构变形成为一种趋势.基于循环神经网络(RNN)改进的LSTM 模型能够克服RNN 的问题获得时间序列的长期依赖关系,Yang 等[16]利用LSTM 模型预测滑坡的周期性位移.结果表明,LSTM 模型能够充分利用历史信息,获得长时间的序列记忆,提高模型的性能,但也存在参数多、训练时间长的问题.

因此,结合LSTM 模型的优点,本文提出基于正交参数优化的LSTM 结构变形预测模型,采用LSTM 网络提取变形时间序列的特征,通过全连接得到预测输出,最后采用正交试验进行参数优化,筛选出最佳试验方案从而确定最优的模型参数组合.既减少试验次数与试验时间,也最大限度保证试验结果的准确性.实测数据对模型进行验证,结果表明,与现有预测模型相比,该方法预测误差较小,精度较高,是一种合理有效的结构变形预测模型.

2 基本理论

2.1 循环神经网络

RNN 作为一种典型的神经网络(图1),依然由输入层,隐藏层,输出层组成,其本质特点是在网络层中既有前馈连接又有反馈连接,因此网络的输出取决于当前时刻的输入和前一时刻隐藏层的输出,能够有效利用时间序列的依赖关系来获得时间特征,使它在处理时间序列上有更大的优势.同时RNN 模型也存在问题,当时间跨度过大时,会出现由于梯度爆炸和梯度消失而导致RNN 模型难以训练,预测结果不准确等问题.

图1 RNN 网络模型展开图

2.2 长短时记忆模型

针对RNN 模型的长距离依赖的问题,它的改进模型LSTM 应运而生,可以有效解决梯度爆炸、梯度消失的问题.模型结构如图2所示,LSTM 选择用“记忆块”代替传统的隐含节点,“记忆块”中加入3 个门函数,分别为输入门、遗忘门、输出门,每个门都使用σ激活函数来控制,内部具体结构如图3所示.

图2 LSTM 模型结构图

图3 LSTM 记忆块结构图

在LSTM 网络模型中引入一个新的内部状态ct来进行线性信息传递,同时将非线性输出信息给隐藏层ht的外部状态,每个记忆块的具体计算公式如下:

其中,it、ft、ot、ct、ht分别代表的是输入门、遗忘门、输出门、记忆细胞以及隐含层,在t时刻的输出值;xt为t时刻的输入,ct-1和ht-1分别为记忆细胞和隐含层在t-1时刻的输出,是通过非线性函数得到的候选状态;W∈R4d×(d+e)和b∈R4d为网络参数,W表示权重矩阵,b表示偏置向量,t anh(·)和 σ (·)为 激活函数,⊙表示向量元素乘积.

2.3 正交试验

正交试验是通过正交表来研究多因素多水平的实验方法,它以均匀性和正交性为原则,通过选择对试验结果影响较大的因素,用部分实验可以有效代替全面实验,能够从中找出优化的参数组合,具有效率高,准确度高的优点.通过分析可能影响模型预测性能的参数,试验时采用的正交试验表为L16(45),也就是因素种类确定为5 种,每种因素的水平设置为4 个等级,和非正交实验次数相比,能够大大提高了实验效率.

3 基于正交参数优化对的LSTM 结构变形预测模型

为保证结构的安全,采用自动化的监测设备对结构变形进行监测.通过对监测数据的分析,能够科学预测未来结构的变形趋势.本文结合LSTM 的优点,提出一种基于正交参数优化的LSTM 结构变形预测模型,LSTM 的变形预测模型分为3 个部分,数据的预处理、网络的训练和模型测试及参数优化.

假设X=[x1,x2,···xi,···xN]是由单个传感器监测的结构数据(N是采样点数).根据结构变形数据确定LSTM 网络的训练集输入输出和测试集的输入输出.前面M个样本点作为训练集,后面的N-M个样本点作为测试集,训练集的输入和目标输出为式(4)和式(5).

式中,L是滑动窗口的长度,Xtr是训练输入,Ytr是目标输出,式(6)是LSTM 模型函数,是训练输出.

模型的预处理包括数据插值和归一化处理.

模型训练的时候加入正则化防止过拟合,用Adam优化算法来更新网络的权重.首先,初始化模型中的所有参数θ;然后利用LSTM 网络提取的时间特征作为全连接层的输入,通过线性关系得到训练输出.再根据损失函数调整模型参数,求出参数θ 的最优解.

模型测试及参数优化过程如图4所示,通过测试输入XT,提取序列的时间特征,根据公式(8)得到预测输出,经过正交试验,找到误差最小的预测值作为最终预测结果.

在式(8)中,W和b是通过训练获得的参数,St是经过网络输出的时间特征,g(·)是激活函数,本实验中激活函数采用线性激活函.

本实验具体步骤如下:

步骤1.对原始数据进行插值和归一化,并划分训练集和测试集.

步骤2.将训练集输入LSTM 模型进行训练,得到最优预测模型,也就是找到使目标值和预测值之间的误差最小化的参数.

步骤3.通过测试集验证预测算法的准确性.

步骤4.通过正交实验对LSTM 模型的参数进行优化,并将最优参数对应的预测结果作为模型的最终预测结果.

图4 LSTM 预测模型

4 实验

4.1 数据及数据预处理

为验证模型的有效性,利用天津地铁5 号线地下隧道沉降数据进行了试验研究.监测时间为2016年3月10日至2016年12月29日,共计131 个点.由于在数据采集、传输、存储以及分析过程中可能导致数据错误或者数据缺失,且小样本无法验证模型的有效性.因此,在建立预测模型之前对变形数据进行插值.本文采用三次样条插值方法将原始数据转换为1310 个点.为了加快速度梯度下降,寻求最优解,提高准确性,把数据归一化,再将数据的前70% 的作为训练集,后30%作为测试集,归一化具体公式如下:

在式(9)中,Xi代表原始时间序列,Xmin代表序列的最小值,Xmax代表序列的最大值,代表归一化后的数据.

从图5可以看出,结构监测数据可以反映地表累积沉降的变化趋势.插值数据和归一化数据的趋势与原始数据是一致的,即使在拐点处也能与原始数据很好地吻合.

图5 数据预处理

4.2 模型评价指标

评价预测模型精确程度的常用指标有均方误差(Mean Square Error,MSE)、均方根误差(Root mean Square Error,RMSE)、平均绝对误差(Mean Absolute Error,MAE)、平均绝对百分比误差(Mean Absolute Percentage Error,MAPE)等,在本实验中选取RMSE、MAE、MAPE作为评价指标,具体计算公式如下:

在式(10)～式(12)中,yi为结构的实际变形值,为结构的变形预测值,N为预测样本个数.

4.3 实验结果及分析

4.3.1 模型参数优化

LSTM 模型的超参数对预测结果的影响很大,因此通过分析对模型预测性能影响较大的参数,将正交试验的因素种类设置为LSTM 预测模型的迭代次数、隐含层节点个数、学习率、输入层节点数、批处理大小,分别用A、B、C、D、E 表示,并依据现有经验将每种因素的水平设置为4 个等级,分别用数字1、2、3、4 表示,具体的参数设置情况如表1所示.

表1 正交试验因素种类及水平等级

为了验证模型的准确性,每次实验进行5 次并且取其平均值作为最终结果,表2列出了由正交试验表设计的16 次模型参数优化试验的试验结果.通过分析模型预测结果的RMSE、MAE、MAPE及运行时间,以预测误差最小、准确率最高及运行时间相对较短为原则筛选出模型性能最优的模型参数组合.

表2 正交试验及试验结果

由表2的实验结果可知,在实验编号为3 的各类误差最小,运行时间相对较短,因此选取其对应的参数组合作为模型的最优参数.即迭代次数为500,隐藏层节点数为16,学习率为0.01,输入层节点数为7,批处理大小32,预测结果如图6.

由图6可见,模型的预测值和真实值非常接近,在拐点处也能很好的拟合,表明LSTM 模型在结构变形的时间序列上有很高的预测效果.

图6 模型预测结果图

4.3.2 模型对比分析

本实验通过LSTM 模型与其他常用预测模型的结果对比分析,来验证LSTM 模型在结构变形预测领域的有效性,预测模型有小波神经网络(Wavelet Neural Network,WNN)、深度置信网络-支持向量回归(Deep Belief Networks,Support Vector Regression,DBNSVR)、门控循环单元(Gated Recurrent Unit,GRU),由于超参数对于模型的预测精度来说至关重要,因此经过多次试验的交叉验证选取模型的最佳超参数值,通过上述预测模型的对比实验,具体结果如图7所示.

图7 不同模型对比实验

图7可知WNN 预测结果最差,整体能够反映数据变化的趋势,局部差异性很大,与WNN 相比较,组合预测模型DBN-SVR 的性能较好,但是不如基于门控循环神经网络的GRU 模型,这是因为GRU 模型通过各种门把需要的信息尽可能的保留,有选择的遗忘不需要的信息,更好地捕捉时间序列中时间步距较大的依赖关系.基于正交参数优化的LSTM 模型的预测效果最好,其预测值与真实值吻合度最高,对应的曲线图基本重合,利用记忆块更好地控制模型的记忆长短,充分提取时间特征.且通过真实结构变形数据的验证,充分说明本文提出的基于正交参数优化的LSTM 结构变形预测模型在实际应用时具有很好的可行性.为了明确不同预测方法的具体误差值,不同模型的性能比较结果如表3所示.

由表3可知,与WNN、DBN-SVR、GRU 和LSTM模型相比,基于正交参数优化的LSTM 结构变形预测模型的RMSE分别降低了79.10%、58.75%和30.18%,平均RMSE降低56.01%.模型的平均MAE分别下降78.73%、53.08%和27.01%,平均MAE下降52.94%.模型的MAPE分别下降了78.57%、53.25%和26.53%,平均MAPE下降了52.78%.预测结果表明,与传统模型相比,该模型的误差较小,预测精度较高.

表3 不同模型性能比较

5 结论

针对现有预测模型存在的问题,本文提出了一种基于正交参数优化的LSTM 结构变形预测模型.由于结构变形数据具有时间相关特性,通过LSTM 模型得到时间序列的长期记忆,能够有效提取时间特征.通过正交实验来获得网络的最优超参数组合,最后得到预测结果,既减少实验时间,也保证了预测精度.最后通过与WNN、DBN-SVR 和GRU 模型的预测结果分析,表明基于正交参数优化的LSTM 结构变形预测模型在处理结构变形时间序列时具有较小的预测误差,能够为结构变形预测提供科学依据.