基于EMD 和时序注意力机制的明渠流量预测模型①

李占利 邢金莎 靳红梅 李洪安 张 蕴

(西安科技大学计算机科学与技术学院 西安710600)

0 引言

矿井涌水量是指煤矿开采过程中,地表水或地下水通过裂隙、断层等各种通道在单位时间内涌入井巷系统的水量,当矿井涌水量超过矿井自身排水能力时会导致煤矿透水事故的发生[1]。因此,准确预测矿井涌水量对矿井的安全生产和效益等各方面具有重要意义。

现有的涌水量预测方法包括解析法、数值法、水文地质比拟法、水均衡法和神经网络模型等。解析法运用地下水动力学原理,对一定边界条件和初始条件下的地下水流动问题建立定解方程,以此预测涌水量。解析法的实现较为简便,但在大降深、不规则的条件下,涌水量预测结果误差较大[2]。数值法通过求解渗流偏微分方程获得涌水量的近似值,它适用于解决许多复杂条件下的矿井涌水量问题。但由于开采条件变化大、不确定因素多,方程的建立是在一定假设和地质结构简化的基础上,预测结果只是近似值[3]。水文地质比拟法以现有生产矿井的实际水文地质资料类比计算预测水文地质条件相同矿井的涌水量,该方法计算简单,但精度低,应用范围受限制[4]。水均衡法通过对矿井内的补给、径流、排泄及源汇等补排条件关系的研究,建立水均衡方程预测涌水量,该方法需要的参数较少,但难以计算地下水均衡的各个组成部分[5]。以上方法基于所开采矿区地质条件和水文地质参数建立方程实现预测,不具备通用性。现有越来越多的神经网络模型应用到矿井水文地质灾害监测预警领域,尤其是反向传播(back propagation,BP)和长短时记忆网络(long short-term memory,LSTM)神经网络[6-7]。BP 神经网络具有良好的非线性和泛化逼近能力,但BP 神经网络也存在网络结构难以确定、预测精度低等问题,而LSTM 网络作为具有记忆能力的循环神经网络,可以学习序列数据的状态特征,更加适用于明渠流量的预测[8]。另外,目前所构建的神经网络模型通过挖掘地质参数与涌水量关联关系建立预测模型,但预测值多以年或月为单位,不具备实时性[9]。

矿井开采过程中,通过抽取设备获取的明渠流量可以反映矿井涌水量的变化,是实时了解矿井采区水文地质条件变化的唯一显性标志数据[10]。本文提出一种基于经验模态分解(empirical mode decomposition,EMD)和时序注意力机制结合的明渠流量预测模型,通过预测的明渠流量来反映短期内涌水量的变化情况,不过多依赖矿区水文地质参数,具有通用性,并且预测值以分钟为单位,具有一定实时性。该模型首先通过EMD 将数据分解为各个子分量;其次在LSTM 基础上引入注意力机制构造时序注意力机制模型(temporal attention based on LSTM,TA-LSTM)增强历史时间点的信息表达;最后将各个子分量分别通过TA-LSTM 训练学习,并将各分量预测结果融合得到最终预测值。为了验证本文方法的有效性,对矿井采集的明渠流量数据分别采用BP、LSTM、TA-LSTM、EMD-LSTM 模型和本文提出的EMD-TA-LSTM 模型进行了对比实验,结果表明本文方法可以预测出数据的整体变化趋势,也可以及时预测数据的波动情况。

1 实验原理

1.1 EMD 算法

EMD 算法可将序列分解为有限个不同时间尺度上的本征模态函数分量(intrinsic mode function,IMF)和一个残差余量,它们分别反映原始序列的波动特征和趋势特征[11-12]。EMD 分解过程中IMF 分量必须满足2 个条件:(1)极值点和过零点个数必须相等或相差最多不超过1 个;(2)在任意时刻,由局部极大值点和极小值点形成的上下包络线平均值为0。

通过EMD 对数据s(t) 进行分解,步骤如下。

(1) 根据s(t)的上下极值点拟合s(t)的上下包络线[13],计算2 个包络线的均值包络线m(t)。

(2) 令s(t) 减去m(t)的差值为中间信号C(t)。

(3) 判断C(t) 是否满足IMF 条件,若满足,即为第1 个IMF 分量,记为IMF1,令s(t) 减去IMF1分量的差值为r(t);若不满足,以C(t) 为基础重复步骤(1)～(3)。

若此时r(t)的均值包络线趋近于0,即满足分解结束条件,分解结束。否则,以r(t) 为基础重复步骤(1)～(3)。设分解结束得到的各个模式分量和残差余量分别为C1(t)、C2(t)、…、Cn(t) 和r(t),则原始数据可表示为

1.2 LSTM 网络

LSTM 网络通过增加门结构解决了传统循环神经网络(recurrent neural network,RNN)长期记忆能力不足的问题,使得RNN 能够真正有效地利用长距离的时序信息[14]。

LSTM 网络结构如图1 所示,xt为当前时刻输入,ht-1和st-1分别为上一时刻隐藏层状态和门控单元状态,遗忘门选择性丢弃历史信息,输入门保留当前信息并与历史信息融合,输出门决定当前门控单元状态对隐藏层输出的影响,LSTM 网络最终输出由输出门和门控单元共同决定[15],可表示为

图1 LSTM 网络结构

式中,it、ft、ot依次表示输入门、遗忘门、输出门3 类门结构;ht-1是前一时刻隐藏层单元的输出信息,ht代表当前输出信息;cell 单元则用st表示;Wi和bi、Wf和bf、Wo和bo、Ws和bs分别为输入门、遗忘门、输出门和门控单元的权值矩阵和偏置项;σ和tanh分别为sigmoid 和双曲正切激活函数;☉表示矩阵以元素相乘。

2 EMD-TA-LSTM 明渠流量预测模型

明渠流量数据可以实时反映井下涌水量的变换情况,该数据受地质环境和水文地质条件等各方面影响,变化较为复杂,传统的神经网络模型难以对其进行准确预测。为了提高预测精度,本文提出EMD-TA-LSTM 预测模型,该模型主要包括3 部分:(1)通过EMD 将明渠流量分解为不同频率下的子分量,挖掘原始数据下的多维特征;(2)在LSTM 基础上加入注意力机制增强历史时间点的关键信息;(3)将EMD 分解后的各分量分别通过时序注意力机制进行预测,对各分量预测值进行融合得到最终结果。

2.1 TA-LSTM 网络结构

注意力机制的主要思想是针对输入序列中影响输出结果的关键部分分配较多的注意力,更好地学习输入序列中的信息[16]。TA-LSTM 网络结构如图2 所示,包括输入层、LSTM 隐藏层、Attention 层、全连接层和输出的预测值。该网络模型以LSTM 为基础,结合注意力机制进行关键时刻信息的自提取,挖掘前t个历史时刻的信息对第t+1 时刻待预测值的影响程度。模型函数可映射为F,预测值可表达为

图2 中输入层为某一时间段内的数据,表示为{x1,x2,…,xt}。在隐藏层之前,需对训练集进行重构,重构为[训练样本数,t,1]的三维矩阵,以构建LSTM 网络模型的输入要求。通过LSTM 网络处理输入数据,实现高层次的特征学习,得到输出序列ht。然后将隐藏层的输出作为注意力机制的输入,通过网络模型不断学习计算各个输入分配的注意力概率分布值ut,如式(8),并通过式(9)对权重进行归一化得到权重向量αt,且满足式(10)。根据式(11)将αt与ht进行加权求和得到新的向量ct,输入到全连接层中,最后计算出预测值。

图2 TA-LSTM 网络结构

式中,W为权重矩阵,b为偏置参数,tanh 为双曲正切函数。

2.2 EMD-TA-LSTM 模型搭建

本文提出的基于EMD 与时序注意力机制结合的明渠流量预测模型流程图如图3 所示。

图3 EMD-TA-LSTM 预测模型流程图

该模型通过EMD 将明渠流量进行分解,对分解后各子分量根据式(12)进行Min-Max 归一化处理,将数据归一化到[0,1]之间,这样做的目的是为了提高模型的预测精度和效率。

式中,Xmin和Xmax分别代表数据中的最小值和最大值。

EMD 算法在分解过程中不改变原始数据的属性,即所有原数据拥有的特性都会被保留,且各分量都可以体现出原始数据的部分特性[17]。EMD 分解后的各子分量从高频到低频依次得到,其中高频分量包含数据的主要特征,并且各分量具有不同的特征尺度,它们之间的相互影响被隔离,利用这种隔离可以减小明渠流量本身的非平稳性和非线性在预测中带来的误差。

TA-LSTM 模型主要包括LSTM 网络和注意力机制两大部分。LSTM 网络中特有的门机制可以改善传统RNN 本身的梯度衰减问题,能够更好地捕捉时间序列中时间步距离较大时的依赖关系,有效地利用长时序信息。LSTM 层的加入是为了网络训练学习过程中选择记住重要的信息,遗忘不重要的。LSTM 层数过多,网络训练会消耗大量时间,所以会综合考虑预测效果最佳且用时较少时的层数,本文LSTM 层数设置为3 层。注意力机制的作用是通过注意力机制学习历史时序数据对待预测时刻的影响程度,突出关键时间点的重要性。在注意力机制层中,根据当前层输入计算权重向量,然后将权重向量与当前层输入向量合并得到新的向量,随后输入到全连接层,通过全连接层进行局部特征整合,最后计算出预测值。

基于EMD-TA-LSTM的明渠流量预测模型具体步骤如下。

(1) 明渠流量分解。通过EMD 算法将明渠流量分解为n组频率不同的本征模态函数分量{IMF1,IMF2,…,IMFn} 和一个残差余量r。

(2) 归一化处理。通过式(12)将分解后的各分量分别进行归一化处理。

(3) 各分量对应网络模型的神经元个数。对各分量分别搭建TA-LSTM 模型,通过多次训练并对比训练集的网络误差大小确定最终输入层和隐藏层神经元个数。

(4) 预测。训练集样本在TA-LSTM 模型预测之前,通过网格参数搜索法训练学习,确定各分量对应的网络各种必要参数,训练完成后对各分量测试集样本进行预测,从而得到各分量归一化的预测值。

(5) 融合。将各分量预测结果进行逆归一化处理,并融合得到最终预测值。

3 实验验证

本文实验在Win10 64 位系统下进行,处理器为Inter(R) Core(TM) i5-8300H CPU @2.30 GHz 2.30 GHz,基于Python3.6 环境和keras 框架,keras版本为2.2.4。实验数据选取开滦集团东欢陀煤矿采集的明渠流量数据为研究对象(见图4),在实际采集过程中,每5 min 统计一次,共2400 组。从图4中可以看出,数据呈现强烈的振荡特性和一定的趋势性,但并不具有明显的规律特性,若使用单一的神经网络模型,则预测难度较大。对明渠流量数据进行EMD 分解,分解结果见图5,共11 个子分量,从上到下分别为10 个IMF 分量和1 个残差分量。从图5 可以看出各分量按频率从高到低排列,即最先得到的第1 个分量为最高频分量IMF1,然后是次高频分量IMF2,依次类推,最后是频率接近于0的残差分量。对比图4,各IMF 分量反映数据在不同时间尺度上的波动特征,残差分量反映数据的长期趋势特征。

图4 东欢陀煤矿明渠流量序列图

图5 EMD 分解序列图3 实验验证

对分解后的每个子分量都采用留出法将其划分为2 个互斥的集合,其中一个集合作为训练集,另一个集合作为测试集,本文将前80%组数据作为训练集,后20%作为测试集。

通过深度学习keras 库构建时序注意力机制预测模型,分别对分解后的每个子分量进行训练学习,模型具体网络参数设置如下。

(1) 输入层、输出层。神经元数目由输入变量和输出变量决定。明渠流量数据每5 min 统计一次,综合考虑数据的变化趋势,并进行多次尝试,最终本文将前20 个时间点的数据作为特征,下一个时间点数据作为标签,创建特征集和标签集。意为用前20 个时间点的数据预测后一时刻时间点数据,所以输入层神经元个数为20,输出层神经元个数为1。

(2) 优化器、神经网络的学习方法。本文选择Adam 优化器,它结合了AdaGrad 和RMSProp 2 种算法的优点,计算高效,对内存需求少,参数的更新不受梯度的伸缩变换影响。

(3) 损失函数。神经网络训练时试图最小化的目标函数,损失函数的选取取决于输入标签数据的类型,因为本文输入的是数值,所以将损失函数参数设置为均方误差(mean square error,MSE)。

目前,神经网络隐藏层神经元个数根据经验设置,重复进行多次实验后,比较不同数量的隐含层神经元个数的预测误差。当隐含层神经元个数为32时,预测结果与实际值的均方根误差最小。

在同一数据集上用BP、LSTM、TA-LSTM、EMDLSTM 与本文提出的EMD-TA-LSTM 模型在迭代次数都为100的情况下进行了对比实验,预测结果如图6 所示。

图6 各模型预测对比图

从图6～图9 中可以看出:(1)对比BP 和LSTM神经网络,两者的预测结果都具备良好的趋势性,但LSTM 模型相比于BP 模型更能预测出原始数据的波动特性,如图8 中BP 模型在时间为180 和220 左右预测结果与实际数值误差过大,所以对于波动性强烈且非线性的明渠流量数据来说,LSTM 神经网络更合适。(2)对比LSTM 和TA-LSTM 模型预测结果,TA-LSTM 模型具备更好的跟随性和波动性,如图7 时间在60～80 范围内TA-LSTM 模型预测结果更接近实际值。(3) 对比LSTM、EMD-LSTM 和EMD-TA-LSTM 模型预测结果,虽然EMD-LSTM 和EMD-TA-LSTM 模型预测结果都几乎与原始数据保持一致的趋势性和波动性,但在数据突然有较大范围变化时,EMD-TA-LSTM 可以及时捕捉并进行预测,如图7 时间在60～80 范围内有2 次数据突变的情况时EMD-TA-LSTM的预测效果均好于EMDLSTM,预测值更接近实际值。从图10 中各模型预测误差可以看出,EMD-TA-LSTM 模型的误差明显小于其他模型,尤其是相对于传统的BP 和LSTM 模型误差降低了将近一半,相比于TA-LSTM 和EMDLSTM 模型误差也有所降低,进一步说明本文方法更适合用于明渠流量的预测。

图7 0～150 时间段内各模型预测放大对比图

图8 150～275 时间段内各模型预测放大对比图

图9 275～373 时间段内各模型预测放大对比图

图10 各模型预测绝对误差对比图

针对各预测模型采用预测评价指标为均方根误差(root mean squared error,RMSE)和平均绝对百分比误差(mean absolute percentage error,MAPE),并对预测结果进一步分析。各模型预测性能评估如表1所示。值越小代表预测精度越高,预测指标如下:

式中,xactual代表真实值,xforecasting代表预测值,n为预测值和真实值个数。

从表1 中各模型预测性能评估值来看,本文所提出模型的均方根误差和平均绝对百分比误差分别比单一预测模型BP 降低了49.2%、45.8%,比单一预测模型LSTM 降低了43.4%、47.7%,比EMDLSTM 降低了11.3%、7.9%,比LSTM-Attention 降低了34.9%、36.3%。依据误差指标来看,本文所提模型预测精度最高,说明将明渠流量通过EMD 分解转换为多个子分量,然后建立EMD-TA-LSTM 模型进行预测可以在原有LSTM的基础上提高预测精度。

表1 各模型预测误差值对比

4 结论

本文提出一种基于EMD 和时序注意力机制结合的矿井明渠流量预测模型。该模型通过EMD 提取明渠流量数据在不同时间维度上的波动趋势和趋势特征,将对明渠流量的研究转换为对其分解后各子分量的研究。针对LSTM 网络在输入长序列时信息容易丢失的问题,在LSTM的基础上引入注意力机制构造时序注意力机制模型,通过该模型训练学习突出历史关键时间点的重要信息,挖掘每一时刻对当前时刻的影响程度。经过实验验证,本文提出的模型预测效果最好,通过对明渠流量的准确预测可以为矿井防治涌水、排水系统设计和煤矿安全方面提供技术支持。

该模型不仅适用于对明渠流量的预测,也为其他领域的预测研究提供了新思路。但是本文模型的建立没有考虑影响明渠流量相关的变量,如矿区开采过程的埋深、温度、降雨量等,因此,在此基础上充分利用相关变量建立预测模型,提高模型的适用性为下一步研究的重点。