基于CNN-LSTM的煤矿瓦斯浓度预测

荀晓玉 苏璨 李威 庞明瑞

摘  要：对瓦斯浓度进行预测是预防瓦斯事故的有效方式。卷积神经网络（CNN）可以提取时间序列中的时间平移不变特征，长短期记忆神经网络（LSTM）具有长期记忆能力，可以捕捉到具有长期相关性的信息，将CNN与LSTM结合，从时间序列的角度对采煤工作面瓦斯浓度进行预测。结果表明，与单独使用LSTM进行预测及使用支持向量回归（SVR）预测相比，CNN-LSTM模型具有更高的预测准确率。

关键词：瓦斯浓度预测;时间序列;卷积神经网络;长短期记忆神经网络

中图分类号：TP181      文献标识码：A 文章编号：2096-4706（2020）20-0149-04

Coal Mine Gas Concentration Prediction Based on CNN-LSTM

XUN Xiaoyu，SU Can，LI Wei，PANG Mingrui

（China University of Mining and Technology-Beijing，Beijing  100083，China）

Abstract：Predicting gas concentration is an effective way to prevent gas accidents. Convolutional neural network（CNN）can extract the invariant features of time translation in time series. Long short-term memory neural network（LSTM）has long-term memory capabilities and can capture long-term relevant information. Combine CNN with LSTM to predict the gas concentration of coal mining face from the perspective of time series. The results show that the CNN-LSTM model has a higher prediction accuracy rate than using LSTM alone for prediction and support vector regression（SVR）prediction.

Keywords：gas concentration prediction;time series;convolutional neural network;long short-term memory neural network

0  引  言

煤炭在我國能源结构中占主体地位，煤矿井下环境复杂，开采过程中会遇到各种灾害，其中瓦斯事故的危害最为严重，采煤工作面发生瓦斯事故的概率高于其他作业区域，对采煤工作面瓦斯浓度进行预测，及时采取相应措施，对煤矿安全生产具有重要意义[1]。国内外学者对瓦斯浓度预测做了大量的研究，目前比较常用的预测方法有：根据灰色理论建立灰色预测模型对瓦斯浓度变化进行动态分析[2];通过支持向量机对瓦斯浓度时间序列进行预测[3];使用混沌理论方法对瓦斯浓度时间序列进行相空间重构[4];使用神经网络对瓦斯浓度进行预测等[5]。瓦斯浓度时间序列中包含大量灾害系统动态演化的特征信息，通过非线性理论分析并研究瓦斯浓度时间序列的规律是目前瓦斯浓度预测的主流趋势[6]。

为进一步提高煤矿瓦斯浓度预测精度，给煤矿安全生产提供可靠保障，作者对采煤工作面瓦斯浓度预测模型进行研究，并作为自己的毕业设计研究课题，提出了将CNN与LSTM相结合的瓦斯浓度预测模型。

1  CNN-LSTM预测模型构建

1.1  CNN

CNN是一种复杂的深度神经网络，主要由卷积层、池化层、全连接层构成。卷积层利用卷积核在输入数据上滑动做局部卷积操作，将卷积运算得到的特征经过激活函数处理从而得到最终特征。[7]卷积核是一个权重矩阵，也可称为滤波器，矩阵中的各参数通过训练CNN得到。在卷积操作过程中，采用了局部连接的方式，即使用同一个卷积核对目标进行卷积操作，降低了模型过拟合的风险并且可以减少程序运行所需的内存。卷积操作过程为：

（1）

其中，yl为经过l层卷积操作后的输出，g为激活函数， 为是第l层第m部分卷积区域的输入， 为第l层第m部分的权重，*为卷积运算， 为第l层的偏置项。图1为一维卷积操作过程，卷积核的维度为3，输入数据维度为8，设置移动步长为1，则卷积处理后的输出结果维度应为6。

池化层通常夹在连续的卷积层之间，用于减少参数的同时保留主要特征，操作过程与卷积层相似，使用池化核在输入数据上滑动，通过最大池化或平均池化取出操作区域的值。池化层中没有需要训练的参数，指定池化类型、池化操作的核尺寸及移动步长即可。池化操作过程为：

（2）

其中， 为第l层第m个数组的池化结果，  为第l层第m个数组区域中第p个数值，g为池化函数。

全连接层可以将卷积层和池化层提取到的局部特征进行综合从而得到输入数据的全部特征。全连接层中每个神经元与前一层的神经元逐个相连，全连接层的计算公式为：

（3）

其中，dl为第l层全连接层的输出，g为激活函数，为第l层数据输入， 为第l层的权重系数， 为偏置参数。

一个完整的CNN工作过程是通过卷积层与池化层的堆叠进行层次级特征提取获得具有代表性的特征，最后通过全连接层计算得到最终输出。

1.2  LSTM

LSTM是為了解决原始的循环神经网络中存在的长期依赖问题而设计出来的，是一种改进的循环神经网络，适合处理和预测时间序列中间隔和延迟较长的重要信息。原始的循环神经网络的基本结构如图2所示，其中A为一组神经网络，xt为输入数据，ht为输出数据。循环神经网络处理数据时，使用一组内部状态对当前数据的特性进行记录，A可以保证每一步都可以保存以前的信息，在下一轮处理数据时会结合上一轮的内部状态计算当前数据。

LSTM主要对原始循环神经网络隐含层做了修改，在隐含层中引入了输入门、输出门和遗忘门来控制自循环，从而使其具有捕获长期信息的能力。LSTM结构如图3所示。

在时间序列中，有些时刻的数据对当前的输出无关紧要，首先通过遗忘门ft对这些信息进行有选择地丢弃，使用0～1之间的数值来表示遗忘程度，0表示全部遗忘，1表示全部记住，计算公式为：

ft=σ（wfxxt+wfhht-1+bf）                         （4）

然后通过输入门it决定增加哪些新的信息到内部状态，并且通过一个tanh层处理上一时刻输出信息和当前时刻输入信息得到候选内部状态 ，更新旧的内部状态ct-1，产生新的内部状态ct，即：

it=σ（wixxt+wihht-1+bi）                         （5）

=tanh（wcxxt+wchht-1+bc）                     （6）

ct=ft*ct-1+it*                                 （7）

最后输出门ot控制输出用于更新下一层网络的信息，LSTM的最终输出为ht：

ot=σ（woxxt+wohht-1+bo）                       （8）

ht=ot*tanh（ct）                              （9）

式（4）～（9）中，σ为sigmoid激活函数，w为相应的连接权重，b为相应的偏置。

1.3  CNN-LSTM模型结构设计

瓦斯浓度时间序列数据中一般包含长短期混杂模态，使用CNN提取时间序列中的特征，并将经CNN提取到的特征输入到LSTM，捕捉到其中具有长期相关性的信息，综合发挥CNN和LSTM的优点，所设计的CNN-LSTM模型结构如图4所示。

采用两层卷积层（Conv1D）及两层最大池化层（Max-Pooling）提取特征，其中，每层卷积层中卷积核大小为1×2，卷积核个数为8，步长为1。池化层中选用最大池化方式，核大小为1×2，步长取1。将经过两层卷积层和池化层提取到的特征通过Concatenate层联合送入LSTM，充分学习各特征的长期相关信息。通过Dropout对参数进行正则化，并且使用激活函数ReLU对数据进行非线性处理，连接两层全连接层（Dense）后使用全局最大池化（Global Max Pooling）进一步提取每个通道的特征，最后再通过一层全连接层将数据转换为输出预测数据。

2  实例分析

2.1  数据预处理

选用35 136条每5分钟内采煤工作面瓦斯浓度的平均值作为数据集，煤矿井下环境复杂，监测数据易受环境和人为因素影响，数据存在异常及缺失，为提高数据质量，使用均值替换法对缺失值及异常值进行替换，并且使用小波阈值降噪对瓦斯浓度数据进行降噪。

小波阈值降噪主要是将带有噪声的信号进行小波分解，将有效信号和噪声分离到不同幅值的小波系数之中，有效信号的小波系数大于噪声的小波系数，选取合适的阈值，将小于阈值的小波系数作为噪声抑制，大于阈值的作为有效信号保留，最后通过小波逆变换对信号进行重构从而达到降噪的效果。[8]

小波阈值降噪的效果取决于阈值的选择，如果选取的阈值偏小，对噪声的抑制不明显，如果选取的阈值偏大，会引发信号的失真。目前使用较多的阈值是固定阈值：

（10）

其中，n为信号采样长度，δ为含噪信号中噪声的标准差，取值为：

（11）

确定阈值后，选择合适的阈值函数处理信号，常用的阈值函数由软阈值函数、硬阈值函数和Garrote函数。

软阈值函数定义为：

（12）

硬阈值函数定义为：

（13）

Garrote函数定义为：

（14）

式（12）～（14）中，Wj，k为小波系数， 为经相应阈值函数处理后的小波系数，使用软阈值函数处理过后的小波系数连续性较好，但原始信号会被压缩造成一定的失真，使用硬阈值函数处理的信号边缘性较好，但小波系数连续性较差，Garrote函数结合了软阈值函数和硬阈值函数的特点，在接近阈值时，趋向于0，随着小波系数增大，整体逐渐趋向于硬阈值函数，选取Garrote函数对瓦斯浓度数据进行处理。经过均值替换法和小波降噪处理后的部分数据如图5所示。

将处理好的数据集按照6：2：2的比例劃分为训练集、验证集和测试集。

2.2  超参数调整

在深层神经网络模型中，有两部分影响神经网络的性能，一部分是权重和偏置等普通参数，另一部分是学习率等超参数，权重和偏置可通过模型在训练集上学习得到，超参数是在学习过程开始之前设置的参数，需要根据经验设定，依次对LSTM隐含层层数及每层节点数、滑动窗口数、学习率、Dropout和Batch Size进行调整从而确定性能较好的模型。选取平均绝对误差（MAE）和均方根误差（RMSE）作为评价指标。MAE为预测值和真实值之间的平均绝对偏离程度，RMSE为均方误差的均方根值，当预测值和真实值之间相差较大时，会对评价指标的值造成较大影响，RMSE对误差异常点反应敏锐，可以更加精密地评价预测精度，避免特大误差所造成的影响。f（t）为测试集的真实值，为输入测试集后得到的预测值，N为测试集样本点数。

（15）

（16）

深度学习模型中每个超参数有多个候选值，在调节参数方面目前还没有足够强的理论支撑，采取控制变量法在验证集上对超参数进行调整，得到性能相对较好的模型。最终所选取的超参数如表1所示，此时在验证集上的MAE和RMSE分别为0.015 0和0.022 1。

2.3  预测结果分析与对比

对比CNN-LSTM、LSTM和SVR预测未来1小时内瓦斯浓度数据的预测效果，使用各模型预测的曲线如图6所示，当瓦斯浓度变化较小时，CNN-LSTM和LSTM都能获得较准确的预测结果，当瓦斯浓度变化较大时，CNN-LSTM所表现出来的预测性能更优，使用SVR进行预测在三种预测方法中准确性最低。

各模型的预测误差分析如表2所示，经分析，使用CNN- LSTM对瓦斯浓度进行预测具有较高的准确率，它的平均绝对误差和均方根误差均比LSTM和SVR低，分别为0.023 7和0.033 9。

3  结  论

提出一种将卷积神经网络与长短期记忆神经网络相结合的深层神经网络模型CNN-LSTM在时间序列的角度对煤矿瓦斯浓度进行预测。CNN-LSTM模型利用卷积层和池化层堆叠提出瓦斯浓度时间序列数据中的时间平移不变性特征作为LSTM的输入，最终得到瓦斯浓度预测结果。通过对未来1小时内瓦斯浓度预测，得出结论：CNN-LSTM模型能够有效挖掘瓦斯浓度时间序列中的特征，提高了预测精度，为瓦斯事故的防治提供了有效参考。

参考文献：

[1] 刘业娇，袁亮，薛俊华，等.2007—2016年全国煤矿瓦斯灾害事故发生规律分析 [J].矿业安全与环保，2018，45（3）：124-128.

[2] 冯亮，张立强.灰色理论预测煤层瓦斯涌出量的研究与应用 [J].煤炭与化工，2016，39（1）：44-47.

[3] 付华，訾海，孟祥云，等.一种EKF-WLS-SVR与混沌时间序列分析的瓦斯动态预测新方法 [J].传感技术学报，2015，28（1）：126-131.

[4] 程健，白静宜，钱建生，等.基于混沌时间序列的煤矿瓦斯浓度短期预测 [J].中国矿业大学学报，2008（2）：231-235.

[5] 张昭昭，乔俊飞，余文.基于动态神经网络的瓦斯浓度实时预测方法 [J].控制工程，2016，23（4）：478-483.

[6] 耿越.基于混沌粒子群神经网络的瓦斯浓度预测 [J].中国煤炭，2017，43（3）：124-129.

[7] 张新建，刘锋，李贤功.基于小波降噪和循环神经网络的煤矿瓦斯浓度预测 [J].煤炭技术，2020，39（9）：145-148.

[8] 赵建利，白格平，李英俊，等.基于CNN-LSTM的短期风电功率预测 [J].自动化仪表，2020，41（5）：37-41.

作者简介：荀晓玉（1995—），女，汉族，辽宁凌源人，在读硕士研究生，研究方向：深度学习应用。