改进CNN和Bi-LSTM的集成化装备故障检测研究

郑乐辉，孙君杰，牛 润，黄 莹

(1.武警工程大学 研究生大队,西安 710086; 2.武警工程大学 信息工程学院,西安 710086)

0 引言

随着科学技术的不断发展和工业水平的不断提高，现代工业装备为满足产品的各项要求，不断趋于集成化、复杂化、综合化，因此其内部的不确定性也越来越大。为保证装备的安全性、稳定性、可靠性，需要提高对集成化装备的健康管理能力，保障设备安全稳定地完成产品生产及设备正常工作。因此故障检测与健康管理(DHM)就应运而生。

故障检测和健康管理是通过一定的信息获取技术，通过传感器等精密灵敏的仪器，对机械设备工作信息进行采集，然后通过一些优化算法和模块构建智能检测预测模型，对机械设备进行实时监控，数据收集，故障检测，分析预测等。而集成化设备是在机械设备中普遍存在的，其由于工作环境复杂，多系统耦合，集成复合度高，在长期服役的过程中，往往由于其监测信息“体量浩大、多源异构、生成快速、价值稀疏”，在获取时要耗费大量的人力物力。而在大数据背景下通过建立深层的学习模型，利用多种算法，能更好的展现庞大检测数据和集成化装备故障检测和健康管理间的映射关系，大大提高了故障分类、检测和诊断的能力。

综上所示，对集成化设备实施故障检测和健康管理具有如下意义：

1)能保证集成化设备安全稳定工作，防止意外事故发生。通过故障检测模型和相应的检测手段，及时发现设备异常工作状态，并采用及时的应对措施，相对延长设备寿命，圆满完成工作任务。

2)高效完成设备管控，减少人力物力资源，获得潜在经济效益。能够降低人力、物力资源成本，提高设备利用率，完善设备管理方案，减小设备故障损失。

3)与大数据背景下的云计算深度学习等紧密结合，具有时代前沿性。可以在大数据背景下进行特征提取，不仅大大缩短特征提取的时间，而且能够做到实时监测。能有效存储利用海量的数据，发展和优化在集成化装备领域的深度学习方法，利用边缘运算架构，在大数据的支持下实现快速精确诊断。

要完成对集成化装备的故障检测和健康管理，必须收集装备的各项参数指标，而集成化装备因其自身属性原因在工作过程中往往难以进行人工信息采集，所以现代工业往往采用一系列的监视监察系统对其工作状态进行获取，这样能够保障及时获取集成化装备的各项参数指标。在获取装备运行参数和历史运行记录后，也能连续地对设备运行状态进行诊断和预测分析，能够大大降低设备发生故障造成的损失，从而实现对设备的健康管理。

在利用CNN模型解决故障检测问题上，何江江等[1]通过经验模态分解(EEMD)和支持向量机(SVM)对信号进行分解，并结合CNN模型，解决了端点发散问题，提高了精确度。文献[2]将迁移学习引入滚动轴承，通过基于迁移学习的卷积神经网络(TCNN)和短时间傅里叶变换(STFT)，构建在线CNN和离线CNN，提高实时性，在有限训练时间内达到期望的诊断精度。曲建岭等[3]提出了一种直接作用于原始信号的自适应一维卷积神经网络(1D-CNN)用于滚动轴承的故障诊断，并取得了99%以上的故障识别率。文献[4]通过对传统的DCNN模型进行自适应训练得到了ADCNN模型，使得对轴承的故障诊断的泛化能力得到了提升。文献[5]提出了一种具有扩大接收场的增强卷积神经网络(enhanced convolutional neural network,ECNN)的行星齿轮箱的故障诊断方法。通过经过扩张的几个卷积层，扩大接收场，然后通过ECNN训练模型，在精度上有了很大的提升。文献[6]基于CNN网络，通过信号转换，降低了电机故障诊断模型的复杂性，克服了过拟合问题。孔子迁等[7]使用CNN网络在时域和频域上提取信号特征，完成了齿轮盒健康管理的故障检测，不仅提高检测精度，而且准确对故障类别进行分类。利用CNN虽然能保证模型的鲁棒性，并提升泛化能力，但是其网络结构复杂，常常需要多层网络结构，对计算机的要求较高，因此常常在使用CNN网络时结合其他一些算法，减少计算机的运算时间，提高效率。

在FCM聚类算法方面，文献[8]对DBN网络的结构进行改进，将重构独立分析(reconstruction independt component analysis，RICA)方法引入到DBN网络中，提出了RIDBN网络，将RIDBN网络与FCM算法相结合提出了RIDBN-FCM聚类模型并且应用于齿轮故障诊断中，不仅提高了模型的泛化能力，而且精度也有所提升。但FCM作为一种聚类算法，并不能单纯地应用于故障检测，常常要与其他网络综合使用。

在LSTM算法方面，LSTM算法可以反映前向信息和后向信息的紧密联系，对时间信号的敏感程度很高，因此在故障检测和预测应用很多，比如LSTM算法在股票指数预测[9]，电力负荷概率预测[10]，轴承故障预测[11]，车辆轨迹预测和交通流量[12]等领域都有应用。但单一的LSTM网络远远无法满足现代化集成装备的检测要求，其检测时间长，且模型精度达不到高效快速检测的要求。因此其模型的诊断精度和检测速度仍需提升。

在后续的发展过程中，研究专家们将LSTM与CNN网络结合起来使用，不仅提高了模型精度，缩短了检测时长，使检测效果大幅提升。在股票指数预测方面，文献[13]将LSTM模型和CNN模型结合对股票指数进行预测，基本可以达到实时预测的目的，使预测效果大大增强。在电力负荷预测方面，文献[14]将LSTM结合CNN后，加上注意力机制模块，使模型精度得到大幅提升。同时在轴承故障预测[15]和车辆轨迹预测[16-17]方面，当CNN和LSTM结合后，预测效果均得到提升。LSTM和CNN的结合还应用在无人机[18]、网络[19]、单元设备[20]、工业[21]、轴承故障检测[22-23]等领域得到了应用。文献[24]使用双卡尔曼滤波对提升了故障诊断的实时性。利用CNN与长短时记忆网络(LSTM)网络结合能有效处理时间序列数据的优点，模型精度得到很大提升。文献[25]提出了一种CNN、LSTM与迁移学习相结合的故障识别方法，可以有效的对多类故障识别。将CNN和LSTM融合模型结合起来，CNN先对信息特征进行提取，然后LSTM网络将信息的内在联系表达出来。CNN网络对数据信息具有很大的包容性，可以高效处理数据且不使数据丢失。但LSTM无法表现出前向信息和后向信息的关系，而Bi-LSTM却能将所获取的时间信息前后联系起来，使检测效果更好。因此Bi-LSTM也渐渐被应用于各个领域。文献[26]将Bi-LSTM应用于人机语言交互上，大大提高了机器人语言识别的准确率。文献[27]则将其应用于电子装备故障预测，将电子装备前后时间关系联系起来，提高了预测的精度。

在Bi-LSTM和CNN结合使用方面，其在船舶[28]、锂电池寿命预测[29]，风电机[30]，太阳辐照度预测[31]等领域均有应用，且取得了非常好的检测效果。因此本文针对集成化装备，基于深度学习的基本框架，提出了一种基于CNN和Bi-LSTM及其优化算法，建立了Bi-LSTM-CNN-FCM模型，提高了故障预测的精度，降低了其损失值，并与其他算法进行对比，证明该算法的优越性。

1 系统模型构成

1.1 双向长短记忆网络

循环神经网络( recurrent neural network，RNN)是一类用于处理序列数据的网络模型。它的本质就是网络不仅在层外建立连接，而且在层内建立连接，其层内的连接可以保留隐藏层节点的状态并提供记忆，其大致结构如图1所示。长短期记忆(long short term memory，LSTM)网络就是RNN网络的一种变形，目的就是解决了梯度反向传播过程中的梯度消失和爆炸问题。

图1 RNN网络结构

Bi-LSTM算法就是以LSTM算法为基础，在LSTM算法只记录前向信息的情况下同时记录后向信息，同时结合前后向信息进行特征提取。对于时间t的输出，前向LSTM层在输入序列中有时间t和时间t之前的信息，后向LSTM层在输入序列中有时间t和之后的信息。通过叠加得到正向LSTM层t时刻的输出结果和反向LSTM层t时刻的输出结果，并通过加法、平均法或连接法处理两层LSTM层的矢量输出,这样输出信息就较好反映时间信号前后联系。

LSTM虽然能够较好地捕捉到较长距离的依赖关系，在时间上捕捉特征之间的联系，但是其难以表现出后向信息对前向信息的影响。而故障检测过程中需要将故障前后信息进行综合从而对装备寿命进行预测。因此改进后的新算法BI-LSTM算法能很好地解决这个问题。

1.2 CNN网络

CNN是一个典型的前馈神经网络，他是由多个滤波器组成，滤波器提取输入信号的数据特征，然后逐步通过卷积层、子采样层、全连接层和输出层。在逐层通过时不断提取信号中的特征，使得特征逐渐抽象，最终获得输入数据的平移、旋转及缩放不变的特征。其结构图如图2所示。

图2 CNN网络结构

卷积神经网络学习到的模式具有平移不变性，可以学习模式的空间层次结构。它训练的通常顺序为通常顺序为：输入—卷积层—池化层—卷积层—池化层—…—全连接层—输出。CNN的核心就是空间卷积核参数共享和池化，卷积层对样本数据的特征进行提取，子采样层对特征进行采样，池化层是对提取特征的选择和信息过滤，全连接层与前一层互连。

CNN的平移不变性使其能保证模型的鲁棒性，并提升泛化能力，同时CNN能对关联信息和数据进行处理，因此其非常适用于集成装备的故障检测。CNN能克服大噪声的干扰，也非常适用于现代工业，可用于多源信号处理。

CNN虽然有很多优点，但是其网络结构复杂，常常需要多层网络结构，对计算机的要求较高，并且单独使用CNN需要大量带标签的数据，因此，本文在使用CNN网络使将结合LSTM算法和FCM算法，不仅可以降低运算量，使网络复杂结构降低，而且可以优化特征提取的过程，大大提高模型精度。

1.3 FCM算法

FCM算法是一种常用的聚类分析方法，可以根据样本数据的特征，把有相同或相似特征的样本或时间信息归类，然后提取相似样本数据的特征值。FCM算法的原理就是通过不断更新聚类中心，使得聚类中心不再改变或两次迭代的目标函数值之差在允许的范围内，从而完成聚类。

FCM算法因其较为出色的聚类能力，非常适合故障的归类，在经过CNN和Bi-LSTM处理后的故障信息再经过FCM算法后可完成分类，完成对集成化装备故障的检测。FCM聚类在应用过程中也存在一些缺点，比如选择的模糊度参数不同，也会对整个算法的精度产生影响，所以在使用FCM算法时，常常也需要靠一些先验经验，参考一些模糊度参数的使用来完善模型。

2 Bi-LSTM-CNN-FCM模型

本文提到的Bi-LSTM-CNN-FCM模型的结构图如3图所示，实验过程模型按照如下环节进行，如图3所示。

图3 Bi-LSTM-CNN-FCM网络结构

对于上述获取的变量中的各类数据，模型首先通过CNN网络提取变量中的各类故障特征，然后通过BI-LSTM预测获得数据的标签，通过这两个网络可以直接对变量中的数据进行分类，模型的输出为属于每一个类别的概率。

获得信号的数据在经过序列折叠层后构建出数据帧，在特征提取的过程中，卷积层可实现对故障信号的特征提取，序列展开层和扁平化层用于恢复序列结构、输出矢量序列。

Bi-LSTM层和输出层用于对输出的矢量序列进行分类。Bi-LSTM层在输入的信号中，不仅包含经过预处理后的特征信息，而且还包含了原始信息，通过对信息前向和后向的共同处理，实现信息融合使输入信号中包含更多信息，提高了诊断准确率。在Bi-LSTM层后设置了FCM层，作为整个模型优化参数设计的一部分，进一步提高了诊断精度。

3 实验过程

3.1 数据集获取及预处理

在现代军事装备制造领域，大型液体运载火箭就是典型的集成化装备。其内部构造冗杂，且大多数部件不可视化，处于黑盒状态。由于大型液体运载火箭故障率低，且一旦发生故障就会造成巨大损失，所以本文选取了能代表大部分集成化设备工作工程的田纳西-伊斯曼化工过程。其数据的构成及复杂程度基本与集成化设备吻合。

田纳西-伊斯曼化工过程数据是基于田纳西-伊斯曼化学公司的一个真实化工过程的仿真数据。该化工过程比较好的模拟了实际复杂工业过程系统的许多典型特征，因此被广泛运用于过程监测与故障诊断的研究中。

整个过程主要包含五个操作单元，反应器，冷凝器，循环压缩器，分离器和气体塔。此过程中包含了12个操纵变量和41个测量变量。许多研究者提出了该过程的控制方案较为广泛，被引用的有基本控制，分散控制和机控制这三种控制策略。在田纳西-伊斯曼化工过程中共设计了21种故障，用于模拟实际工业过程中常见的故障和扰动。而本文也主要是针对该过程中的故障进行检测和预测，从而实现对集成化装备的健康管理。

在该过程中，共有22个训练集，22个测试集，每个训练集由52个测量信号组成，共480行，每个测试集有52个测量信号组成，共960行。本文选取变量中均有正常数据和故障数据，对于同时段的变量，每个变量截取500个观测值，构建52*500的测量数据帧并归一化。

在对信号进行频率提取时，正常信号与故障信号有明显差异。其正常信号和故障信号对比图4所示。

图4 正常信号与故障信号对比图

其中上图为五个变量在正常工作下的数据状态。正常工作下振动正常波动，通过设备可实时检测。

当其中变量出现故障时，其运行图像会发生明显变化，在一段时间帧上会有一段时间间隔内出现波动异常，甚至停止波动，能够明显区分出其为故障状态。

由于不同故障其表现状态也不同，但通过传感器收集到的信息可以在经过一定的预处理后将其分辨出来。但是要寻找到众多故障设备并区分出故障种类，然后进行故障预测，仍然是需要考虑的问题。而本文提出的一种基于CNN和LSTM及其优化算法的Bi-LSTM-CNN-FCM模型能很好地解决上述问题。

3.2 模型参数配置

在对模型进行训练的过程中，将80%的数据集作为训练集，将20%用作测试集。同时每个变量有20%的概率为故障数据，这样能够保证数据获取的随机性与独立性，通过上述的数据处理，能够保证构建的数据集和数据帧中包含各类正常数据和故障数据的随机组合，实现数据的随机获取。本文实验使用模型采用的数据集和参数配置如表1所示。

表1 模型的数据集和参数配置

4 实验结果与分析

4.1 激活函数对比

在使用神经网络时，为解决其深层网络模型的非线性问题，常常要用到激活函数。激活函数一般有三种：relu激活函数、tanh激活函数和sigmoid激活函数。

relu激活函数公式为:

a=g(z)=max(0,x)

sigmoid激活函数公式为:

tanh激活函数公式为:

在所有激活函数中，relu激活函数使用频率最高，因其具有硬饱和性质，很多网络都会优先使用。tanh激活函数和sigmoid激活函数都具有软饱和性质，sigmid激活函数常常用在输入的数据特征不是很明显的时候，因此常用于分类问题的输出层。而tanh激活函数几乎适用于大部分的网络，但常常还是用于输入的数据不明显时。

因此，本文探讨的各个网络层使用何种激活函数是基于使用激活函数后模型的效果和精度决定的。其具体使用效果如表2所示。

表2 激活函数选择对模型影响

通过表中内容可知，在训练时长上，无论使用什么激活函数，其训练时间基本没有什么差异，但在精度率上，卷积层使用tanh激活函数，全连接层使用relu激活函数的模型精度是远高于使用其他激活函数的，其模型精度达到了98.2%。

因此本文将tanh激活函数在卷积层使用，将relu激活函数在全连接层使用。

4.2 迭代次数对比

在实验过程中，本文通过不断增加迭代次数观察其损失值和精度随迭代次数的变化，从判断出最适合此过程的迭代次数。同时通过与其他方法的对比，检验该方法的优越性。

在用训练集将模型训练好后，用测试集对其进行测试。首先我们对LSTM算法进行验证，测试用单一LSTM算法训练的模型，观察其迭代次数与精度和损失值之间的变化关系。其关系如图5所示。

图5 LSTM迭代次数与精度和损失值之间的变化关系

通过图5分析可知，单一的LSTM算法建立的模型用于诊断时，其迭代次数在3 500次左右时精度和损失值才趋于稳定，且精度值稳定在90%左右，损失值稳定在0.1左右。由此可见需要对LSTM算法进行改进并结合新算法，减少模型运行需要的迭代次数并提高精度和降低损失值，为达到这一目的我们引入Bi-LSTM-CNN-FCM模型，并对该模型进行评价和对比，证明其优越性。首先比较迭代次数对损失值和精度的影响。通过合适的训练测试寻找到田纳西-伊斯曼化工过程数据的最适合的迭代次数。通过不断增加迭代次数，观察其波形图。在对Bi-LSTM-CNN-FCM模型进行验证时，本文最高迭代次数选择为1 800次。其损失值和精度随迭代次数变化的波形图如图6所示。

图6 Bi-LSTM-CNN-FCM迭代次数与精度和损失值之间的变化关系

通过图像对比，可以很明显的发现当迭代次数达到800次时，其准确率和损失值趋于稳定，准确率稳定在98%左右，损失值由于过小，观测无法准确判断，将在进一步的实验中进行具体比较。为保证实验的准确性，在后续实验中，迭代次数最高定在了1 000次。

由此可见Bi-LSTM-CNN-FCM模型在迭代次数上也能有一定的减少，经过一定预处理后的数据在模型运行过程也能使迭代次数减少。

4.3 模型性能对比

为验证Bi-LSTM-CNN-FCM的优越性，同时将LSTM模型、CNN模型以及Bi-LSTM-CNN-FCM模型应用在田纳西-伊斯曼化工过程数据集上，并在准确度和损失值上进行比较。准确率即为模型检测的准确度，损失值即为模型的预测值和真实值不一样的程度，损失值越低，模型性能越好。其对比结果如图7所示。

图7 模型性能对比图

通过查阅文献资料，最新算法中在损失值和准确率综合对比中，效果较好的是LSTM-CNN模型，其损失值为0.051 2，准确率为0.972 6。为方便对比，本文将LSTM模型、CNN模型以及Bi-LSTM-CNN-FCM模型的数值对比总结如表3所示。

表3 模型性能数值对比

通过对比可以发现Bi-LSTM-CNN-FCM模型在性能上明显优越于其他两种算法。在准确率上，Bi-LSTM-CNN-FCM模型的准确率为98.25%，而单一的LSTM模型的准确率仅为89.19%，在准确率上该模型提升了9.06%，相比于LSTM-CNN模型，准确率也有小幅提升，由此可以看出在准确率方面Bi-LSTM-CNN-FCM模型确实有其可取之处，能大大提高模型的准确率。在损失值方面，Bi-LSTM-CNN-FCM模型的损失值仅为0.010 4，而单纯的LSTM模型的损失值却为0.070 0，LSTM-CNN模型为0.051 2，该模型在损失值方面虽然减少了不多，但也有小幅提升。由此可见Bi-LSTM-CNN-FCM模型适用于田纳西-伊斯曼化工过程数据集，适用于现代化集成装备的故障检测，并且在模型性能上相比于单一的LSTM模型有较大的提升。虽然相对来说这也消耗了更大的算力和运行时间，但其模型性能得到了较大的提升，能在故障诊断和预测领域有较好的运用。

5 结束语

本文从集成化装备故障检测与健康管理出发，并用田纳西-伊斯曼化工过程数据进行验证，提出了一种基于CNN和Bi-LSTM及其优化算法，通过对LSTM算法的改进，建立了Bi-LSTM-CNN-FCM模型。首先，通过观察不同激活函数对模型精度和效果的影响选择合适的激活函数，然后通过对模型迭代次数的研究，确定Bi-LSTM-CNN-FCM模型的基本性能结构，最后通过实验验证以及模型对比，证明了Bi-LSTM-CNN-FCM模型在准确率上有很大的提升，达到了98.25%，同时损失值也有小幅的降低，减小量达到0.040 8。由此可以看出Bi-LSTM-CNN-FCM模型在集成化装备故障检测与健康管理方面适用性较好。但是，由于模型复杂程度高，其所需要的算力和消耗时长也更多，因此在下一步的工作中会解决模型运行时间长等问题，对模型进行进一步的优化提升，同时在掌握故障检测模型后，对模型进行在次用化，建立故障预测模型，用RUL对模型剩余寿命进行预测。