基于LSTM-BP级联网络的列控车载设备故障诊断

上官伟，孟月月，杨嘉明，蔡伯根,b

(北京交通大学 a.电子信息工程学院，b.轨道交通控制与安全国家重点实验室， c.北京市电磁兼容与卫星导航工程技术研究中心，北京 100044)

高速列车速度快、效率高，列控车载设备是保证高速列车运行安全的关键系统之一，在列车运行过程中其发生的任何故障或安全隐患，若不能得到及时诊断并进行有效处理将导致灾难性后果.列控车载设备结构复杂，依靠人工经验的故障诊断方式已无法满足现场需要.因此，建立一套可以灵活获取和识别关键故障信息的智能诊断系统,实现故障的高效诊断并减少对维修人员的依赖，具有重要的意义.

目前，运用于铁路信号设备故障诊断上的智能故障诊断技术[1]可分为以下三类.1)基于系统集成的故障树诊断技术.文献[2]建立了系统的结构和功能的动态故障树模型，采用分层迭代的方法对动态故障树分析法优化，以提高可靠性指标的精度.2)基于符号推理的案例推理诊断技术.文献[3]采用案例推理诊断方法，进行智能诊断检索技术研究，对于案例推理的诊断技术在大型系统中诊断精度不高、推理较慢的问题，设计了结合方案，将神经网络作为分类器以及案例检索的算法，提高学习速度.3)基于数值推理的模糊理论、贝叶斯网络等诊断技术.文献[4]提出一种基于数据的神经网络混合算法故障诊断网络，用于轨道电路的故障诊断.设计出BP-LM-PSO-GA混合算法，解决单独设计神经网络带来的运算量问题，为轨道电路故障诊断的应用提出了新方法.文献[5]建立了一个在多属性指标下故障态势的模糊贝叶斯决策模型，综合运用模糊数学及决策理论克服贝叶斯推理时忽略先验概率的不足，得出故障查找顺序，提高现场技术人员的工作效率.文献[6-7]建立了一个贝叶斯网络结构模型，初期采用基于K2算法、MCMC算法和专家知识的融合算法对其结构进行优化，对武广高铁车载设备故障追踪表的故障数据进行实例分析，验证了模型的有效性；后续针对故障文本信息的不规范性和随意性，从文本数据挖掘的角度出发，通过主题模型实现故障数据的分析和特征提取，且采用贝叶斯网络克服车载设备故障的不确定性来实现其智能分类和诊断.文献[8]基于历史故障数据得到故障征兆，利用粗糙集理论对故障征兆进行属性约简，降低训练模型的复杂度，结合专家知识与故障数据训练，改进贝叶斯网络模型，并将故障征兆关联关系融入模型中，该方法对提升列控系统故障诊断的智能化水平具有借鉴意义.

基于神经网络的故障诊断是智能诊断理论和方法的核心内容之一，其在故障诊断领域的应用主要由两个方面组成：首先是以故障征兆作为网络模型的输入，诊断结果作为输出，神经网络作为分类器；其次，在上述基础上采用算法融合的方式，将神经网络和其他算法组成复杂的模型，以提高故障诊断准确率.

本文作者采用贝叶斯正则化(Bayesian regularization，BR)算法对BP神经网络模型的训练性能函数进行优化，经试验表明BR优化的神经网络，其分类能力优于传统BP神经网络，但是仍有部分样本的实际输出与目标输出的偏差过大.原因是在传统神经网络中,模型不会将车载设备前后时刻的运行状态信息相结合.对任意时刻的列车运行信息进行分类时,若结合历史运行信息,对当前时刻运行状态诊断就更加准确.因此，利用长短时记忆网络(Long Short Term Memory，LSTM)的记忆特性，建立LSTM和优化神经网络的级联模型，使用300T型列控车载设备故障文本数据多次对模型进行学习训练和测试验证.结果表明：基于LSTM-BP级联的网络模型对未知样本的分类准确率可达到95.10%，能充分学习具有时序特性的故障信息，有效诊断关机误报和引发故障等具有复杂故障特征的故障，验证了该智能故障诊断方案的有效性.

1 列控车载设备故障概述及特征表示

基于神经网络故障诊断的实质是实现征兆空间到故障空间的映射.列控车载设备(简称车载设备)故障诊断的过程从模式识别的角度看，实质是对列车运行信息进行故障分类的过程.基于神经网络的故障诊断系统的总体架构如图1所示，主要分为特征表示、训练过程、分类诊断3部分.

图1 基于神经网络的故障诊断系统架构Fig.1 Fault diagnosis system architecture based on Neural Network

本文研究的300T型列控车载设备采用分布式结构，各部件之间的逻辑关系紧密.其主要故障可以分为三大类：

1)应答器传输单元(Balise Transmission Module, BTM)相关故障：启机时应答器服务可用程序(Balise Service Available，BSA)故障、运行时BSA故障、BTM端口无效和BTM测试超时.

2)列车接口单元(Train Interface Unit，TIU)相关故障：由继电器故障引起的硬件故障、用于列车接口相关安全信号的输入和输出的VDX单元故障.

3)软件相关故障：无线超时、网络资源不可用：网络干扰导致通道异常中断,ATPCU双系A、B代码比较不一致等.

通过对300T型车载设备故障日志和工区记录的故障信息表的学习和总结，归纳出实现该型号车载设备故障诊断面临以下问题：

1)故障冗杂.一种故障模式具有多种故障特征组合方式；一个故障特征可出现在多种故障模式中，不同的故障模式之间通常具有一些相似特性.

2)关机误报.车载设备在列车断电后才停机，此时ATP会警报一些模块出错，但其实ATP本身检测这些模块并没有问题.

3)引发故障.不同的故障同时发生并相互耦合或某一故障发生后会引发其他故障.

1.1 故障知识获取

获取故障知识是建立智能故障诊断系统的前提.以某路局2016年1月至6月，300T型车载设备的列车运行日志AE-log文件为研究对象，归纳出其几种主要常见的故障模式和故障特征，并对它们分别进行编码，如表1和表2所示.

表1 故障模式

续表1

表2 故障特征

注：“Balise Port* invalid”和“VDX1:IN* I/O failed”中“*”为端口号1、2、3….“VDX * port switched to invalid”、“* state wrong”和“* failure, * not ordered”中“*”表示继电器名称，主要包括EB、RBR、EBFR等.“Braketest failed in * step”中“*”表示数字1、2、3….“Aval: ***, Bval: ***”中“***”可取任意值.

1.2 特征向量构建

准确提取故障特征构建恰当的特征向量是保障故障诊断结果的基础.假设车载设备有n种常见的故障模式：S1,S2,…，Sn,其中第i个(1≤i≤n)故障模式有m个故障特征X1,X2,…，Xm，令其特征值分别是Vi1,Vi2,…，Vim，记为Vij(1≤j≤m).一般地，其特征取值可定义为

(1)

根据特征向量的不同，可以得到相应的故障模式，故障模式的特征向量表达式为

Si=(Vi1,Vi2,…，Vim)

(2)

本文采用上述定义构建故障特征向量，结合故障诊断专家经验，把300T型列控车载设备常见的主要故障模式及故障特征信息罗列出来，见表3.

表3 故障特征向量

2 神经网络优化模型的故障诊断

2.1 BP神经网络优化模型原理

典型BP(Back Propagation)神经网络结构如图2所示.网络训练过程分为前向传播和后向传播，前向传播过程用于计算网络的输出，后向传播则是根据误差反馈调整网络权值和偏置.网络训练结束后神经元间的连接权值就代表诊断对象特有的知识.

图2 BP神经网络结构Fig.2 Structure of BP neural network

记第p个样本在输出层第j个(1≤j≤m)神经元节点的实际输出为ypj期望输出为tpj，那么BP神经网络结构的误差指标函数为

(3)

式中：ε是以εp为元素的向量，其Jacabi矩阵记为J.BP神经网络各层神经元的连接权值用向量W表示，k表示迭代步数，则Wk表示第k次迭代的网络权值向量，下一步新的权值向量为Wk+1.已知移动量Wk+1-Wk很小，则ε的一阶Taylor级数为

ε(Wk+1)=ε(Wk)+J(Wk+1-Wk)

(4)

因此，误差指标函数可以写为

(5)

典型BP神经网络采用最速下降法,只有在误差平方和目标函数均为正定函数时，才能找到最小值，否则必产生局部最小值.采用BR算法优化网络的训练性能函数可防止网络过拟合，改进的目标误差函数为

E=k1ED+k2EW

(6)

其中

式中：Wi为网络权值.改进后的误差指标函数可以在保证网络训练误差小的同时使得网络具有较小的权值.比例系数k1、k2通过贝叶斯方法确定，具体公式如下

(7)

式中：γ为神经网络的有效参数个数，γ=N-2k2tr(H)-1;N为神经网络参数总数;H为E的Hessian矩阵.

2.2 故障诊断模型建立

采用Matlab中的神经网络工具箱建立模型并对其性能进行仿真验证.样本数据来源于某路局2016年1月到6月300T型车载设备的180组故障数据：任意选取120组数据用于网络模型的建立，记为学习样本A；剩余60组数据设为非学习样本，用于评估网络模型的泛化能力，记为未知样本B.其中，泛化能力是指BP神经网络将从学习样本中学习的知识应用到未知样本中的能力，网络的泛化能力越强,对未知样本的分类准确率就越高.

神经网络优化模型建立[9]的步骤如下：

1)设计网络学习样本集.

将样本A随机划分为3部分，其中70%为训练样本数据(train)，用于调整网络结构参数，减小误差；15%为验证样本数据(validation)，实现验证网络的泛化能力，并在网络泛化能力不再提高时终止对网络的训练；剩余15%作为测试样本数据(test)，用来检验网络的性能.

2)构造神经网络优化模型.

根据所采集的故障信息数据，数据的特征向量维度为18，目标输出维度为10，因此设计一个输入节点、隐层节点、输出节点分别为18、10、10的三层BP神经网络模型.选择BR算法为网络的训练性能函数，采用训练样本对BP神经网络进行训练，在网络训练的同时使用验证样本评估网络的误差，如果误差持续下降，则继续训练直到满足预定的误差精度，若误差连续6次不下降，即使没有达到预定误差也将终止训练，以防止神经网络陷入过拟合现象.训练结束后，使用测试样本来检验训练好的BP网络，若测试误差的均方根或误差最大值、最小值及平均值达到预定的误差要求，则网络模型建成.

3)未知样本的测试验证.

网络训练完成之后，输入未知样本B，得到模型故障诊断结果，分析并评估BP神经网络优化模型的泛化能力.

2.3 模型性能分析与验证

建立网络模型结构和参数相同的BR优化神经网络模型和典型神经网络模型，采用相同的学习样本A和未知样本B，分别对两个模型进行训练学习及模型性能验证分析.

图3(a)中，BP神经网络模型学习过程中的误差范围为[-0.6022,1.109]，误差较大，且较为分散，分类结果不理想.图3(b)中，经过BR算法优化的网络模型误差范围为[-5.7e-0.7,4.4e-0.7]，误差很小，接近于0，样本数据的分类准确度有较为明显的提高.

如图4所示,BP神经网络对未知样本的分类出现较多的偏差，误差范围为[-0.6973,1.109]，分类结果不理想；BR优化的神经网络对未知样本的分类误差集中分布在零误差线附近，表明BR优化模型的分类能力优于BP神经网络，但是仍存在样本的实际输出与目标输出误差大于0.3的情况.

分析一个误诊断的样本，其目标输出为[0，0，0，0，0，0，0，0，0，1]，但观察到其实际输出为[0.8，0.01，-0.01，0.02，0.02，0.03，0，0.01，0.02，0.98]，如图5所示.产生误差的原因在于该样本表示的信息为关机误报，是由前一个时刻对DMI误操作引发的，并不是真正的故障.发生误诊断的根本原因在于神经网络模型的样本数据之间是相互独立的，无法分析样本的关联性，满足车载设备具有时序性特征的故障诊断需求.

图3 神经网络学习误差直方图Fig.3 Error histogram of neural network learning

图4 神经网络未知样本误差直方图Fig.4 Error histogram of unknown samples for neural network

图5 某样本实际输出与目标输出对应误差Fig.5 Errors between actual output and target output

3 基于LSTM-BP网络的故障诊断

对车载设备的故障准确诊断不仅需要分析当前时刻的状态信息，还需要结合历史运行信息.因此，需从时间序列的角度分析并建立诊断模型.

3.1 长短时记忆网络原理

长短时记忆网络(LSTM)是一种特殊的递归神经网络(Recurrent Neural Network，RNN)[10-11]，原始RNN的隐层只有一个状态h，对于短期的输入较为敏感，而LSTM是在隐层增加了一个细胞状态c，对RNN的隐层进行改进，实现学习长期信息.

细胞状态c由遗忘门、输入门、输出门3种特殊门结构组成.其中，门结构是一种选择式的结构，通过一个sigmoid或者tanh网络层后取[0，1]中的任意值，其功能是判决前一状态信息是否可以用于下一样本，当输出值为1时表示当前样本的所有信息可用于下一样本，当输出为0时表示下一样本与当前样本无关.

LSTM与典型BP神经网络相同，包括信息前向传播过程和误差反向传播两部分.对于单个LSTM记忆模块，前向传播过程如图6所示.其中：xt为t时刻的输入向量，ht为t时刻的隐层输出，ft、ot分别为遗忘门、输出门的输出，输入门的输出包括it和at两部分.其中：Wf、Uf、Wa、Ua、Wi、Ui、Wo、Uo分别为各个门结构对应的权值矩阵；bf、ba、bi、bo均为偏置量.

LSTM反向传播和BP神经网络类似，为了减小反向传播误差，从时间和网络2个层级计算反向传播方向误差项，其次根据误差项，计算相应的每个权重的梯度，然后采用最速下降法迭代更新所有权重参数，直到误差满足需求.

图6 LSTM隐层单元结构Fig.6 Hidden layer element structure of LSTM

3.2 基于LSTM-BP网络的故障诊断模型

利用LSTM的长期记忆特性，将LSTM和优化的BP神经网络级联，构建LSTM-BP级联网络模型，实现车载设备的智能故障诊断.模型结构如图7所示.

图7 基于LSTM-BP级联网络的故障诊断模型Fig.7 Fault diagnosis model based on LSTM-BP cascaded network

首先将车载设备的故障数据输入LSTM，利用该网络的记忆特性，分析当前时刻样本与历史样本的关系，对原始数据信息进行处理；其次将LSTM隐层输出作为神经网络优化模型的输入，完成信息的传递；最后通过优化的神经网络完成对故障数据样本的学习，并完成对未知样本的故障类型诊断.

LSTM-BP级联网络模型的构建流程：

1)将原始的故障文本数据进行特征提取和特征表示，构成的训练集为:Ftr={f1,f2,…,fn}.

2)对训练集中的数据进行标准化，处理后的训练集表示为:X={X1，X2,…,XL},对应的理论输出为Y={Y1,Y2,…,YL}.

3)LSTM网络的初始化.给定初始权值矩阵，初始权值为均匀分布在[0，1]之间的随机数.设置合理的最大迭代训练次数和最小误差值.

4)前向计算过程.将X输入隐层，LSTM隐层包括L个按时间顺序排列的LSTM细胞，输入经过隐层之后的输出可以表示为：P={P1,P2,…，PL}，Pt=LSTMf(Xt,Ct-1,Ht-1)，其中Ct-1,Ht-1分别为前一个样本隐层的细胞状态和输出，LSTMf是LSTM前向计算函数.

5)误差反向传播.LSTM网络的输出作为优化后的BP神经网络的输入，BP网络的实际输出与理论输出的均方误差作为误差计算公式，通过最速下降法调整LSTM网络的权值和偏置，使网络误差不断减小，实现网络的优化.

6)当训练次数或误差值满足要求时模型停止训练，将未知样本输入建立好的模型中对模型分类准确度进行验证分析.

设置LSTM的记忆窗口长度为5，实现每个样本的隐层输出都包括着前5个历史样本的信息.其所得的隐层输出作为BR优化神经网络的输入，样本分类标签生成的矩阵作为目标输出来训练整个网络.最后使用未知样本对LSTM-BP级联模型的性能进行验证分析.

如图8和图9所示，分别为LSTM-BP级联模型对学习样本A和未知样本B的分类误差直方图，可知，LSTM-BP模型在学习过程中，误差均小于0.1，训练好的模型对未知样本进行分类时，几乎所有的样本分类误差均分布在零误差线附近，表明模型的分类性能较好.

图8 LSTM-BP网络学习样本误差直方图Fig.8 Error histogram of learning sample for LSTM-BP network

图9 LSTM-BP网络未知样本误差直方图Fig.9 Error histogram of unknown samples for LSTM-BP network

4 模型仿真验证及性能比较分析

神经网络对不同的样本具有不同的分类结果，因此，需要对网络模型进行多次验证，分析其分类能力.分别对典型BP网络、BR优化的神经网络和LSTM-BP级联网络模型，采用相同的样本数据进行多次学习训练和测试验证.

在学习过程中，学习样本划分的过程是随机的，所有训练样本也具有随机性.如图10所示，典型BP神经网络模型训练分类准确率曲线整体上波动很大，而且多数低于50%，训练分类准确率期望值为45.24%，说明其分类能力受样本的影响较大.经过BR算法优化的网络模型的训练分类准确率期望值为87.65%，对样本的依赖性明显降低，对不同样本的分类能力比较稳定，和LSTM网络级联后模型的分类准确率期望值为97.37%.

图10 学习样本分类结果对比Fig.10 Comparison of classification results of learning samples

对未知样本的故障分类，如图11所示，BR优化后模型的对未知样本的分类准确率有明显的提高，分类准确率的期望值由48.76%提高到85.06%.而且，与典型BP网络模型相比，优化后的模型分类准确率曲线波动较小，说明其泛化能力较强，表明了本文采用BR算法对BP网络权值和结构优化方案的可行性.

图11 BP网络和优化网络对未知样本分类结果Fig.11 Classification results of unknown samples by BP network and optimization network

图12是LSTM-BP级联网络模型和BR优化的神经网络模型对相同未知样本的分类结果图.LSTM-BP级联的网络模型将对未知样本分类的准确率期望值由85.06%提高到了95.10%，而且多次验证的结果波动范围较小，模型的泛化能力强，分类准确率较高，验证了该智能故障诊断方案的有效性.

图12 BR优化网络和LSTM-BP级联网络对未知样本的分类结果Fig.12 Classification results of unknown samples by BR-optimized network and LSTM-BP cascade network

如表4所示，原始BP网络模型只对发生于车载设备具体部件、特征不冗杂的故障有分类能力，但这些部件定期检修更换，故障发生概率较小；经BR优化后的BP网络模型，可进一步诊断具有复杂特征的故障，这类故障是车载设备的主要故障；与LSTM级联的BR-BP网络模型，可以诊断引发故障和关机误报的情况，对减少人工检修的频次、提高系统故障管理效率有显著成效.

表4 三种故障诊断模型的诊断效果

注：“√”表示该模型可实现该类故障的诊断.

5 结论

1)采用相同的故障样本数据分别对典型BP网络和BR优化的BP网络进行试验验证，通过误差直方图反映学习过程中样本期望输出和实际输出之差，典型BP神经网络模型的故障分类误差范围为[-0.6973,1.109]，误差较大，且分布较为分散；经BR算法优化的模型，其误差范围为[-5.7e-0.7,4.4e-0.7]，误差很小，接近于0，表明其较典型BP神经网络有较好的泛化能力.

2)由于单一的神经网络无法利用历史故障样本信息，容易忽略样本间的关联信息而导致故障分类不准确.基于LSTM-BP网络的级联模型分类准确率期望值可达95.10%，对具有时间特性的车载设备故障数据具有优质的分类能力，较单独由BR算法优化的神经网络模型的分类准确率期望值高10.04%，证实了该智能故障诊断方案的有效性.