基于CDBN与BiLSTM的多元退化设备剩余寿命预测

牟含笑，郑建飞,*，胡昌华，赵瑞星，董青

1. 火箭军工程大学 导弹工程学院，西安 710025 2. 火箭军装备部驻西安地区第三军事代表室，西安 710100

预测与健康管理(Prognostics and Health Management, PHM)技术通过实时监测的健康状态信息评估设备的可靠性，预测设备的剩余寿命(Remaining Useful Life, RUL)，并在此基础上制定合理的维修策略，从而保证设备安全可靠运行。对于工作在复杂环境下的多元退化设备，其退化过程往往可以由多个性能参量表征，因此需要根据多方面的状态信息来评估其健康状况，以免由于设备的潜在故障或安全隐患造成较大的生命财产损失。例如，发动机大部分故障都是由气路部件故障引起的，而这些故障变化通常都会反映在气路参数中，包括发动机在部分重要截面气流的压力、温度、发动机转速以及耗油率等参数。因此，仅依靠单一传感器的监测数据并不能准确反映多元退化设备的健康状态和性能退化趋势，需要综合考虑多个传感器的性能监测数据，更全面地评估其健康状态，为设备后续的运行规划和维修决策提供支持。

为充分利用多元退化设备的监测数据，国内外研究人员在多源传感器融合以及RUL预测领域做了大量研究。任子强等将多传感器数据进行线性组合构造出一个复合健康指标(Health Index, HI)，进而采用线性维纳过程对该HI进行退化建模。García Nieto等采用混合粒子群算法优化了支持向量机(Support Vector Machine, SVM)中的超参数，该组合方法提高了航空发动机RUL预测准确度。彭鸿博和蒋雄伟采用核主元分析算法提取了发动机的健康指数，并结合相关向量机进行预测，有效利用了反映发动机性能退化的低维信息。尽管统计数据驱动方法和传统的基于机器学习的方法在RUL预测方面取得了不少成果，但均面临难以自动处理大规模监测数据的难题。

深度学习由于具有强大的数据分析和学习能力，能更好地对多元退化设备监测获得的大规模状态信息进行深度特征提取，因而在PHM领域得到了快速发展。Li等提出使用深度卷积神经网络提取退化特征，提高了航空发动机RUL的预测准确度。在锂电池容量退化预测中，Zhang等在构造长短期记忆(Long Short-Term Memory, LSTM)网络时采用dropout方法防止训练过拟合，相较于SVM和循环神经网络，LSTM网络预测的准确性明显提高。基于深度学习的RUL预测方法无需任何设备退化的先验知识即可进行预测，但是，现有基于深度学习的RUL预测方法得到的结果通常仅为点估计而非区间估计，预测结果的不确定性无法衡量，因此无法直接应用于后续的维修决策。

鉴于此，融合深度学习和统计数据驱动的RUL预测方法得到了广泛关注。Hu等提出在使用深度置信网络(Deep Belief Network, DBN)提取反映轴承退化的HI后，进一步选用扩散过程进行分析，得到了轴承RUL的概率密度函数(Probability Density Function, PDF)。彭开香等提出了一种融合DBN和隐马尔可夫模型的混合模型来计算设备RUL，实现了设备健康状态的自动识别。上述方法通过深度学习提取高维非线性监测数据隐含的退化特征作为HI，进而利用传统的退化建模方法来刻画设备的退化趋势，但其得到的HI没有实际物理意义，对应的失效阈值难以确定，并且退化建模和参数估计的相关计算和推导也较为繁琐。

在工程实际中，大型复杂多元退化设备的运行状态通常受多种操作条件和环境变化影响，其相关先验知识匮乏且获取代价昂贵，退化建模和推导较为困难。融合无监督和有监督的深度学习模型能更好地挖掘多元退化设备性能监测数据之间的时序关联信息，从而提高RUL预测准确度。

连续深度置信网络(Continuous Deep Belief Network, CDBN)是一种典型的无监督学习模型，其在DBN基础上引入了独立的高斯噪声，可以更好地处理连续性输入数据，减小重构误差，并且能够实现数据降维，适用于时间序列的深度特征提取阶段。Xu等使用CDBN预测城市用水需求，相较于SVM等方法预测准确度明显提高。乔俊飞等提出一种双隐层CDBN，并应用于大气二氧化碳预测问题，初步验证了该网络在工业应用中的可行性。尽管CDBN在连续性数据预测中展现了一定的优势，但其长期预测性能较差，因此常与其他模型混合使用。

设备退化过程是一个在时间上具有前后依赖关系的连续变化过程，处理当前信息时也有必要整合未来的信息。双向长短期记忆(Bidirectional Long Short-Term Memory, BiLSTM)网络能够以前向和后向2种方式捕获数据间的动态依赖性，适用于时间序列的预测阶段。Zhang等基于BiLSTM网络处理由操作条件变化和环境干扰引起的不确定性，有效平滑了退化轨迹和预测结果。康守强等提出一种基于改进稀疏自编码器和BiLSTM的滚动轴承RUL预测方法，提高了模型的收敛速度，并且降低了预测误差。虽然BiLSTM具有强大的时序信息处理能力，但对多维数据的非线性拟合能力不足。

针对上述不足，本文研究了一种融合无监督和有监督的深度学习框架，提出基于CDBN与BiLSTM的RUL预测方法。引入无监督的CDBN能够充分利用获得的大规模、非线性、高维化连续性监测数据，对设备的多元退化状态进行自动有效的深度特征提取，实现高维原始监测数据到低维退化特征的抽象表示，避免了人工特征提取的低效率以及所带来的预测不确定性。通过提取的退化特征构造反映设备偏离初始健康程度的HI，进而输入到有监督的BiLSTM网络进行预测，能够充分利用退化设备过去和未来的信息，从前向和后向2个方向捕获HI序列间的动态依赖关系，从而提高RUL预测结果的准确性。这种组合方法无需推导构造的HI对应的失效阈值，并且能够大幅提升计算和预测效率。在此基础上，通过蒙特卡洛(Monte Carlo, MC)仿真技术对预测的RUL分布进行拟合，能有效解决常见深度学习模型中预测结果不确定性难以度量的问题，为后续健康管理提供可靠依据。

1 基于CDBN的健康指标构建

CDBN是一个多隐藏层的混合概率图模型，由多个CRBM(Continuous Restricted Boltzman Machine)堆叠而成。通过无监督学习，可以更好地提取连续性输入数据的深层特征，同时降低输入数据维度。

1.1 CRBM基础理论

连续受限玻尔兹曼机通过在可视层添加一个均值为0的高斯噪声从而引入一个连续随机单元。CRBM主要包括可视层、隐藏层以及层间连接，其层内无连接，具体结构如图1所示。

图1 CRBM结构示意图Fig.1 Structure of CRBM

CRBM的可视层用于接收输入数据，隐藏层用于提取特征，通过最小化对比散度(Minimizing Contrastive Divergence, MCD)算法将隐藏层数据重构回可视层，计算输入数据与重构数据之间的误差，根据误差值调整网络参数，通过逐层训练对原始数据特征进行深度挖掘。以下用同一符号表示可视层和隐藏层神经元的状态，令表示神经元的输出，为其他神经元对神经元的输入，则可表示为

(1)

式中：函数的表达式为

(2)

该函数表示渐近线在和处的sigmoid函数，参数决定sigmoid曲线的斜率，即噪声控制项，为神经元的所有输入，表达式为

(3)

其中：为CRBM的连接权重；为常数项；(0,1)表示均值为0、方差为1的高斯噪声，其概率分布为

(4)

CRBM采用MCD算法进行连接权重和噪声控制项参数的迭代更新：

(5)

(6)

1.2 CDBN构造健康指标

本文以2个CRBM为例，相应的CDBN结构如图2所示。CDBN训练过程中，从左至右每相邻2层神经元作为一个CRBM，上一层CRBM的输出作为下一层CRBM的输入。对于单个CRBM，当隐藏层神经元个数小于可视层神经元个数时，可实现数据降维。将多元退化设备的性能监测数据经预处理后输入CDBN，通过MCD算法逐层确定每个CRBM的连接权重和噪声控制参数，进而基于式(1)计算各层神经元的状态，充分挖掘设备运行期间的退化状态信息。

本文将多元退化设备的监测数据代入CDBN网络进行训练，提取设备初始健康特征和退化特征，构造出衡量设备退化偏离初始健康状态程度的HI如下：

(7)

式中：为实时退化特征；为初始健康特征；为HI序列长度。

图2 CDBN结构示意图Fig.2 Structure of CDBN

为了有效评价本文与其他方法构造的HI，采用文献[21]所提鲁棒性和趋势性指标对HI进行性能度量。

1) 鲁棒性

由于测量不确定性、退化过程的随机性以及设备运行状态受环境影响产生的变化，HI曲线通常包含随机波动。因此，性能较好的HI应该对这些干扰具有较强的鲁棒性，记为

(8)

2) 趋势性

设备随运行时间累积而逐渐退化，因此，设备的退化特征与运行时间相关。本文用HI和时间之间的相关系数衡量其趋势性，记为

(9)

式中：为设备运行时间；为当前监测时刻。

由式(8)和式(9)可以看出，衡量HI鲁棒性和趋势性的评价指标取值范围为[0,1]，与所构造HI的性能呈正相关。

2 基于BiLSTM网络的时间序列预测

BiLSTM由前向LSTM和后向LSTM共同构成，前向LSTM获取输入序列的过去信息，后向LSTM获取输入序列的未来信息，因此能够更加深入的挖掘设备监测数据所包含的时序信息。

=(·[-1,]+)

(10)

=(·[-1,]+)

(11)

(12)

(13)

=(·[-1,]+)

(14)

=⊗()

(15)

式中：、、、分别表示遗忘门、输入门、输出门和单元状态的权重矩阵；、、、分别表示遗忘门、输入门、输出门和单元状态的偏置；和分别是sigmoid激活函数和tanh激活函数。

(16)

(17)

(18)

图3 LSTM结构示意图[25]Fig.3 Structure of LSTM[25]

图4 BiLSTM结构示意图Fig.4 Structure of BiLSTM

3 基于CDBN与BiLSTM的RUL预测

考虑到一类监测数据呈现大规模、非线性、高维化等特点的多元退化设备，本文提出一种基于CDBN与BiLSTM网络的剩余寿命预测方法，主要分为2部分，第1部分是利用CDBN对监测到的退化数据进行无监督深层特征提取，构造出反映设备退化的HI；第2部分是根据构造的HI，利用BiLSTM网络挖掘其时序信息和退化趋势，预测多元退化设备的RUL。多元退化设备的RUL预测流程如图5所示。具体步骤为

1) 数据预处理

图5 CDBN-BiLSTM预测模型Fig.5 CDBN-BiLSTM prediction model

在工程实际中，由于受到外部扰动，多元退化设备获得的性能监测数据往往包含大量随机噪声，而数据滤波是去除噪声还原真实数据的一种数据处理技术。本文采用卡尔曼滤波对原始数据进行降噪处理，以提高数据的平滑度。

多元退化设备基于多个传感器进行性能监测，获得的监测数据表示不同的物理特性。为得到更好的神经网络训练结果，需要对监测数据进行归一化处理。由于CDBN要求输入数据的范围为[0,1]，本文采用min-max归一化方法对降噪后的数据进行处理，将数据缩放至0～1之间，保留数据间的时空关系，具体公式为

(19)

式中：,()为第个设备中第个传感器在时刻的监测数据；min(:,)和max(:,)分别表示第个传感器所有时刻数据的最小值和最大值；′,()为归一化后的值。

2) 健康指标构建

将经过预处理的数据集输入CDBN网络进行无监督特征提取，通过调整超参数使重构误差最小，得到初始健康特征和退化特征，利用式(7)构造反映设备退化偏离初始健康状态程度的HI。

3) 滑动时间窗处理

滑动时间窗处理技术不仅可以将原始时间序列数据转换为所需的序列数据，而且能够保留原始时间序列数据的局部依赖性。为满足BiLSTM网络对输入数据的要求，利用滑动时间窗处理HI，得到反映设备退化趋势的时间序列训练集和测试集。

4) RUL预测

将训练集输入BiLSTM网络进行训练，其输出与样本标签进行对比，将每次迭代得到的输出误差进行反向传播从而更新BiLSTM门控节点的权重矩阵，最后得到训练好的网络模型。其中，训练标签为每组时间序列的下一个监测点所对应的RUL。将测试集代入训练好的BiLSTM网络，得到RUL的预测结果。

5) RUL区间估计

RUL的不确定性度量对于保障设备安全有效运行至关重要，贝叶斯神经网络方法假设神经网络模型内部连接权重为服从某一分布的随机变量而非固定系数，利用贝叶斯理论确定权重后验分布，通过权重的随机性刻画出预测结果的不确定性。文献[29]已经证明，使用dropout的传统深度学习模型等价于对应的基于变分推断的贝叶斯深度学习模型，主要公式及说明如下：

(20)

贝叶斯神经网络通过随机化权重系数来刻画预测结果的不确定性，然而在实际中，由于神经网络结构通常比较复杂，权重系数的后验分布(|,)难以直接求得，需要根据变分推断思想构造一个近似分布()来逼近该后验分布，并通过最小化KL散度来确定最优的近似变分分布，基于此得到的目标函数为

(21)

综上，本文基于文献[29]的结论，在所提网络模型中引入dropout，等价实现模型随机权重系数变分推理过程，并通过MC仿真技术得到由随机权重系数引入的RUL预测结果不确定性。

6) 性能度量

为了衡量所提预测模型的优劣，本文选取常用的2个性能度量指标：评分函数(Scoring function, Score)和均方根误差(Root Mean Square Error, RMSE)对RUL预测效果进行评价。

Score的计算公式为

(22)

式中：=RUL′-RUL，RUL′为RUL预测值，RUL为RUL真实值。

RMSE可以衡量全测试循环数据序列的预测结果，其计算公式为

(23)

一般而言，Score和RMSE的数值越小意味着预测效果越好。

4 实例验证

航空发动机作为提供飞机动力的关键设备，对于航空器的正常运转起着至关重要的作用。相关事故调查统计结果表明，发动机故障是导致飞机飞行事故的主要原因之一。因此，对发动机的健康状态进行监测与评估，并对其进行准确地RUL预测是保障飞行安全的重要手段，也是飞机健康管理的关键环节。航空发动机结构复杂，状态监测变量类型多，获得的监测数据维度高、数量大，属于一种典型的多元退化设备。因此，本文以航空发动机数据集为例，对所提的基于CDBN与BiLSTM的多元退化设备剩余寿命预测方法进行验证。

4.1 数据集描述

CMAPSS数据集是由NASA经过仿真实验获取的发动机从正常运行至失效的性能退化数据集，共有发动机在不同工作状态和故障模式下的4组监测数据，其中包含了21个能够表征航空发动机工作状态的典型指标。每组数据包括训练集、测试集以及RUL标签3部分，训练集为发动机的失效数据，测试集为测试发动机的退化数据，RUL标签与测试集相对应，为每个测试发动机最后监测时刻的RUL，具体信息如表1所示。

表1 CMAPSS数据集Table 1 CMAPSS dataset

4.2 实验过程及结果分析

本文选取FD001数据集进行实验，训练集和测试集分别包含100台发动机的状态监测数据，筛选出14个变化较明显的变量数据作为输入，进行滤波及归一化处理，代入CDBN网络提取发动机退化特征，并通过式(7)计算得到HI，进而输入BiLSTM网络进行RUL预测。通过设置dropout，得到由随机权重系数引入的预测不确定性，最后通过MC仿真得到区间估计结果。CDBN与BiLSTM网络的主要参数设置如表2所示。

表2 CDBN与BiLSTM网络参数Table 2 Parameters of CDBN and BiLSTM network

4.2.1 CDBN提取健康指标

本文采用CDBN来融合多传感器的监测数据，实现设备的深层退化特征提取，具体过程如下：

假定航空发动机的原始监测数据经滤波以及归一化后可表示为=[,,…,]，其中，(0≤≤)表示CDBN第输入神经元的特征序列，为输入特征的总数。本文选择有变化的14个变量，将这些特征当作CDBN的输入，采用MCD算法，即式(5)和式(6)逐层确定每个CRBM的模型参数，然后基于式(1)可计算出CDBN各层神经元的状态。换句话说，可实现对输入数据的完美抽象表示，即通过多重CRBM可自动提取出反映设备健康状态的深层次特征。因而，CDBN的输出可视为输入数据的深层次特征，可表示为=[,,…,]，其中，(0≤≤)表示CDBN第输出神经元的特征序列，为CDBN输出神经元总数。本文设置的CDBN网络结构为14-7-1，通过堆叠2个CRBM进行自动特征提取，可以将输入的14维数据映射到1维的深层退化特征，实现了对多传感器数据的融合。

在构造的CDBN中，具体参数设置如表2所示时重构误差最小。此时通过无监督训练，将输出的退化特征与初始健康特征按式(7)处理得到发动机HI。图6为100台发动机训练集和测试集数据构建出的HI，刻画发动机随着运行周期的增加偏离初始健康状态的程度。从图中可以看出，在性能退化前期，HI变化较慢，而随着运行时间的累积，HI偏离初始健康状态的速率逐渐加快，与实际设备的运行退化趋势相符。

本文选用鲁棒性和趋势性2种指标来评价所构造HI的优劣，对比了主成分分析(Principal Component Analysis, PCA)、DBN和本文所提方法CDBN，测试集平均评价指标结果对比如表3所示。可以看出，通过CDBN提取的HI，鲁棒性和趋势性均优于其他常用的降维方法，因此能更好地挖掘性能监测数据中隐含的设备退化深层特征。

图6 CDBN提取的健康指标Fig.6 Health index extracted by CDBN

表3 HI评价指标对比Table 3 Comparison of HI evaluation indexes

4.2.2 BiLSTM预测剩余寿命

发动机各性能监测变量在退化初期均变化较小，因此提取的HI在退化初期变化也比较缓慢。为了提高模型预测的准确性，假定设备在运行初期无退化，将设备RUL标签设为分段线性，最大值设为发动机的平均寿命125。由于1号发动机仅有31个测试循环，将滑动时间窗设置为30。为防止过拟合，同时，得到由随机权重系数引入的RUL预测不确定性，将dropout设置为0.2，MC仿真的采样次数设置为1 000次。具体网络结构参数设置如表2所示，此时得到的Score和RMSE最小，因此基于以上网络参数得到测试集RUL预测结果。为便于观察，根据测试数据集中各发动机最后监测点处RUL标签值，按照从大到小顺序排列，可得如图7中的预测结果。

图7 100台发动机RUL预测结果Fig.7 RUL prediction results for 100 engines

图7中，绿色线为100台发动机的真实RUL，粉色线为经过分段线性处理后的RUL标签，通过MC仿真技术对预测结果进行区间估计，得到预测RUL的均值为图中蓝线所示，并给出了预测结果95%的置信区间。由图7可以看出，本文所提方法的RUL预测均值与真实RUL基本吻合，预测结果的95%置信区间基本能覆盖真实RUL，并且置信区间的宽度随着发动机真实RUL变小而有逐渐变窄的趋势。这是因为发动机随着运行时间的累积，故障特征逐渐增强，其退化特征和趋势能更好地被所提网络捕获，因此预测结果更好。

在设备退化初期，由于性能监测数据较少，预测的RUL均值与真实RUL之间存在一定偏差。表4给出了测试集中不同监测数据量下4台发动机的RUL预测结果，结果表明，获得的监测数据越充分，退化趋势越明显，本文所提方法的预测效果越好。此外，本文通过MC仿真技术给出预测RUL的95%置信区间，可以帮助运维人员对预测结果的可信度进行衡量。

本文对比了文献[8,12,32-33]与所提方法的预测效果，结果如表5所示。相较于浅层机器学习方法SVR和单一有监督的深度学习模型CNN、Deep LSTM以及DCNN，文献[12]中提出的混合预测模型Semi-supervised setup效果更好。本文所提方法CDBN-BiLSTM考虑到融合无监督与有监督学习模型的优越性，结合CDBN和BiLSTM网络的优势，预测结果得到进一步改善。

表4 不同监测数据量下RUL预测结果对比

表5 不同方法RUL预测结果对比

为进一步观察本文所提方法的预测结果，图8 给出了部分测试发动机的全测试循环RUL预测结果。由于发动机的性能退化状态与实时有效的监测数据有关，监测数据越全，预测效果越好，因此这里选取测试循环比较多的4台发动机实例，分别为第24台、34台、76台和第100台，给出其一次全测试循环的RUL预测结果。

图8 单个发动机RUL预测结果Fig.8 RUL prediction results for single engine

由图8可以观察到，尽管在测试循环前期预测值与实际RUL之间存在一定误差，但随着发动机单元运行时间的累积，本文所提方法的预测结果较准确，具有一定的工业参考价值，因为对发动机的后期状态进行准确评估，可以有效保障飞机的飞行安全，降低运行维护成本。

图9和图10分别给出了第76台发动机和第100台发动机通过MC仿真技术得到的最后6个监测点处RUL的PDF，以及RUL预测全测试循环95%置信区间。可以看出，随着设备运行周期的增加，故障特征不断增强，本文所提预测方法的预测效果较好，并且得到的区间估计结果能为后续的健康管理环节提供依据。

图9 76号发动机RUL区间估计Fig.9 RUL interval estimation for No.76 engine

图10 100号发动机RUL区间估计Fig.10 RUL interval estimation for No.100 engine

5 结 论

针对一类监测数据呈现大规模、非线性、高维化等特点的多元退化设备，本文提出了一种基于CDBN与BiLSTM网络的剩余寿命预测方法。该方法充分利用了监测获得的性能退化数据，能更好地挖掘多元退化设备的退化趋势，提高RUL预测准确度。通过在CMAPSS数据集进行验证并与其他文献所提方法对比，可以得到以下结论：

1) 本文基于CDBN对监测到的性能退化数据进行分析，提取反映多元退化设备隐含深层次特征的HI，实现了高维原始监测数据到低维退化特征的抽象表示，与常用降维方法相比，通过本文方法提取的HI鲁棒性和趋势性更好。

2) 在RUL预测阶段，本文利用BiLSTM网络挖掘所构造HI的时序信息，并通过MC仿真技术得到了RUL的区间估计，可获得更精确的RUL预测结果及分布形式，该结果可直接用于发动机后续的运行规划、维修决策等健康管理活动中。

本文通过CDBN实现对监测数据的无监督特征提取，在未来的研究中，将考虑构建一种新的网络模型，通过不同的无监督学习模型提取多个健康指标来反映设备的健康状态，并基于这些健康指标开展多个退化规律融合，以及多个判决准则与所提模型融合的相关研究，以进一步有效利用获得的监测数据，提取多元退化设备的深层退化特征，从而提高剩余寿命预测结果的准确性。