基于深度特征融合网络的数模联动随机退化设备剩余寿命预测

周 涛，汪永超，张栩静，毛凯宁，李汶俊

(四川大学 机械工程学院，四川 成都 610065)

0 引言

在智能制造、航空航天、轨道交通等领域的现代化装备逐步朝着大型化和集成化的方向发展，它们由多系统耦合组成，服役过程受到环境、载荷、冲击等时变因素的影响，其整体和部件不可避免地会发生退化，一旦因性能退化导致最终失效，将造成严重的生命财产损失和生产进度滞后。

剩余使用寿命(Remaining Useful Life, RUL)预测是故障预测和健康管理(Prognostic and Health Management, PHM)的关键技术之一[1]，如果能在设备退化的初期，尚未造成重大危害时，根据状态监测数据建立合适的退化模型对系统进行RUL预测，根据预测结果对设备实施健康管理，对于保障复杂设备的安全可靠运行及精准、经济的维护具有重要意义。

目前，RUL预测的方法主要分为基于机理模型的预测方法和数据驱动的预测方法。机理模型对设备退化过程建立参数化模型，结合仿真模拟实现RUL预测。LIANG等[2]基于Paris模型实现轴承RUL自适应预测方法，在缺乏时变缺陷上也能准确预测。但是随着传感器技术、数据存储和传输技术快速发展，设备运行过程中产生了大量的多维监测数据，并且设备故障种类复杂，机理模型预测精度受限，因此数据驱动的方法成为了设备RUL预测的主流。数据驱动的方法主要包括基于数理统计和基于机器学习两大类，它们通过构建设备监测数据与寿命之间的内在关系来进行RUL预测。数据驱动的方法高效、便捷，在学术研究和实际应用领域得到了广泛的关注。

在数理统计方法中，通过监测设备性能退化参数，建立描述性能退化过程的随机模型，就能够实现RUL的预测。LI等[3]提出了基于序列Bayesian更新策略的Wiener过程模型，解决了RUL预测仅依赖当前退化测量的问题；PENG等[4]将Copula函数与随机过程模型结合用于多元退化变量的RUL预测，并对不完整测量的重型机床进行了双变量退化分析；DEUTSCH等[5]基于多源信息融合，提取复合性能指标后再进行针对单变量的随机退化建模，但是融合后的指标不具有物理意义，难以确定其失效阈值。

随机模型的可解释性较强，能反映设备退化的快慢和不确定性，但是现有的数理统计方法难以从价值密度低且相互耦合的多维数据中提取有效的退化特征。

对于机器学习的方法，其主要思路是通过学习系统建立监测数据与RUL端到端的映射关系。基于浅层模型的RUL预测方法主要有支持向量机、神经网络、梯度提升树等，由于对信号处理技术和先验知识的依赖较强，海量数据处理能力弱，自主学习性能差等因素，浅层模型逐步退出历史舞台。而基于深层模型的RUL预测正在蓬勃发展中，ELSHEIKH等[6]基于循环神经网络处理序列数据的优势，实现了基于双向LSTM网络的RUL预测；蔡伟立等[7]提出一种动态对抗域适应的迁移学习方法，仅利用少量目标域样本，对源域预训练模型进行调整，在新工艺条件下刀具RUL预测上获得了较好的效果；HUANG等[8]提取多传感器数据的时域、频域和时频特征作为健康指标，再通过CNN建立健康指标与刀具磨损之间的非线性关系。深层模型具有强大的深度特征自动提取能力，在处理复杂的高维数据方面优势巨大，但是这些方法难以体现设备退化的过程以及定量描述RUL预测的不确定性。因此，将深层模型与随机模型相结合，优势互补交叉融合，成为了研究者探索的新方向。彭开香等[9]利用深度置信网络构建健康指标，再结合隐马尔可夫模型进行航空发动机的RUL预测；HU等[10]提出一种基于无监督深度置信网络的性能退化指标构建模型，然后通过非线性扩散过程建模性能退化指标的时变趋势，从而获得了RUL预测的概率密度函数。以上方法借助深度网络从监测数据中提取设备退化指标，再对退化指标建模实现RUL的预测，但是深度网络和建模过程是独立的，两者无法相互匹配和适应，并且深度网络自动提取的退化指标能否表征设备健康状况的全貌以及退化指标物理意义不明确导致失效阈值难以确定的问题仍需研究解决。

为了解决以上问题，本文提出一种基于深度特征融合网络的数模联动随机退化设备剩余寿命预测方法。在深度特征融合网络中，设计多维自注意力时间卷积网络(Multi-dimensional Self-attention Time Convolutional Networks, MSATCN)和特征融合模块进行深度特征提取与融合，获得融合退化指标后利用随机过程对融合退化指标建模，借助优化目标函数对特征融合网络和随机过程模型的参数进行反向调整，在这过程中数据特征提取融合与随机过程建模以相同的优化目标为向导，同步调整、互相适应，形成数模联动的RUL预测方法。该方法在涡扇发动机RUL预测上获得了较好的效果。

1 深度特征融合网络

1.1 深度特征融合网络概述

设备的健康状况和内部的应力与使用工况和环境具有很强的时变性，因此设备的退化速率、退化状态具有非线性、随机性特征，并且传感器直接获取的监测数据无法准确描述设备的退化状态。多维监测数据能够很好地保留设备随机退化的时变过程，蕴含丰富的设备退化特征，但是多维监测数据具有纬度高、耦合性强、噪声多等特点，依靠专家经验或者传统的指标融合方法无法正确地描述设备的退化状态。

因此，如何基于多维监测数据构建融合退化指标是设备RUL预测的关键，本文设计深度特征融合网络对多维监测数据做处理，能将其时序特征、不同监测数据的耦合特征以及这些数据所代表的设备运行状态特征进行提取和融合，形成融合退化指标，表征设备的退化阶段。

深度特征融合网络包括多尺度动态时序特征提取模块和特征融合模块。多尺度动态时序特征提取模块在不同的时间尺度层面从监测数据中提取设备短期运行状态和长期运行阶段的特征，特征融合模块对设备运行的不同模式做判别，获得模式系数并对时序特征做融合处理，输出最终的设备融合退化指标。

1.2 提取多尺度动态时序特征

将多维监测数据X，通过m个不同大小的时间窗{T1,T2,…,Tm}进行序列分割，得到m个不同时间尺度的序列数据{X1,X2,…,Xm}。

然后，利用查询矩阵和键矩阵对值矩阵进行更新，让模型选择性地关注不同时刻、不同维度的信息，并为多维时间序列的每个位置分配权重，得到自注意力计算的结果Hi：

(1)

为了防止深层网络的退化问题影响时序特征提取的效果，SATCO在自注意力和时间卷积两部分之间采用残差连接，让模型关注重要信息的同时保留原本数据的特点，并且对残差连接的结果进行层归一化处理，将隐层数据转换为标准正态分布，能够加快收敛速度，提高网络的泛化能力。其计算公式为：

(2)

式中LayerNorm为层归一化函数。

(3)

(4)

式中⊙为卷积运算。

最后，将MSATCN的输出Yi送入全连接层(Full Connection Layer, FCL)，将Yi通过线性变换降为一维时序数据，从而获得时序数据Xi所对应的深度特征Fi：

(5)

将{X1,X2,…,Xm}输入m个MSATCN并联组成的时序特征提取器，可以获得多维监测数据在不同时间尺度下的深度特征{F1,F2,…,Fm}，并且m个MSATCN可以并行运算，保证了深度特征提取的快速性。

1.3 特征融合模块

在运行过程中，设备的工况、负载、运行环境、运行设置等因素对设备的退化有重要影响，这些因素在某一时段中可以认为是不变的，因此称它们为静态数据。使用K-means算法对静态数据进行聚类，得到设备运行的不同模式，为不同的模式设置相应的系数就能表征设备退化的不同阶段。假设有k个模式，他们相应的模式系数为S={s1,s2,…,sk}，S每个元素都在0～1之间，它们的大小表示设备退化的趋势，数值越大则设备的退化趋势越明显。

将多维监测数据对应的静态数据输入K-means分类器，得到其模式特征：

C=[c0,c1,…,ct-1]。

(6)

式中：t为输入数据的时间跨度;ci∈S，1≤i≤t-1。

将模式特征C作用于不同时间尺度下的深度特征，能够提高深度特征的感知能力，提升预测模型的稳定性和准确度。

对于多维监测数据在不同时间尺度下的深度特征{F1,F2,…,Fm}，特征融合模块通过模式加权的方法生成融合退化指标，为每一个深度特征赋予权重系数w，组成权重向量W=[w1,w2,…,wm]，利用模式特征C和权重向量W对{F1,F2,…,Fm}进行模式加权，得到融合退化指标：

(7)

式中：Fi=[fi0,fi1,…,fi(t-1)](1≤i≤m);t为多维监测数据的时间跨度;C′=[1/ec0,1/ec1,…,1/ect-1]。

即融合退化指标Y(t)是一个跨度为t的一维时间序列[y0,y1,…,yt-1]，其中

(8)

融合退化指标Y(t)包含不同时间尺度的深度特征以及设备运行模式特征，能够准确表征设备的退化过程。

综上所述，深度特征融合网络由多尺度时序特征提取模块和特征融合模块两部分组成，其总体结构如图4所示。

2 数模联动的RUL预测方法

2.1 随机退化过程建模

随机过程是一阶非稳定自回归的过程[13]，如果一个时间序列Et，从t时刻到t+1时刻的变化是完全随机的，即

Et+1=Et+εt+1。

(9)

式中εt+1为随机变量，服从均值为0的正态分布。εt+1是随机的，不具有固定的形式。由此可知，Et就是一个完全随机序列。

若Et从t时刻到t+1时刻的变化等于偏移量d，再加上一个完全的随机成分，即

Et+1=Et+d+εt+1。

(10)

则Et就是一个有偏移随机序列。

对于随机退化设备，其退化过程就是一个有偏移随机过程，经过深度特征融合网络得到的融合退化指标Y(t)满足式(10)，即Y(t)是一个有偏移随机序列。

随机过程模型可以用于描述有偏移随机序列的时变演化趋势。本文采用线性Wiener过程[3]建模Y(t)的演变过程，Y(t)可以表示为：

Y(t)=y0+λt+θB(t)。

(11)

式中：y0为初始时刻的退化特征值;λ为漂移系数，可以看做是设备的退化率;θ为扩散系数，表示设备退化过程的随机不确定性;B(t)为标准布朗运动，刻画退化过程的时变随机性。

假设融合退化指标Y(t)具有下降的趋势，根据以上模型定义和首达失效阈值的概念，定义设备的剩余寿命为：

R=inf{t:Y(t)v}。

(12)

式中v为融合退化特征Y(t)对应的失效阈值。

根据文献[3]可知，设备的剩余寿命R服从逆高斯分布，则其概率密度函数为：

(13)

数学期望为：

(14)

方差为：

(15)

2.2 参数求解和RUL预测

根据式(13)～式(15)进行RUL预测，首先需要利用最大似然估计法求解系数λ、θ。融合退化指标Y(t)的增量数据集为{Δy1,Δy2,…,Δyt-1}，其中Δyi=yi-yi-1(1≤i≤t-1)，则似然函数可以表示为：

(16)

式中Δt为Y(t)相邻值的时间间隔。

根据最大似然估计法，将ln(ψ(λ,θ))分别对λ和θ2求导，并令导函数等于零即能解出λ和θ2的最大似然估计为：

(17)

根据最大似然估计的结果和式(14)，设备RUL的预测值为：

(18)

将式(8)代入式(18)，可得：

以江西省井冈山市和抚州市南丰县军峰山作为研究地点，选择4个样地(表1)。研究区域均属于亚热带季风气候，年均温14.2 ～ 17℃，最低温-10 ～ -6℃，最高温38 ～ 39℃，年均降水量为1852.6 ～ 1875 mm。土壤为黄壤，一般为酸性[13]。区域内的典型植被为亚热带常绿阔叶林，优势种为马尾松(Pinus massoniana Lamb.)、木荷(Schima superba Gardn. et Champ.)、长柄双花木和狗脊蕨(Woodwardia japonica(L. f.) Sm.)等[14]。

(19)

2.3 特征融合网络与随机退化建模交互联动

基于深度特征提取与融合构建出的退化指标不具有实际的物理意义，若特征融合和随机退化建模分开进行，则特征融合的效果将难以保证，失效阈值也无法确定。

基于自适应和交互联动的思想，设计最小化预测均方误差的优化目标函数，对特征融合网络参数、模式系数和失效阈值进行迭代优化，从而形成退化指标的构建和随机退化建模自动匹配的效果，以达到数据特征提取融合与随机过程建模同步调整、相互适应的目标，实现数模联动，其结构如图5所示。

对于设备RUL的预测值r和真实值R，构建优化目标函数，即模型的损失函数：

(20)

式中P为特征融合网络的参数集，包括自注意力部分的3个线性变化矩阵、时间卷积的卷积核、全连接层的权值和偏移量以及特征融合系数。

基于式(20)，交互参数的求解就转化为最小化损失函数的问题，通过最小化J(P,S,v)就能得到融合系数、模式系数和失效阈值的最优解：

(21)

本文采用Adam优化器[12]对式(21)进行优化求解，Adam优化器利用梯度的一阶矩阵估计和二阶矩阵估计自适应地为每个参数设计独立的学习率。

Adam的优化方式为：

mt=δ1·mt-1+(1-δ1)·gt,

(22)

(23)

(24)

(25)

(26)

其中:gt为目标函数在t时刻的梯度，mt为一阶矩阵估计，nt为二阶矩阵估计，δ1和δ2为矩阵估计的指数衰减率，γt为待更新参数，α为学习率，ε为维持数据稳定而添加的一个较小的常数。

通过Adam优化器对参数集{P,S,v}不断进行优化调整，实现了深度特征融合网络和随机退化建模的交互联动，达到融合退化指标与随机退化建模自动匹配的目的，并且在这过程中自动确定了失效阈值，克服了深度特征物理意义不明确的问题。

2.4 剩余寿命预测过程

步骤2将训练数据集中的多维监测数据按比例划分为训练集和验证集。将训练集输入深度特征融合网络，经过时间窗的处理变成不同时间尺度的序列数据，然后将序列数据分别输入SATCN进行深度特征提取，接着为提取出的时序特征分配融合系数。

步骤3结合模式特征C，根据公式(7)和公式(8)计算出融合退化指标Y(t)=[y0,y1,…,yt-1]。

步骤4利用式(19)对融合退化指标进行Wiener过程建模和剩余寿命预测，得到预测值后通过Adam优化算法更新特征融合网络的参数、模式系数以及失效阈值，直到验证集上的均方误差没有下降时就停止训练。

步骤5保存训练完成的模型、各个参数和失效阈值。

步骤6将测试集中的静态数据和多维监测数据分别输入K-means分类器和深度特征融合网络，重复步骤1～3得到融合退化指标，利用已经确定参数的公式(19)计算得出RUL的预测值。

3 实例分析

3.1 实验设计

为了验证本文RUL预测方法的有效性，在涡轮风扇发动机数据集上对模型进行训练和预测，首先在单一运行模式下验证本文方法的预测准确性并与目前领域内较好的RUL预测方法进行对比分析，然后在多种运行模式下验证本文特征融合模型中模式加权算法对RUL预测的提升作用。

3.2 数据集介绍和预处理

C-MAPSS大型涡轮风扇发动机数据集[14]是设备剩余寿命预测领域广泛使用的基准数据集，C-MAPSS有4个子数据集，分别记录了不同运行条件和故障模式下的涡扇发动机从正常运行到发生故障的状态监测数据，各个子数据集的情况如表1所示。

表1 C-MAPSS子数据集概况

根据文献[14]的介绍，状态监测数据包括飞行高度、马赫数、节流解析器角度这3个对发动机的性能和退化趋势有较大影响的运行设置参数，以及风扇进口总温度、低压压气机出口总温度、核心机物理转速、发动机气压比、抽汽焓等21个传感器数据。

表1中的运行模式由上述3个运行设置参数决定，不同的参数设置值表示不同的运行模式，6种运行模式表示这3个运行设置参数有6组不同的设置值。

目前的研究大多在FD001上验证模型和方法的表现，而对FD002的使用较少缺乏对比，因此本文设计了两个实验：①实验1：在FD001上对单运行模式下涡扇发动机的RUL进行预测，验证本文方法对深度特征的提取能力和剩余寿命预测的准确性；②实验2：在FD002上对多运行模式下涡扇发动机的RUL进行预测，验证本文方法对模式特征的提取和运用效果。实验的目标都是预测出测试集中每个发动机在完全失效前的剩余运行周期数。

首先，为了消除不同量纲的影响，提升模型的精度和收敛速度，对数据集做最大值—最小值归一化，将数据的大小限定在[0,1]，公式如下：

(27)

观察归一化之后的数据，发现在FD001中运行设置3和传感器1、5、6、10、16、18、19的数据不具有时变性，将这部分数据剔除后剩余的运行设置和传感器数据作为FD001的多维监测数据。而在FD002中传感器16、19的数据只有0和1两个值并且按时间段跳动，传感器13的值也围绕个别数值按时间段跳动，所以将这3个传感器和运行设置一同作为FD002的静态数据来考虑，其他18个传感器作为FD002的多维监测数据。

然后借助离散小波变换对FD001和FD002的多维监测数据分别进行降噪操作，本文采用四层以四阶小波(db4)作为母小波的小波分解，在细节分量阈值处理中使用软阈值函数和最大最小阈值，最后通过小波重构得到降噪后的多维监测数据。

3.3 模型训练与剩余寿命预测

对深度特征融合网络中的超参数进行设置，时间窗的个数m=3，时间窗的长度分别为10，30，50，SATCO的层数L=4，Adam优化器的初始学习率α=0.001。

从FD001和FD002降噪后的多维监测数据中取出10%的发动机作为验证集，当验证集上的均方误差连续10个训练周期没有下降时就结束训练。

实验1在单运行模式的情况下，将模式特征全部置为0，消除其在特征融合网络中的作用。按照2.4节的预测过程，将训练完成模型和参数应用于FD001的测试集，可以得到涡扇发动机RUL预测的结果，如图6所示，其中实线表示真实值，虚线表示预测值。

实验2在FD002中有6种运行条件，即3个运行设置可以分成6个类别，那么增加了3个传感器的静态数据至少可以分成6个类别，将FD002的静态数据输入K-means进行分类，并计算其轮廓系数。

在对多尺度动态时序特征进行模式加权融合时，对同一模式的时序特征会赋予相同的模式特征，因此要求对同一模式下的样本尽可能相似，即要求分类结果的簇内差异尽可能小，可以通过每个样本点到其所在簇的质心的距离平均值来衡量。选择欧几里得距离来计算样本点到质心的距离，公式如下：

(28)

式中w为样本维度，即FD002静态数据的维度。

分类情况及其轮廓系数、每个样本点到其所在簇的质心的距离均值如表2所示。

表2 分类情况评价指标

轮廓系数越接近于1时分类效果越好，以及样本点到其所在簇的质心的距离越小越好，由表2可知，类别数目为7时分类效果最佳。

在多运行模式的情况下，直接按照2.4节的预测过程对涡扇发动机RUL进行预测，将FD002训练集中的静态数据和降噪后的多维监测数据输入模型进行训练，将训练完成模型和参数应用于FD002的测试集，可以得到涡扇发动机RUL预测的结果，如图7所示，其中实线表示真实值，虚线表示预测值。

3.4 预测结果分析和对比

为了分析方法的有效性，本文采用均方根误差(Root Mean Square Error, RMSE)和评分函数(Soring Function, Score)对预测结果进行定量评估[9]。

RMSE是最常用的预测误差评价指标之一，RMSE能反映预测值和真实值的偏差，

(29)

评分函数的公式为：

(30)

其中-13和10用于表现评分函数的非对称性。

在实际工程应用中，预测的失效时间晚于实际的失效时间可能会导致严重的后果，因此对于滞后的预测应施加更重的惩罚。评分函数的数值越低，表示RUL预测效果越好。

因为使用FD001做验证的方法更多，所以将实验一的预测结果与深度置信网络集成方法(Multi Objective Deep Belief Networks Ensemble, MODBNE)[15]、支持向量回归(Support Vector Regression, SVR)[16]、隐马尔科夫模型(Hidden Markov Model, HMM)[9]、整合自编码双向长短期记忆神经网络(Autoencoder and Bidirectional Long Short-Term Memory, AE-BLSTM)[17]等方法进行比较。MODBNE采用多目标进化算法训练多个深度置信网络，形成RUL预测的集成模型；HMM选用混合高斯分布作为观测概率密度函数，得到混合高斯的隐马尔科夫模型实现复杂设备健康状态的退化过程建模；AE-BLSTM借助自编码神经网络进行特征提取，双向长短期记忆神经网络获取时序特征，构建RUL预测模型。

对不同的方法和数据集进行实验，得出他们的RMSE和Score如表3所示。

表3 实验结果对比

由表3的结果对比可知，在FD001上，从RMSE和Score两个角度，基于深度特征融合网络的数模联动剩余寿命预测方法都具有一定的优势，反映出深度特征融合网络的特征提取能力强大，数模联动的方法能够实现特征提取和融合与随机退化建模的自动匹配，并有较高的RUL预测性能。在FD002上，对多运行模式提取模式特征后利用模式加权的方法进行特征融合获得了比没有模式特征时更优的RMSE，说明本文方法中基于模式加权的特征融合策略对于退化指标提取的准确性具有一定的帮助，使本文的方法能更好地适应实际应用中，设备负载、运行条件和环境因素多变的情况。

4 结束语

针对复杂度高、监测数据量大的现代化设备，本文提出一种基于深度特征融合网络的数模联动剩余寿命预测方法。在深度特征融合网络中设计了可并行计算的MSATCN，通过自注意力和时间卷积的结合对设备多维监测数据做深度特征提取，同时对提取设备静态数据的模式特征，设计模式加权的特征融合策略获取融合退化指标，借助随机退化过程对退化指标建模，构建最小化预测均方误差的优化函数对深度特征融合网络和模式加权的参数进行反向调整，形成数模联动、特征提取和融合与退化指标建模交互反馈的RUL预测方法。最后在涡扇发动机数据集上验证了该方法相较于SVR、AE-BLSTM等方法有更好的表现，从而证明了数模联动思想下，退化指标和随机模型自动匹配在RUL预测领域有广阔的应用空间。未来将对数模联动的方式进行深入的研究，使得特征提取与建模的过程形成更智能的匹配，同时完善RUL预测效果的评价体系，以贴合实际的标准和需求驱动RUL预测方法的创新与优化。