基于残差自注意力机制的航空发动机RUL预测

叶瑞达，王卫杰，何 亮，陈晓岑，薛 乐

（1.航天工程大学，北京101416；2.清华大学，北京100089；3.63931部队，北京100094）

1 引 言

航空发动机是机械装备制造领域的皇冠，代表着一个国家的国防工业和科技发展水平。然而航空发动机在使用上和航天发动机有着本质的区别：对于航天发动机来说，大多数都只需要使用一次，而航空发动机需要在复杂的环境下持续使用，这就给航空发动机的可靠性和安全性带来了极大的挑战。对于军用飞机而言，在战场上会面对各类武器的攻击，需要发动机做出快速反应，在极短时间内完成加速减速、大角度变换方位等需求，这就加剧了航空发动机的性能退化速度。因此，有效地进行航空发动机健康管理［1］成为保障飞机飞行安全的重中之重。

航空发动机剩余使用寿命（Remaining Use⁃ful Life，RUL）传统预测方法是基于物理模型的，虽然RUL预测方法有一定缺陷，但是其通过研究发动机失效机理来判断发动机的健康状态，仍是一种可靠性高的方法。陈煜［2］研究了发动机非线性部件级建模和修模方法，搭建了航空发动机快速原型仿真平台。葛怡［3］通过对航空发动机的压气机喘振、尾喷管推力下降、燃烧室雾化三种典型的故障进行建模研究，从物理层面分析了产生故障的原因，完成了发动机建模仿真和典型故障基于模型的仿真，实现发动机的故障诊断和故障数据趋势预测。然而，机器失效机理通常充满不确定性，难以建立精确的模型。

基于数据驱动的深度学习方法在设备健康管理领域［4-7］可以避免传统方法的不足，其优势在于不需要手工设计特征工程、降低了准入门槛、易实现跨领域知识共享。随着计算力的不断发展，深度学习在航空发动机健康管理领域被大量使用。Li等［8］提出了一种新的基于数据驱动的深度卷积神经网络（DCNN）预测方法，为了更好地提取DCNN的特征，采用了“时间窗”方法进行样本准备，完成了航空发动机的剩余使用寿命预测。Sen等［9］建立了基于长短期记忆的数据驱动模型来预测航空发动机剩余使用寿命，建立了完整的集成经验模式分解，然后进行重构，构建趋势特征。Berghout等［10］提出了一种具有双重动态遗忘因子和更新选择策略的序贯极限学习机，序贯极限学习机用于拟合航空发动机的非累积线性降级函数，最终预测飞机发动机剩余使用寿命。彭开香等［11］提出一种深度置信网络和隐马尔可夫结合方法，使用无监督深度置信网络提取数据特征，并构建航空发动机RUL评价指标，最后用隐马尔可夫模型识别状态。

以上研究中，偏重提取数据深层特征或处理时序特征，未将二者统一到训练模型中。自注意力机制［12］能够同时抽取数据深层特征和关联时序特征，有效解决上述研究中的问题。然而，自注意力机制涉及到大量的权重矩阵运算，优化权重矩阵优化通常是传统深度学习方法中的一个难点，误差函数的梯度必须逐层反向传播，误差函数在经过反向传播后对权重矩阵的优化效果较差或梯度消失。

针对传统神经网络在多维数据高分辨率特征识别和高精度信号提取方面的缺陷，开展基于残差自注意力机制在航空发动机RUL预测领域的研究。分析卷积神经网络和长短期记忆网络这两种主流算法模型的优点和局限，结合改进的自注意力机制，提出了一种卷积记忆残差自注意力（CMRSA）神经网络方法。该算法使用两层残差网络，优化自注意力机制的权重矩阵。选用美国宇航局（NASA）航空涡扇发动机退化实验数据集，完成了CMRSA模型在航空发动机RUL预测的仿真实验。提出的方法具有一下优点：（1）利用卷积层提取数据特征，不需要专家经验和人工判读，利用残差自注意力机制提高局部注意力和优化权重矩阵。（2）创新性地提出了CMRSA模型，有效提高了航空涡扇发动机RUL的预测精度。

2 典型深度学习模型分析

2.1 卷积神经网络

卷积神经网络（CNN）是深度学习中最为重要模型之一，卷积层是其核心组成部分，具有强大的特征提取能力。当卷积核与当前特征经过卷积操作后，该局部特征以某种形式保留，通过局部连接和权值共享特征，当经过多次局部特征提取后，所有的局部特征以多种方式融合，随后经过激活函数，即可构成一个特征层。图1所示展示了一个3×3的卷积核在5×5的图像上做步长为2卷积操作的过程。每个卷积都是一种特征提取方式，将特征中符合条件的部分筛选出来。

图1 卷积示意图Fig.1 Convolution block diagram

其中m，n是输入节点的二维坐标，f(⋅)为激活函数，常见的激活函数有sigmoid函数、ReLU函数等。ReLU公式如下：

池化层的前向传播过程中也是通过移动一个类似过滤器的结构完成的，其主要作用是下采样。卷积神经网络具有强大的局部特征提取能力，然而对于长序列信息的特征关联能力较弱。

2.2 循环神经网络

循环神经网络［13］（RNN）是以序列数据为输入，在序列的前进方向进行递归循环且所有的循环体按链式循环的递归神经网络。其中长短期记忆网络、门控循环单元网络和双向循环神经网络是常见的循环神经网络。由于存在梯度消失的问题，普通的循环神经网络很难处理长距离的信息。长短期记忆网络［14］能够解决普通循环神经网络的缺陷，由于其独特的结构设计，LSTM适用于处理时间序列和延迟较长的数据。标准LSTM如图2所示。

图2 LSTM结构图Fig.2 Structure diagram of LSTM

LSTM包含遗忘门f t、输入门y t、当前输出的状态单元ct和输出门h t。其中遗忘门的作用是决定上一个单元状态保留到当前状态ct的比例。输入门决定了当前输入x t保留到当前状态ct的比例。其算法流程如下：

遗忘门f t由当前输入x t和上一个时刻输出h t-1定：

输入门y t和当前输入单元状态m t同样由当前输入x t和上一个时刻输出h t-1决定：

而当前输出的状态单元ct：

LSTM的最终输出：

其中W f，W y，W m和W h是权重矩阵，对应的bf，by，bm和bh是偏置项。公式中的*表示按矩阵中的元素相乘。

循环神经网络包含LSTM网络，LSTM网络是RNN网络的重要分支。LSTM模型对长序列信息有着良好的前后关联能力，然而在局部特征提取方面有所欠缺。

3 RUL预测模型构建

3.1 残差自注意力机制设计

自注意力机制起源于自然语言处理，是Transformer模型［12］核心算法。Transformer模型分为编码器和解码器两个部分，每个编码器包括自注意力机制和前馈网络，自注意力机制是Transformer模型的核心部分。自注意力机制的优势在于可以进行远距离学习、提高局部注意力和并行计算。

在自注意力算法中，特征矩阵ai（i表示由i个向量拼成ai）分别与三个权重矩阵W k，W q和W v相乘得到K、Q和V，其计算公式如下：

其中，Q代表查询（query）、K代表键（key）、V代表值（value），它们都是输入矩阵。计算自注意力值：

其中K和V组成的键值对代表源语句，Q代表目标语句，其目的在于计算源语句和目标语句的关系，d k是键向量维度的平方根。

在传统自注意力机制中，特征矩阵ai分别与三个权重矩阵相乘，导致在迭代算法过程中太过依赖于权重矩阵。基于残差网络［15］的思想，提出一种残差自注意力机制，其算法结构原理如图3所示。

图3 残差注意力机制原理图Fig.3 Schematic diagram of residual self-attention mechanism

特征矩阵在经过三个权重矩阵处理后得到K，Q和V后，分别与K，Q和V相加，这样可以使得提高特征矩阵ai在自注意力算法中的权重。同时在得到自注意力值后，使用跳层连接，将自注意力值与输入特征矩阵ai相加。

在得到K，Q和V后，ai分别与K，Q和V相加，在特征矩阵相加的过程中，需要保证矩阵维度一致，假设则有：

同 理 可 得Q'，V'，使 用 式（9）得 到Attention(Q'，K'，V')，最 后 将 其 与 初 始 特 征ai相加：

其中，output为残差自注意力模型的输出。

残差自注意力机制使用双跳层连接结构，将初始特征进行长短距离再提取，其算法流程如下：

（1）输入批次特征矩阵通过是三个权重矩阵阵W k，W q和W v相乘分别得到K、Q和V。

（2）将特征矩阵K，Q和V与初始特征矩阵相 加 得 到 特 征 矩 阵K'，Q'和V'。

（3）将特征矩阵K'，Q'使用Scale（缩放点积）计算“得分”。

（4）把“得分”除以d k，并使用softmax激活函数，乘上矩阵V'。

（5）最后将输出的特征矩阵与原始特征矩阵相加得到自注意力值。

为验证残差自注意力权重矩阵的优化性能，假设传播到K处的误差为J，此时从K'到ai的反向传播过程为：

a.在自注意力机制中：

b.在残差自注意力机制中：

在误差相同时，残差自注意力机制的W k相对于自身的变化更大。所以在引入残差网络后，权重的变化对输出更加敏感，能够更好的优化权重矩阵。

3.2 构建卷积记忆残差自注意力机制模型

通过CNN、LSTM和残差自注意力机制，构建了由输入层、特征提取层、位置编码器、残差自注意力模块、全局平均池化层和全连接层的卷积记忆残差自注意力机制（CMRSA）模型框架。其结构如图4所示。

图4 CMRSA模型框架图Fig.4 Frame diagram of CMRSA model

输入层将数据集提供的原始信号进行预处理，构建满足CMRSA模型输入的样本。特征提取层由CNN和LSTM组成的CLSTM构成，有效综合了CNN的特征处理能力和LSTM的时序关联能力，CLSTM能够更好地提取和学习航空发动机的信号特征。为了更好的使用所提取的航空发动机信号特征的时序信息，可以使用tranformer中的位置编码器对信号特征进行位置编码。位置编码器对信号特征进行位置编码：

PE为二维矩阵，偶数位置添加正弦变量，奇数位置添加余弦变量，以此来填满整个PE矩阵，对使用CLSTM提取信号初始特征完成位置编码。在使用自注意力时，对特征位置编码，有利于学习关联特征。残差自注意力模块对位置编码后的特征进行权重矩阵优化，得到自注意力值。全局平均池化层可以减少网络参数量，防止过拟合现象。全连接层由神经元组成，在航空发动机RUL预测时，将神经元个数设置为1，表示输出的RUL。

4 仿真校验及分析

4.1 实验数据预处理及评价指标

NASA Ames研究中心提供的航空涡扇发动机退化实验数据集（C-MAPSS）［16］，NASA利用C-MAPSS软件对航空涡扇发动机进行了失效模拟，使用24个传感器采集数据，模拟了航空涡扇发动机的失效过程。C-MAPSS由四个子数据集组成，每个子数据集分为训练数据集和测试数据集，如表1所示。

表1 C-MAPSS数据集Tab.1 C-MAPSS dataset

本实验选用第1组编号FD001的数据集，训练集train_FD001.txt包含100条训练样本，每条样本包含24个传感器读数，包括21个依赖传感器和3个操作设定传感器；text_FD001.txt包含100条测试样本；RUL_FD001.txt中提供测试集对应的真实RUL值。

a.数据预处理

在C-MAPSS数据集上，共有21个传感器反映航空发动机的健康状态，需要将传感器数据进行有效的预处理，从而为模型提供训练数据。假设传感器为Si(i=1，2，...，21)，则在一段时间内的某个传感器的测量结果可以表示为将传感器数据进行离差标准化，其转换公式如下：

b.评价指标

选用常用的均方误差（Mean Square Error，MSE）和评分函数（Score）这两个指标［16］，来对RUL进行评价。

4.2 实验过程

选用C-MAPSS的FD001数据集，首先对航空涡扇发动机原始数据信息预处理，由于共有21个传感器监测数据和3个设定参数，加上工作循环次数，可以将数据处理成50×25的矩阵，得到处理后的数据集。首先将处理后的数据集输入到CMRSA模型中，信号在卷积层与卷积核做卷积，卷积层使用32个卷积核，大小为5×1，步长设置为2。其次，经过卷积层的特征通过LSTM，LSTM层的单元数为32。使用位置编码器对特征进行位置编码，进行位置编码后的特征经过一个残差自注意力模块，最后输入到全局平均池化层，可以有效防止过拟合现象，通过全连接层输出结果。

针对航空涡扇发动机，CMRSA模型可以提取各个传感器数据信息中不同程度的航空发动机退化信息，捕捉各个传感器中航空涡扇发动机不同部件之间的相关退化信息，得到航空涡扇发动机的RUL。CMRSA模型在预测RUL时的损失函数使用均方误差，其公式为选用的性能指标式（17）。使用为使得特征矩阵ai与K，Q和V的维度保持一致，残差自注意力机制中的权重矩阵W k，W q和W v设置25×25。每层网络的输出如表2所示。

表2 网络层的输出尺寸T ab.2 Output size of network layers

4.3 实验结果分析

训练模型时，每批次输入大小为128，迭代次数为100。其训练过程的损失函数值（loss）与迭代次数关系如图5所示，损失函数值随着迭代次数的增加而减小，迭代训练多轮后，逐渐趋于平缓。

图5 基于CMRSA模型训练的loss图Fig.5 Loss diagram based on CMRSA model training

为验证残差自注意力机制的性能，使用未添加残差网络的卷积记忆自注意力（CMSA）模型完成对比实验。预测值与真实值对比如图6所示。

在图6中，CMRSA模型的均方误差为222，而CMSA模型的均方误差为278。同时，完成了CMRSA模型在FD002、FD003和FD004数据集上的实验，并与CMSA模型对比，其结果如表3所示。通过对比分析，改进的残差自注意力性能优于传统的自注意力机制。

表3 CM RSA和CMSA结果对比表Tab.3 Comparison table of CMRSA and CMSA results

图6 真实值与预测值对比图Fig.6 Comparison of thetruevalueand thepredicted value

为验证CMRSA模型在航空发动机RUL预测领域的性能，加入对比实验。文献［17］所提全部特征输入长短时记忆单元（AF-LSTM）方法和文献［18］所提一种改进CNN方法，用来预测发动机的RUL。这四种方法都是在C-MAPSS中的FD001数据集上进行的，每种模型训练5次取其平均值。从表4可知，对比这三种方法，CMRSA模型在MSE和Socre评价指标上优于其他三种方法，CMRSA模型在预测航空涡扇发动机RUL时效果显著。

表4 各算法结果对比表Tab.4 Comparison table of algorithm results

5 结 论

针对传统神经网络在多维数据高分辨率特征识别和高精度信号提取方面的缺陷，提出了一种卷积记忆残差自注意力神经网络方法。使用卷积神经网络和长短期记忆网络进行特征编码，将得到的特征矩阵输入到残差自注意力网络中训练，该网络使用双跳层残差连接，优化自注意力机制的权重矩阵。选用C-MAPSS数据集，完成了航空发动机RUL预测的实验。实验结果表明，使用CMRSA模型的预测精度优于其他的方法，相比CMSA模型的均方误差降低了17.9%。提出的方法具有一下优点：（1）提出了残差自注意力机制，使用双跳层残差连接，可以优化权重矩阵。（2）针对航空发动机RUL预测问题，构建了卷积记忆残差自注意力模型，有效提高了航空涡扇发动机RUL的预测精度。在后续的研究中，将开展多个残差自注意力机制组合及组合形式的研究，进一步提升航空发动机剩余使用寿命预测的精度。