基于DAM-QLSTM混合模型的辅助动力装置性能参数预测方法

摘 要：对飞机辅助动力装置（APU）排气温度（EGT）进行准确预测，能有效监测APU未来工作状态，预防安全事故发生。本文提出一种融合双阶段注意力机制（DAM），以及分位数损失（quantile-loss）引导的长短期记忆（LSTM）网络的APU排气温度预测模型。采用双阶段注意力机制，能有效量化输入变量与EGT的关联度，并加强历史关键信息对输出的作用效果。使用分位数损失来优化LSTM网络的损失函数，进一步提高模型的预测能力。试验结果表明，对于EGT的单步与多步预测，与其他预测模型相比，所提模型的预测精度有较大程度提高，为短期APU性能变化趋势预测提供一定参考。

关键词：辅助动力装置； 排气温度； 长短期记忆网络； 注意力机制； 分位数损失

中图分类号：V240.2 文献标识码：A DOI：10.19452/j.issn1007-5453.2024.07.004

基金项目： 国家自然科学基金（62173331）

辅助动力装置（APU）是一个位于飞机尾端的小型涡轮发动机[1]。当飞机在地面停放时，APU为飞机提供电源和压缩空气用于保证客舱及驾驶舱的照明和空调[2]。起飞前，由APU起动主发动机，从而减少地面电源或气源的供应。起飞时，全部功率用于地面加速和爬升，改善起飞性能。APU不仅是飞机在空中停车后重起发动机的重要装备，也是飞机在地面时确保客舱环境舒适的必要保障[3]。

排气温度（EGT）可以综合反映其他相关性能指标的健康程度，有效地表征了APU的性能衰退状况。因此将其作为判断APU健康状态的主要性能指标[4]。EGT在APU的全生命周期内通常呈现逐渐上升的趋势，可以通过预测EGT未来走向，对其进行健康监测[5]。从而判断其是否超过所规定的安全值，由此来判断APU是否符合民航安全运行标准，为后续设备维护提供决策支持[6]。APU是一个高度耦合的复杂系统，对于EGT的预测需要考虑到APU内各性能参数的影响作用[7]。分析发现APU性能参数数据的历史信息和未来信息存在一定的关联，而长短期记忆（LSTM）网络通过在隐藏层中增加单元存储结构，使其善于处理长时间序列问题[8]。

国内外学者针对基于LSTM网络的排气温度预测展开研究。杨洪富等[9]提出采用LSTM网络用于挖掘排气温度随飞机运行时间的变化规律从而实现预测。韩国栋等[10]针对燃气轮机气路性能退化的周期性与非线性特点，提出采用LSTM网络建立预测模型，对燃气轮机排气温度的未来趋势进行预测。孙毅刚等[11]提出了一种基于粒子群算法优化的LSTM网络预测方法。通过对关键参数进行迭代优化，有效解决了传统模型参数低拟合度、低预测精度等问题。Ullah等[12]针对发动机排气温度的预测问题，提出采用LSTM网络来建立预测模型。结果表明与传统神经网络预测模型相比，预测精度显著提高。郭毅博等[13]提出使用Transformer与LSTM网络相结合，将传感器所获取的数据作为时序数据处理，其次采用贝叶斯优对模型进行优化，有效减少了整体误差，增强了测量稳定性与可靠性。张帅等[14]通过分析航空器发动机气路参数的特点，提出一种输出层增强的长短期记忆网络（OLE-LSTM）排气温度预测模型，显著提高了模型对排气温度的预测精度。白春垣等[15]采用多尺度卷积神经网络完成信号深度特征的提取，使用LSTM网络学习训练数据间的潜在规律，以某型APU实时报文数据为例，提高了APU排气温度预测的准确度。

传统神经网络难以捕捉APU性能参数中复杂的关联性，无法建立输入与输出变量之间的完整关系。本文提出一种融合双阶段注意力机制（DAM）和分位数损失引导的长短期记忆（QLSTM）网络模型，将与EGT具有强关联的其他性能参数作为多变量输入，选取EGT为输出。针对输入参数的多维性和时序性，采用双阶段注意力机制来量化输入变量与EGT的关联度以及加强历史关键信息对输出的表达。采用分位数损失[16]来优化LSTM网络的损失函数，构建QLSTM网络模型，进一步提高模型的泛化能力。

1 深度学习原理

1.1 LSTM网络

LSTM[17]是循环神经网络（RNN）的一个变种，能有效解决RNN在预测过程中梯度消失的问题。LSTM隐藏层神经元的基本结构[18]如图1所示。

1.2 注意力机制

注意力机制是一种仿效人脑注意力的资源分配模型，通过学习人脑在面对多重信息来源时，对不同信息的关注度。使得在关键节点上，突出重要信息的影响力[19]，其结构如图2所示。

图2中，输入样本数为n，（t？[1n]）；模型的输入和隐藏层输出分别为xt，ht；注意力机制对模型隐藏层输出的权重分配为αt；模型的输出值为y。

2 基于DAM-QLSTM预测模型的参数预测

针对传统的机器学习方法在处理APU性能参数的历史数据时，难以捕捉数据间的关联性和时序性，因而忽视历史数据包含的潜在规律，从而导致预测结果存在较大的误差。采用双阶段注意力机制，可以使模型有效量化多维输入参数与EGT的关联程度，同时加强模型各隐藏层所输出的历史信息对当前时刻输出影响的表达。LSTM能有效处理具有长期依赖的时序数据，常用于时间序列预测。采用分位数损失对LSTM网络的损失函数进行改进，使模型在不同分位点预测数据，选取置信度较高的数据作为最终的预测值，有效提高模型的泛化能力和预测效果。因此，本文提出一种基于双阶段注意力机制和分位数损失引导的LSTM模型，通过结合不同网络的特性，达到提高EGT预测精度的目的。

2.1 模型描述

本文中的样本数据是在现有研究基础上，结合维修手册、厂家资料内容以及参考一线机务维修人员的相关经验，最终确定从飞机快速存取记录器（QAR）选取表征APU关键性能状态的参数数据。相关数据是飞机处于正常工作状态下，同一航段的多次飞行数据，包括EGT、滑油温度OT、APU转速NA、引气流量WB、发电机负载GL。由于影响APU排气温度的参数较多，且参数之间存在相互影响，因此根据式（7）对上述参数与EGT进行相关性分析，结果见表1。

输入参数与排气温度的相关程度较高，有助于加强神经网络模型的学习训练过程，使预测结果更加准确。由此，为尽可能保存大量特征信息的前提下降低模型的计算量，因此选取NA、WB和GL三项与排气温度相关程度较高的参数作为模型的多变量输入，并建立预测模型。

2.2 特征注意力机制

为得到多变量输入预测模型中各特征参数与EGT的关联程度，在模型的输入端引入特征注意力机制模块，对输入的各项参数特征进行量化，如图3所示。

2.4 时序注意力机制

由于APU在飞机飞行期间并不是时刻处于工作状态，因此不同阶段的历史参数信息对排气温度的影响程度不同。同时，较长的时间序列会导致模型的输出产生偏差。为了模型能有效量化APU在飞行过程中不同时刻的重要性，加强模型在不同历史时刻关键信息的表达。在LSTM网络的输出端引入时序注意力机制（TAM），其模型结构如图4所示。

2.5 基于DAM-QLSTM的预测模型

DAM-QLSTM预测模型结构如图5所示，首先通过FAM1d4852b3fadd2f5c6b83f05f57c45e73模块为各特征参数分配不同的权值，其次将分配权重后的数据输入由分位数损失引导的LSTM网络中进行学习训练，其隐藏层状态作为TAM的输入，最后通过TAM模块对重要的历史信息分配权重，得到最终预测值。

模型描述如下：（1）Input层完成输入性能参数数据的预处理，消除不同参数间的量纲影响。（2）FAM层对经过预处理后的各项特征参数进行特征权重分配，突出重要特征信息的表达。（3）QLSTM层对参数特征进行充分学习，以找寻数据内部的变化规律。通过构建分位数损失引导的LSTM网络，使模型在不同分位点去预测数据，然后取置信度较高的数据作为最终的预测值。QLSTM网络学习率为0.003；隐藏层神经元节点数为128，时间步长（Time steps）决定了使用历史前几个时刻的参数值来预测将来时刻的EGT，设置为3；Batch size表示每个批次输入模型的数据大小，设置为32；采用Adam优化器对模型参数进行优化。（4）TAM层捕捉历史关键信息，根据其重要程度分配不同的权重。（5）Output层的输入是时序注意力机制层的加权输出，选择sigmoid作为激活函数。

3 试验结果与分析

3.1 数据预处理

由图6可知，APU性能参数随时间变化而采集，具有时序性。同时模型的输入为多变量输入，不同的输入性能参数对排气温度的影响程度不同，因此在模型训练过程中要考虑输入数据的多维性。

3.2 模型评价指标

3.3 预测结果分析

（1）单步预测结果分析

为了验证DAM-QLSTM模型的有效性与可行性，将DAM-QLSTM模型与DAM-LSTM模型、传统LSTM模式、BP神经网络模型、支持向量机SVM模型以及GRU模型进行对比并验证。在验证过程中，所有的模型都采用相同的训练集和测试集来进行学习训练，预测结果如图7所示其中真实值为蓝线，预测值为红线。

从图7中可以看出，对于多参数输入的单步预测任务，上述6种模型的预测趋势的走向大致相同，但其他5种模型的预测输出值与真实值的拟合程度不高，预测精度较低。从图7（a）可知，DAM-QLSTM模型在预测区间内，能充分学习数据内部关系，有效捕捉EGT的变化规律，模型的输出值与真实值拟合程度高。当数据位于高低峰值处或数据波动较大时，其余5个模型则难以准确预测EGT在该区间的未来趋势。试验结果表明，DAM-QLSTM混合模型的预测精度均高于其余5种对比模型，充分展示了所提模型在建立长期依赖关系。

各模型评价指标见表2。由表2可知，DAM-QLSTM模型的每一项评价指标都优于其余对比算法。相比于DAM-LSTM、LSTM、BP、SVM和GRU的5种预测模型，DAM-QLSTM模型的R2指标分别提升2.25%、2.11%、2.10%、1.85%、2.23%；MAE指标分别降低15.87%、22.17%、15.78%、24.27%、20.15%；RMSE指标分别降低5.68%、9.98%、5.11%、2.59%、5.36%；MAPE指标分别降低3.45%、4.37%、13.57%、16.88%、16.03%。

综上分析，DAM-QLSTM预测模型在不同评价指标下都具有较好的表现，能有效完成APU排气温度的短期单步预测任务，确定将来某个时刻APU是否会处于异常状态进行故障排除，为后续的维修排查提供参考。

（2）多步预测结果分析

时间步长是模型的关键参数之一，过大的时间步长取值会导致模型训练时长增大以及模型产生多余的噪声。如当时间步长为3时，则选取当前t时刻的前三个历史样本参数值作为输入来预测t+1时刻的排气温度，其次在历史样本参数值的基础上增加t时刻的预测值xt+1作为输入，来预测t+2时刻的排气温度xt+2，重复上述过程直至完成预测。为进一步验证本研究所提模型在多变量、多步长EGT预测任务上的稳定性和泛化能力，利用不同步长下的NA、WB和GL来对EGT进行预测分析，并采用MAE、RMSE、MAPE及R2指标对模型进行评估分析，结果如图8所示。

图8（a）～图8（d）分别为单步预测、三步预测、五步预测以及七步预测任务下6个模型评价指标结果示意图。随着时间步长的逐渐增大，6个模型的预测精度均有不同程度的下降。但与其余5个模型相比，DAM-QLSTM模型在不同步长的预测任务中，其预测性能最优。由图8（a）可知，各模型R2指标都接近1，因此上述6种模型都适用于EGT的单步预测，其中MAE、RMSE和MAPE三项误差指标平均增长率见表3。

由表3可以看出，随着步长的增加，各模型的平均误差增长率存在明显差异，DAM-QLSTM混合模型三项误差指标的平均增长率分别是25.75%、4.24%、3.13%，均低于其余5个预测模型。试验结果表明，本节所提DAM-QLSTM组合预测模型在短期EGT的单步预测和多步预测任务中表现优异，很大程度上提高了预测精度，进一步提高了该预测模型的普适性。

4 结论

本文通过对表征APU性能变化趋势的关键参数EGT进行预测研究，提出基于DAM-QLSTM预测模型的EGT预测方法。

针对APU性能参数的多维性和时序性特征问题，采用双阶段注意力机制分配权值。为量化不同性能参数对排气温度的影响程度，在模型的输入端采用特征注意力机制为输入参数分配不同的权值；同时，根据APU不同时刻的工作性能，采用时序注意力机制对不同历史时刻的信息特征进行权值分配，突出关键历史信息对输出的表达。通过研究，得出以下结论：

（1）将LSTM网络的损失函数MSE替换为分位数损失，指导LSTM网络的训练，分位数损失的引入可以使模型在不同分位点预测数据，选取置信度较高的数据作为最终的预测值，可有效提高模型的泛化能力和预测效果。

（2）通过试验表明，针对多变量输入的EGT预测，本文提出的DAM-QLSTM预测模型在单步与多步预测任务中，预测精度均高于其他的预测模型。当改变时间步长时，模型的预测精度随时间步长的增加而下降，后续工作中，可以针对模型的网络结构进行优化改善，提高APU性能参数多步预测的稳定性。

参考文献

[1]Gorinevsky D， Dittmar K， Mylaraswamy D， et al. Model-based diagnostics for an aircraft auxiliary power unit[C]// Proceedings of the 2002 International Conference on. IEEE， 2002.

[2]董平. APU系统的状态监测与维修决策研究[D]. 南京：南京航空航天大学，2018. Dong Ping. Research on condition monitoring and maintenance decision of APU system [D]. Nanjing： Nanjing University of Aeronautics and Astronautics， 2018. （in Chinese）

[3]赵运生，胡骏，吴铁鹰，等. 大型民用飞机辅助动力装置性能仿真[J]. 航空动力学报，2011，26（7）：1590-1598. Zhao Yunsheng， Hu Jun， Wu Tieying， et al. Performance simulation of auxiliary power units for large civil aircraft[J]. Journal of Aerodynamics， 2011， 26（7）： 1590-1598. （in Chinese）

[4]刘连胜，张晗星，刘晓磊，等. 面向飞机辅助动力装置在翼剩余寿命预测的性能参数扩增方法[J]. 仪器仪表学报，2020，41（7）：107-116. Liu Liansheng， Zhang Hanxing， Liu Xiaolei， et al. A performance parameter augmentation method for predicting the remaining life of an aircraft auxiliary power unit in the wing[J]. Journal of Instrumentation， 2020， 41（7）： 107-116. （in Chinese）

[5]王辉，唐启东. 组合预测方法在APU状态监控中的应用[J].航空维修与工程，2013，58（6）：47-49. Wang Hui， Tang Qidong. Application of combined prediction method in APU condition monitoring[J]. Aviation Maintenance& Engineering， 2013， 58（6）： 47-49. （in Chinese）

[6]Christos S， Fakhre A， Ian J. Experimental investigation and simulation of a boeing 747 auxiliary power unit[J]. Journal of Engineering for Gas Turbines and Power， 2020， 142（8）： 081005.

[7]Allan J V， Liang T. Improved engine health monitoring using full flight data and companion engine information[J]. SAE International Journal of Aerospace， 2016， 9（1）：91-102.

[8]高祯. 基于TCN和Bi-LSTM网络特征融合的文本情感分析研究[D]. 兰州： 兰州理工大学， 2021. Gao Zhen. Research on text sentiment analysis based on TCN and Bi-LSTM network feature fusion [D]. Lanzhou： Lanzhou University of Technology， 2021. （in Chinese）

[9]杨洪富，贾晓亮. 基于LSTM的航空发动机排气温度预测[J].航空计算技术，2018，48（4）：61-65. Yang Hongfu， Jia Xiaoliang. LSTM-based aero-engine exhaust temperature prediction[J]. Aviation Computing Technology， 2018， 48（4）： 61-65. （in Chinese）

[10]韩国栋，曹云鹏，王伟影，等. 基于LSTM神经网络的燃气轮机排温预测方法[J]. 热能动力工程，2022，37（3）：28-34. Han Guodong， Cao Yunpeng， Wang Weiying， et al. LSTM neu‐ral network-based method for gas turbine discharge tempera‐ture prediction[J]. Thermal Power Engineering， 2022， 37（3）： 28-34. （in Chinese）

[11]孙毅刚，刘凯捷. 基于PSO-LSTM网络的航电系统故障率预测研究[J]. 航空科学技术，2021，32（5）：17-22. Sun Yigang， Liu Kaijie. Failure rate of avionics system forecast‐ing based on PSO-LSTM network[J]. Aeronautical Science & Technology， 2021， 32（5）： 17-22.（in Chinese）

[12]Ullah S， Li S G， Khan K， et al. An investigation of exhaust gas temperature of aircraft engine using LSTM[J]. IEEE Access， 2023（11）： 5168-5177.

[13]郭毅博，李舜尧，陈艳华，等. 基于时间序列的飞机燃油测量方法[J]. 航空科学技术，2022，33（5）：63-68. Guo Yibo， Li Shunyao， Chen Yanhua， et al. A fuel measure‐ment method based on time series data[J]. Aeronautical Sci‐ence & Technology， 2022， 33（5）： 63-68.（in Chinese）

[14]张帅，杜军，严智. 基于输出层增强的LSTM发动机排气温度模型[J]. 电子测量与仪器学报，2019，33（8）：124-132. Zhang Shuai， Du Jun， Yan Zhi. LSTM engine exhaust temperature model based on output layer enhancement[J]. Journal of Electronic Measurement and Instrumentation， 2019， 33（8）： 124-132. （in Chinese）

[15]白春垣，孙有朝. 基于MSCNN-LSTM编解码器的飞机辅助动力装置EGT预测模型[J]. 组合机床与自动化加工技术，2022，64（2）：45-49. Bai Chunyuan， Sun Youzhao. An EGT prediction model for aircraft auxiliary power units based on MSCNN-LSTM codec[J]. Combined Machine Tools and Automated Machining Technology， 2022， 64（2）： 45-49. （in Chinese）

[16]Koneker R， Bassett G. Regression quantiles[J]. Econometrical， 1978， 46 （1）： 33-50.

[17]Chemali E， Kollmeyer P， Preindl M， et al. Long Short-Term Memory-networks for accurate state of charge estimation of liion batteries[J]. IEEE Transactions on Industrial Electronics， 2018， 65（8）： 6730-6739.

[18]刘秀丽，徐小力. 基于特征金字塔卷积循环神经网络的故障诊断方法[J]. 上海交通大学学报，2022，56（2）：182-190. Liu Xiuli， Xu Xiaoli. A fault diagnosis method based on feature pyramidal convolutional recurrent neural network[J]. Journal of Shanghai Jiaotong University， 2022， 56（2）： 182-190. （in Chinese）

[19]赵洪利，张奔，张青. 基于工况聚类和残差自注意力额发动机剩余使用寿命预测[J]. 航空科学技术，2023，34（4）：31-40. Zhao Hongli， Zhang Ben， Zhang Qing. Engine remaining use‐ful life prediction based on operating condition clustering and residual self-attention[J]. Aeronautical Science & Technology， 2023， 34（4）： 31-40.（in Chinese）

Prediction Method of Auxiliary Power Unit Performance Parameter Based on DAM-QLSTM Mixed Model

Wang Kun， Zhu Yiyang

Civil Aviation University of China， Tianjin 300300， China

Abstract： Accurate prediction of the Exhaust Gas Temperature （EGT） of the aircraft Auxiliary Power Unit （APU） can effectively monitor the future operating status of the APU and prevent from safety accidents. An APU exhaust gas temperature prediction model incorporating Dual-stage Attention Mechanism （DAM） and quantile-loss guided Long Short-Term Memory （LSTM） network is proposed. The DAM is introduced to effectively quantify the correlation of input variables with EGT and to enhance the effects of historical key information on the output. Secondly， quantile-loss is used to optimize the loss function of the LSTM network to improve the prediction ability of the model further. The experimental results show that for single-step and multi-step prediction of EGT， the prediction accuracy of the proposed model is improved to a large extent compared with other prediction models， which provides a certain reference for short-term APU performance trend prediction.

Key Words： APU； EGT； LSTM； attention mechanism； quantile-loss