融合注意力机制的航天器重建信号异常检测*

郭鹏飞,魏才盛,殷泽阳,陈琪锋

中南大学自动化学院,长沙 410083

0 引言

随着航天工业的发展,现代航天器越发先进与复杂。由于航天器所处空间环境存在直接辐射、巨大温差以及与空间碎片碰撞可能等多种风险,即使最大程度提高航天器系统部件的可靠性,也不可能完全消除异常与故障。尤其是能源与控制等复杂系统内部件发生故障,将导致整个空间飞行任务的失败。因而开发先进的航天器异常检测和故障诊断技术成为近年来航天器可靠性领域亟待解决的难题。

为了解决上述难题,研究人员先后开发了多种故障诊断技术,并在航天器中广泛应用,促进了航天器故障诊断与异常检测水平的提升。文献[1]针对火星样本采集返回任务的轨道推进器故障诊断,基于定量模型分析方法,通过鲁棒极点配置滤波器,检测和隔离推进器故障。文献[2]针对航天器实时自主诊断问题,提出基于定性模型分析的方法,利用冲突识别实现卫星电源系统的故障源定位,提高定性分析算法的性能。尽管上述方法均可满足航天任务中的异常检测与故障诊断要求,但都依赖从人类专家处获取的关于空间系统或航天器模型的准确完整的先验知识,存在算法通用性差、易受模型不确定性影响的缺陷[3]。为了消除基于模型和专家经验知识方法的局限性,数据驱动的故障诊断方法应运而生[4]。文献[5]对数据驱动的航天器故障诊断与异常检测方法进行了详尽总结。文献[6]提出了一种深度归一化卷积神经网络,有效地处理了不平衡数据下故障分类的问题。文献[7]针对卫星陀螺仪故障检测中存在的冗余依赖、微小故障覆盖问题,提出一种基于长短时(Long-Short Term Memory, LSTM)神经网络的故障检测方法。

足量的训练样本是以上异常检测算法实现的基础,作为安全性能要求极高的机器,航天器内部有数千个遥测信道,所传输的数据是航天器内部多个系统组件连续产生的多维时间序列,详细描述了温度、辐射、功率和计算资源等方面的实时信息[8]。通过监测这些遥测信道、采用数据驱动的异常检测方法是及时发现航天器异常症状、避免失控等灾难性情况发生的重要途经。为此,文献[9]提出一种迁移学习的方法,将代价敏感的一维卷积网络模型进行迁移,在标签数据较少情况下解决了航天器遥测数据异常检测问题。然而,计算和存储能力的提高导致遥测数据量增加,且航天器工况复杂、数据参数多,依靠专家知识和人力资本为航天器遥测数据更新标签的难度大,因此无监督学习逐渐应用到航天器信号的异常检测中。文献[10]提出了一种利用变分自动编码器(Auto-Encoder, AE)重建概率的异常检测方法,仿真结果证明该方法能有效提升异常检测性能。

自动编码器由全连接神经网络搭建,存在对于时间序列顺序信息刻画能力不足的缺陷。为捕捉时序信号前后关联特征从而弥补以上缺陷,文献[11]利用LSTM神经网络结构搭建航天器遥测数据信号预测模型。该方法通过控制信息参数的传输状态,实现了长距离特征捕捉,使其在时序信号异常检测场景中比传统前馈神经网络更具优越性。文献[12]针对标签不完整的数据样本,提出了一种基于模糊聚类和LSTM神经网络的数据异常分析方法,实现了运载火箭氧涡轮泵数据驱动的自动故障检测预警。文献[13]提出的长短期记忆自编码器(LSTM-Auto Encoder, LSTM-AE)信号重建方法在无监督时序信号处理上已取得显著效果,但是LSTM神经网络提取的特征通常不含可解释的物理含义,无法为故障源头的梳理提供指导,即存在可解释性不足的局限性。而Transformer模型[14]所特有的自我注意力权重分布可以体现出与整个时间序列的丰富关联,自该模型提出以来已在多个领域取得了进展,包括自然语言处理[15]、机器视觉[16]和时间序列异常检测[17]。

综上所述,本文将Transformer模型中的注意力机制应用于无监督状态下的时间序列异常检测,通过注意力层提取数据长距离特征关系,再通过自动编码层逐一对各个时间窗内的数据重建,最后分析输入信号与重建信号的残差进行异常检测,并通过分析可视化注意力关系矩阵满足设备异常后的故障分析需求。通过在美国大气和空间物理实验室(LASP)所提供的航天器遥测信号数据集[18]与实验室卫星姿轨半实物仿真平台收集的航天器飞轮转速数据集上进行实验,验证了本文所提方法在航天器异常检测中的有效性与可解释性。

1 基本理论

1.1 航天器遥测数据特征分析

航天器运行过程受诸多不确定因素影响,容易产生突发性或常规性故障。通过分析航天器遥测数据,可有效降低航天器各系统风险、保障航天器安全运行。

如图1所示,航天器遥测数据以多通道时序信号形式呈现,判断某时刻是否发生故障需结合历史数据的走向与趋势。此外,相当部分航天器在异常发生前,遥测数据会出现细微异变,这些异变的发生或临近异常时刻或于极早时刻。因此,如何精准把握各时刻遥测数据的联系、剔除冗长数据中的无意义特征是提高航天器异常检测效率的关键。此外,由于航天器遥测数据量巨大,难以为其定义和更新标称范围。因此,需要从掺杂异常情况的历史数据中归纳出具备辨识异常情况能力的检测算法。

图1 航天器遥测数据示例图

1.2 注意力机制

注意力机制起源于人类眼球对物体进行观察时的注意力分布规律,该机制可以帮助观察者在复杂多变的图像中获取所需的目标信息。针对时序数据,各窗口内的时序信号所承载的信息重要性有很大差异,注意力机制的作用在于挖掘出各时间窗口间所关联的重要信息。

具体而言,首先将m个维度为n×1的矢量分别与3个不同的权重矩阵Wq,Wk,Wv相乘,计算得到查询矩阵Q=[Q1,Q2,…,Qm],键矩阵K=[K1,K2,…,Km],值矩阵V=[V1,V2,…,Vm],计算过程为:

(1)

(2)

式中:A(·)表示为求取注意力得分矩阵的函数,SoftMax(·)为归一化指数函数。

多头注意力机制是注意力机制的改进,其可以将每组输入映射到不同的子表示空间,使得模型可以在不同子表示空间中关注不同的位置。在避免权重矩阵出现偏差导致模型性能急剧退化的同时,更全面地挖掘时序间的多维关联情况。整个计算过程可表示为:

(3)

式中:hs是第s组单头注意力机制下的注意力得分矩阵,M为多头注意力得分矩阵,WO为输出变换矩阵,Concat(·)为矩阵拼接函数。

1.3 自动编码器

自动编码器是深度神经网络结构的一种变形,主要功能为利用神经网络提取压缩特征,再将压缩特征还原为输入信号。若能较为完整地重建输入信号,则证明神经网络所提取的压缩特征具有较好的代表性。基础的自动编码器结构由1个编码器和1个解码器组成,而堆叠自动编码器可以通过网络层堆叠形成深度自动编码器,以分层的方式实现降维,在更深的隐藏层中获得更有价值的特征,从而在解码过程中更好地重建数据。

(4)

式中:W1为编码区两相邻全连接层之间的权重矩阵,b1为编码区两相邻全连接层之间的偏置向量,f(·)为非线性的激活函数。

(5)

式中:W2为解码区两相邻全连接层之间的权重矩阵,b2为解码区两相邻全连接层之间的偏置向量。

由于自动编码器的目标是最大程度复原输入信号,因此其损失函数L一般定义为:

(6)

2 基于信号重建的异常检测方法

2.1 融合注意力机制的信号重建算法

在分析注意力机制与自动编码器原理后,提出一种融合注意力机制的航天器重建信号异常检测方法。挖掘输入信号特征,利用降维特征重建信号,分析重建信号与原始信号的残差是无标签时序数据异常检测的常用方法,该方法的核心在于能否提取到足够具有代表性的输入信号特征。传统自动编码器的全连接结构面对长序列重建问题时存在无法捕捉长距离依赖关系的缺陷,而LSTM的循环网络结构虽能解决长距离依赖问题,但其所提取特征不含可解释意义。为解决上述算法的局限性,本节提出一种航天器信号重建模型,重建流程如图2所示。

图2 航天器信号重建流程图

步骤1对采集的航天器信号进行预处理。数据预处理的主要目的是将异源异构的航天器信号规范化,以便展开重建工作,同时,预处理也是影响后期重建误差序列分析的重要因素。

由于航天器采集的信号源自不同通道,具有不同物理含义,属于异源异构数据,其量纲不同、数量级差别大,需要通过归一化排除量纲的作用,加速模型收敛,提高模型精度。本文采取Min-max归一化手段,这是一种线性归一化方法,不会对数据分布产生影响。然后对数据进行维度变换,将原本的时序信号转换为m个维度为n×1的矢量,从而组合相邻时段数据,以窗口形式将其合并,然后输入注意力层,挖掘不同时间窗间的关联特征。

步骤2在注意力层利用注意力机制捕捉不同时间窗口间的时序相关性,使各时间窗口内的数据融合其他时间窗口的重要信息。同时由于注意力得分的引入,可为航天器信号出现异常后的故障溯源提供有益指导。

步骤3将包含丰富时序特征的各时间窗口数据输入自动编码层,在自动编码层通过堆叠自动编码器前半部分将输入信号减少到低维空间中,以获得数据的压缩表示。由于输入信号中各时间窗口已通过注意力机制融合其他时间窗口特征,因此各个时间窗口内序列压缩后提取到的特征不存在长距离依赖问题,是拥有更全面、更具代表性的降维特征。再通过网络的后半部分对压缩序列执行相反操作,以尝试重建原始输入。

在本模型中,需重建的信号并非自动编码层的输入信号,而是经过预处理后输入到注意力层的m段维度为n×1的向量形式信号,因此重构误差LT可表示为:

(7)

整个过程不需要数据标签,属于无监督学习。其克服了常规神经网络无法捕捉长距离信号前后关联的问题,且所提取特征含有可解释物理含义。

基于以上流程,求取重建后的信号与输入信号的残差序列,即误差重构序列。通过分析误差重构序列的平均值与标准差,划定阈值,重建误差大于阈值的信号诊断为异常信号。

2.2 基于窗口阈值法的误差重构序列异常检测

将重建误差序列分割为多段误差重构子序列,为每段子序列确定阈值,重建误差超过阈值的点判为异常点,误差重构序列异常检测流程如图3所示。

图3 基于重建误差的异常检测示例

εi=μ(Ei)+zσ(Ei)

(8)

式中:μ(·)为求取向量所有元素均值的函数,σ(·)表示计算向量所有元素标准差的函数,z为权重系数。

3 仿真校验与结果分析

为验证本文算法的异常检测性能、可解释性以及对不同数据样本的适应能力,选取以下2个数据集进行仿真校验。分别为:1)美国NASA合作实验室LASP提供的航天器遥测信号;2)北京灵思创奇开发的卫星姿轨半实物仿真平台仿真收集的航天器飞轮转速数据集。以上两个数据集均为航天器重要遥测通道信号的集合,数据量满足实验需求且未添加标签。

LASP数据集包含以下5个跨度10年的时间序列:航天器电池温度(SBT)、航天器总线电压(SBV)、航天器总线电流(SBC)、航天器反作用飞轮转速(RPM)、航天器反作用飞轮温度(RWT)。

实验室卫星姿轨半实物仿真平台型号为FW5动量轮,其性能参数为:最大转速4500 r/min、最大角动量5 mNms、最大输出力矩1.5 mNm。实验室卫星姿轨半实物仿真平台实拍如图4,从左至右依次为:星载工控机、主机、飞轮与显示器。

图4 FW5动量轮实拍

3.1 模型可解释性仿真分析

首先,对本文重建信号异常检测模型可解释性进行仿真分析。航天器信号出现可检测到的异常前,往往已经存在不易发现的微小异常。而注意力得分反映了当前时间窗口序列与其他时间窗口序列间的关联,如果存在早于检测时刻的异常可通过注意力得分进行异常溯源,为后续异常原因分析提供有价值的指导。本部分仿真结果如图5～6所示。

图5 异常点关联度分析示例

以反作用飞轮转速重建误差中某时段为例,该时段内包含4个时间窗口,1个时间窗口内有32个采样点。如图5所示,该时间段第4时间窗口检测出异常值0.140,在第3时间窗口内存在一点0.125接近该事件窗口的阈值。将该时段注意力得分可视化,由图6可以看到时间窗口3和4之间关联度较大,仅次于相同时间窗口注意力得分,因而可判定时间窗口4内的异常可追溯至时间窗口3。

图6 注意力得分矩阵可视化结果示例

由以上示例可知,本模型因引入注意力机制,可利用各时间窗口间的注意力得分获得异常点的更多信息,供后续故障分析。

3.2 模型异常检测性能

因航天器遥测数据缺少标签,故采用以下方法分析异常检测结果:首先求得LSTM-AE[13]与本文方法检测出的异常点索引的并集,将该集合中的点从数据集中删除;从时域的角度设计一种航天器遥测信号故障样本生成方法—振动锐化。通过振动锐化法改变信号峰值、振动能量和局部升降梯度,模拟异常信号[19],振动锐化处理如式所示:

(9)

式中:XA为某时刻遥测信号经过振动锐化处理后的异常值,XG为该时刻初始值,而Xw为包含XG所在时间窗口所有数据的向量,ηA为放缩因子,ηA∈(0.5,1.5),λA为混合因子,λA∈[0,1),γ为锐化因子,γ∈(1,3]。

振动锐化效果如图7所示,以飞轮转速重建误差为例,图中实线为原始信号,虚线为振动锐化处理后的异常信号,共生成两处异常点。

图7 异常值生成示例

航天器信号异常检测并非简单的分类问题,故只利用准确率来评价异常检测算法的性能过于片面。异常检测过程中存在虚警和漏警情况,为反映异常检测过程中上述两种情况发生的概率,需要计算出模型检测的准确率pa与召回率pr:

(10)

(11)

式中:Tp为正常样本被检测为正常样本的数目;Fp为异常样本被误检为正常样本的数目;Fn表示正常样本被误检为异常样本的数目。

本文采用改进F1值评价指标评价模型优劣,该评价指标综合了准确率与召回率,可以整体评价异常检测模型的性能。改进F1值定义如下:

(12)

式中:pa为准确率,pr为召回率,α为调和因子。由于航天器异常检测漏警情况危害远大于虚警,故设置α∈(0,1)。

通过对比堆叠自动编码器、LSTM-AE、单头注意力机制下的本文模型以及多头注意力机制下的本文模型关于航天器5个通道遥测信号与FW5动量轮仿真数据的异常检测准确率、召回率与改进F1值验证算法性能,相关仿真结果如表1与图8所示。

表1 异常检测模型性能

图8 模型准确率与召回率的比较

由表1与图8可知,堆叠自编码器异常检测准确率与召回率最低,算法性能最差;LSTM-AE模型召回率最高,即漏警情况发生最少;而加入多头注意力机制的本文模型综合性能更好,异常检测准确率可达94.2%,召回率达到93.0%;改进F1值为4种方法中最高,达到1.0407。

4 结论

针对缺少专家标注情况下的航天器异常检测问题,提出了一种融合注意力机制的航天器重建信号异常检测方法。该方法能够借助注意力机制提取时间序列长距离窗口间的关联信息,并通过堆叠自动编码器重建信号。该重建方法最大程度保留了原始信号的重要特征,因而具有更高的异常检测精准度。除此之外,本文研究了注意力关系可视化矩阵对于航天器设备异常后的故障分析能力的积极影响。通过在LASP提供的卫星遥感数据集与FW5动量轮转速仿真数据集的实验研究,证明了本文算法能够有效解决航天器多源通道的异常检测问题,并且达到了94.2%的平均准确率与93.0%的平均召回率。改进F1值相较LSTM-AE提高了0.0271,相较堆叠自动编码器提高了0.5568,且相较其他异常检测算法可解释能力更优。