基于深度迁移学习的航天器故障诊断

唐艺璠， 窦立谦*， 季春惠， 刘文静， 宗 群

1. 天津大学, 天津 300072 2. 北京控制工程研究所, 北京 100094

0 引 言

航天器运行过程中，由于星上资源和人工干预能力有限，且空间环境具有不可预知性，极容易发生故障，而姿态控制系统作为航天器最为关键的一个分系统，具有结构复杂、工作环境恶劣、未知干扰及不确定因素多的特点，是发生故障最多的分系统之一.及时地故障诊断不仅可以减少设备损耗，还可以节省航天器发射和运行成本，减轻人员伤亡.

国内外常用航天器故障诊断方法有以下几种：基于解析模型的方法、基于信号处理的方法和基于知识的方法[1].目前，基于解析模型的方法在航天器故障诊断中得到了广泛应用，但其数据利用率不够高.基于学习的故障诊断方法主要是通过在轨航天器的正常数据以及故障数据来训练学习算法,进而实现故障诊断.传统的机器学习方法得益于诊断专家获取的广泛领域专家知识，但需要花费大量的时间和人力[2-3].

与传统的机器学习过程不同，深度学习可以通过多层结构表示数据，提高数据分类的准确性.文献[4]将深度学习模型用于识别动态特性进行机床早期故障诊断.文献[5]通过使用卡尔曼滤波器更新神经网络的加权参数，对无人机系统的传感器和执行器进行在线故障诊断.文献[6]针对航天器遥测数据，采用长短期记忆网络对异常数据进行诊断，实现了对异常数据的高预测性.文献[7]将深度神经网络应用于域适应问题，通过将深层特征嵌入再生核希尔伯特空间中，减少域差异，提高特征的迁移能力.文献[8]利用BP神经网络和支持向量机对异步电机的故障特征进行学习和分类，有效提高了异步电机故障诊断的准确性.文献[9]利用信像转换法对数据进行预处理，在不需要预先定义参数的情况下提取原始数据的二维特征，利用深度卷积神经网络和补零的方法增加特征的非线性.文献[10]提出了基于神经网络的迁移学习方法实现时变工况下少目标数据的滚动轴承故障诊断.文献[11]基于深度卷积迁移学习网络学习特征并识别机器健康状况，并且通过最大化域识别错误和最小化概率分布距离实现领域自适应，实现机器故障特征的学习和迁移.

现有的大多数基于学习的故障诊断方法适用于标记数据丰富的诊断任务，然而对于在轨航天器执行器的实时故障诊断问题，原始遥测数据量小且故障数据未标记.本文采用基于深度神经网络的迁移学习算法解决在轨航天器故障诊断问题：首先，利用地面测试数据以及其他航天器在轨数据对深度卷积神经网络进行预训练，获得网络初始参数，以便于对在轨航天器进行故障诊断；其次，将训练好的应用于当前在轨航天器的故障诊断任务中，基于联合分布自适应减小域差异，实现领域自适应的目标；最后，通过仿真验证设计的网络的有效性和基于迁移学习的故障诊断方法的准确性.本文创新点如下：

(1)采用归一化方法，将航天器多维状态数据转换为二维图像，实现数据预处理；

(2)基于迁移学习方法将经过预训练的网络应用于当前在轨航天器故障诊断任务；

(3)基于联合分布自适应方法重构残差网络的代价函数，在匹配源域数据和目标域数据的同时提升迁移性能，以提高故障诊断准确率.

1 航天器故障诊断模型

由于在轨航天器执行器的原始遥测数据样本小、噪声高、无标记，故障信号难以诊断.在实际应用中正常运行数据样本与故障数据样本数量相差较大，传统的故障诊断方法难以保证故障诊断的准确度.搭建基于深度卷积神经网络的故障诊断模型框架如图1所示.

图1 航天器故障诊断模型框架Fig.1 Spacecraft fault diagnosis model framework

1.1 数据预处理

航天器的敏感器与执行机构相关数据是根据时间变化的多维数据.在数据预处理过程中，如果采用传统的数据处理方法，不仅会增加手工操作的繁琐程度，还会丢失部分特征信息.为便于从带有强噪声的原始遥测中提取故障特征，在多状态变量情况下，本文将多维时域数据转换为二维图像对原始数据进行预处理，图像像素与数据值的大小相关.

随机选择m个时间步m维状态数据的时域信号，基于数据归一化方法将多维航天器状态时域信号转换为m×m大小的二维图像，转换公式为：

(1)

1.2 智能故障诊断模型预训练

卷积神经网络作为最有效的深度学习方法之一，已被广泛应用于图像分类和处理、计算机视觉和语音识别[12].残差网络(ResNet)作为卷积神经网络中的一种，在图像分类和物体识别领域表现出良好的性能，并且能够通过增加一定的深度提高准确率，如ResNet18，ResNet34，ResNet50，ResNet101等.本文选取ResNet50对航天器状态二维图像的故障特征进行提取.

将预处理后得到的2D图像作为故障诊断模型输入信号进行卷积运算，并采用线性整流函数(ReLU)作为网络的激活函数. 卷积层的运算可表示为：

hcr=ReLU(conv(wr,ar)+br)

(2)

其中，conv表示卷积运算，ar为第r个隐藏层的输入，wr为r个隐藏层的权值，br为第r个隐藏层的偏置.在每个卷积层后，采用核大小为3×3的最大池化层来减小特征矩阵的大小，并通过全连接层对特征进行分类.

综合考虑故障时与非故障时的特征不同点，选择交叉熵代价函数作为预训练阶段卷积神经网络的代价函数：

(3)

表1 ResNet50网络结构配置Tab.1 Layer configurations of ResNet50

2 基于迁移学习的模型参数重调

迁移学习可以利用源域中丰富的标记数据构建目标域的精确分类器[12]，在航天器故障诊断中，源数据集和目标数据集在边缘分布和条件分布上有显著差异，现有的大多数迁移学习方法都是基于边缘分布或条件分布来度量分布差异.为同时减少源域数据集与目标域数据集间边缘分布和条件分布的差异，考虑基于联合分布自适应的迁移学习方法.与其他基于学习的故障诊断方法相比，基于联合分布自适应的迁移学习故障诊断方法能够在匹配源域数据和目标域数据的同时提升迁移性能.

由于当前在轨航天器的故障数据未标记，因此无法直接基于目标数据集构造新的代价函数.为将预训练学习到的经验扩展到当前在轨航天器的诊断任务中，通过将分布自适应和交叉熵代价函数结合，构造新的代价函数如图2所示.

图2 采用迁移学习对故障诊断模型进行参数重调Fig.2 Transfer learning-based parameter readjustment of fault diagnosis model

2.1 联合分布自适应

(4)

其中，φ(·)是从X到再生核希尔伯特空间H的完备的映射函数. 由于目标域数据无标签，故无法计算其条件分布Qt(yt|xt)，考虑借助于带有标签的源数据的预训练模型，提供目标数据的伪标签，通过利用目标域数据的伪标签来处理无监督域自适应中的条件分布自适应. 基于伪标签对边缘分布Qs(xs|ys=k)，Qt(xt|yt=k)进行估计.假设k∈{1,…,K}，最大平均差异为范围k与条件分布Qs(xs|ys=k)，Qt(xt|yt=k)的不匹配度：

(5)

通过整合边缘最大平均差异和条件最大平均差异，联合分布配适的正则化项可以表示为：

(6)

其中，Js和Jt分别是源域Ds和目标域Dt的联合概率分布.

2.2 深度迁移学习

为了在深度学习框架下实现领域自适应，本文选择卷积神经网络作为基本模型.为增大源域与目标域之间的相似性，减小二者分布差异以实现迁移学习，结合交叉熵代价函数(3)和联合分布配适的正则化项(6)构造新的代价函数：

(7)

通过最小化，预先训练好的卷积神经网络模型可用于目标域.网络优化采用小批量随机梯度下降算法和反向传播算法，该算法在迭代过程中不断更新网络权值，提高了训练速度.为使代价函数loss(θ)最小，采用自适应矩估计对神经网络的权值进行训练. 对深度神经网络进行参数重调的优化目标为：

(8)

通过上述训练，获得最优的核映射函数φ(·)，使得迁移后的网络具有更好的模型泛化能力，提升网络对目标域数据集的故障诊断能力.算法流程图如图3所示.

图3 基于深度迁移学习的航天器智能故障诊断流程图Fig.3 Flow chart of deep transfer learning-based intelligent fault diagnosis of spacecraft

3 仿真与分析

为验证设计的算法的有效性，在Windows10操作系统上，基于Python环境下Tensorflow深度学习工具包实现算法的仿真实验，仿真计算机配置为Intel Core i7@4.00 GHz处理器，16G内存，Nvidia GeForce GTX 1660显卡.

仿真数据的源数据集和目标数据集均来自某航天器的采集数据，其中源数据集包含15000组数据，目标数据集包含99 790组数据，每组数据均包含27个数据量.为便于数据预处理，首先，将样本数据维数扩展至28维；其次，将扩展后的数据样本分为n组，每组数据包含28个时间步28维状态数据.在样本数据维数扩展和分组过程中，若有空缺数据，将数据值设置为零.

将该航天器C部件1-6号标志位的数据作为源数据集、G部件1-6号标志位的数据作为目标数据集.图4～5分别为C部件和G部件归一化后的数据，由图可知故障发生在C部件2号标志位和G部件1号标志位，图5中的小图为G部件2-6号标志位归一化后的数据的放大图.

图4 C部件1-6号标志位的数据Fig.4 Data of 1-6 flag bit in C part

图5 G部件1-6号标志位的数据Fig.5 Data of 1-6 flag bit in G part

本节利用网络训练损失及故障诊断准确率描述所设计网络的故障诊断性能；通过对比迁移方法与非迁移方法所训练网络的实验结果，验证了基于深度迁移学习的故障诊断策略具有较好的故障诊断性能.图6-7为采集的该航天器数据经过分组后的某组数据经预处理后获得的2D图像示例，每张图片大小为28×28像素，即包含784个像素点.其中，图6为无故障数据集经过转换后的2D图像，图7为故障数据集经过转换后的二维图像，图中每一行的各个像素数据分别对应着同一时间序列下，航天器的不同部件、不同标志位的输出数据.将预处理后的源数据集二维图像作为网络输入，以最小化交叉熵代价函数作为优化目标，对搭建的残差网络模型进行预训练.

图6 无故障数据集二维图像Fig.6 2D image of non-fault dataset

图7 故障数据集二维图像Fig.7 2D image of fault dataset

进一步地，基于深度迁移学习方法，将故障诊断网络习得的知识迁移到当前在轨航天器数据集，以该数据集作为目标数据集，并基于源域和目标域的分布差异重构网络训练的代价函数，重构的代价函数中非负正则化参数λ的值为：

(9)

其中，i为当前训练的回合数，rounds为总回合数，

本实验训练过程共进行了200个迭代回合.

最后，基于提出的故障诊断模型参数重调方法，对网络各层参数微调，通过网络训练损失和诊断准确率反应所提策略的故障诊断性能.为方便对比，实验中另外增加了普通的残差网络的验证训练，相应的训练对比结果如图8～9所示.

图8 网络训练损失对比Fig.8 Comparison of network training loss

图8为网络训练损失对比，其中L1为基于迁移学习的残差网络的训练代价函数变化曲线，L2为普通的残差网络训练代价函数变化曲线.通过对比可以看出随着训练回合数的增加，基于迁移学习的残差网络的训练损失逐渐减小，而普通的残差网络的损失始终较大.图9为基于迁移学习的残差网络和普通的残差网络的故障诊断准确率对比图，可以看出普通的残差网络的故障诊断准确率最高在70%左右，且基本不会随着训练回合数的增加而有所提升；而基于迁移学习的残差网络对当前在轨航天器数据的故障诊断准确率很快到达90%以上，且此后一直保持稳定.经上述对比实验可知，经过迁移学习和模型参数重调训练后的残差网络对当前在轨航天器数据具有较好的适应性以及较优越的故障诊断性能.

图9 故障诊断准确率对比Fig.9 Comparison of fault diagnosis accuracy

4 结 论

本文通过采用基于深度迁移学习的智能故障诊断方法，解决在轨航天器故障诊断问题.针对在轨航天器遥测数据样本小、噪声高、未标记的问题，将源域中经过预训练的残差网络应用到目标域中，并基于联合分布自适应方法重构代价函数，实现残差网络参数重调.仿真结果表明，相比于基本的基于残差网络的故障诊断方法，基于深度迁移学习的故障诊断方法具有更好的诊断效果.