基于OCKELM与增量学习的在线故障检测方法

2022-04-26戴金玲许爱强申江江王树友

航空学报 2022年3期

戴金玲，许爱强,*，申江江，王树友

1.海军航空大学航空作战勤务学院，烟台 266001 2.91206部队，青岛 266108

作为预测与健康管理(Prognostics and Health Management, PHM)的重要环节之一，故障检测是后续故障隔离、故障诊断的基础和前提。在线故障检测则可实时地判定故障是否已经发生，是用来预防航空电子设备机械故障发生的一种有效手段。而现役装备故障机理愈加复杂、故障样本愈加稀有的现状，对相应的故障检测方法提出了更高的要求。

近年来航空电子设备故障检测方法的研究成果主要分为2类，一类是从数学模型的角度出发，如范仁周等最早针对航空电子设备建立了实际的仿真检测系统，并连了一个分布式仿真测试网；刘江平等针对传统贝叶斯网络收敛性差的缺点，提出了基于统一建模语言(Unified Modeling Language, UML)建模的检测决策模型；此外研究较多的是针对航空发动机的故障检测模型。鉴于航空电子设备越来越复杂的故障机理，严格的模型通常无法建立。因此另一类基于数据驱动的方法成为了检测领域的热点。常见的数据驱动检测方法是从模式识别的角度出发，将故障检测转化为二分类问题，然后通过成熟的分类器进行检测，如殷锴等将反向传播(Back Propagation,BP)神经网络应用于航空发动机的检测中；崔芮华等将极限学习机与连续小波变换Tsallis奇异熵相结合以检测航空交流电弧故障；丁建立等采用了基于深度学习的广播式自动相关监视(ADS-B)检测方法，得到了比传统方法更优的结果；罗鹏等则基于支持向量机对ADS-B提出了异常数据检测模型，其性能相比深度学习更佳。但该类方法往往需要一定规模的故障样本作支撑，尤其是深度学习需要大量的样本数据，数量级通常在10以上，作为训练样本集，显然不适用于小样本的故障检测。考虑到大多数航空电子设备的样本具有明显类不平衡性，即正常样本远多于故障样本，如何通过有限的正常历史数据来检测异常数据，具有更重要的意义。

针对以上需求，一类分类(One Class Classification, OCC)方法得到了广泛的运用。OCC将故障检测视为无监督的异常检测问题，当只有一个类的数据可用或属于其他类的数据非常稀少时，通过引入基于稳定性的模型选择准则以在目标类周围获得一个边界，其主要研究方向包括一类支持向量机(OC-SVM)、支持向量数据描述(Support Vector Data Description, SVDD)、核主元分析(Kernel Principle Components Analysis, KPCA)、以及OCELM等。因ELM具有极高的学习速度和优良的泛化性能，2015年Leng等验证了OCELM在分类过程中相比其他方法具有更大的优势，并进一步验证其核化形式，即一类核极限学习机(OC Kernel ELM, OCKELM)拥有更光滑的分类边界。2017年Gautam等全面介绍了OCELM的3种阈值准则，在文献[23]的基础上，介绍了基于OCELM变种的10种离线分类器和5种在线顺序OCELM(Online Sequence OCELM, OS-OCELM)方法，其中基于核函数的OCC方法在离线方法中表现最佳，OS-OCELM的性能则与隐藏节点相关。为进一步提高离线方法的精度，2020年朱敏等将OCELM与局部多核学习(Localized Multiple Kernel Learning, LMKL)结合，有效地提高了航空电子部件的离线故障检测性能。

航空电子部件的在线故障检测对于时间的要求是非常苛刻的，尽管OS-OCELM已经有了一定的研究成果，但其时效性还达不到航空电子设备在线故障检测要求，且其检测效果依赖于隐层节点的选择。相比之下，基于核极限学习机的增量学习方法(Kernel based Incremental ELM, KB-IELM)在时效性与准确性方面均显示了强大的能力，且无需确定隐层节点数量，在状态预测领域得到了广泛的应用。出于以上原因，根据被测样本小和时间消耗低的特点，本文提出一种基于增量学习和OCKELM的航空电子设备在线故障检测模型(Online squence-one Class Kernel Incremental Extreme Learning Machine, OS-OCKIELM)，简写为OCKIELM，其主要贡献在于：

1) 针对航空电子设备样本小的特点，本文采用了基于OCC的分类方法建立一个无需先验知识和故障样本、仅需正常样本的故障检测模型。

2) 针对在线检测高时效性的要求，本文推导了一个基于OCKIELM的时间序列在线学习框架，当新样本来临时，模型在吸收样本信息的同时实现核权重的更新。

3) 针对OS-OCELM需设定隐层节点的特点，本文采用了核函数映射方法，避免了寻找最优隐层节点数的过程。

1 一类核极限学习机

将正常状态下的样本称为目标类样本或正样本，故障状态下的样本称为离群类样本或异常样本。假设一组数据流={(,),(,),…}，其中为用于故障检测所采集的样本实例，则是对应的故障检测结果。一类分类模型假设学习的样本全部是目标类样本，面向故障检测的OCELM问题本质是基于样本集获得一个映射(·):→，使样本的映射值尽可能趋于某个非零实数值，由于在训练过程中所使用的样本均为目标类，根据OCC方法将训练集的均设置为一个常数，本文设为1。将时刻的OCELM优化问题定义如下：

(1)

式(1)所示的约束优化问题的Lagrange函数为

(2)

将式(2)所示函数分别对、和求偏导、并令结果为0，根据KKT条件可得

(3)

根据式(3)，可得输出权重的表达式为

=(+)

(4)

根据OCC理论，所有训练样本均为目标类，因此等式右边的=[1,1,…,1]，表示输入样本对应的目标实数值向量，其中元素1的个数为样本数；=[(),(),…,()]表示输入样本的映射矩阵。通过Mercer条件定义核矩阵=，(,)=()·()=(,)；可得OCELM的核化形式，即OCKELM的表达式为

(·)=(·)(+)=

[(·,),…,(·,)](+)=

(5)

式中：=[(·,),(·,),…,(·,)]为当前时刻的核估计向量；=[,,…,]为时刻的核权重向量，且有

=(+)

(6)

进一步的，令

(7)

因此，核权重向量可表示为

(8)

2 OCKIELM在线故障检测模型

本节将在增量学习的基础上实现时间序列样本的在线学习。在训练过程中，模型不断地吸收新样本并根据2.1节更新核权重向量；在测试过程中，模型则基于训练样本集的核权重向量，对样本输出值进行估计，并根据2.2节的阈值准则对新样本进行在线故障检测。

2.1 基于核增量的核权重更新

(9)

+1=

(10)

由于(,)=(,)，式(10)可分解为块矩阵：

(11)

式中:+1=[(,+1),(,+1),…,(,+1)]，+1=+(+1,+1)。

由块矩阵求逆公式可得+1的逆矩阵为

(12)

则时刻的核权重向量的递推更新公式可以表示为

(13)

由于训练过程中，样本集均按照目标类进行训练，相应的样本输出值为+1=[1,1,…,1]，其中列向量的元素个数为+1。因此，模型在+1时刻已学习的样本集可表示为+1={(,·),(,·),…,(+1,·)}，根据式(5)可得+1时刻的输出估计值。由此可见，一类核增量极限学习机的模型阶数是随着样本数的增加而呈现单调递增的。

2.2 阈值准则与判定

在线故障检测的训练过程中，模型将训练样本集全部作为目标类样本进行学习，并对未知测试样本进行在线检测。为了将所提在线检测方法运用于故障检测，与传统检测方法一样，需要设计统计检测量和检测阈值参数，若测试样本的检测量大于该阈值，则判定该样本为故障样本；否则判定该样本为目标类样本。文献[24]给出了2种阈值决定准则。

1) 阈值准则1

定义样本实例的统计检验量为

(14)

在在线故障检测的训练阶段，虽然所有训练样本均为目标类，但因为噪声和奇异点的存在，需要将训练样本中的一部分正常样本错分为离群类，以获得更鲁棒的模型，将判定为故障的样本比例称作拒绝比例，记为。假设训练集学习完之后，各个训练样本的统计检测量排序为≥≥…≥，则将模型的检测阈值定义如下，其中floor()表示不大于的最大整数值。

=floor()

(15)

2) 阈值准则2

定义样本实例的统计检验量为

(16)

由训练样本的统计检验量组成的向量为=[,,…,]，将模型的检测阈值定义为训练样本的均方差与标准偏差的线性组合，

(17)

当选定阈值准则后，OCKIELM模型对新样本的类别判定准则为

(18)

2.3 基于一致性的模型超参数选择

由于OCC方法中的训练样本均为目标类样本，同文献[25]，本文采用基于一致性的参数选择方法，具体流程如下：

将训练样本按折交叉验证划分为训练集与验证集。

根据拒绝域确定估计误差的阈值为

(19)

式中：表示验证集规模。

3 方法流程和评价指标

3.1 方法流程

给定一个训练集和一个测试集，则OCKIELM的方法流程如图1所示，其算法步骤如下。

若选择阈值准则1，则根据式(14)、式(15)得到所有样本的统计检验量，以及检验阈值；若选择阈值准则2，则根据式(16)、式(17)得到样本的统计检验量和检验阈值。

根据式(18)判定新样本是否为故障样本。

图1 OCKIELM流程图Fig.1 Flow chart of OCKIELM

3.2 评价指标

鉴于样本数据具有极大的不均衡性，除了常规的检测精确度(Accuracy)之外，本文还给出了F1分数、曲线下方面积(Area Under Curve, AUC)以及G-mean这3种评价指标，以全面地评价本文在线检测模型的性能。其中，F1分数的定义是精确率和召回率的调和平均数，又称平衡F分数；AUC的定义是受试者工作特征(Receiver Operating Characteristic, ROC)曲线下的面积，由于ROC曲线不能清晰地说明效果优劣，因此用AUC值作为性能指标效果更好；G-mean为召回率和查准率的几何均值。这三者均为统计学中评估二分类模型效能的重要指标，当应用于一类分类问题中时，其定义有所改变。

首先给出检测结果的混淆矩阵，如表1所示，混淆矩阵结果中TP、FP、FN和TN分别表示真阳性、假阳性、假阴性和真阴性。由表1可得检测结果的查全率(也称作召回率)、特异度和查准率为

(20)

进一步可得分类问题的性能指标定义为

(21)

4 实验分析

为了验证算法的有效性，将本文算法应用于UCI数据集和航空电子设备的样本数据中，分别在2种阈值准则下进行实验分析，并和当前解决OCC问题主要用的PCA、SVDD、OC-SVM作比较。实验将2种阈值准则下的OCKIELM算法分别用OCKIELM和OCKIELM表示。其中，PCA算法、SVDD算法通过调用文献[31]所提出并设计开发的dd_tools工具箱来实现；OC-SVM算法通过调用台湾大学林智仁教授等开发设计的libsvm工具箱实现。PCA中的主元数量选择范围为{2,3,…,7}；SVDD、OC-SVM和本文算法的核函数均选取RBF核，取训练样本的最小及最大欧式距离作为上下边界，然后等间隔取20个离散值，作为核参数取值范围；在本文算法中，正则化因子的取值范围为{10,10,…,10,10}。实验环境为：MATLAB2018a，Windows 8 操作系统，Intel Core i5-4210U处理器，2.40 GHz 主频，8 GB RAM。

4.1 UCI数据集

UCI数据集是一个机器学习领域中常用的标准测试数据集。为了验证所提算法的性能，本节选取了6个UCI数据集进行实验，具体信息如表2所示。将每个数据集的目标样本随机平均分成2份，一份作为训练样本，另一份作为测试样本与离群类样本、即故障样本一起作为测试样本进行验证。为克服分配的随机性，每个数据集将进行21次仿真，其中首次运行将根据2.3节确定模型超参数，并运用于之后的20次仿真实验中，实验结果如表3所示。将表3中各指标的最优结果加粗表示，由表3 可得：

表2 UCI数据集描述Table 2 Description of UCI dataset

1) 从本文算法的实现来看，2种阈值准则下均完成了UCI数据集的在线故障检测；其中第1种阈值准则下的检测结果大部分优于第2种阈值准则，而剩下的少部分情况，不排除有训练样本的随机选择因素，因此可得第1种阈值准则在大部分情况下比第2种准则检测效果更好。

2) 从算法的检测指标来看，除了Vowel数据集的AUC指标中OC-SVM方法的性能为最优，相比于其他方法，本文所提方法在6个数据集上均为最优值，并将4种性能指标平均提高了23.4%、5.3%、21.1%和10.4%。

表3 UCI数据集实验结果Table 3 Experiment results of UCI dataset

3) 从算法的时间消耗来看，OCKIELM实现了旋转变压器的在线故障检测，并且检测时间控制在10s级别上，远远低于PCA与SVDD方法；由于OC-SVM方法已经拥有较为成熟的软件实现，其时间消耗可以忽略不计，然而其检测性能却比OCKIELM方法平均低15.7%。综上，本文算法在故障在线检测方面具有最优性能。

为进一步直观地比较各个算法的性能，根据表3中的结果给出了各方法的平均指标和最大指标占比，分别如图2和图3所示。其中图3中横坐标上的数字1～6分别表示数据集Ecoli、Vowel、Spectf、Breast、Balance scale和Seeds，最大指标占比的定义如下，以F1值为例，将最大F1占比(Percentage of the Maximum F1，PMF)定义为

(22)

式中：F1表示第个数据集中第个算法的F1值；max(F1),*表示第个数据集所有算法中的最大F1值。PMF值越高，则表示对应算法的性能越优。同理，PMA、PMG和PMAC分别表示最大AUC占比、最大G-mean占比和最大ACC占比。

图2 UCI数据集在各方法下的指标均值Fig.2 Average index of UCI dataset for different methods

图3 UCI数据集在各方法下的最大指标占比Fig.3 The biggest index proportion of UCI dataset for different methods

由图2和图3可得:① 本文所提2种阈值准则下的方法，指标均值与最大指标占比几乎占据了所有方法的前2名，进一步验证了OCKIELM方法的性能，同时表明该方法具有较好的稳定性；② OCKIELM方法在最大指标占比中，相比于第2种阈值准则，第1种阈值准则的最优结果比例更高，在检测过程中具有更大的优势。

为探究超参数变化对OCKIELM仿真结果的影响，以表3中的的Vowel和Ecoli数据集为例，将拒绝比例按0.01的步长从0～0.5变换，进行仿真实验所得检测率结果如图4所示，图中可见：① 由于训练样本在平分过程中的随机性，故障检测率呈现不规则的波动，但从总体趋势可以看出，Vowel数据集的检测率随着拒绝域的增大呈上升趋势，而Ecoli数据集则呈下降趋势。显然检测率与拒绝域的关系随着数据集的改变而改变，因此想针对拒绝比例选取一个统一的标准从而获得最大的检测率是不现实的。② 虽然在Vowel数据集中检测率随着拒绝比例增大而增加，但一味提高拒绝比例，意味着在训练样本中把更多的目标类样本错划分为故障样本，这在理论上是无法解释的，因此拒绝比例设定为0.1是较为合理的。

图4 拒绝域对OCKIELM1的影响Fig.4 Influence of reject ratio on OCKIELM1

4.2 旋转变压器故障检测实例

本节以旋转变压器激励发生电路为例验证算法的性能，其组成框图如图5所示。旋转变压器由电源模块供电，由正弦信号产生模块产生磁绕组所需的正弦信号以提供激励，由频率控制模块、幅值调理及驱动能力调节模块来控制激励的类别输出。自动测试系统(ATS)对其9个项目进行测试：±15 V电源电压值、+5 V与+10 V电源电压值、信号频率与幅值、正弦模块输入电压值、信号频率稳定度和电路板工作温度。

图5 旋转变压器电路图Fig.5 Circuit diagram of rotary transformer

用和、、、分别表示正常模式和频率控制单元故障、幅值调理及驱动能力调节单元故障、电源单元故障以及正弦信号产生单元故障。ATS共采集5种模式下的样本数分别为200、32、40、36和42，即200组正常样本和150组故障样本，其中。将正常样本随机抽取1/2作为训练集，剩余1/2与故障样本一起作为测试集进行验证。仿真重复20次，将仿真结果以“均值±标准差”的形式记录于表4中，将最优结果加粗表示。

由表4可得：① 在检测率方面，相较于其他方法，OCKIELM方法在所有指标上都具有较大优势，其中第1种阈值准则下的实验结果性能更佳；② 在时效性方面，OCKIELM方法的时间消耗达到了毫秒级，OC-SVM的时间消耗极短，2种方法都满足了在线检测的时效性要求，但OCKIELM的性能指标更高；③ 在稳定性方面，OCKIELM方法的标准差稳定在0.02以内，说明所提方法具有较好的稳定性。

图6所示为旋转变压器在各个方法下的最大指标占比，图7所示为正则化因子和拒绝域的取值对实验结果的影响。由图6和图7可见:① OCKIELM的最大指标占比均为1，具有最好的指标性能，其次是OCKIELM，进一步验证了表4中的结果；② 在旋转变压器的仿真试验中，故障检测率随着拒绝比例的增大总体呈现先上升后下降的趋势，并在0.1处达到一个极大值；但检测率随着正则化因子的变化并没有明显变动趋势。实验证明正则化参数选取对实验结果的影响较小，拒绝域的选取更为重要，且文中拒绝域的选取较为合理。