基于有监督增量式局部线性嵌入的故障辨识

李 锋，田大庆，王家序，杨荣松

目前的旋转机械故障诊断方法一般是先利用信号处理技术及衍生的特征构造方法对故障信号进行故障特征选择与优化，再通过人工智能算法或决策融合机制对故障特征进行模式识别［1－2］。这种诊断模式多采用单一/单域的故障特征提取方式，该特征提取方式作用域少、泛化性差，难以全面、准确地捕捉非线性、强耦合、特征表现不确定的故障特征［3］;该诊断模式还常要借助人为分析才能完成故障特征的选择与优化，故障特征优选质量和模式识别精度取决于用户的专业知识和现场经验，精度低、效率低、可靠性差［4］。

为改善现有故障诊断方法的识别精度和计算效率，本文首先构造20个时域和频域特征参数，从时域和频域两个作用域来全面准确地挖掘复杂旋转机械系统不同部位、不同类型、不同程度故障的特征信息。但高维多征兆域特征集不可避免地会掺杂一些冗余信息和干扰成分，造成不同故障特征集之间具有某种统计相关性，这种不该具有的相关性容易扭曲特征的分布结构甚至严重恶化分类性能，因此需要采用维数化简方法代替人工的特征优选方式来对高维时频域特征集中状态敏感的特征进行二次提取，以获取维数低、敏感性高、独立不相关的主要特征矢量。流形学习比传统约简方法更能体现事物本质，在提取出主要变量的同时还获得了原始观测空间的真实结构分布［5］，为对高维、非线性的旋转机械故障特征进行自动特征约简和高精度的模式分类提供了更好的解决思路。目前最典型的流形学习方法包括局部保持映射(Locality Preserving Projection，LPP)［6］、邻域保持嵌入(Neighborhood Preserving Embedding，NPE)［7］、线性局部切空间排列(Linear Local Tangent Space Alignment，LLTSA)［8］、局部线性嵌入(Locally Linear Embedding，LLE)［9］等。但这些方法都是无监督方法，忽视了大量训练样本的类信息，因而有损其自身的分类特性;此外，这些方法都需要通过丢弃已获得的低维流形结构，重新合并原训练样本和新样本并重构权值矩阵及投影模型来实现新增样本的推广，无法高效处理实际大批量数据，故以上方法对以快速的解耦和分类为目的的应用来说是非优化的［10］。本文在LLE基础上研究了有监督增量式局部线性嵌入(Supervised Incremental Locally Linear Embedding，SILLE)这一新流形学习理论，实现了故障特征流形的解耦与分类及新增样本的增量处理，得到了更高的故障辨识精度和计算效率。为直观表达辨识结果，本文最后借助新型模式识别技术Morlet小波支持向量机(Morlet Wavelet Support Vector Machine，MWSVM)［4］建立SILLE降维后的特征矢量与故障模式之间的映射关系。

本文提出了基于有监督增量式局部线性嵌入(SILLE)的故障辨识方法:“时频域特征集－SILLEMWSVM”，用于典型旋转机械—深沟球轴承的故障诊断和某型号空间轴承的寿命状态辨识，达到了较高的故障诊断精度、寿命状态识别精度和计算效率。

1 有监督增量式局部线性嵌入

令 X={x1，x2，…，xN}和 Xnew={xnew1，xnew2，…，xnewM}分别为高维数据空间ℝD中的N个训练样本和M个新增测试样本。这些样本都存在本征维数为d(一般d≪D)的非线性流形。SILLE的目的就是通过将D维数据映射到ℝd空间来寻找X和Xnew的低维嵌入式，即d维非线性流形。这里将嵌入空间Rd中的N个训练样本表示为Y={y1，y2，…，yN}，M 个新增测试样本表示为 Ynew={ynew1，ynew2，…，ynewM}。

1.1 SILLE理论

首先对每一个训练用振动信号样本xi和新增待测振动信号样本xnewi(i=1，2，…，M)进行去直流分量和归一化处理，使它们具有零均值，初步消除噪声干扰。

SILLE再结合类标签信息寻找每个训练样本xi∈X的k个同类最邻近点。这里采用放大异类样本间的欧几里得距离，并保持同类样本间的距离不变的方法来拉大异类样本之间的距离，实现同类样本的相对靠拢，即:

以保证最邻近点以同类点居多。其中，S=‖xi－xj‖为未考虑类标签信息时的原始欧几里得距离，max(S)=maxi，j‖xi－ xj‖为样本间的最大距离，S'为融入类标签信息的距离。若xi和xj与属于异类，则δ(xi，xj)=0;否则，δ(xi，xj)=1。式(1)中，α 控制类信息的融入程度。当α=0时，同于无监督LLE;当α=1时，就是全监督LLE。若α在0与1之间变动，就形成了局部有监督LLE。

由于SILLE结合训练样本的类标签信息和类信息融入程度控制参数α来调节样本间的局部邻域结构(即形成了有监督的学习机制)，因此可以有效分离高维、非线性、强耦合(强相关性)的异类故障特征，强化了同类样本的聚集性和异类样本的互斥性。相比无监督(即流形局部邻域结构完全取决于原始样本的几何关系，无类判别信息指导)的LLE，SILLE的解耦和分类性能显然更为优越。

通过最小化xi的局部重构误差来求解xi的最近邻点的重构权值。即:

该局部重构误差为xi与其重构值距离的平方，并服从约束:

为计算重构权值，引入k×k维局部协方差矩阵Qi(k为近邻点数目)，即Qjsi=(xi－xj)T(xi－xs)。使用逆局部协方差矩阵和拉格朗日乘数法来求解以上有约束最值问题，获得最优权值如下［9］:

由wij可构造N×N维稀疏权值矩阵W=［wij］N×N。

SILLE基于所得到的权值矩阵W来计算可保持X的局部几何结构的最佳低维嵌入式Y。这对应于最小化以下代价函数:

基于 M=［Mij］N×N，式(4)可表示成二次方程式形式，即 φ(Y)=根据Rayleigh-Ritz理论，求式(4)所示最小值问题的解yi可以通过寻求矩阵M的d个最小非零特征值(即将M的d+1个最小特征值中最趋近于0的特征值剔除之后所保留下的d个最小特征值)所对应的特征向量得到。剔除M的零特征值所对应的特征向量目的是保证嵌入式Y={y1，y2，…，yN}具有零均值属性，以消除嵌入式中随机尺度因子波动所带来的干扰。非零特征值所对应的特征向量经过正交化处理之后其对应元素的累加之和必然为零，因此容易实现零均值的目的。

SILLE最后采用局部线性投影算法来将高维新增样本映射到训练样本的嵌入空间。实现流程如下:

(1)对于新增高维样本xnewi，根据欧几里得距离尺度在训练样本集中寻找其k个最近邻点x1，x2，…，xk。

(2)寻找满足Y=AX的映射矩阵A(此时精确解可能不存在)，其中 A=［a1，a2，…，ad］T∈ℝd×D，X=［x1，x2，…，xk］，Y=［y1，y2，…，yk］为 xnewi的近邻点 X相对应的嵌入式。A的每一个基向量aj可以通过求解以下线性最小二乘回归问题得到:

若XT为列满秩矩阵，则aj可以求解如下:

若XT不是列满秩矩阵(例如近邻点数目k小于数据维数D)，则问题(6)就成为不适定问题，因为此时可能存在无穷多解。为解决不适定问题，使局部线性投影算法能更好地推广应用于新增样本，使用岭回归法来求解 aj，即求解以下正则化最小二乘目标函数［10－11］:

其中:β＞0为正则化参数。则aj求解如下:

式中:I表示D×D单位矩阵。岭回归法就是要将xnewi的每一个近邻点线性投影到d维嵌入空间，同时将噪声从该低维空间中剔除。故β值由噪声量值σ2确定。使用特征分析法来估计β值如下:

式中:λi表示矩阵XXT的非零特征值(λi按从大到小的顺序排列)。

显然，SILLE中的局部线性投影算法使新样本加入时，无需丢弃已获得的训练样本d维嵌入式，无需重复计算近邻点、重构权值矩阵和投影模型，而能有效利用训练样本的低维嵌入式来对新增样本进行增量处理，也即SILLE建立了类似人工神经网络和支持向量机的独立的学习训练模型，当有新的待测样本时，SILLE可直接由基于训练样本的学习训练模型来对新增样本进行分类，而不用重新对训练样本进行学习训练;而LLE没有提供明确的将训练样本和新增样本从高维空间向低维空间化简的映射功能，LLE只是粗略地将矩阵M的d个最小非零特征值所对应的特征向量视为训练样本的d维嵌入式(即化简后的d维特征向量)，若存在新增测试样本，LLE需要丢弃已得到的训练样本d维嵌入式，将原训练样本和新增样本合并以重新计算权值矩阵W、投影模型M和d维嵌入式，因此LLE未建立独立的训练模型，无法对新增大批量实测数据进行高效处理。SILLE的批处理能力明显优于LLE，SILLE可以提高所提故障辨识方法的计算速率。

(3)xnewi的d维嵌入坐标ynewi计算如下:

ynewi=Axnewi，也即 Ynew=AXnew。

1.2 约简维数、近邻点数目和距离参数估计

①约简维数d的估计方法如下:首先对每一个训练样本xi的局部协方差矩阵Qi(m，n)=(xi－xm)T×(xi－xn)进行特征分析;然后为每一个训练样本xi计的约简维数 di，其中 λj为Qi的非零特征值;最后选择di中的最大值作为总体上可以接受的d值。②近邻点数目k和距离参数α可以由十折交叉验证法来确定:首先以1为步长在区间［2，20］内随机选取一个数作为k值，同时以0.05为步长在区间［0，1］内随机选取一个数作为α值。然后对选取的各对参数(k，α)执行十折交叉验证操作。即:将原始训练样本X={x1，x2，…，xN}随机地等分为10个子集。在每一折(次)故障辨识运算中，将其中一个子集作为测试集，而剩余子集共同作为训练集。10折(次)运算下来，每个子集都已做过一次测试集。将这10折(次)平均分类结果记录下来。最后将得到最佳分类结果的(k，α)作为最优参数。

2 故障辨识方法“时频域特征集－SILLEMWSVM”

故障辨识方法“时频域特征集－SILLE－MWSVM”实现流程如图1，步骤如下:

①对每个训练样本和测试样本信号构造10个时域特征参数和10个频域特征参数。②将10个时域特征参数和10个频域特征参数组合得到20维时频域特征集。③将作为训练样本的20维时频域特征集输入SILLE进行学习，求得训练样本的d维嵌入式(特征矢量)。1≤d＜k，最优化简维数d、近邻点数目k和距离参数α的估计方法如1.2节所述。④训练好的SILLE再用局部线性投影法对测试样本进行维数化简，得到测试样本的d维特征矢量。⑤将训练样本的d维特征矢量输入MWSVM对其进行训练。⑥用训练好的MWSVM判别测试样本d维特征矢量的故障位置、类型或程度。

图1 辨识方法“时频域特征集－SILLE－MWSVM”流程Fig.1 Implementation process of the method“Time-frequency domain feature set-SILLE-MWSVM”

显然，SILLE在本故障辨识方法中起到承上启下的作用，它自动衔接时频域特征集和MWSVM，并具有优良的维数化简、模式分类和增量处理特性，是所提故障辨识方法实现较高辨识精度和计算效率的关键技术。

当旋转机械出现故障时，时域信号的幅值和概率分布将会发生变化;信号中的频率成分、不同频率成分的能量，以及频谱的主能量谱峰位置也将发生改变。因此，通过描述信号时域波形和频谱中能量的大小和分布等，可以反映振动信号的时域和频域信息，从而指示故障的出现和不同故障之间的差异性［3］。因此为获取更多早期故障信息，这里构造了10个时域特征参数和10个频域特征参数(如表1所示)，以较全面准确地反映旋转机械的运行状态。

表1中，时域特征参数c1和c3～c5表征时域信号的幅值和能量大小;c2和c6～c10反映时域信号的时间序列分布情况。频域特征参数c11表征频域振动能量的大小;c12～c13、c15和c18～c20表征频谱的分散或集中程度;c14和c16～c17反映主频带位置的变化。通过以上10个时域特征参数和10个频域特征参数的组合来全面准确地描述旋转机械不同部位、不同类型、不同程度故障的特征信息。

表1 时域、频域特征参数Tab.1 Characteristic parameters in time domain and frequency domain

所用到的Morlet小波支持向量机(MWSVM)是一种新型支持向量机(SVM)，其MWSVM小波核函数通过平移伸缩即能生成二次可积空间L2(R)上的一组完备正交基，可逼近L2(R)空间上任意函数，故MWSVM具有比一般SVM更好的自适应分类决策力［5］。

3 实例分析

3.1 深沟球轴承故障诊断

本文以深沟球轴承正常状态以及不同部位、不同程度故障的同步诊断实例验证本故障辨识方法的有效性。实验采用6205－2RS型深沟球轴承，轴承内径25 mm，外径52 mm，厚度15 mm。轴承实验由电动机、扭矩传感器/译码器、测力计和电器控制装置组成，由电机带动输入轴，转速控制在1 772 r/min，输出轴带动负载。在3个轴承的外圈、内圈、滚动体上分别加工宽0.178 mm，深0.28 mm 的小槽模拟轴承外圈、内圈、滚动体局部轻微裂纹，在另外2个轴承的内圈分别加工宽0.356 mm和0.533 mm(深度尺寸不变)的小槽模拟内圈中度裂纹和严重裂纹，在另1个轴承的滚动体上加工宽0.533 mm(深度尺寸不变)的小槽模拟滚动体严重裂纹。通过压电式加速度传感器、电荷放大器、数据采集器分别采集以上6类故障和正常状态的振动数据各50组，每组数据长度为0.1 s，从中随机抽取20组用于样本训练，另外30组作为测试样本，采样频率48 kHz。

对每组训练样本和测试样本截取4 096个数据点用于测试样本的故障辨识，数据截取长度的选定遵循既要基本覆盖各类故障的特征频带(即振动周期)又不增加辨识方法过多计算量的原则。辨识流程如第2节所述。时域、频域特征参数总个数为20，也即SILLE的输入特征维数为20。MWSVM的参数设置如下:惩罚因子 γ =1，核参数 c=1，ω0=1.75［4］。故障模式与MWSVM期望输出的对应关系设定为:正常状态→1、外圈轻度裂纹→2、内圈轻度裂纹→3、滚动体轻度裂纹→4、内圈中度裂纹→5、内圈严重裂纹→6、滚动体严重裂纹→7。以下从四个层次评估本故障辨识方法的性能:

(1)在本辨识方法的维数化简和模式识别两个环节不做任何变动的前提下，将时频域特征集的辨识精度与时域特征参数、频域特征参数等单一/单域方法进行对比，对比结果如表2所示。显然，时频域特征集所达到的测试样本辨识精度比二者的单独作用都更好，表明时频域特征集全面挖掘轴承不同部位、不同程度故障特征信息的能力要优于单一/单域特征提取方法。

(2)将SILLE的维数化简效果与LPP、LLTSA、LLE对比，对比结果如表3。

显然，采用有监督学习机制(即由训练样本的类标签信息来优化流形局部邻域结构和重构权值矩阵)的SILLE，其对轴承七种故障模式(包括正常状态)的辨识结果明显好于无监督的LPP、LLTSA和LLE的辨识效果。表4是本辨识方法“时频域特征集 －SILLEMWSVM”的故障辨识结果详表。

表2 三种特征提取方法的故障辨识精度对比%Tab.2 Comparison of fault identification accuracy achieved by 3 feature extraction methods%

表3 SILLE维数化简后的故障辨识精度和其它三种流形学习算法以及不进行维数化简的辨识精度对比%Tab.3 Comparison of identification accuracy achieved by dimension reduction with SILLE and another three manifold learning algorithms and no dimension reduction%

(3)再将SILLE维数化简后的故障辨识精度与不进行维数化简，将高维时频域特征集直接输入MWSVM的辨识结果进行对比，结果见表3。由于高维时频域特征集不可避免地会掺杂一些冗余信息和干扰成分，造成不同故障的高维时频域特征集之间具有某种统计相关性，因此若不进行维数化简处理，直接将高维时频域特征集输入MWSVM进行故障辨识，正如表3第6行结果所示，异类特征集之间的统计相关性造成了异类故障特征分布的混叠与耦合，进而引起故障辨识精度的下降。而经SILLE维数化简后的辨识精度处于高水平，表明SILLE在维数化简的同时，在基于类标签的有监督机制的调节下消除了不同故障信号之间的相关性，保留了高维故障信息中的低维不相关主成分，提高了对正常状态和6类不同层次故障的区分度。

(4)将原测试样本作为第二批新增样本再分别输入到已训练好的基于SILLE的辨识方法中和基于LPP、LLTSA、LLE的其它辨识方法(如表5所示)中，对比这四种方法的计算速率以检验SILLE的增量处理性能，对比结果如表5。显然，由于SILLE能有效利用前面的处理结果，不必对训练样本的嵌入式(包括参数d、k、α的估计过程在内)做重复计算，只单独对第二批测试样本做投影计算，故基于SILLE的辨识方法对第二批样本的分析效率大幅提高，由对第一批样本的处理时间64 s降至现在的6 s，这表明了SILLE增量处理的快速性;而 LPP、LLTSA和 LLE因不具有类似 SILLE和MWSVM的增量处理能力，故基于LPP、LLTSA、LLE的辨识方法对第二批样本的处理时间依然较长，效率较低。

表4 故障辨识方法“时频域特征集－SILLE－MWSVM”故障识别结果详表Tab.4 Concrete fault identification results of the method“Time-frequency domain feature set-SILLE-MWSVM”

表5 四种故障辨识方法在相同测试样本数条件下的计算时间对比sTab.5 Computation time comparison of 4 fault identification methods under the condition of same test sample numbers s

以上轴承故障辨识实例充分验证了时频域特征集用于故障特征的全面准确挖掘的有效性和SILLE用于自动维数化简、模式分类与增量处理的有效性，也即验证了故障辨识方法“时频域特征集－SILLE－MWSVM”具有较高的故障辨识精度和计算效率。

3.2 轴承寿命状态识别

通过对某型号空间轴承不同的寿命阶段(即对早期故障出现之前的正常状态按相同时间间隔划分阶段)进行识别来进一步验证本故障辨识方法的泛化性。本实验中同时监测了同时开始运转的3个同型号的空间轴承(分别编号为1、2、3)，3个轴承的运行时转速恒为1500 r/min，并都加载3 kg轴向载荷，采集振动数据时转速恒为1000 r/min，采样频率25.6 kHz。所监测到的3个轴承的寿命状态有T1(运行不到1天)、T2(已运行15天)、T3(已运行30天)、T4(已运行45天)、T5(已运行60天)、T6(已运行75天)、T7(已运行90天)等。采集以上7种寿命状态的振动数据样本各25组(其中1号轴承8组、2号轴承8组、3号轴承9组)，将样本打乱后从中随机抽取10组用于样本训练(结果显示含1号轴承3组、2号轴承3组、3号轴承4组)，另外15组作为测试样本，训练和测试样本长度都为4 096个数据点。寿命阶段模式与MWSVM的期望输出的对应关系设为:T1→1、T2→2、T3→3、T4→4、T5→5、T6→6、T7→7。本故障辨识方法的寿命状态识别结果如表6所示。

表6 故障辨识方法对7个寿命阶段的识别精度%Tab.6 Recognition accuracy of the proposed fault identification method for seven life states

结果表明所提故障辨识方法对某空间轴承7个寿命阶段的识别结果正确，并达到较好的精度，这说明该故障辨识方法泛化性较好，可推广应用于旋转机械寿命状态识别或早期故障辨识，这为旋转机械的可靠性评估和剩余寿命预测提供了可借鉴的理论与方法。

4 结论

提出了基于有监督增量式局部线性嵌入(SILLE)的故障辨识方法:“时频域特征集－SILLE－MWSVM”。①时频域特征集较为全面准确地表征了不同故障的特征信息;②SILLE利用类标签调节流形局部几何结构和设计重构权值矩阵，实现了有监督流形解耦与分类机制，并采用局部线性投影计算新增故障样本的嵌入映射，发挥了自动简化高维时频域特征集、高精度区分故障类别、增量处理新样本等关键作用;③所提故障辨识方法集成了时频域特征集在故障特征的全面提取、SILLE在信息化简和MWSVM在模式识别上的优势，具有较高的故障辨识精度、寿命识别精度和计算效率。

［1］ Zhou G N，Hou S L，Bo L，et al.Fault diagnosis of rotor system based on wavelet energy immune recognition［J］.Electronics Optics and Control，2010，17(6):81 －84.

［2］李 锋，汤宝平，董绍江.基于正交邻域保持嵌入特征约简的故障诊断模型［J］.仪器仪表学报，2011，32(3):621－627.LI Feng， TANG Bao-ping， DONG Shao-jiang. Fault diagnosis model based on feature compression with orthogonal neighborhood preserving embedding［J］.Chinese Journal of Scientific Instrument，2011，32(3):621 －627.

［3］雷亚国，何正嘉，訾艳阳.基于混合智能新模型的故障诊断［J］.机械工程学报，2008，44(7):112－117.LEI Ya-guo，HE Zheng-jia，ZI Yan-yang.Fault diagnosis based on novel hybrid intelligent model［J］.Chinese Journal of Mechanical Engineering，2008，44(7):112－117.

［4］ Tang B P，Li F，Qin Y.Fault diagnosis model based on feature compression with orthogonal locality preserving projection［J］.Chinese Journal of Mechanical Engineering，2011，24(5):897－904.

［5］Huang H，Li J W，Liu J M.Enhanced semi-supervised local fisher discriminant analysis for face recognition［J］.Future Generation Computer Systems，2012(28):244 －253.

［6］ Cai D， He Xiao-fei， Han J W， et al. Orthogonal laplacianfaces for face recognition［J］.IEEE Trans.Image Process，2006，15(11):3608 －3614.

［7］ Liu X M， Yin J W， Feng Z L，et al.Orthogonal neighborhood preserving embedding for face recognition［C］//2007 IEEE International Conference on Image Processing，ICIP 2007，New York，USA，2007:133－136.

［8］ Zhang T H，Yang J，Zhao D L，et al.Linear local tangent space alignment and application to face recognition［J］.Neurocomputing，2007，70:1547－1553.

［9］ Samue K，Martin D L.Face detection in gray scale images using locally linear embeddings［J］.Comput.Vision Image Understanding，2006:1－20.

［10］ Li B W，Zhang Y.Supervised locally linear embedding projection(SLLEP)for machinery fault diagnosis［J］.Mechanical Systems and Signal Processing，2011，25:3125－3134.

［11］ Tikhonov A N.Solutions of Ill-Posed problems［M］.Wiley，New York:1997.