基于流形学习和最小二乘支持向量机的滚动轴承退化趋势预测

肖 婷， 汤宝平, 秦 毅， 陈 昌

(重庆大学 机械传动国家重点实验室,重庆 400030)

基于流形学习和最小二乘支持向量机的滚动轴承退化趋势预测

肖 婷， 汤宝平, 秦 毅， 陈 昌

(重庆大学 机械传动国家重点实验室,重庆 400030)

为更好地表征滚动轴承性能退化趋势，提出基于流形学习和最小二乘支持向量机的滚动轴承退化趋势预测新方法。提取振动信号的多域特征组成高维特征集，利用局部保持投影算法(LPP)对多域高维特征集进行维数约简，消除各特征指标之间的冗余、冲突等问题。将维数约简后的特征向量作为最小二乘支持向量机的输入，建立退化趋势预测模型，完成退化趋势预测。运用实测的滚动轴承全寿命实验数据进行检验，结果表明该方法能获得准确的预测结果。

性能退化评估；信息熵；流形学习；最小二乘支持向量机

滚动轴承退化过程的准确预测，对预防设备失效具有重要意义。滚动轴承退化过程准确预测的关键是提取能准确反映滚动轴承运行状态的特征指标及建立有效的预测模型。单个时、频域特征指标[1～2]如均方根值、峭度等指标对初始损伤的敏感程度低，不能较好地确定初始损伤时间。文献[3]将三个时域指标和三个频域指标进行融合，能较好地评估轴承性能退化变化。然而，滚动轴承的故障信号是一种典型的非平稳、非线性信号[4]，传统时、频域指标提取是将振动信号看作平稳信号进行处理，存在评估能力不足的问题。小波包分析是一种有效的非平稳信号分析方法，将小波包分解与信息熵结合提取小波包熵可以很好地解决时、频域指标评估能力不足的问题。因此，选择时、频域指标及基于信息熵[5～6]的特征指标组成多域特征集，既能避免单纯依靠时、频域指标性能评估能力不足的问题，又能有效地反映滚动轴承性能退化趋势，提高预测精度。但多域特征中部分特征之间存在冗余、相互冲突的问题[7]，流形学算法LPP可在尽量保持数据间几何关系和距离测度不变前提下对高维特征集进行维数约简，解决特征之间的冗余、冲突等问题。同时，克服了线性降维算法PCA[8]，LDA方法不能处理非线性问题的缺陷，相对于Isomap、LLE等非线性算法而言具有更快的处理速度[9]。

在提取性能退化指标之后，趋势预测另一个关键步骤是建立可靠的预测模型。文献[3,10-11]分别采用神经网络和AR模型建立预测模型，AR模型在理论上十分成熟，但其精度不高，容错性较差，只适合做短期预测。神经网络在理论上的缺陷导致其存在局部极值、小样本推广能力差以及隐层节点个数难以确定等问题。最小二乘支持向量机[12]能有效地避免神经网络算法中过学习、欠学习、局部极小等棘手问题，在小样本、非线性等数据空间下具有较好的泛化能力，可明显提高预测精度和预测的稳定性。

本文提出了基于高维多域特征集维数约简的趋势预测理论，充分发挥了多域特征集在性能评估，流形学习算法在维数约简和最小二乘支持向量机在趋势预测方面的各自的优势，具有较高的预测精度。

1 基于LPP的多域特征融合

1.1 多域特征提取

1.1.1 时域特征指标

(1)

1.1.2 基于信息熵的特征指标

(2)

信息熵是从平均意义上表征信源总体信息测度的一个量，同时又是对信源输出信息的不确定性和事件发生的随机性的度量。当信源中各变量的概率均匀分布时，信息熵取得最大值lnN，此时信源中信息量是最大的。反之，信源中各变量概率分布不均匀时，信息熵的值减少。当其某一变量以概率1出现时，此时信息熵为0，信源包含的信息量最小。

对振动信号进行时、频域处理及小波包变换，分别提取幅值谱熵xame、功率谱熵[5]xpoe以及小波包能谱熵xwae、小波包奇异值熵[6]xwse作为特征量，构成另一个4维的信息熵特征向量：

Χ2=(xame,xpoe,xwae,xwse)T

(3)

由信息熵特征指标以及时域特征指标组成14维的多域特征集作为维数约简的输入高维特征，即

Χ=(Χ1,Χ2)Τ

(4)

1.2 局部保持投影(LPP)算法原理

局部保持投影(LPP)算法继承了非线性流形学习算法LE的思想[13]，即基于K近邻图建立映射，它在保持数据局部特征的条件下，将高维观测数据映射到低维空间，使得在高维空间相互靠近的数据点在低维空间也相互靠近。设多域特征集为Χ={x1,x2,…,xn}∈Rh×n，特征集的样本数为n，特征维数为h。通过转换矩阵Α，通过Y=ΑΤΧ降维后的特征集Y={y1,y2,…,yn}∈Rl×n，降维后维数是l，且l≪h。转换矩阵A可以通过如下的目标函数求得，即

(5)

式中：W为加权矩阵，由k近邻方法定义矩阵元素。由目标函数可以看出，最小化目标函数的目的就是使原高维特征空间的局部特性得以保持，也就是说如果xi和xj中靠近，那么yi和yj在低维空间中也相互靠近。

由式(5)变换得到

(6)

YΤDY=1⟹ΑΤΧDΧΤΑ=1

(7)

于是，目标函数可以简化为

(8)

目标函数取最小值的转换矩阵A可以通过求解式(9)的广义特征向量获得，即

ΧLΧΤΑ=λΧDΧΤΑ

(9)

设a0,a1,…,al-1为(9)式的特征向量，并按照其对应的特征值由小到大进行排列，则由高维数据得到的低维嵌入可表示为

xi→yi=ΑΤxi

(10)

其中：Α=(a0,a1,…,al-1)，由(10)式求得的低维特征集Y即可作为预测模型的输入。

2 最小二乘支持向量机理论

最小二乘支持向量机将最小二乘线性理论引入到支持向量机[10]中，LS-SVM定义了与标准支持向量机不同的约束函数，将不等式约束化成等式约束，求解速度较支持向量机明显加快。LS-SVM的函数估计问题如(11)所示：

(11)

此时约束条件为：

s.t.yi-ωφ(xi)-b=ei

(12)

其中：ω为权向量；γ为正则化参数或者说惩罚因子，其决定了对超出误差样本的惩罚程度，是支持向量机拟合程度和推广能力的平衡参数；b为偏差向量，ei为误差变量，该变量表明实际对象对逼近函数在样本数据点上的误差期望。

式(11)、(12)对应的拉格朗日函数为：

(13)

其中：αi是拉格朗日乘子。由Karush-Kuhn-Tucker 最优化条件，即式(13)分别对ω、ei、b、αi求偏导数，并令其偏导数为零。消掉变量ω、ei，得到如下方程组：

(14)

其中：I=[1,1,…,1]T，E为单位矩阵，y=[y1,y2,…,yn]T，α=[α1,α2,…,αn]T，Φ=[φ(x1),φ(x2),…,φ(xn)]T。

根据Mercer条件，采用径向基核函数(RBF)作为核函数，即：

(15)

其中：σ为核函数宽度。此时，LS-SVM回归估计函数可表示为：

(16)

建立LS-SVM输入x=(xn-m,xn-m+1,…,xn-1)与输出y=(xn)之间的映射关系：Rm→R，m为输入维数，由此得到LS-SVM的训练样本对为：

(17)

(18)

其中：s为训练数据的起点，l是训练样本对数，n为预测点数。将Xtrain和Ytrain分别作为LS-SVM的输入和输出，即可训练处预测模型，求出LS-SVM回归估计函数(16)的具体数学表达式。将测试样本Xtest代入式(16)即可得到n个预测值。

3 趋势预测流程

本文趋势预测的基本流程是采用时域方法、频域方法、小波包变换以及信息熵理论提取振动信号的多域特征集信息，并利用最小二乘支持向量机进行趋势预测。由于多域特征集维数较高，各指标之间的冗余、冲突等问题严重，引入LPP对多域特征集进行维数约简，实现数据冗余信息的剔除。然后，将约简后的特征信息输入到LS-SVM模型中预测轴承的退化趋势。具体流程如图1所示。

图1 趋势预测流程Fig.1 The process of the trend forecasting

(1) 使用时域方法提取时域特征指标，采用频域方法、小波包变换及信息熵理论提取小波包熵、幅值谱熵及功率谱熵组成高维多域特征集；本文采用db5小波包进行3层分解，利用Shannon熵理论提取小波包能谱熵和小波包奇异值熵作为特征指标。

(2) 采用LPP维数约简算法对高维多域特征集降维，并将降维后的特征信息作为LS-SVM的输入；

(3) 按照步骤(1～2)处理全寿命数据，将处理后的结果输入到预测模型中作趋势预测。

4 实验分析

图2 实验装置示意图[15]Fig.2 The test equipment[15]

使用Cincinnati大学实测的滚动轴承全寿命数据[15]进行验证，实验装置示意图如图2所示。轴承实验台的转轴上安装四个轴承，轴承为 Rexnord 公司的ZA-2115双列滚子轴承，交流电机通过带传动以2 000 r/min的恒定转速带动转轴旋转，实验过程中轴承被施加6 000 lbs的径向载荷。采样频率为20 kHz，每隔10 min采集一次轴承的振动数据，每次采样长度为20 480个点，轴承持续运行15天，直到轴承3出现内圈故障和轴承4出现滚动体故障，本文采用轴承4采集到的振动数据验证本文所提方法。

提取10个时域特征指标和4个信息熵特征指标组成高维多特征集。采用LPP流形学习算法对高维特征集进行维数约简，将约简以后的部分特征信息(LPP1)用来训练LS-SVM模型并完成预测，将获取的预测值和实际的性能退化指标之间进行对比分析。确定性能退化指标之后，根据交叉验证法确定最小二乘支持向量机的核参数σ为509、正规化参数γ为291，用这两个模型参数构建最小二乘支持向量机模型进行训练和预测。为了评价预测结果的准确性，采用平均相对误差作为预测效果的评价指标，即

(19)

然而，在工业现场当中，轴承的全寿命实验数据一般较难获取。因此，在保持预测模型不变的情况下，将获取的预测数据作为下一步预测的输入，如此循环迭代完成预测，这种预测策略可使预测方法具有更好的实用性和推广性。由式(17)、(18)建立预测模型，预测起始点s=1 925，训练样本数l=191，输入向量维数m=20，预测步数n=17。预测数据部分结果如图3所示，从图上可以看出在17步的预测范围内，预测曲线与实际性能退化曲线比较接近，平均相对误差为0.078 8。

图3 滚动轴承趋势预测曲线与实际状态趋势曲线Fig.3 The actual state trend curve and the forecast trend curve

为了进一步验证多特征集融合信息作为退化指标方法的准确性，以及整体算法各个环节的必要性，作如下几个对比验证，比较预测结果的平均相对误差值：① 峭度作为性能退化指标， LS-SVM建立预测模型；② LPP融合时域特征集作为性能退化指标， LS-SVM建立预测模型；③ PCA融合多域特征集(PC1)作性能退化指标，LS-SVM建立预测模型；④ LPP融合多域特征集作性能退化指标，神经网络建立预测模型；⑤ LLE融合多域特征集(LLE1)作性能退化指标，LS-SVM的模型参数建立预测模型。对比结果如图4及表1所示，实线代表真实值，虚线代表预测值。

图4 其他方法趋势预测曲线与实际状态趋势曲线Fig.4 The forecast trend curve obtained by other methods and the actual state trend curve

表1 各方法预测结果与真实值之间的误差比较

从图3、图4以及表1结果可以看出，多域特征集融合后的特征信息作为性能退化指标能很好地反应轴承的退化趋势，且预测效果优于峭度作为性能退化指标的预测效果。同时，多域特征集融合后的特征信息作性能退化指标的预测效果优于时域特征集融合后的预测效果，说明单纯依靠融合时域指标得到的特征信息存在评估能力不足的问题，不能很好地反映滚动轴承的退化趋势。

由表1还可以看出，基于LPP的维数约简方法获得的预测效果优于PCA、LLE方法的预测结果，因此，多域特征集经流形学习LPP进行维数约简是有效且适用的。同时，采用LS-SVM建立预测模型的预测效果优于神经网络的预测效果，说明LS-SVM作为预测模型具有较高的预测精度和很强的推广能力。

图5 2号轴承的预测曲线与实际预测曲线Fig.5 The actual state trend curve and the forecast trend curve of the second bearing

趋势预测的实际应用，通常是用一个已经训练好的轴承预测模型预测另一个同型号、同工况滚动轴承的退化趋势的。由图2可看出，轴承2和轴承3是两个工况类似、型号相同的两个滚动轴承。用训练好的3号轴承的预测模型预测2号轴承的退化趋势，预测数据部分结果如图5所示，平均相对误差为0.236 6。

由图5可以看出，用已经训练好的3号轴承预测模型预测2号轴承的退化趋势整体效果较好，但是并没有完全逼近真实曲线，其原因有两方面：① 3号轴承与2号轴承之间的工况不是完全相同，提取的特征指标之间会存在一定的差异；② 预测方法是把预测结果作为下一次预测的输入，导致出现预测误差的积累，影响了最后预测结果的精度。

5 结 论

(1) 分析了常用时频域特征作为性能退化指标存在的问题，提出了采用多域特征集的特征提取方法，在有效反映轴承运行状态的同时能很好地预测轴承的性能退化趋势。

(2) 针对多域特征集维数较高，特征间冗余性较为严重的问题，提出了通过流形学习算法LPP进行维数约简的方法，提取敏感的特征信息。

(3) 为了得到更准确的预测结果，选用LS-SVM建立预测模型，利用LS-SVM的泛化能力提高预测精度。

(4) 通过对比分析，表明本文所提出的趋势预测方法的有效性及各个环节之间互补性，充分发挥了各部分的优势，实现较高精度的退化趋势预测。

[1] Gebraeel N，Lawley M，Liu R，et al. Residual life predictions from vibration-based degradation signals: a neural network approach [J]. Industrial Electronics, IEEE Transactions on, 2004, 51(3): 694-700.

[2] Janjarasjitt S, Ocak H, Loparo K A. Bearing condition diagnosis and prognosis using applied nonlinear dynamical analysis of machine vibration signal [J]. Journal of Sound and Vibration, 2008(317): 112-126．

[3] 奚立峰，黄润青，李兴林，等. 基于神经网络的球轴承剩余寿命预测[J]. 机械工程学报，2007，43(10): 137-143. XI Li-feng, HUANG Run-qing, LI Xing-lin, et al. Residual life predictions for ball bearing based on neural networks [J].Chinese Journal of Mechanical Engineering, 2007，43(10): 137-143.

[4] Antoni J. Cyclic spectral analysis of rolling-element bearing signals: facts and fictions [J]. Journal of Sound and Vibration, 2007, 304(3-5): 497-529.

[5] 王小玲，陈进，从飞云. 基于时频的频带熵方法在滚动轴承故障识别中的应用[J]. 振动与冲击，2012，31(18): 29-33. WANG Xiao-ling, CHEN Jin, CONG Fei-yun. Application of spectral band entropy (SBE) method in rolling bearing fault diagnosis based on time-frequency analysis [J]. Journal of Vibration and Shock, 2012, 31(18): 29-33.

[6] 郭磊，陈进. 小波包熵在设备性能退化评估中的应用[J]. 机械科学与技术，2008，27(9): 1203-1206. GUO Lei, CHEN Jin.Application of wavelet packet entropy to equipment performance degradation assessment[J]. Mechanical Science and Technology for Aerospace Engineering, 2008, 27(9): 1203-1206.

[7] 宋涛，汤宝平，李锋. 基于流形学习和 K-最近邻分类器的旋转机械故障诊断方法[J]. 振动与冲击，2013，32(5): 149-153. SONG Tao, TANG Bao-ping, LI Feng. Fault diagnosis method for rotating machinery based on manifold learning and K-nearest neighbor classifier [J]. Journal of Vibration and Shock, 2013, 32(5): 149-153.

[8] Dong S, Luo T. Bearing degradation process prediction based on the PCA and optimized LS-SVM model [J]. Measurement, 2013, 46(9): 3143-3152.

[9] 董绍江，汤宝平，张焱. 基于非广延小波特征尺度熵和支持向量机的轴承状态识别[J]. 振动与冲击，2012，31(15): 50-54. DONG Shao-jiang, TANG Bao-ping, ZHANG Yan. Bearingrunning state recognition based on non-extensive wavelet feature scale entropy and support vector machine [J]. Journal of Vibration and Shock, 2012，31(15): 50-54.[10] Yan J, Guo C, Wang X. A dynamic multi-scale Markov model based methodology for remaining life prediction [J]. Mechanical Systems and Signal Processing, 2011, 25(4): 1364-1376.

[11] 石林锁，沈金伟，张亚洲，等. 基于AR模型和谱峭度法的滚动轴承故障诊断[J]. 振动与冲击，2011，30(12): 257-260. SHI Lin-suo, SHEN Jin-wei, ZHANG Ya-zhou, et al. Fault diagnosis of a rolling element bearing based on AR model and spectral kurtosis [J]. Journal of Vibration and Shock,2011, 30(12): 257-260.

[12] 田中大，高宪文，李琨. 基于KPCA与LSSVM的网络控制系统时延预测方法[J]. 系统工程与电子技术，2013，35(6):1281-1285. TIAN Zhong-da, GAO Xian-wen, LI Kun. Networked control system time-delay prediction method based on KPCA and LSSVM [J]. Systems Engineering and Electronics, 2013, 35(6):1281-1285.

[13] 何强，蔡洪，韩壮志，等. 基于非线性流形学习的 ISAR 目标识别研究[J]. 电子学报，2010，38(3): 585-590. HE Qiang, CAI Hong, HAN Zhuang-zhi, et al. ISAR Target Recognition Based on Nonlinear Manifold Learning [J].Acta Electronica Sinica, 2010, 38(3): 585-590.

[14] He X F, Niyogi P. Locality preserving projections, in: Proceedings of the Conference on Advances in Neural Information Processing Systems, 8-13 December 2003, Vancouver[C]. Canada, MIT Press, Cambridge, MA, 2004:1-8.

[15] Lee J, Qiu H, Yu G, et al. Rexnord technical services, “bearing data set”,IMS, university of cincinnati, NASA ames prognostics data repository, 〈http://ti.arc.nasa.gov/project/prognostics-data-repository〉, NASA Ames, Moffett Field, CA, 2007.

Degradation trend prediction of rolling bearing based on manifold learning and least squares support vector machine

XIAO Ting, TANG Bao-ping, QIN Yi, CHEN Chang

(The State Key Laboratory of Mechanical Transmission, Chongqing University, Chongqing 400030, China)

A new prediction method was proposed based on manifold learning and least squares support vector machine to describe the rolling bearing degradation trend. Time-domain features and features based on information entropy were extracted to construct high-dimensional characteristic sets. The locality preserving projection algorithm was used for dimensionality reduction in order to eliminate the problem of redundancy between each indicators. The characteristic features were input to the least squares support vector machine to train and construct a model, so as to accomplish the trend prediction. The rolling bearing run-to-failure tests were carried out to inspect the prediction model, and the results demonstrate the effectiveness and accurateness of the proposed method.

degradation assessment; information entropy; manifold learning; least squares support vector machine (LS-SVM)

国家自然科学基金资助项目(51275546，51375514);高等学校博士学科点专项科研基金资助(20130191130001)

2014-01-08 修改稿收到日期：2014-05-08

肖婷 女，硕士生，1989年12月生

汤宝平 男，博士，教授，博士生导师，1971年9月生

TP393.1；TH17

A

10.13465/j.cnki.jvs.2015.09.027