Bi?LSTM神经网络用于轴承剩余使用寿命预测研究

申彦斌　张小丽　夏勇　杨吉　陈双达

摘要： 为有效获得轴承退化过程，设计一种改进损失函数的卷积自编码器（Convolutional Autoencode），使其可从多传感器采集的振动信号中提取轴承健康状态，避免了局部信息的丢失，同时得到了更深层次的故障特征。提出了一种基于双向长短时记忆网络（Bi?directional LSTM）的循环神经网络结构，利用其对时间序列数据的处理能力，学习轴承在实际工作过程中的退化规律，实现对轴承的剩余使用寿命预测。此外，为进一步提升模型的预测准确率及泛化能力，设计接收随机长度样本的Bi?LSTM网络进行训练，使得模型接收连续数据而不是分段的数据。最后，使用NASA的IMS数据集进行了验证和对比试验，得出本文所构建的CE?Bi?LSTM轴承健康预测模型相较于其他方法具有更准确的预测能力。

关键词： 故障诊断; 滚动轴承; Bi?LSTM网络; 多传感器样本; 变长度输入

中图分类号： TH165+.3; TH133.33; TN911.7    文献标志码： A    文章编号： 1004-4523（2021）02-0411-10

DOI：10.16385/j.cnki.issn.1004-4523.2021.02.022

引  言

滚动轴承是旋转机械中最关键的部件之一，机械设备在经过长时间、高强度的运行后，其内部轴承极容易发生损坏[1]。在运行过程中轴承会承受各种机械应力和热应力，超过40%的电动机故障与轴承故障有关[2]。轴承的失效在工程实践中可能造成巨大的生产损失和人员伤亡，因此，为控制机械设备的故障风险，有效提高旋转机械设备正常运行的持续性、可靠性、可维护性，保证作业安全，降低运营维护成本，有必要深入研究滚动轴承的状态监测和故障预测方法。若提前发现并排除潜在故障，既能保障设备安全、可靠、高效地工作，又可以避免出现突发事故，减少人力财力损失。因此，对轴承进行准确的故障检测和剩余使用寿命预测对降低设备维护成本和减少停机时间具有重大意义[3]。特别地，基于当前设备健康状态实时预测其性能退化情况在如今的制造业已发展成为一个活跃的研究领域[4]。近年来，涉及机械故障预测的相关研究层出不穷，主要研究方向为基于物理模型和基于数据驱动的健康预测[5]。基于物理模型的方法在很大程度上依赖于物理系统领域的专业知识，模型通常表现出较弱的泛化能力[6]。而基于数据驱动的预测方法由于其较强的适应能力近几年来被广泛应用[7]。机器学习作为典型的数据驱动方法，根据实时、历史数据和关系型数据，构造出近似模型来逼近真实情况，建立预测模型。在此基础上，Wu等[8]提出了一种基于自回归滑动平均法（ARIMA）的旋转机械振动特性趋势分析方法。为提高预测精度，Liu等[9]提出了利用二次规划来提升鲁棒性。此外，Wu等[10]利用了随机森林回归方法来预测铣削过程中的刀具磨损。随着现代计算能力的快速提升，计算效率的提高，深度学习方法因其在复杂系统中强大的学习能力，已成为预测领域的新兴研究课题之一[11]。在生物大脑结构的启发下，深度学习成为一种在深层结构中自动学习数据特征的监督/非监督机器学习技术。深度学习在大多数情况下，利用振动信号来监测滚动轴承的健康状况，因为信号中包含了故障发生的重要信息[12]。Hasani等[13]提出了一种基于自动编码器的预测方法，用于准确识别轴承退化起始点。Wang等[14]提出了一种基于深度置信网络（DBN）的抛光材料去除率预测方法。Liao等[15]提出了一种含有正则化项的玻尔兹曼机（RBM）来预测机器剩余使用寿命。Wang等[16]将卷积神经网络（CNN）用于从时频谱中学习特征，从而对故障自动识别。然而，以上文献所介绍方法对滚动轴承进行健康状态及剩余寿命预测至少还存在以下问题需要解决：1）从轴承原始振动信号有效地提取健康特征量是进行后续健康状态及寿命预测的关键步骤[17]，目前广泛使用的方法是通过降维将多个时频域统计特征融合为一个统一的健康特征量，这种策略的目的在于去除多余的特征量，并获取便于识别的低复杂度健康状况信息[18]，实现数据的可视化。然而轴承在出现一些故障之前，经常难以获得统计特征有价值的极值;2）在预测过程中，由于支持向量回归（SVR）等机器学习方法和DBN，CNN等神经网络模型只能学习到单一时刻的振动信号规律，无法发现多个时间序列数据中有用的特征和相关性。

循环神经网络（RNN）主要用途为处理和预测时序数据，已被应用于预测轴承的健康状况[19]。受先前研究的启发，本文采用RNN的一个重要结构——长短时记忆网络（LSTM），利用其长期记忆的特性来捕捉时间序列数据中的相互关系，获得更好的预测准确率。相较于标准的RNN，长短时记忆网络使用历史信息来帮助当前决策，可以有效克服训练过程中“长期依赖”的问题。Zhang等[20]將“波形熵”作为轴承健康指标输入到LSTM中用于预测其剩余使用寿命。Li等[21]设计了一种基于核主成分分析（KPCA）的改进轴承健康指标，并堆叠多层循环神经网络进行健康预测。为更进一步提取原始振动信号中的故障信息，接收多个传感器时序信号输入，本文利用卷积自编码器（Convolutional Autoencode）提取轴承健康状态的同时还原输入信号，并设计可变长度输入的双向长短时记忆网络（Bi?directional LSTM），采取预测?还原逐步迭代的方法形成CE?Bi?LSTM预测模型，充分学习轴承振动信号时序特征，使得模型的泛化性大大提升。

1 CE?Bi?LSTM模型及预测方法

针对由滚动轴承损坏所导致的试验装备故障以及工程实际装备故障，本文提出的CE?Bi?LSTM预测过程主要经历由基于改进卷积自编码器网络的轴承退化特征提取和基于RNN网络Bi?directional LSTM模型的轴承健康状态预测两个步骤。其中，前者利用滚动轴承寿命周期内的原始数据生成健康状态特征曲线，后者通过训练Bi?directional LSTM来预测未来轴承健康状态。

1.1 健康状态特征量提取

1.1.1 卷积自编码器退化特征提取

提取滚动轴承退化特征的传统方法主要是对轴承振动信号做频谱分析，一般在时域内、频域内以及时频域内提取各种统计量作为特征，表1为时频域常用特征统计特征量。然而，这些统计量各自具有不同的范围，在特征提取过程中各个量之间的权重关系也不得而知[22]。在传统滚动轴承故障诊断模型中，其诊断效果往往会受到大量随机噪声的干扰[23]，鉴于滚动轴承原始振动数据通常具有较高的维度和深层次的非线性分布规律[24]，本文利用深度卷积自编码器对原始数据进行降维特征提取，由于被迫的降维，自编码器会自动习得训练样本的特征。

2 试验验证及方法对比

本节内容将该方法应用于经典滚动轴承数据集中，验证方法在故障预测中的有效性。并将所提出的模型与已有方法进行了比较，验证其性能是否得到改善。

2.1 数据集介绍及样本生成

为验证本文所提方法的有效性，本次验证使用辛辛那提大学智能维护系统中心（IMS）的开放实验数据设计训练样本。如图6所示，本实验平台使用4个Rexnord Za?2115双列轴承进行了轴承退化试验。通过弹簧机构将6000 lb（2721.55422 kg）的径向载荷施加在轴和轴承上，在每个轴承的外壳上安装了两个加速度传感器，一个测垂直方向振动信号，另一个测水平方向振动信号。所有故障都是在超过设计寿命后发生的，轴承在发生故障时已经运行了1亿转。实验过程中每隔10 min测量一次振动信号，主轴转速恒定在2000 r/min，采样频率为20 kHz，每个样本包含20480个数据点。轴承从健康到损坏一共采样2156次，其中轴承4发生滚动体损坏，故采用轴承4振动信号进行模型有效性的验证，图7为轴承4生命周期内沿水平和垂直方向采集的原始振动信号。

2.2 网络训练及验证结果

2.2.1 模型构建

深度学习方法的网络结构设计对网络的性能有很大的影响，过多的隐层和隐单元可以改善预测结果，但也会使模型过于复杂，计算量增加。然而，目前还没有成熟的理论基础来有效地选取这些超参数[32]。本次模型构建经反复尝试对比来搜索最优超参数。卷积自编码器的最终参数选择如下：卷积及池化层数为2，各层卷积核数目分别为32和64，核宽度为10，批量大小为30，训练轮数为2000，损失函数中λ=0.2，η=0.01，ζ=100。

对于bi?directional LSTM，采用两层堆叠的方式，由于单时间步输入为二维数据，故先经一层单核卷积运算得到长度为1024的一维数据，则LSTM隐藏层节点个数同样为1024。网络单次训练批量大小设为为20，训练轮数设为500。

将Sigmoid函数作为全连接层激活函数，因此生成健康状态值范围保持在0到1之间。同时，采用自适应学习率算法（AdaGrad）对所有网络进行训练，免去了对学习速率参数的选取。网络待训练参数以随机高斯分布初始化，平均值为0，标准差为0.1。根据文献[33]设置bi?directional LSTM训练时输入数据的长度损失β=0.5。

2.2.2 结果分析

首先，利用上节所构造卷积自编码器对已有训练数据集X_life=[x_1，x_2，…，x_2156]进行训练，经预设轮数训练后，再将原始时序数据输入网络中提取健康特征量后做平滑处理。图8为轴承所提取到一维健康特征随时间退化曲线F_life=[f_1，f_2，…，f_2156]。由图可知，轴承退化过程中，其健康状态量在各个时间段内都表现出局部不同的规律，整个运行退化过程可分为三个阶段，在Ⅰ阶段试验刚开始进行，轴承健康状态特征量较小且随时间变化非常平稳;在Ⅱ阶段，轴承处于健康运行状态，在局部有不合理突起，代表轴承在运行过程中因突发状况而产生的无效数据点，由于循环神经网络学习到的是时序数据的整体趋势，这类数据点并影响不到模型性能;而在Ⅲ阶段，健康特征量波动幅度加大，同时由于式（9）加入损失函数，使得轴承健康特征曲线整体变化趋势具有全局的单调性，从而符合实际工况先验知识以便于后续bi?directional LSTM网络的预测。

很明显，直观上仅从少量已有健康特征量还难以得出轴承运行状态的准确预测。接下来，利用2.1生成的数据集对1.3节所提bi?directional LSTM模型做训练，经预设训练轮数后，如图9所示，网络代价函数值趋近于0，证明模型有效地学习到了原始数据基于时序的分布规律。图10为测试样本在bi?directional LSTM模型上单次迭代的未来健康状态预测表现，显然，曲线被较好地进行了拟合，即本节所提出的方法能够很好地学习到轴承的退化趋势。另外，得益于LSTM网络结构结合所有历史信息对未来做预测的特点，可以看出局部某些较大的数值波动并不会影响到模型对整个轴承退化趋势的学习效果。

而对于轴承剩余使用寿命的预测，则根据本文 提出模型的方法，需要进行多次迭代输入，在每一次迭代中，前一次预测的最后一次输出附加在当前输入的末尾，当前迭代的最后输出等于或大于预设阈值时，预测结束，轴承寿命利用总迭代次数结合预测时间步滞后值计算得出。图11显示了利用不同时刻测试数据对轴承做剩余寿命预测的结果，通过将预测的退化趋势与实际的退化曲线进行比较，可以发现使用愈早期的数据进行预测，预测误差愈大。当取时间步100附近的测试数据进行预测时，模型无法感知到轴承在之后具有损坏趋势，因此不能对其寿命做有意义的评估;而测试数据取自120附近时间步时，模型显示出良好的退化趋势预测能力;进一步当测试数据取自145左右时，轴承剩余寿命的评估误差将进一步减小。可以看出，本文所提模型对轴承的故障发生以及使用寿命可以做到有效的预测评估。

2.3 方法对比验证

为验证本文所提方法的有效性和优越性，本节利用其他方法与其做对比实验。具体包括：1）人工提取振动信号将时频域特征输入至与提出算法相同的网络结构（Bi?LSTM）;2）支持向量回归（SVR）方法;3）深度卷积神经网络（DCNN）模型;4）卷积自编码器提取特征输入单向长短时记忆网络（LSTM）模型。其中，方法（1）在原始数据各时段中提取表1中所列出的10个统计特征量作为输入样本;方法（2）采用径向基核函数使SVR模型具有非线性拟合能力;方法（3）构造三个卷积层（池化层）的卷积神经网络模型，每层以ReLU函数作为其激活函数;方法（4）采用与本文提出的模型相同的网络结构，Bi?LSTM结构单元由基本LSTM结构单元替换。所有网络待训练参数以相同的分布初始化，每種方法取相同时间段测试数据分别重复20次，以20次预测结果的均方误差作为衡量各种方法优劣的量化指标，其对比结果如表2所示。可以看出，文中所提出的CE?Bi?LSTM模型明显优于其他方法。

3 結  论

针对滚动轴承剩余使用寿命评估方法，本文提出的CE?Bi?LSTM预测模型，充分利用了卷积自编码器提取多维数据内在分布特征的能力和LSTM学习时序数据随时间变化规律的能力。同时，对其网络结构和数据输入方式进行改进。为处理设备因实际工况干扰带来的数据不确定性问题，模型输入采用多传感器采集的多通道数据、并且设计不定长度输入的bi?directional LSTM网络结构。通过改进卷积自编码器损失函数，使其提取到的特征量既保留了数据内在分布特征，又加入“轴承沿时间方向逐渐退化”的先验知识，有效提升了模型的鲁棒性。相较于其他方法，CE?Bi?LSTM通过逐步迭代输入的方式不仅可以对轴承剩余使用寿命做评估，还可对其后续任意时刻运行状态进行预测。

本文采用开放实验数据对模型有效性进行验证，并对结果进行分析。可以看出，利用本文提出的模型预测轴承健康以及剩余使用寿命，其误差保持在可接受范围内，这在机械设备运转中可以提供有效的维护策略和指导。此外，轴承故障阈值的确定和一些神经网络的结构参数调整在故障预测问题上还是具有挑战性和研究意义的。因此，今后还将对这些问题进行更多的研究。

参 考 文 献：

[1] Tian Y，Ma J，Lu C.Rolling bearing fault diagnosis under variable conditions using LMD-SVD and extreme learning machine[J].Mechan. Mach. Theory，2015，90：175-186

[2] Zarei J，Poshta J.Bearing fault detection using wavelet packet transform of induction motor stator current[J].Tribol. Int.， 2007，40（5）： 763-769

[3] Meng Z，Zhan X，Li J.An enhancement denoising autoencoder for rolling bearing fault diagnosis[J]，Measurement， 2018， 130： 448-454.

[4] Wu D，Liu S，Zhang L，et al.A fog computing-based framework for process monitoring and prognosis in cyber-manufacturing[J].Manuf. Syst.， 2017，43：25-34

[5] Qian Y N，Yan R Q，Gao R X.A multi-time scale approach to remaining useful life prediction in rolling bearing[J].Mechan. Syst. Signal Process，2016， 83： 549-567.

[6] Shao H D，Jiang H K，Li X Q.Rolling bearing fault detection using continuous deep belief network with locally linear embedding[J].Comput. Ind.， 2018， 96： 27-39.

[7] Liu J，Wang W，Ma F.A data-model-fusion prognostic framework for dynamic system state forecasting[J].Eng.Appl. Artif. Intell.， 2012， 25： 814-823

[8] Wu W，Hu J，Zhang J.Prognostics of machine health condition using an improved ARIMA-based prediction method[C].ICIEA 2007， Second IEEE Conf. Ind. Electron. Appl.， 2007： 1062-1067.

[9] Liu K，Gebraeel N Z，Shi J.A data-level fusion model for developing composite health indices for degradation modeling and prognostic analysis[J].IEEE Trans. Autom. Sci. Eng.， 2013，10（3）： 652-664.

[10] Wu D，Jennings C，Terpenny J. A comparative study on machine learning algorithms for smart manufacturing：Tool wear prediction using random forests[J].Manuf. Sci. Eng.， 2017， 139（7）： 71018.

[11] Ma M，Sun C，Chen X.Discriminative deep belief networks with ant colony optimization for health status assessment of machine[J].IEEE Trans. Instrum. Meas.， 2017， 66（12）： 1-11.

[12] Zheng J D，Cheng J S，Yang Y，et al.A rolling bearing fault diagnosis method based on multi-scale fuzzy entropy and variable predictive model-based class discrimination[J].Mechan. Mach. Theory， 2014， 78（16）： 187-200

[13] Hasani R M，Wang G，Grosu R.An automated auto-encoder correlation-based health monitoring and prognostic method for machine bearing[J]. arXiv： 1703.06272， 2017.

[14] Wang P，Gao R X，Yan R.A deep learning-based approach to material removal rate prediction in polishing[J].CIRP Ann. Manuf. Technol.， 2017，66（1）： 429-432.

[15] Liao L，Jin W，Pavel R.Enhanced restricted Boltzmann machine with prognosability regularization for prognostics and health assessment[J].IEEE Trans. Ind. Electron， 2016，63（11）： 7076-7083.

[16] Wang P，Ananya，Yan R，et al.Virtualization and deep recognition for system fault classification[J].J. Manuf. Syst.， 2017， 44（2）： 310-316.

[17] Yu J B.Bearing performance degradation assessment using locality preserving projections and Gaussian mixture models[J]. Expert Syst.Appl.， 2011， 38（6）： 7440-7450.

[18] Kang S Q，Ma D Y，Wang Y J，et al.Method of assessing the state of a rolling bearing based on the relative compensation distance of multiple-domain features and locally linear embedding[J].Mechan.Syst.Signal Processing， 2017， 86（part A）： 40-57.

[19] 趙建鹏，周俊. 基于长短时记忆网络的旋转机械状态预测研究[J]. 噪声与振动控制， 2017， 37（4）： 155-159.

ZHAO Jianpeng， ZHOU Jun. State prognosis of rotary machines based on long/short term memory recurrent neural network[J]. Noise and Vibration Control， 2017， 37（4）： 155-159.

[20] Zhang B，Zhang S H，Li W H. Bearing performance degradation assessment using long short-term memory recurrent network[J].Computers in Industry， 2019， 106： 14-29.

[21] Li X Q，Jiang H K，Xiong X，et al. Rolling bearing health prognosis using a modified health index based hierarchical gated recurrent unit network[J].Mechanism and Machine Theory， 2019， 133： 229-249.

[22] Lei Y.Intelligent Fault Diagnosis and Remaining Useful Life Prediction of Rotating Machinery[M]. Xi'an： Xi'an Jiaotong University Press， 2016.

[23] Guo L，Li N P，Jia F，et al.A recurrent neural network based health indicator for remaining useful life prediction of bearings[J].Neurocomputing， 2017， 240： 98-109.

[24] Kan M S， Mathew J.A review on prognostic techniques for non-stationary and non-linear rotating systems[J].Mechan. Syst. Signal Processing， 2015， 62-63： 1-20.

[25] Shao H D， Jiang H K， Li X Q.Rolling bearing fault detection using continuous deep belief network with locally linear embedding[J].Comput. Ind.， 2018， 96： 27-39.

[26] Mahamad A K， Saon S， Hiyama T. Predicting remaining useful life of rotating machinery based artificial neural network[J].Comp. Math. Appl.， 2010， 60（4）： 1078-1087.

[27] Lipton Z C， Berkowitz J， Elkan C. A critical review of recurrent neural networks for sequence learning[J]. arXiv：1506.00019，2015.

[28] Hochreiter S，Schmidhuber J J. Long short-term memory[J].Neural Computation，1997，9（8）：1735-1780.

[29] Bottou L.Large-scale machine learning with stochastic gradient descent[C].Proc. COMPSTAT，2010：177-186.

[30] Greff K， Srivastava R K， Koutnik J， et al. LSTM：A search space odyssey[J].IEEE Transactions on Neural Networks and Learning Systems， 2017， 28（10）： 2222-2232.

[31] Hinton G E. Learning multiple layers of representation[J].Trends Cogn. Sci.， 2007， 11（10）： 428-434.

[32] Shao H D， Zhao H W， Jiang H K， et al. An enhancement deep feature fusion method for rotating machinery fault diagnosis[J].Knowl.-Base.Syst.， 2016， 119： 200-220.

[33] Liu H，Zhou J Z， Zheng Y， et al. Fault diagnosis of rolling bearings with recurrent neural network based autoencoders[J].ISA Transactions， 2018， 77： 167-178.

Bi?LSTM neural network for remaining useful life prediction of bearings

SHEN Yan-bin， ZHANG Xiao-li， XIA Yong， YANG Ji， CHEN Shuang-da

（The Ministry of Education Key Laboratory of Road Construction Technology and Equipment，

School of Construction Machinery， Chang'an University， Xi'an 710064， China）

Abstract： Rolling bearing is a key part of rotating machine and its healthy condition is of significance on safety in production. The prediction for operating condition and residual lifetime of the rolling bearing is one of main challenges in intelligent diagnosis field. In order to attain the whole process of rolling bearing degradation， a method of Convolution Autoencode with improved loss function is proposed in this paper. The proposed method can obtain the condition of rolling bearing from vibration signals collected by multi-sensors avoiding the loss of local information as well as achieving fault character in deeper layer. Then a cyclic neural network structure based on bi-directional long and short time memory （Bi?LSTM） is suggested in this paper to learn the principle of rolling bearing degradation in practical work by means of its ability to process the time series data， which realizes the residual lifetime prediction of the rolling bearing. In addition， with the aim of improving the prediction accuracy and ability to be used widely of model， the Bi?LSTM network is trained by receiving the sample with random length to make the model accept continuous data instead of segmented data. Finally， the IMS data set from NASA is utilized to operate experiment and comparative test. The result shows that the proposed prediction model of rolling bearing lifetime based on CE-Bi?LSTM exhibits higher precision than that of other methods.

Key words： fault diagnosis; rolling bearing; Bi-LSTM network; multi-sensor sample; variant length input

作者简介： 申彦斌（1995-），男，硕士研究生。E-mail：shen18710939565@qq.com

通讯作者： 张小丽（1983-），女，博士，副教授，硕士生导师。E-mail：lilyzhang@chd.edu.cn