基于量子加权门限重复单元神经网络的性态退化趋势预测

2019-01-23王家序汤宝平

振动与冲击 2019年1期

李锋，向往，王家序，汤宝平

(1.四川大学制造科学与工程学院，成都 610065；2.四川大学空天科学与工程学院，成都 610065；3.重庆大学机械传动国家重点实验室，重庆 400044)

机械设备状态预测是设备故障诊断中必不可少的一个环节[1],准确预测机械设备的性态退化趋势，可以提前为设备维护管理提供充分的决策信息和反应时间，避免设备损坏造成意外损失，降低设备运营成本。从振动信号中提取性态退化指标时间序列后，设计合理有效的具有知识推理能力的预测方法是实现旋转机械退化过程准确预测的关键。经典的预测方法有AR模型，最小二乘支持向量机(Least Squares Support Vector Machine, LS-SVM)，人工神经网络(Artificial Neural Network, ANN)等。文献[2-3]采用基于AR模型的预测方法，但AR模型容错性较差，预测精度不高。文献[4-6]采用基于最小二乘支持向量机的预测方法,然而最小二乘支持向量机核函数及其参数很多情况是人为选定，带有许多不确定性。诸如BP神经网络(Back-Propagation Neural Network, BPNN)[7-8]，循环神经网络(Recurrent Neural Network, RNN)[9]等经典神经网络，存在学习收敛速度慢、训练困难、网络的学习和记忆具有不稳定性等问题。门限重复单元神经网络(Gated Recurrent Unit Neural Network, GRUNN)[10]作为一种改进的循环神经网络，克服了RNN梯度消失的缺点，然而也存在着训练过程困难，泛化能力不足等问题。

作为一种极富前景的非线性模型, 量子计算被认为是改进神经计算的有效途径之一[11]。量子神经网络利用了量子计算的一些优势特别是量子计算的并行计算特性，比经典神经网络具有更强的并行处理能力，并能处理更大的数据集，在数据处理方面具有前所未有的潜在优势[12-13]。本文在GRU的基础上，提出了量子权值门限重复单元神经网络(Quantum Weighted Gated Recurrent Unit Neural Networks, QWGRUNN)，该量子神经网络引入量子位表示网络权值和活性值，构造量子相移门权值矩阵并通过门参数的修正实现权值量子位和活性值量子位的更新，并将上下文单元的权值扩展到隐藏层的权值矩阵,在与隐藏层权值同步更新过程中获取时间序列的额外信息,改善了网络泛化能力，进而提高了所提出的性态退化趋势预测方法的预测精度；采用与自身结构相适应的动态学习参数，改善了网络收敛速度，进而提高了所提出的预测方法的计算效率。

综上所述，本文提出了基于量子权值门限重复单元神经网络(QWGRUNN)的性态退化趋势预测方法，用于旋转机械的性态退化趋势预测，达到了较高的预测精度和计算效率。

1 量子加权门限重复单元神经网络

1.1 门限重复单元(GRU)

Cho等提出了通过门限重复单元(GRU)来匹配不同时间尺度的依赖问题，它融合了单元状态和隐藏状态，将遗忘和输入门限整合成一个“更新门限”，其拓补结构如图1所示。

图1 门限重复单元

(1)

(2)

式中，Wz为p×m阶权值矩阵，Uz为p×p阶权值矩阵。

*ht-1))j

(3)

(4)

式中，Wr为p×m阶权值矩阵，Ur为p×p阶权值矩阵。

1.2 量子加权神经元模型

神经细胞的量子行为主要体现在细胞之间递质的传递上。为模拟这种量子行为，量子加权神经元模型包括加权、聚合、活化、激励四个部分，其中，权值和活性值分别用量子位|φi〉、|φ〉表示，其中|φi〉为对xi的加权，聚合算子记为Σ，活化作用通过内积算子F来实现，激励采用sigmoid函数，如图2所示。

图2 量子加权神经元

记神经元输入向量为x=[x1,x2,…,xm]T，输出实数记为y，|φ〉=[|φ1〉,|φ2〉,…,|φm〉]T表示权向量。其中,权值量子位|φi〉=[cosθi,sinθi]T(i=1,2,…,m,θi表示该量子位的相位)；|φ〉=[cosξ,sinξ]T为活性值量子位(ξ为活性值量子位的相位)。于是，量子神经元的输入输出关系可表述为

(5)

当输出y=[y1,y2,…,yn]T时，由量子权向量|φ(j)〉=[|φ1j〉,|φ2j〉,…,|φmj〉]T组成m×n维量子权矩阵

其中，|φij〉=[cosθij,sinθij]T为权值量子位且i=1,2,…,m，j=1,2,…,n，θij表示该量子位的相位。同时，活性值也可表示为：|φ〉=[|φ1〉,|φ2〉,…,|φn〉]T，其中，|φj〉=[cosξj,sinξj]T是活性值量子位且ξj为活性值量子位的相位，j=1,2,…,n。于是，结合式(5)、式(6)和式(7)可推导出量子神经元的输入输出关系如下：

(6)

式中，W为n×m阶权值矩阵，有

(7)

因此，可通过更新权值量子位相位θij和活性值量子位相位ξj来更新权值量子位|φij〉和活性值量子位|φj〉，进而实现整个W矩阵的更新。

1.3 量子权值门限重复单元神经网络(QWGRUNN)结构

量子权值门限重复单元神经网络(QWGRUNN)将量子计算引入GRUNN，在保持GRUNN宏观拓补结构不变的情况下，引入量子加权神经元表示内部传递关系。在QWGRUNN中，网络权值由量子相移门表示，网络的更新为对相关量子化结构的更新。

结合式(2)、式(6)和式(7)可导出QWGRUNN的更新门如下

(8)

同理结合式(4)和式(6)可推导重置门如下

(9)

于是，根据式(3)、式(6)和式(9)可表示待定活性值如下

(10)

式中，*表示对应元素相乘。

然后，结合式(1)、式(8)和式(10)可计算活性值

(11)

最后，结合式(6)、式(11)可计算网络输出值如下

(12)

1.4 QWGRUNN学习算法

在QWGRUNN中，由一位相移门来实现权值量子位和活性值量子位的修正。

因此，求出量子相移门的相位增量Δθt和Δξt，也就实现了权值量子位|φ〉和活性值量子位|φ〉的更新，也即实现了权向量的更新。

下面采用梯度下降法求Δθ(t)、Δξ(t)。QWGRUNN的逼近误差函数为

(15)

(16)

于是根据梯度下降法，相位增量Δθ(t)与Δξ(t)由如下两式分别得出

(17)

(18)

将相位(θwz)ij(t)、(θwr)ij(t)、(θw)ij(t)、(θwy)kl(t)、(θuz)kj(t)、(θur)kj(t)、(θu)kj(t)作为自变量代入式(17)可求得对应的相位增量Δ(θwz)ij(t)、Δ(θwr)ij(t)、Δ(θw)ij(t)、Δ(θwy)kl(t)、Δ(θuz)kj(t)、Δ(θur)kj(t)、Δ(θu)kj(t)；同理，将相位(ξwz)j(t)、(ξwr)j(t)、(ξw)j(t)、(ξwy)l(t)、(ξuz)j(t)、(ξur)j(t)、(ξu)j(t)作为自变量代入式(18)可以求得对应的相位增量Δ(ξwz)j(t)、Δ(ξwr)j(t)、Δ(ξw)j(t)、Δ(ξwy)l(t)、Δ(ξuz)j(t)、Δ(ξur)j(t)、Δ(ξu)j(t)。

至此，QWGRUNN中所有相位增量均已求得，将这些参数分别代入式(13)和式(14)，即可实现所有权值量子位和活性值量子位的更新。每更新一次权值量子位和活性值量子位就完成一次对QWGRUNN的训练。

综上，QWGRUNN引入量子位来表示权值和活性值(如式(8)～(10))并构造量子相移门(如式(13)和式(14))以实现权值量子位和活性值量子位的更新，同时QWGRUNN将历史信息扩展到隐藏层(如式(11)),在与隐藏层权值同步更新过程中获取时间序列的额外信息,优化了网络输出与隐层输入之间的匹配程度，因而改善了网络泛化能力，进而提高了所提出的性态退化趋势预测方法的预测精度；另外，采用与QWGRUNN结构相适应的动态学习参数(如式(15)～(18))来动态调节相关参数的更新，提高了网络收敛速度，进而提高了所提出的预测方法的计算效率。

2 性态退化趋势预测方法“小波降噪-排列熵→QWGRUNN”

所提出的基于QWGRUNN的性态退化预测方法实现流程,如图3所示。

图3 基于QWGRUNN的性态退化预测方法实现流程

Fig.3 The implementation process of the performance degradation trend prediction method based on QWGRUNN

该流程说明如下：①通过小波变换对原始性态退化数据进行降噪处理;②从降噪的信号中提取排列熵[14]信息构成性态退化指标集;③将该指标集输入到QWGRUNN完成网络的训练并用训练好的网络完成旋转机械性态退化趋势预测。

QWGRUNN训练过程如下

从排列熵集中取s={xl,xl+1,…,xm}作为训练集，将该指标集组装成QWGRUNN的输入Xtrain和输出Ytrain，表达式如下

其中，l为数据起始点，k(

将Xtrain和Ytrain分别作为QWGRUNN 的输入和输出，完成QWGRUNN的训练。

QWGRUNN预测过程如下：

本文采用排列熵算法提取旋转机械的性态退化指标，并用该指标来预测旋转机械性态退化趋势。排列熵是近年来新兴的一种研究自然界中不规则性以及非线性系统的算法，算法如下：

(1) 对离散时间序列(即小波降噪后的信号){x(i),i=1,2,…,N}进行相空间重构，得到重构矩阵R如下式

(19)

式中：k=N-(d-1)τ，j=1,2,…,k,d为嵌入维数，τ为延迟时间。

(2) 然后将重构矩阵R中的行向量R(j)=[x(j),x(j+τ),…,x(j+(d-1)τ)]按照升序排列，得到一组新的序列：S(g)={j1,j2,…,jd}，其中g=1,2,…,k≤m!。d维相空间映射不同的符号序列{j1,j2,…,jd}总共有d!，S(g)只是d!种符号序列中的一种。计算每一种符号序列出现的概率P1,P2,…,Pk。

(3) 最后可求出该时间序列(小波消噪后的信号)的排列熵如下式

(20)

排列熵计算简单、实时性高、能较好地反映时间序列数据微小的变化，用排列熵提取旋转机械性态退化指标，能有效检测和放大表征旋转机械性态退化的振动信号的动态过程，可以获取更加敏感的性态退化指标。

3 实例分析

使用Cincinnati大学实测的滚动轴承性态退化数据[15]进行验证，实验装置如图4所示。轴承实验台的转轴上安装四个航空用轴承，这些航空轴承为Rexnord公司制造的ZA-2115双列滚子轴承，交流电机通过带传动以2 000 r/min的恒定转速带动转轴旋转，实验过程中轴承被施加6 000 lbs的径向载荷。采样频率为20 kHz，采样长度为20 480个点，每隔10 min采集一次轴承的振动数据，轴承持续运行直到出现故障。在第二组实验中，实验台运行到第7天时1号轴承出现外圈故障而失效，本文采用该组实验中1号轴承采集到的性态退化数据验证本文所提方法。

图4 滚动轴承性态退化实验装置

取1号轴承失效前3天(即最后3天)共计432段的轴承性态退化的振动信号数据，通过小波变换对原始数据进行降噪处理，并从小波重构后的信号中提取排列熵构成性态退化指标集如图5所示。其中排列熵嵌入维数d=5，延迟时间τ=3。

由图5可知，在第97点处出现明显下降，表明该轴承处于退化初始阶段，从第152点开始出现明显不规则曲线，表明轴承出现了较大外圈缺陷，在330点以后不规则曲线密集程度明显增多，表明该轴承已出现严重故障，濒临失效。取第101点～330点轴承性态退化数据进行训练与预测，其中第101点～310点作为训练样本(即l=101,m=310)，最后20点(即第311点～330点)作为待预测样本，将这些排列熵指标集输入QWGRUNN分别用来训练和预测。

图5 1号轴承最后三天排列熵退化指标

Fig.5 Permutation entropy degradation index of No.1 bearing in the last 3 days

在QWGRUNN中，输入维数k=5,训练对数m-l-k+1=205,预测步数n=20,学习速率为α=0.1，动态收敛因子r=0.25，训练次数取1 000次，预测结果如图6所示。

图6 所提出的方法的预测曲线与实际曲线对比结果

Fig.6 The comparison results between prediction curve of the proposed method and actual curve

为了验证所提出的基于QWGRUNN的性态退化趋势预测方法的优越性，本文首先分别用BPNN、RNN、GRUNN以及LS-SVM所得到的性态退化预测精度与所提出的方法进行对比。这四种预测方法的训练次数及预测方式(即输入输出方式)同本文QWGRUNN保持一致。BPNN、RNN、GRUNN这三种神经网络学习速率均取α=0.1，LS-SVM选择RBF核函数，且核参数为σ=300，正规化参数γ=300。经BPNN、RNN、GRUNN以及LS-SVM预测得到的双列滚子轴承性态退化预测结果如图7所示。

为评价预测结果的准确性，采用均方根误差(RMSE)作为预测效果的评价指标，即

(21)

(a) BPNN预测值与实际值对比结果

(b) RNN预测值与实际值对比结果

(d) LS-SVM预测值与实际值对比图

Fig.7 The comparison results between prediction curve obtained by other four methods and actual curve

图7和表1结果表明：QWGRUNN的平均预测误差较小，且预测误差的波动范围也较小，说明该量子神经网络具有良好的泛化性能，将其用于典型旋转机械——双列滚子轴承的性态退化趋势预测，相较于BPNN、RNN、GRUNN及LS-SVM可以取得更好的预测精度。

然后，本文再用BPNN、RNN、GRUNN与QWGRUNN进行收敛速率对比，各神经网络参数设置保持不变，逼近误差E如式(15)，对比结果如图8所示。当迭代步数增加时，四种神经网络的逼近误差均不断下降，其中在迭代步数N=1 000时，BPNN的平均最小逼近误差为0.211 5，RNN的平均最小逼近误差为0.239 2，GRUNN的平均最小逼近误差为0.199 3，QWGRUNN的平均最小逼近误差仅为0.165 5。

表15种性态退化趋势预测方法的预测误差对比

Tab.1Thepredictionerrorcomparisonoffiveperformancedegradationtrendpredictionmethods

预测模型最小预测误差emin×10-2最大预测误差emax×10-2平均预测误差e×10-2QWGRUNN1.562.011.72BPNN1.792.632.05RNN1.762.311.96GRUNN1.722.221.83LS-SVM1.791.791.79

图8 四种神经网络逼近误差对比结果

Fig.8 The comparison results of approximation errors obtained by four neural networks

最后，再用BPNN、RNN、GRUNN以及LS-SVM进行性态退化趋势预测所耗用的计算时间与QWGRUNN所耗用的计算时间进行对比，其结果如图9所示。QWGRUNN消耗的时间仅为12.19 s，BPNN消耗的时间为21.44 s，RNN消耗的时间为15.24 s，GRUNN消耗的时间为17.28 s，LS-SVM消耗的时间为15.56 s。