基于时变状态转移隐半马尔科夫模型的寿命预测

何兆民+王少萍

收稿日期：20131224

基金项目：国家重点基础研究发展计划资助项目（2014CB046402）；国家自然科学基金资助项目（51175014）；国防基金资助项目（9140A17050113HK01233）

作者简介：何兆民（1985-），男，山东临沂人，北京航空航天大学博士研究生

通讯联系人，Email：he2811@163.com

摘要：隐半马尔科夫模型在进行系统状态估计及寿命预测时，其状态转移概率矩阵是固定值，得到的剩余寿命预测值呈阶梯状变化，与系统的实际剩余寿命值之间存在着较大的误差.针对上述问题，提出了具有时变状态转移概率矩阵的隐半马尔科夫模型，根据系统的3种典型退化状态分析，给出3种不同的状态转移系数.与初始状态转移矩阵相结合，得到随时间变化的状态转移矩阵.提高系统在当前健康状态下的剩余持续时间估计精度，最终得到更为准确的总体剩余寿命预测值.结果表明，基于时变状态转移概率矩阵的隐半马尔科夫模型相比传统的隐半马尔科夫模型，可显著提高剩余寿命预测的准确性.

关键词：时变状态转移概率；隐半马尔科夫模型；状态估计；寿命预测

中图分类号：TH322 文献标识码：A

Remaining Lifetime Prediction Based on Timevarying

State Transition Probabilities of Hidden SemiMarkov Model

HE Zhaomin，WANG Shaoping

（School of Automation Science and Electrical Engineering，Beijing Univ of Aeronautics and Astronautics， Beijing100191，China）

Abstract：In system state recognition and prognostics， state transition probability matrix of hidden semiMarkov model （HSMM） is constant and the predicted life value shows stepladder change， which is different from the actual residual life of the system. To solve this problem， an HSMM with time varying state transition probability matrix was proposed. Based on the analysis of three typical degradation states of the system， three different state transition coefficients were given. Combined with initial state transition matrix， a time varying state transition matrix was obtained， the estimation accuracy of residual life of the system under current healthy state was increased， and a more accurate overall residual life prediction value can be obtained. Experiment results show that， compared with traditional HSMM， HSMM based on time varying state transition probability matrix can increase the accuracy of residual life prediction and can be used in life prediction with high precision.

Key words：timevarying state transition probability；hidden semiMarkov model（HSMM）；state estimation；remaining lifetime prediction

视情维修（CBM）通过状态监测对系统进行故障预测，从而制定合理的维修策略，是解决传统定期维修中的“维修不足”和“维修过剩”的有效方法.其中，系统运行过程中的健康状态估计与剩余寿命预测是视情维修的关键，已成为一个备受国内外研究关注的热点.

目前，常用的剩余寿命预测技术可分为基于数学模型和基于数据驱动的寿命预测方法两大类[1-2].由于系统或系统的结构日趋复杂，获取其精确的数学模型越来越困难，使得基于数学模型的寿命预测技术发展比较缓慢.随着信号采集及处理技术的发展，基于数据驱动的寿命预测方法得到越来越多的关注.其中，隐马尔科夫模型（HMM）作为一种有效的随机数据建模与分析方法，在诸如语音信号处理[3]等领域得到了广泛应用.Carey等人[4]首次将HMM应用于系统故障诊断领域，通过分析机械系统的振动信号，实现对故障的诊断.HSMM是对HMM的扩展[5]，它通过引入状态驻留时间实现了对系统剩余寿命的估计，Dong等人[6-7]将HSMM应用于状态估计与寿命预测的建模中，利用柱塞泵在不同污染状态下的振动数据验证了HSMM在状态估计与寿命预测领域的可行性与有效性.

HSMM将系统退化描述成状态转移及状态持续的过程，但是该方法认为状态转移概率是固定的，用历史数据训练后得到的状态转移概率不会发生改变.实际上，随着系统工作时间不断累积，系统的状态转移概率是变化的，传统的HMM和HSMM均不能反映状态转移概率矩阵的时变特性，导致的结果是在利用HSMM进行寿命预测时，往往把目前状态的总体持续时间看成是该状态的剩余持续时间，造成严重的预测误差[8].

本文针对以上问题，在利用HSMM进行状态估计及寿命预测的基础上，引入时变状态转移概率的方法，给出了在系统的不同退化阶段中不同形式的状态转移系数，将系统历史数据信息融入到状态转移描述中，更准确地反映系统性能退化过程，实现更为准确的剩余寿命预测.最后通过柱塞泵全寿命振动数据验证该方法的可行性与优越性.

1HSMM的基本理论

HSMM是在HMM的基础上扩展而来的，它在HMM的基础上加入状态驻留时间的概念.HMM是一个双重随机过程，其中一个随机过程用来描述状态之间的转移关系，另一个随机过程用来描述状态与状态观测值之间的随机关系，因为HMM的实际状态不能直接观测到，只能通过振动、温度等与其相关的状态观测值来感知.

一个HMM由以下几个基本的元素组成[9]：

1）初始状态概率分布π={πi}=P（s1=i），1≤i≤N，其中N为系统可能的宏观健康状态数，s1为初始时刻系统的宏观健康状态.

2）状态转移概率矩阵A={aij}，其中aij=P（st+1=j|st=i），1≤i，j≤N，该矩阵表示的是系统使用过程中，各宏观健康状态之间的转移概率.

3）状态观测概率矩阵B={bik}，其中bik=P（vk|st=i），1≤i≤N，1≤k≤M.M为状态i下的观测数目，该矩阵表示的是在不同时刻观测到的用以表征宏观健康状态的观测值.

当π，A，B确定之后，就可以定义一个基本的HMM，用λ=（π，A，B）来表示.对HMM进行分析发现，通过状态转移概率矩阵A推导可以得到系统在某个状态i下持续d个单位观测时间的概率分布是pi（d）=ad-1ii（1-aii），这是典型的指数分布，与大多数实际系统的性能退化过程并不吻合.HSMM在HMM的基础上，通过对系统的状态持续时间进行定义，估计每个状态的状态持续时间，实现对剩余寿命的预测，具有更好的建模与分析能力.因此，引入第4个矩阵，状态驻留时间矩阵D={Pi（d）}，1≤i≤N.该矩阵表示系统在状态i下持续d个单位观测时间的概率.最终HSMM的模型记为λ=（π，A，B，D）.

与HMM在实际应用中需要解决3个基本问题一样，HSMM也需要解决3个基本问题[4]：

1）评价问题：已知一个观测序列O1O2O3…OT和模型λ=（π，A，B，D），计算该观测序列在给定模型下的概率P（O|λ），解决该问题的算法是前向后向算法.

2）解码问题：已知一个观测序列O1O2O3…OT和模型λ=（π，A，B，D），找到一个隐状态序列S1S2…SN，使其能最优地解释该观测序列，解决该问题的算法是Viterbi算法.

3）训练问题：已知一个观测序列O1O2O3…OT和初始模型λ0=（π，A，B，D），如何调整模型中的参数，使得P（O|λ）最大化，解决该问题的算法是BaumWelch算法.

2时变状态转移的HSMM模型

传统HSMM虽然引入了状态持续时间概率矩阵，在一定程度上改进了HMM的不足，可以进行系统健康状态估计及寿命预测，如图1所示.从图中可以明显看出传统HSMM将状态转移矩阵作为一个固定值进行剩余寿命预测，最终得到的预测结果基本上呈阶梯状，与实际的剩余寿命之间存在着较大的误差.因此，为了提高剩余寿命预测的精度，需要对传统的HSMM进行改进，根据系统性能退化过程引入状态转移系数，使状态转移矩阵变为随时间变化的时变矩阵，从而更加符合系统的实际性能退化过程.

2.1系统的状态退化规律

典型系统的性能退化曲线如图2所示，可划分为A，B，C 3个阶段，其中A阶段为平稳退化阶段，在该阶段中系统的健康性能指标变化比较平稳，基本保持不变；B阶段为均匀退化阶段，在该阶段中系统的健康性能指标发生均匀变化，系统进入早期故障阶段；C阶段为加速退化阶段，在该阶段中系统的健康性能指标急剧恶化，系统从早期故障快速发展到失效.

传统的HSMM中，利用BaumWelch算法对系统状态监测数据进行训练后，可以得到状态转移概率矩阵A，该矩阵是一个固定矩阵，即系统在不同时刻的状态转移概率并不发生变化.但是从图2中可以看出，系统实际运行过程中，随着在当前健康状态驻留时间的增长，继续停留在当前状态的状态转移概率aii会减小，相应的转移至其他状态的概率aij会增大.而且对实际历史数据的分析发现，系统在不同健康状态时，状态转移概率的变化情况也并不一致.因此，在传统的HSMM基础上，考虑引入状态转移系数，将固定状态转移矩阵A转变为随时间变化的时变状态转移矩阵A（t）.

2.2时变状态转移的HSMM模型

系统从开始使用到最终失效的过程中，一般会经历平稳退化、均匀退化、加速退化等3个阶段.3个阶段中系统的状态转移概率随时间发展的变化趋势是不一致的，通常可分为3种形式，分别对应系统的3个退化阶段.下面针对3种形式的时变状态转移矩阵进行分析.

1）平稳退化的状态概率描述.在平稳退化阶段，即图2中的A阶段，状态转移概率随时间的变化是固定的，即

aii（t）-aii（t+Δt）=θ1. （1）

式中：θ1为常数且θ1≥0；Δt为两次观测时刻之间的固定间隔.因为，∑Nj=iaij（t）=1，所以变量θ1需要分配至aij（t+Δt），根据假设，下一观测时刻系统的状态转移概率为：

aii（t+Δt）=aii（t）-θ1，

aij（t+Δt）=aij（t）+θ1aij（t）∑Nj=i+1aij（t）. （2）

根据式（2）沿着时间往回推导，可以得到当前时刻的状态转移概率与刚进入该健康状态时状态转移概率之间的关系表达式：

aii（t=kΔt）=aii（t=0）-kθ1，

aij（t=kΔt）=aij（t=0）+kθ1aij（t=0）∑Nj=i+1aij（t=0）.（3）

2）均匀退化的状态概率描述.在均匀退化阶段，即图2中的B阶段，状态转移概率随时间的变化是线性增加的，即

aii（t）-aii（t+Δt）aii（t）=θ2.（4）

式中：θ2为常数且θ2≥0.根据假设，下一观测时刻系统的状态转移概率为：

aii（t+Δt）=（1-θ2）aii（t），

aij（t+Δt）=aij（t）+θ2aii（t）aij（t）∑Nj=i+1aij（t）. （5）

根据式（5）沿着时间往回推导，可以得到当前时刻的状态转移概率与刚进入该健康状态时状态转移概率之间的关系表达式：

aii（t=kΔt）=（1-θ2）kaii（t=0），

aij（t=kΔt）=aij（t=0）+

θ2aii（t=0）aij（t=0）∑Nj=i+1aij（t）∑Nj=1（1-θ2）k-1. （6）

3）加速退化的状态概率描述.在加速退化阶段，即图2中的C阶段，状态转移概率随时间的变化是按指数形式变化的，即

aii（t+Δt）aii（t）=aθ3ii（t）. （7）

式中：θ3为常数且θ3≥0.根据假设，则下一观测时刻系统的状态转移概率为：

aii（t+Δt）=aii（t）（1+θ3），

aij（t+Δt）=aij（t）+

aii（t）-aii（t+Δt）aij（t）∑Nj=i+1aij（t）. （8）

根据式（8）沿着时间往回推导，可以得到当前时刻的状态转移概率与刚进入该健康状态时状态转移概率之间的关系表达式：

aii（t=kΔt）=aii（t=0）1+θ3k，

aij（t=kΔt）=aij（t=0）+

aij（t=0）-aii（t=0）1+θ3kaij（t=0）∑Nj=i+1aij（t=0）. （9）

初始状态转移概率矩阵A0通过训练历史数据获得.实际情况下，系统运转过程中如果不对其进行维修，其性能是随时间逐渐退化的，只会转入更差的健康状态，因此，当1≤i

A0=a11a12…a1N

0a22…a2N

00…aNN.（10）

将式（3），（6），（9）分别与式（10）结合可以得到不同退化阶段的时变状态转移概率矩阵，限于篇幅原因，只给出了加速退化阶段中，经历时刻t=kΔt后的状态转移矩阵为：

AkΔt=

a11（t=0）（1+θ3）ka12（t=0）+a12（t=0）-a11（t=0）（1+θ3）ka12（t=0）∑Nj=i+1a12（t=0）…a1N（t=0）+a1N（t=0）-a11（t=0）（1+θ3）ka1N（t=0）∑Nj=i+1a1N（t=0）

0a22（t=0）（1+θ3）k…a2N（t=0）+a2N（t=0）-a11（t=0）（1+θ3）ka2N（t=0）∑Nj=i+1a2N（t=0）

00…aNN（t=0）（1+θ3）k.

（11）

利用EM算法[10]计算出状态转移系数的值之后，就可以计算3种退化阶段的状态转移概率，通过比较系统停留在当前状态的概率atii与转移至其他状态的概率atij（1≤i≠j≤N）的大小，当atii

通过引入针对系统不同退化阶段的状态转移系数θ1，θ2，θ3，可以得到如式（11）所示的状态转移矩阵，该状态转移矩阵是随时间变化的，结合传统的HSMM可以计算得到系统在当前健康状态下的剩余寿命，该剩余寿命预测值是随时间变化的，可以有效提高剩余寿命预测的精度.

3基于时变状态转移HSMM的寿命预测过程

系统从投入使用到最终失效的过程中，会经历多个健康状态，其剩余使用寿命等于系统停留在当前状态的时间与在后续各个状态的持续时间之和.利用全寿命历史数据训练得到的HSMM，可以得到系统在每个状态持续时间的均值和方差.

系统在各个健康状态的持续时间服从高斯分布，利用改进的前向后向算法[11]可以得到状态持续时间的均值和方差：

μ（i）=∑Tt=1∑Did=1χt（i，d）d∑Tt=1∑Did=1χt（i，d）； （12）

σ（i）=∑Tt=1∑Did=1χt（i，d）d2∑Tt=1∑Did=1χt（i，d）-μ（i）2.（13）

式中：χt（i，d）=1P（O|λ）αt（i）[∑N-1j=2j≠iaij（d）bj（O）βt（j）+aiN（d）βt（N，dN）]；Di为系统在状态i的持续时间；T为总的观测时间；αt（i）为前向变量，表示生成观测序列O1O2O3…Ot并且结束状态为i的概率；βt（j）为后向变量，表示生成观测序列OtOt+1Ot+2…OT并且结束状态为j的概率.

根据式（12）和式（13）可以得到系统在每个状态i的持续时间：

D（i）=μ（i）+ρσ2（i），（14）

ρ=（T-∑Ni=1μ（i））/∑Ni=1σ2（i）. （15）

从式（12）和式（13）中可以看出，状态持续时间是随着状态转移矩阵的变化而变化的，改进的HSMM将传统HSMM中固定状态转移矩阵转变为时变状态转移矩阵，并根据在线监测数据不断更新状态转移概率，随着状态转移概率的变化系统在当前状态的持续时间也会发生变化，可以给出更加精确的剩余寿命预测值：

RULti=t（i）+∑Nj=i+1D（j）.（16）

式中：RULti为系统运行了t时刻后的剩余使用寿命；D（j）为系统在j状态的持续时间；t（i）为系统运行t时刻后在状态i下的驻留时间，它受时变状态转移概率的影响，是一个动态变化的数值，其计算公式为：

t（i）=D（i）[1-（1-atii）/∏toatij].（17）

综上所述，基于时变状态转移HSMM的寿命预测的流程如图3所示.

4实例分析

4.1实验装置

为验证本文方法，搭建了某型号柱塞泵磨损实验台，如图4所示.进行实验的柱塞泵柱塞数为9，额定转速为4 000 r/min，对应的轴频率为66.7 Hz，利用加速度传感器采集泵壳体的振动信号作为判断其磨损状态的原始特征信号，加速度传感器的采样频率为2 kHz.对采集的振动信号进行处理，提取其中的Hilbert包络谱边频相对能量和作为其健康状态表征，实验共进行了1 120 h.当运行至该时刻时，柱塞泵因为内部摩擦副的严重磨损引起壳体剧烈振动，实验结束.柱塞泵的性能退化曲线如图5所示，由图5可以看到，随着实验的进行，柱塞泵的性能退化曲线大体可以分为3个阶段，符合前文中的分析.

4.2结果分析

根据图3中的寿命预测流程，首先对得到的全寿命历史数据进行训练，得到柱塞泵3种健康状态的初始状态转移矩阵及各个健康状态持续时间的均值和方差，分别如表1和表2所示.

系统运行200 h后，对系统的状态转移概率和状态持续时间的均值及方差进行重估计.此时，系统处于平稳退化阶段，利用EM算法对θ1进行估计得到θ1=0.001 8，将其代入式（3），计算此时的状态转移概率，得到如表3所示的结果.

将表3中的数值代入式（12）和（13）中，得到此时各状态持续时间的均值和方差，如表4所示.

对比表1和表3及表2和表4可以发现，柱塞泵从平稳退化状态转移至平稳退化状态的概率随着时间的增长逐渐减小，而向其他退化状态转移的概率逐渐增大，这与实际情况是相吻合的.

为了对比基于时变状态转移HSMM与传统HSMM寿命预测方法的准确性，选取相对误差作为评价指标，其表达式为：

E=RULactual-RULpredictRULactual×100%.（18）

选取了10组不同工作时间的柱塞泵，利用本文提出的方法与传统HSMM寿命预测方法[12]得到的寿命预测结果进行比对，如表5所示.

从表5可以看出：①基于时变状态转移的HSMM与传统的HSMM方法都可以进行寿命预测，反映柱塞泵随着使用时间的增长，其寿命逐渐缩短；②本文提出的方法与传统HSMM方法相比较，相对误差更小，稳定在5%以内；③在同一退化状态下，本文提出的方法随着时间的增加，精度逐渐提高，这是因为随着在某一退化状态下收集的数据越多，对状态转移系数估计的精度就越高，得到的在该退化状态下的剩余持续时间就越准确；④本文提出的方法给出的寿命预测值相对保守，均小于实际剩余寿命值，这样可以保证系统的安全运行.

5结论

本文针对传统HSMM中将状态转移矩阵看成是一个固定矩阵，造成剩余寿命预测具有较大误差的问题，提出了利用时变状态转移矩阵来提高剩余寿命预测的精度.针对系统的不同退化阶段提出了3种不同的状态转移系数，根据实时监测数据动态估计状态转移系数，计算不同时刻的状态转移概率矩阵，实时更新系统在当前状态下的剩余寿命，结合传统HSMM给出的其余健康状态下的持续时间，可以提高寿命预测的准确率.最后，通过柱塞泵全寿命试验验证了该方法的有效性和准确性.

参考文献

[1]LEE Jay， WU Fangji， ZHAO Wenyu. Prognostics and health management design for rotary machinery systemsreviews， methodology and applications[J]. Mechanical Systems and Signal Processing， 2014，42（1/2）：314-334.

[2]杨宇，王欢欢，曾鸣，等.基于变量预测模型的模式识别方法在滚动轴承故障诊断中的应用[J].湖南大学学报：自然科学版， 2013，40（3）：36-40.

YANG Yu， WANG Huanhuan， ZENG Ming，et al.Application of pattern recognition approach based on VPMCD in roller bearing fault diagnosis [J]. Journal of Hunan University：Natural Sciences， 2013，40（3）：36-40.（In Chinese）

[3]MOORE M D，SAVIC M I.Speech reconstruction using a generalized HSMM （GHSMM） [J]. Digital Signal Processing，2004，14（1）：37-53.

[4]CAREY B，DAN M，TARIK A.Conditionbased maintenance of machines using hidden markov models[J]. Mechanical Systems and Signal Processing，2000，14（4）：597-612.

[5]YU Shunzheng. Hidden semimarkov models[J]. Artificial Intelligence，2010，174（2）：215-243.

[6]DONG Ming，HE David.A segmental hidden semiMarkov model （HSMM）based diagnostics and prognostics framework and methodology[J]. Mechanical Systems and Signal Processing， 2007， 21（5）：2248-2266.

[7]DONG Ming， HE David. Hidden semiMarkov model based methodology for multisensor equipment health diagnosis and prognosis[J]. European Journal of Operational Research， 2007， 178（3）：858-878.

[8]CHEN A， WU G S.Realtime health prognosis and dynamic preventive maintenance policy for equipment under aging Markovian deterioration[J]. International Journal of Production Research， 2007， 45（15）：3351-3379.

[9]RABINER L R.A tutorial on hidden Markov models and selected applications in speech recognition[C]//Proceedings of the IEEE.1989， 77：257-286.

[10]LEVINSON S E.Continuously variable duration hidden Markov models for automatic speech recognition[J].Computer Speech and Language，1986，1（1）：29-45.

[11]RUSSELL M J，MOORE R K.Explicit modeling of state occupancy in hidden Markov models for automatic speech recognition [C]// Acoustics， Speech and Signal Processing， IEEE International Conference on ICASSP '85. 1985，10：5-8.

[12]王宁，孙树栋，李淑敏.基于DDHSMM的设备运行状态识别与故障预测方法[J].计算机集成制造系统，2012，18（8）：1861-1868.

WANG Ning，SUN Shudong，LI Shumin.Equipment state recognition and fault prognostics method based on DDHSMM model[J]. Computer Integrated Manufacturing Systems，2012，18（8）：1861-1868. （In Chinese）

[7]DONG Ming， HE David. Hidden semiMarkov model based methodology for multisensor equipment health diagnosis and prognosis[J]. European Journal of Operational Research， 2007， 178（3）：858-878.

[8]CHEN A， WU G S.Realtime health prognosis and dynamic preventive maintenance policy for equipment under aging Markovian deterioration[J]. International Journal of Production Research， 2007， 45（15）：3351-3379.

[9]RABINER L R.A tutorial on hidden Markov models and selected applications in speech recognition[C]//Proceedings of the IEEE.1989， 77：257-286.

[10]LEVINSON S E.Continuously variable duration hidden Markov models for automatic speech recognition[J].Computer Speech and Language，1986，1（1）：29-45.

[11]RUSSELL M J，MOORE R K.Explicit modeling of state occupancy in hidden Markov models for automatic speech recognition [C]// Acoustics， Speech and Signal Processing， IEEE International Conference on ICASSP '85. 1985，10：5-8.

[12]王宁，孙树栋，李淑敏.基于DDHSMM的设备运行状态识别与故障预测方法[J].计算机集成制造系统，2012，18（8）：1861-1868.

WANG Ning，SUN Shudong，LI Shumin.Equipment state recognition and fault prognostics method based on DDHSMM model[J]. Computer Integrated Manufacturing Systems，2012，18（8）：1861-1868. （In Chinese）

[7]DONG Ming， HE David. Hidden semiMarkov model based methodology for multisensor equipment health diagnosis and prognosis[J]. European Journal of Operational Research， 2007， 178（3）：858-878.

[8]CHEN A， WU G S.Realtime health prognosis and dynamic preventive maintenance policy for equipment under aging Markovian deterioration[J]. International Journal of Production Research， 2007， 45（15）：3351-3379.

[9]RABINER L R.A tutorial on hidden Markov models and selected applications in speech recognition[C]//Proceedings of the IEEE.1989， 77：257-286.

[10]LEVINSON S E.Continuously variable duration hidden Markov models for automatic speech recognition[J].Computer Speech and Language，1986，1（1）：29-45.

[11]RUSSELL M J，MOORE R K.Explicit modeling of state occupancy in hidden Markov models for automatic speech recognition [C]// Acoustics， Speech and Signal Processing， IEEE International Conference on ICASSP '85. 1985，10：5-8.

[12]王宁，孙树栋，李淑敏.基于DDHSMM的设备运行状态识别与故障预测方法[J].计算机集成制造系统，2012，18（8）：1861-1868.

WANG Ning，SUN Shudong，LI Shumin.Equipment state recognition and fault prognostics method based on DDHSMM model[J]. Computer Integrated Manufacturing Systems，2012，18（8）：1861-1868. （In Chinese）