一种鲁棒半监督建模方法及其在化工过程故障检测中的应用

周乐，宋执环，侯北平，费正顺



一种鲁棒半监督建模方法及其在化工过程故障检测中的应用

周乐1，宋执环2，侯北平1，费正顺1

（1浙江科技学院自动化与电气工程学院，浙江杭州310024；2浙江大学控制科学与工程学院，浙江杭州 310027）

复杂化工过程的观测样本往往包含着测量噪声与少量的离群点数据，而这些受污染的数据会影响数据驱动的过程建模与故障检测方法的准确性。本文考虑了化工过程测量样本的这一实际情况，提出了一种鲁棒半监督PLVR模型（RSSPLVR），并利用核方法将其扩展为非线性的形式（K-RSSPLVR）。此类算法利用基于样本相似度的加权系数作为概率模型的先验参数，能有效消除离群点对建模的影响。利用加权后的建模样本，本文通过EM算法训练了RSSPLVR和K-RSSPLVR的模型参数，并提出了相应的故障检测算法。最后，通过TE过程仿真实验验证了所提出方法的有效性。

故障检测；鲁棒模型；半监督；过程控制；过程系统；主元分析

引 言

在现代流程工业中，随着集散控制系统（DCS）的应用和计算机技术的进步，工业现场采集和存储了大量的在线和离线测量数据，基于多元统计分析的过程监测（MSPM）技术得到了快速发展，它具有基于数据、降维、易于可视化与易于实际应用等优点，在化工、制药、半导体制造等多个工业领域得到了广泛应用[1-7]。其中，主成分分析（PCA）和偏最小二乘估计（PLS）及其扩展方法是MSPM技术的代表性模型[8-11]。基于PCA的过程监测技术通过检测过程变量的波动以有效监测生产过程是否发送了异常工况。然而，该类方法无法判别生产过程的波动是否影响了最终的产品质量。因此，当质量指标可测或部分可测时，基于PLS的过程监测技术能够提取过程变量和质量指标间的约束关系，并通过监测PLS潜隐空间的变化以提前预知过程故障是否导致了产品质量的波动[12]。

传统的PLS模型及其扩展方法均假设过程变量与质量指标的采样率一致。然而，大部分的质量指标变量，往往因为测量困难或需要离线化验等原因，其采样率很低，难以获得大量的建模数据。而与此同时，反应过程运行状态的过程变量，则通过在线监测设备以较高的采样率记录和存储。因此，利用实际生产过程中的过程变量（）和质量指标（）进行过程监测时，需要提取不同采样率数据间的相关关系。为解决此类问题，Facco等[13-14]利用降采样率方法对PLS模型进行了有效扩展，并将其应用于批次过程软测量研究。此外，半监督学习方法能够有效处理不同采样率数据间的特征提取问题，并已广泛应用于模式识别和机器学习领域[15-16]。Zhou等[17]提出了一种基于半监督的PLVR模型，以用于连续过程和间歇过程故障检测。Zhu等[18]将鲁棒半监督混合PPCA模型用于过程软测量。

此外，由于测量缺陷或者外部干扰等原因，建模样本往往包含着测量噪声，以及一些受外部突变、测量错误等造成的离群点。而一旦此类包含着粗大误差的数据被用于过程建模，则难以获取能够准确预测变量波动的过程模型。为处理包含离群点的过程建模问题，Stanimirova等[19]提出了一种基于球形PCA的鲁棒模型，Chen等[20]提出了基于学生t-分布的鲁棒PPCA模型，Zhu等[21]将鲁棒PPCA模型扩展为混合模型的形式。这些方法中都使用了EM算法，因此能够同时处理数据的缺失值和离群点问题，但却只对过程变量进行了特征提取，并未考虑过程变量与质量指标间的约束关系。

因此，针对复杂测量环境下的带离群点的过程变量与质量指标间的特征提取及故障检测问题，本文提出了一种基于相似度的鲁棒半监督PLVR模型（RSSPLVR）。在模型训练之前以每个样本点到其近邻点的平均欧氏距离为标准，计算训练样本与其近邻点的相似度指数并确定每个训练样本的加权系数。对于离群点数据，其加权系数相对正常数据较小，在建模时则提供了较少的有效信息。在进行模型训练时，每个样本的似然函数将乘以加权系数，以削弱离群点数据对建模的影响。通过上述方式，提供了一种对样本数据的“软”划分，即提高了建模的鲁棒性，也避免了因离群点误判而错误删除了有效建模数据。此外，考虑到实际工业过程中过程变量与质量指标间的非线性关系，本文进一步将鲁棒半监督PLVR模型扩展为非线性的形式。为处理变量间的非线性关系，文献[3]中提出了不同的非线性建模方法。其中，基于核投影的方法因其避免了复杂的非线性优化过程及良好的泛化能力而被广泛应用[22-24]。因此，本文提出了一种基于核投影的非线性鲁棒半监督PLVR模型（K-RSSPLVR）及其故障检测方法，通过将原始数据投影至高维特征空间中，数据间的非线性关系转化成了线性关系。在特征空间中，本文构建了基于核函数的2和SPE统计量以用于生产过程故障检测。最后，通过TE过程仿真平台验证本文提出故障检测方法的有效性。

1 半监督PLVR算法（SSPLVR）

作为一类概率半监督模型，SSPLVR能够有效提取采样率不同的过程变量（）与质量指标间（）的相关关系，其模型结构为[17]

=+(1)

=+(2)

其中，∈R×D和∈R×D分别为和的负载矩阵，潜隐变量∈R服从均值为0，方差为1的高斯分布。∈R和∈R为模型噪声，其先验分布也被定义为各向同性的高斯分布：～(0,2I)和～(0,2I)。此外，SSPLVR中的过程变量={1,2,…,}∈R×J与质量指标={1,2,…,}∈R×M的采样率不同，且的采样不规则且采样率低，因此<。在本文中，假设建模样本间相互独立，即样本顺序可调整为前个变量为被质量指标标签的过程变量，其潜隐变量由式（1）和式（2）共同计算，后-个变量为无标签的过程变量，其潜隐变量由式（1）计算。SSPLVR的模型结构如图1所示。文献[17]给出了SSPLVR详细的模型参数训练方法。

尽管SSPLVR算法能够有效利用不同采样率的输入输出数据进行过程建模，但却并未考虑建模数据的品质优劣。当建模样本中包含着少量离群点时，SSPLVR中隐变量的投影方向较之原模型将会产生较大程度的偏离，这是因为SSPLVR算法均假设变量间服从多变量高斯分布，而这些概率分布函数很容易受异常样本点的影响。因此，本文提出了一种鲁棒的SSPLVR算法，以削弱建模样本中包含的离群点对模型参数估计的影响。

2 鲁棒半监督PLVR算法(RSSPLVR)

2.1 RSSPLVR模型

在鲁棒半监督PLVR模型（RSSPLVR）中，所有的建模样本被假设为各自独立且服从不同的先验高斯分布，即每个样本的先验分布被赋予了不同的加权系数。对于正常样本其加权系数较大，对建模的贡献度也大。反之，离群点数据对建模的贡献度较小。考虑到离群点往往距离正常样本的欧式距离较远，本文采样了一种基于样本间平均欧氏距离的加权方法，在RSSPLVR模型训练前首先计算各建模样本的权重值。假设为观测变量对和的权重值，其被定义为

其中，

因此，所有建模数据的指数似然函数可被写为

在RSSPLVR模型中，完整的似然函数被分为两部分，且各变量的先验分布不同，由加权参数进行调节，以提高模型对离群点数据的鲁棒性。其中，模型参数{,,2,2}可由期望最大化（expectation-maximization）算法估计得到。

2.2 RSSPLVR模型参数估计

在期望最大化（EM）算法中，首先在E步利用当前模型参数估计潜隐变量的后验概率；之后，在M步分别针对各个参数求似然函数的一阶偏导数，以获取模型参数的更新值。最后，反复迭代E步和M步直至达到模型收敛条件。由于RSSPLVR的似然函数集被分成了两部分，因此E步中的潜隐变量的后验分布估计也需要按照样本特征分两部分计算。因此，潜隐变量的一阶距和二阶距分别为

(6)

(7)

在M步中，分别针对模型参数求取似然函数（4）的一阶s偏导数，可得各模型参数的更新值为

(9)

(11)

(12)

其中，trace(.)为矩阵的迹。当E步与M步的结果反复迭代，直至似然函数值的变化足够小时，模型参数训练过程结束。在RSSPLVR中，样本的加权参数被用于模型训练中。由式（5）～式（8）可知，每个潜隐变量的后验概率分布均与有关。因此，RSSPLVR通过加权参数的使用提高了模型的鲁棒性，削弱了离群点对建模准确度的影响。

3 基于K-RSSPLVR算法的故障检测

RSSPLVR有效解决了半监督算法对数据离群点的鲁棒性问题，在获取了准确的模型参数后，可建立相应的基于RSSPLVR的故障检测算法。然而，大部分化工过程的测量变量均为非线性相关，这对基于RSSPLVR的故障检测方法在化工过程中应用带来了一定的局限性。因此，本节进一步提出了一种基于核扩展方法的非线性算法（K-RSSPLVR），以使其能够适用于实际化工过程故障检测。

3.1 K-RSSPLVR模型

在K-RSSPLVR中，原始数据首先被投影到高维特征空间中，其在高维空间中的投影值()和()被假设与隐变量间存在线性相关关系。而K-RSSPLVR的模型参数估计可通过如下等价变换关系得到。根据式（9）的结果，模型参数的更新值可被写为

其中，、和分别被定义如下

(14)

根据式（17）的结果，可得如下等价变换关系

其中，=()()T,=()()T。同理可得模型参数的变换关系如下

(16)

其中，=()()T,=()()T。最后，将式（15）和式（17）的结果分别代入式（5）～式（8），可得K-RSSPLVR模型的E步为

(18)

(20)

(21)

其中，辅助变量和为

同理可得M步的更新结果为

(23)

3.2 基于K-RSSPLVR的故障检测

在K-RSSPLVR模型构建后，两个常用的过程统计量2和SPE可被用于建立基于K-RSSPLVR的故障检测方法，当测试样本test被采集后，其潜隐变量的期望值为

(25)

其中，var-1(test|test)为潜隐变量的方差。2统计量的控制限计算方法可参照文献[8]，当测试样本的2统计量超过了相应的控制限，则认为发生了过程故障。

此外，基于模型的预测误差，还可构建SPE统计量以反应模型残差空间的变化。由于K-RSSPLVR可以同时预测过程变量和质量指标的变化，因此本文分别构建了SPE和SPE统计量，其分别为

(27)

同理可得SPE的值为

(29)

其中基于质量指标的预测误差构建的SPE统计量能够反映过程故障是否影响了最终的质量指标，而基于过程变量的预测误差构建的SPE统计量则主要反应过程状态的波动。SPE统计量的控制限计算可参照文献[26]中的方法。

4 仿真实例

本节将通过Tennessee Eastman（TE）过程仿真实例来研究和验证K-RSSPLVR模型在化工过程建模和故障检测的有效性[27-28]。它包括连续搅拌式反应器、冷凝器、气液分离塔、压缩机和再沸器5个主要操作单元，其主要控制方案和工艺流程可参考文献[29-30]。TE过程一共包含了52个测量变量，其中有22个过程变量，19个质量变量（成分）和12个控制变量。本文选择了16个常见的过程变量，并选择了流体9的组分作为质量指标，各变量的详细介绍可参考文献[31]。为验证故障检测算法的有效性，TE过程还引入了21种常见的过程故障，其中16种为已知故障，5种为未知故障。这些故障中包括了阶跃故障、过程漂移和阀门黏滞等不同类型。所有的故障数据均包含了960个采样点，其中，过程故障在第161个采样点引入。本文选取了960个正常工况下的样本作为建模数据，其中，过程变量的采样周期为3 min，质量指标的采样周期为6 min，即利用了960个过程变量和480个质量变量构建了K-RSSPLVR。此外，为了模拟建模数据中包含离群点的情况，2%是正常数据幅值2倍的离群点被随机添加在了建模数据中。同时，本文利用同一批包含少量离群点的建模数据构建了KPLVR模型和RKPLVR模型，以比较不同模型的建模与故障检测效果。由于KPLVR和RKPLVR均需要一一对应的过程变量和质量变量数据，因此本文采用了降采样率的方法，即选取了480个有质量变量标签的过程变量，以保障与的采样率一致。此外，K-RSSPLVR、KPLVR和RKPLVR均为基于核方法的非线性模型，其潜隐变量个数选择方法可参考文献[22]。本文中，这3种模型的潜隐变量个数均选择为20，调节参数均为100，统计量置信度均为0.99。

首先，本文检验了不同模型在化工过程建模时的准确度。利用另一组正常的样本的作为测试数据，基于以上3种算法的故障误报率如表1所示。从结果可以看出，由于KPLVR模型并未考虑数据离群点对过程建模的影响。

表1 TE过程不同模型下的故障误报率

当数据中仅存在少量离群点时，已严重影响了KPLVR模型潜隐变量的后验分布，这也导致基于KPLVR的过程模型与实际工况严重失配，对于正常测试样本的故障误报率异常（2和SPE均为1）。因此，在此种情况下，已经无法利用KPLVR对TE过程进行故障检测。相比之下，基于K-RSSPLVR和RKPLVR模型的3种统计量的故障漏报率均较低，这也说明鲁棒模型均能有效消除少量离群点对过程建模的影响，从而获得对生产过程描述较为准确的过程模型。

接下来，本文比较了基于K-RSSPLVR和RKPLVR故障检测算法的有效性。选取TE过程所有的21种故障进行测试，过程故障数据均在第161个采样点引入。分别在基于两种模型的故障检测漏报率如表2所示，其中检测效果更好的统计量被加粗标注。由结果可知，对于大部分故障，基于K-RSSPLVR的统计量（尤其是2和SPE）的检测结果都优于相应的基于RKPLVR的统计量。其中，本文选取了有代表性的故障10的检测结果如图2所示。

综合以上仿真实验结果可以得出，本文提出的基于K-RSSPLVR不仅对离群点数据具有一定的鲁棒性，其故障检测能力也得到了一定的提升。这是因为K-RSSPLVR是一种半监督学习模型，与有监督模型（RKPLVR）进行比较，半监督模型利用了更多的过程数据（无标签数据），而无须限制过程变量与质量变量一一对应。而当大量的无标签数据作为建模样本被用于模型训练时，由于半监督学习模型的潜隐变量提取了过程变量与质量变量的相关性，因此这些无标签数据在建模时提升了模型的预测能力，能够有效改善由于质量样本较少而导致的预测误差过大的问题。因此，基于K-RSSPLVR的故障检测算法一方面增强了建模的鲁棒性，同时减少了故障的漏检率。

表2 TE过程基于K-RSSPLVR和RKPLVR的故障漏报率

5 结 论

本文提出了一种基于RSSPLVR和K-RSSPLVR的故障检测算法。在鲁棒半监督模型中，样本加权系数（）作为概率模型的先验参数被用于衡量建模样本的可靠性。对于离群点数据，其样本加权值增加了测量噪声的不确定度，而降低了其对于建模的贡献度。利用加权后的建模样本，本文通过EM算法训练了RSSPLVR的模型参数。此外，针对非线性化工过程，本文进一步将线性RSSPLVR扩展为非线性模型，并提出了基于K-RSSPLVR的故障检测算法。最后，通过TE过程仿真实验验证了所提出的此类鲁棒半监督模型在化工过程建模与故障检测中的有效性。

References

[1] QIN S J. Survey on data-driven industrial process monitoring and diagnosis[J]. Annual Reviews in Control, 2012, 36(2): 220-234.

[2] 刘强, 柴天佑, 秦泗钊，等. 基于数据和知识的工业过程监视及故障诊断综述[J]. 控制与决策, 2010, 25(6): 801-807. LIU Q, CHAI T Y, QIN S J,. Progress of data-driven and knowledge-driven process monitoring and fault diagnosis for industry process[J]. Control and Decision, 2010, 25(6): 801-807.

[3] GE Z, SONG Z，GAO F R. Review of recent research on data-based process monitoring[J]. Industrial & Engineering Chemistry Research, 2013, 52(10): 3543-3562.

[4] YIN S, DING S X, XIE X,. A review on basic data-driven approaches for industrial process monitoring[J]. IEEE Transactions on Industrial Electronics, 2014, 61(11): 6418-6428.

[5] LI W, YUE H H, VALLE-CERVANTES S,. Recursive PCA for adaptive process monitoring[J]. Journal of Process Control, 2000, 10(5): 471-486.

[6] YIN S, DING S X, HAGHANI A,. A comparison study of basic data-driven fault diagnosis and process monitoring methods on the benchmark Tennessee Eastman process[J]. Journal of Process Control, 2012, 22(9): 1567-1581.

[7] WOODALL W H，MONTGOMERY D C. Some current directions in the theory and application of statistical process monitoring[J]. Journal of Quality Technology, 2014, 46(1): 78.

[8] QIN S J. Statistical process monitoring: basics and beyond[J]. Journal of Chemometrics, 2003, 17(8/9): 480-502.

[9] MACGREGOR J F, JAECKLE C, KIPARISSIDES C,. Process monitoring and diagnosis by multiblock PLS methods[J]. AIChE Journal, 1994, 40(5): 826-838.

[10] CHEN J, LIU K C. On-line batch process monitoring using dynamic PCA and dynamic PLS models[J]. Chemical Engineering Science, 2002, 57(1): 63-75.

[11] LI G, QIN S J, ZHOU D. Geometric properties of partial least squares for process monitoring[J]. Automatica, 2010, 46(1): 204-210.

[12] ZHOU D, LI G, QIN S J. Total projection to latent structures for process monitoring[J]. AIChE Journal, 2010, 56(1): 168-178.

[13] FACCO P, DOPLICHER F, BEZZO F,. Moving average PLS soft sensor for online product quality estimation in an industrial batch polymerization process[J]. Journal of Process Control, 2009, 19(3): 520-529.

[14] MARJANOVIC O, LENNOX B, SANDOZ D,. Real-time monitoring of an industrial batch process[J]. Computers & Chemical Engineering, 2006, 30(10/11/12): 1476-1481.

[15] ZHU X, GHAHRAMANI Z, LAFFERTY J. Semi-Supervised Learning Using Gaussian Fields and Harmonic Functions[M]. ICML, 2003.

[16] MURPHY K P. Machine Learning: A Probabilistic Perspective[M]. The MIT Press , 2012.

[17] ZHOU L, CHEN J, SONG Z,. Semi-supervised PLVR models for process monitoring with unequal sample sizes of process variables and quality variables[J]. Journal of Process Control, 2015, 26: 1-16.

[18] ZHU J, GE Z, SONG Z. Robust semi-supervised mixture probabilistic principal component regression model development and application to soft sensors[J]. Journal of Process Control, 2015, 32: 25-37.

[19] STANIMIROVA I, DASZYKOWSKI M, WALCZAK B. Dealing with missing values and outliers in principal component analysis[J]. Talanta, 2007, 72(1): 172-178.

[20] CHEN T, MARTIN E, MONTAGUE G. Robust probabilistic PCA with missing data and contribution analysis for outlier detection[J]. Computational Statistics & Data Analysis, 2009, 53(10): 3706-3716.

[21] ZHU J, GE Z, SONG Z. Robust modeling of mixture probabilistic principal component analysis and process monitoring application[J]. AIChE Journal, 2014, 60(6): 2143-2157.

[22] LEE J M, YOO C, CHOI S W,. Nonlinear process monitoring using kernel principal component analysis[J]. Chemical Engineering Science, 2004, 59(1): 223-23

[23] CHO J H, LEE J M, CHOI S W,. Fault identification for process monitoring using kernel principal component analysis[J]. Chemical Engineering Science, 2005, 60(1): 279-288.

[24] HU Y, MA H, SHI H. Enhanced batch process monitoring using just-in-time-learning based kernel partial least squares[J]. Chemometrics and Intelligent Laboratory Systems, 2013, 123: 15-27.

[25] YUAN X, YE L, BAO L,Nonlinear feature extraction for soft sensor modeling based on weighted probabilistic PCA[J]. Chemometrics and Intelligent Laboratory Systems, 2015, 147: 167-175.

[26] BOX G E. Some theorems on quadratic forms applied in the study of analysis of variance problems(Ⅰ): Effect of inequality of variance in the one-way classification[J]. The Annals of Mathematical Statistics, 1954, 25(2): 290-302.

[27] KANO M, NAGAO K, HASEBE S,. Comparison of multivariate statistical process monitoring methods with applications to the Eastman challenge problem[J]. Computers & Chemical Engineering, 2002, 26(2): 161-174.

[28] KU W, STORER R H, GEORGAKIS C. Disturbance detection and isolation by dynamic principal component analysis[J]. Chemometrics and Intelligent Laboratory Systems, 1995, 30(1): 179-196.

[29] LYMAN P R, GEORGAKIS C. Plant-wide control of the Tennessee Eastman problem[J]. Computers & Chemical Engineering, 1995, 19(3): 321-331.

[30] DOWNS J J, VOGEL E F. A plant-wide industrial process control problem[J]. Computers & Chemical Engineering, 1993, 17(3): 245-255.

[31] CHIANG L H, BRAATZ R D, RUSSELL E L. Fault Detection and Diagnosis in Industrial Systems[M]. Springer, 2001.

Robust semi-supervised modelling method and its application to fault detection in chemical processes

ZHOU Le1, SONG Zhihuan2, HOU Beiping1, FEI Zhengshun1

(1School of Automation and Electrical Engineering, Zhejiang University of Science and Technology, Hangzhou 310024,Zhejiang, China;2College of Control Science and Engineering, Zhejiang University, Hangzhou 310027, Zhejiang, China)

In most complex chemical processes, measurements are often collected with noises and some outliers. These contaminated data would have negative effect on the accuracy of data-based process modelling and fault detection. A new robust semi-supervised PLVR model (RSSPLVR) was proposed by consideration of the real measuring environment in chemical processes and extended to a nonlinear model K-RSSPLVR with a kernel methodology. In both RSSPLVR and K-RSSPLVR, a weighted coefficient based on sample similarity among all observations was used as prior checking parameter of probability model to effectively eliminate influence of outliers on modelling. Model parameter training was accomplished by analysis of the weighted dataset with EM algorithm and a fault detection scheme was developed. Finally, TE process simulation demonstrated effectiveness of the proposed modelling methods.

fault detection; robust model; semi-supervised learning; process control; process systems; principal component analysis

10.11949/j.issn.0438-1157.20161205

TP 277

A

0438—1157（2017）03—1109—07

国家自然科学基金项目(61603342)；浙江省自然科学基金项目（LQ15F030006）；浙江省教育厅项目(Y201636867)。

2016-08-30收到初稿，2016-12-03收到修改稿。

联系人及第一作者：周乐(1987—)，男，博士，讲师。

2016-08-30.

ZHOU Le, zhoule@zust.edu.cn

supported by the National Natural Science Foundation of China (61603342), the Natural Science Foundation of Zhejiang Province (LQ15F030006) and the Educational Commission Research Program of Zhejiang Province(Y201636867).