基于选择性核学习的在线软测量建模方法∗

赵成斌 陈 鹏 梁 洁

（中国人民解放军91206部队 青岛 266108）

1 引言

软测量技术是估计工业过程中难测变量的有效方法［1～2］。在众多非线性建模方法中，以最小二乘支持向量机（Least Squares Support Vector Ma⁃chine，LSSVM）为代表的核学习方法，由于具有良好的有限样本建模能力，且仅需求解线性方程组，较支持向量机有效提高了算法效率，因此获得了广泛的应用［3～5］。然而，由于工业过程的时变特性以及周围的环境因素，离线建立的模型性能逐渐恶化以致不能满足要求［6］。因此，获取到新样本后，常采用递推的方法在线更新软测量模型。递推方法通常包括两个步骤，即前向学习和后向学习。前向学习的方法主要有相关性方法（ALD）［7］、滑动时间窗法［8］及预报误差限法（PEB）［9］等，其中预报误差限法由于同时考虑过程的状态变化及变量间的映射关系，能够有效提高模型的稀疏性［10］。在后向学习中，亦常采用滑动时间窗法，删除最古老的样本，然而最旧的样本不一定不包含有用信息，因此这一做法未必合理；文献［11］采用快速留一交叉验证法（FLOO-CV）删除对模型整体影响最小的样本，但其局部预报能力不强，且易受到离群点的影响。文献［12］采用一种基于样本间欧式距离和夹角的相似度准则删除冗余样本，但该方法仅考虑样本的输入信息，忽略了样本的输出信息，因此该方法可能导致选择不合理的相似样本。

为解决上述问题，在后向核学习中，本文采用一种充分利用样本输入输出信息的相似度准则淘汰冗余样本。此外，由于LSSVM建立的是高维空间输入与输出间的映射关系，为保持空间一致性，本文推导出一种在高维空间计算相似度的方法。最后，采用某石化公司聚丙烯熔融指数的实际工业数据验证本文所建软测量模型的泛化能力。

2 LSSVM算法及其在线更新方法

2.1 LSSMV算法

LSSVM是标准支持向量机（Support Vector Ma⁃chine，SVM）的改进，它依然遵循结构风险最小化原则，但采用最小二乘线性系统作为损失函数，将求解二次规划问题转化为求解线性方程组，大大降低了计算复杂度。Suykens等提出的LSSVM［13］方法的数学描述为

其中γ为正则化参数，最小值问题（1）的Lagrange函数为

其中 α=[α1，α2，…，αN]T，为拉格朗日乘子。由式（2）的平衡条件可知：

定义核函数 K(xi，xj)=＜ϕ(xi，xj)＞ 代替非线性映射，原优化问题可转化为线性方程组：

通过该线性方程组可确定回归函数的参数α，b，从而得到回归函数：

2.2 LSSMV模型的在线更新方法

由式（4）可知，在建立LSSVM模型时，需要进行矩阵的求逆运算，在样本较多时计算量非常大，难以满足在线更新模型的实时性要求，因此，本文采用递推的方式更新模型。

即求解LS-SVM的模型参数关键在于求。将新样本(xN+1，yN+1)加入到模型中后，可得

根据分块矩阵求逆公式，可得

上述推导过程详见文献［14］。

当进行后向递减学习，删除LS-SVM模型中的某个支持向量(xk，yk)时，更新模型参数需要由获取。其更新公式为［15］

式中，分别代表和的相应位置的元素。

由式（8～9）易知，无论是前向学习还是后向学习，LSSVM的模型参数能够以递推的方式在线更新，而不需要重复矩阵求逆的运算，运算复杂度由原来的O(N3)减至O(N2)。

3 基于选择性核学习的在线软测量建模方法

3.1 特征空间的相似度计算

在进行核学习时，常采基于样本间欧氏距离和夹角的相似度准则衡量其相似性。样本(xi，yi)，(xj，yj)在这种准则下的相似度可以表示为

其中 d(xi，xj)=||xi-xj||2代表 xi，xj的欧氏距离；代表 xi，xj的夹角，通常需要对 xi，xj进行中心化；0≤αx≤1，用于权衡距离和角度的关系。这种相似度准则将样本输出所包含的信息直接丢弃，导致信息不完全利用，可能会造成错误的相似样本选择。此外，由于LSSVM建立高维特征空间的输入与输出的映射关系，即LSS⁃VM：ϕ(X)→Y ，而式（10）所示的相似度在原始空间计算。样本在原始空间和特征空间的相似度未必一致，因此，为充分利用信息，并保持空间的一致性，本文在后向核学习中提出如下的相似度计算方法：

式中 ρ代表输出信息的权重；S(yi，yj)代表输出空间的相似性，可直接按式（10）计算；[S(ϕ(xi)，ϕ(xj))]代表高维空间输入信息的相似性，中心化后的计算公式为

其中 d(ϕ(xi)，ϕ(xj))和 cosβ(ϕ(xi)，ϕ(xj)的计算公式，本文推导如下：

式中ϕ(xl)代表特征空间中输入数据的均值。

3.2 基于选择性核学习的在线建模方法步骤

综上所述，本文提出的选择性在线建模方法包括两个部分，即前向选择性增加样本及后向选择性删除样本，其步骤如图1所示。

由于过程运行于稳态时，过程变量处于工作点附近，其变化并不是很大，若每次获取到新样本后都更新模型，将放大干扰及测量噪声的影响，导致模型泛化能力下降，因此，根据“克莱姆剃刀”法则，仅当模型性能下降时更新模型。本文在获取到新样本后，首先采用PEB准则对模型性能进行评价，仅当模型对新样本的预报误差e*大于设定阈值eˉ时，按照式（8）进行前向学习，将新样本纳入到模型中。

前向学习后，为保持模型样本数量，需要进行后向学习，删除冗余样本。具体做法是：首先按式（11）计算新样本与模型中每个旧样本的相似度S1，…，SL，然后找出相似度最小的样本的序号l，并根据式（9）进行后向学习，删除样本（xl，yl），通过递推的方式更新模型参数。

在后向学习中，相似度越小，说明样本偏离当前工作状态的程度越大。因此，将具有最小相似度的样本删除，可以有效保留与当前工况最相似的信息，从而提高模型对后续未知输出的样本的预报能力。

4 应用研究

聚丙烯（Polypropylene，PP）是一种性能良好的热塑性材料，熔融指数（Melt Index，MI）是衡量聚丙烯产品质量的关键指标之一。目前MI主要靠人工离线化验分析获得，滞后较大，难以满足实时质量控制和先进控制的要求。

从某公司Spheripol-II液相本体双环管聚丙烯反应装置DCS系统及化验车间获取有关MI的生产数据（包含7个辅助变量），经数据预处理后，共获得280组数据，前150组数据用于离线建立LSSVM模型，后130组用于检验模型的在线学习效果。采用以下几种LSSVM方法建立MI的软测量模型：

LSSVM-①：无在线更新的LSSVM；

LSSVM-②：滑动时间窗LSSVM；

LSSVM-③：递推LSSVM；

LSSVM-④：选择性后向学习，但采用式（10）删除冗余模型；

LSSVM-⑤：本文提出的方法。

上述几种LSSVM模型均采用FLOO-CV进行后向学习。LSSVM模型选择高斯核函数，即以最小化预报均方根误差RMSE为目标，通过粒子群优化（Particle Swarm Optimization，PSO）技术，设LSSVM的核参数σ=7.1，正则化参数 γ=195.6，αx=0.998，在计算输出信息的相似度时，由于仅有一个输出，所以仅采用距离信息；式（11）中，ρ=0.99。

为评价不同方法的性能，以均方根误差RMSE、相对均方根误差RRMSE、最大绝对误差MAE作为模型精度指标，以模型在线更新次数up⁃Num作为在线学习的效率指标，结果如表1所示。

表1 五种LSSVM模型的性能比较

从RMSE、RRMSE、MAE三列可以发现，无更新LSSVM（即LSSVM-1）的预报精度最低，这表明在线更新模型的必要性；递推LSSVM（LSSVM-2）虽然预报精度较高，但其模型在线更新频率亦高。对比LSSVM-3～LSSVM-5，可以发现，通过样本相似度法删除冗余样本，较滑动时间窗法可以明显降低预报误差，这是因为最旧的样本有可能包含当前工作状态的有用信息，时间窗法不加分辨地将其删除，而相似度法则可以有效地将这些样本保留。进一步，通过对比LSSVM-4和LSSVM-5，可以发现，本文提出的方法由于充分利用了输入和输出信息，并考虑到空间的一致性，因此较单纯在原始空间使用输入信息的相似度准则能够有效判别冗余样本，从而提高模型的预报能力。此外，最后一列可以看出，由于在前向学习中采用了PEB准则选择性的前向学习，因此，本文提出的方法能够在提高模型性能的同时，有效降低在线更新频率。

为直观显示本文所提方法对熔融指数的预报能力，将其预报结果与误差分别绘制成图2和图3。

从图2可以看出，本文所提出的方法能够很好地跟踪聚丙烯熔融指数的变化，对各工况样本的估计没有特别大的误差，其原因前文已经分析过了，不再赘述。而从图3中易知，较大的预报误差大多出现在工况改变处，工况平稳后，模型的估计精度基本满足要求，说明模型有较好的适应工况改变的能力。

5 结语

在两阶段核学习建模方法中，为了在后向学习中更准确地删除冗余样本，本文提出一种同时利用样本输入输出信息的相似度准则。同时，为了将空间一致性考虑在内，本文推导出一种在高维特征空间计算相似度的公式。通过对聚丙烯熔融指数的软测量建模研究表明，本文提出的方法较低维空间的仅利用输入信息的相似度准则，能够更合理地判别冗余样本，从而有效地提高了模型的预报精度。

［1］Petr Kadleca，Bogdan Gabrys，Sibylle Strandt.Data-driv⁃en Soft Sensors in the process industry［J］.Computers and Chemical Engineering，2009，33（4）：795-814.

［2］俞金寿，刘爱伦，张克进.软测量技术及其在石油化工中的应用［M］.北京：化学工业出版社，2000：1-10.

［3］Gu Yanping，Zhao Wenjie，Zhansong Wu.Online adap⁃tive least squares support vector machine and its applica⁃tion in utility boiler combustion optimization systems［J］.Journal of Process Control，2011，21（7）：1040-1048.

［4］ Cui Wentong，Yan Xuefeng.Adaptive weighted least square support vector machine regression integrated with outlier detection and its application in QSAR［J］.Chemo⁃metrics and Intelligent Laboratory System，2009，98（2）：130-135.

［5］Chen Kun，Ji Jun，Wang Haiqing，Song Zhihuan.Adap⁃tive local kernel-based learning for soft sensor modeling of nonlinear processes［J］.Chemical Engineering Re⁃search and Design，2011，89（10）：2117-2124.

［6］Petr Kadlec，Ratko Grbic，Bogdan Gabrys.Review of ad⁃aptation mechanisms for data-driven soft sensors［J］.Computers and Chemical Engineering［J］，2011，35（1）：1-24.

［7］Tang Jian，Chai Tianyou，Yu Wen，Zhao Lijie，Modified recursive partial least squares algorithm with application to modeling parameters of ball mill load［C］//Proceeding of the 30thChinese Control Conference，China，Yantai，2011：5277-5282.

［8］Wang Haiqing，Li Ping，Gao Furong，Song Zhihuan，etc.Kernel classifier with adaptive structure and fixed memory for process diagnosis［J］.AIChE，2006，52（10）：3515-3531.

［9］Liu Yi，Wang Haiqing，Yu Jiang，et al.Selective recur⁃sive kernel learning for online identification of nonlinear systems with NARX form［J］.Journal of Process Control，2010，1（20）：181-194.

［10］陈坤.在线核学习建模算法及其应用研究［D］.杭州：浙江大学，2011：27-28.

［11］Liu Yi，Hu Naiping，Wang Haiqing，et al.Soft Chemi⁃cal Analyzer Development Using Adaptive Least Squares Support Vector Regression with Selective Pruning and Variable Moving Window Size［J］.Industrial and Engi⁃neering Chemistry Research，2009，48：5731-5741

［12］王平，田华阁，田学民，黄德先.一种基于增量式SVR学习的在线自适应建模方法［J］.化工学报，2010，61（8）：2040-2045.

［13］Johan A.K.Suykens，Tony Van Gestel，Jos De Braban⁃ter，etc.Least Squares Support Vector Machines［D］.Singapore：World Scientific Press，2002：71-73.

［14］Liu Jianghua，Chen Jiapin，Jiang Shan，Cheng Junshi.Online LS-SVM for function estimation and classifica⁃tion［J］.Journal of University of Science and Technolo⁃gy Beijing，2003，10（5）：73-77.

［15］Gene H.Golub，Charles F.Van Load.Matrix Computa⁃tion［M］.Baltimore and London：The Johns Hopkins University Press，1996：24-33.