基于混合核函数的OLS软测量建模方法研究

巨 稳,田学民

(中国石油大学(华东)信息与控制工程学院,山东东营 257061)

基于混合核函数的OLS软测量建模方法研究

巨 稳,田学民

(中国石油大学(华东)信息与控制工程学院,山东东营 257061)

针对核建模方法中单一核函数不能准确描述数据的分布特性问题,提出一种基于混合核函数的正交最小二乘(OLS)算法并将其用于工业过程软测量建模。采用混合核函数代替基本OLS方法中的单一核函数,利用混合核函数兼具局部和全局核函数的性能,可以提高模型的泛化能力和非线性处理能力。核参数的选择对模型的影响较大,采用粒子群优化算法对核参数进行寻优。在工业聚丙烯熔融指数软测量模型中的应用结果表明,基于混合核函数OLS方法能够比PLS、基本OLS方法更准确地预测熔融指数的变化情况。

软测量;正交最小二乘;核函数;粒子群

0 引 言

随着现代工业过程的迅速发展,软测量技术在理论研究和实践应用中取得了广泛的成果。大多数工业过程都具有严重的非线性,非线性软测量建模方法能够有效地处理工业过程中的非线性,使模型具有较好的预测精度。目前,常用的非线性软测量建模方法有神经网络、KPCR、核PLS、支持向量机、正交最小二乘(OLS)等方法[1-2],这些方法本质上都是核建模方法。OLS是一种稀疏核建模方法,其优化目标包含了局部参数正则化(LR)和留一法训练均方误差(MSE),以该目标函数建立的OLS软测量模型具有稀疏性和较强的推广性能[34]。OLS方法通常采用单一高斯核函数来处理,不能准确描述数据的分布特性,具有一定的局限性,并且核参数是人为给定的。

针对上述问题,该文提出一种基于混合核函数的OLS软测量建模方法,并采用粒子群优化算法对核参数寻优。核函数可以分成局部核函数和全局核函数两类,不论采用局部或全局核函数,都不能准确描述数据的分布特性,采用两类核函数的结合能给模型带来较好的泛化能力,提高模型的性能[5]。采用该方法建立工业聚丙烯熔融指数的软测量模型。

1 OLS建模方法

1.1 OLS算法基本思想

OLS是一种稀疏核建模方法,该方法以模型的泛化性能作为优化目标,构建稀疏回归模型[6]。田华阁等[6]首次将OLS方法用于工业软测量建模,并取得了较好的效果。

已知 x=[x1,x2,…,xN]∈RN×M为系统的输入变量,y∈RN×1为系统的输出变量,e为噪声信号。采用OLS方法建立x和y之间的回归模型进行非线性辨识:

求解式(1)的参数β,可对式(3)所描述的优化目标进行求解:

式(3)本质上是最小化训练数据的均方误差(MS E),其结果为β=(φTφ)-1φTy。由于 φ∈N× N,当 N较大时,计算过程比较复杂,容易形成维数灾难。同时由于各列训练数据中相关性的存在, φTφ极有可能为病态矩阵,最终求解的模型参数出现过匹配和泛化能力低的现象。针对上述问题, OLS方法对φ进行正交化分解φ=WA。矩阵W和A的计算可以通过改进的 Gram-Schimt正交化方法来完成[7],最终结果如下:

式中 W∈RN×N;wi,wj∈RN×1为列向量,1≤i, j≤N。

则回归模型可表示:

式中 g——OLS模型需要优化求解的参数,且g=Aβ,g=[g1,g2,…,gN]T∈RN×1。

式(6)中,将W看做模型的基。由于建模数据中存在相关性,故仅需要一部分模型基即可建立稀疏模型,即从W中选择Ns(Ns=N)个不相关的模型子集WNs即可,这个步骤称为前向子集选择过程,这样最终建立的模型[6]:

式中 WNs——W中的 Ns项;gNs——g中的Ns项。

1.2 OLS模型的优化目标

为了加强模型的稀疏性,提高模型的泛化能力,在优化目标函数中加入模型参数的正则化约束[7],对式(3)的优化目标进行改进,如式(8)

式中 Λ =diag{λ1,λ2,…,λN}——正则化参数。

因为WTW+Λ为对角阵,可得[3]:

其中,λi可根据贝叶斯学习理论得到,更新公式如下:

为了提高模型的泛化能力,OLS方法采用能够体现模型泛化性能的误差计算方法,即基于留一法的训练数据均方误差[3-4]。对于含有n个基的模型,LOO MSE计算式如下:

其中,e(n,-k)k表示建模数据不包含 (xk,yk)时,该数据的测试误差:

根据留一法的原理计算Jn是一个相当复杂的过程,现有的研究结果表明其实没有必要对每个数据进行留一法建模测试,可以根据下式进行计算[4]。

2 基于混合核函数的OLS建模方法

2.1 核建模方法

在核建模方法中,核函数的选择对建模结果有较大的影响。目前常用的简单核函数:径向基核函数

核函数通常分为局部核函数和全局核函数两类。局部核函数具有较强的学习能力,泛化能力较弱,而全局核函数泛化能力较强,学习能力较弱。考虑两类核函数的特性,该文采用将典型的局部核函数(径向基核函数krbf)与典型的全局核函数(多项式核函数 kpoly)结合起来的方式,构造如下形式的混合核函数

式中 t——混合系数。

混合系数t(0≤t≤1)调节两种核函数对混合核函数施加的影响。显然,当t为0时,混合核函数退化为RBF核函数,而当t为1时,则退化为多项式核函数。通过调节t,则可以使混合核函数适应于不同的数据分布,等效于在核函数的选择中,融入具体问题的先验知识[8]。

混合核函数OLS建模方法与基本OLS建模方法的原理类似,所不同的是采用混合核函数来代替OLS中的高斯核函数。

式(1)中的核函数 Kρ(·,·)这里选择混合核函数 Kmix,即

2.2 基于PSO的核参数优化

在前面构造的混合核函数中存在三个核参数(σ,t,q),对于这三个核参数的选择通常采用人为给定的方法,缺少一定的理论根据,因此该文考虑采用粒子群算法对核参数进行寻优。

PSO算法是基于种群的并行全局搜索算法,采用简单的速度、位移模型实现对整个解空间的寻优,因而概念简单易于实现,且没有许多参数需要调整,具有更快的收敛速度,对处理高维优化问题也有一定的优势[9]。

粒子群算法初始化为一群随机粒子,其中每个粒子为优化问题的一个解,然后通过迭代找到最优解。假设在D维搜索空间中,有 m个粒子组成一个粒子群,其中第 i个粒子的位置为 xi=(xi1, xi2,…,xid),速度为 vi=(vi1,vi2,…,vid)。在每次迭代中,粒子通过跟踪粒子本身所找到的最优解(个体极值 pbest)以及整个种群目前找到的最优解(全局极值 gbest)来更新自己的位置和速度。则位置和速度的更新方程为

式中 w——惯性权重;c1,c2——学习因子。

搜索时,为了防止粒子远离搜索空间,粒子的速度通常被限定于一定范围内,即 vij∈[-vmax, vmax]。如果粒子的速度超过该维的最大速度时,该粒子速度被限制为该维的最大速度。同样,如果某粒子在某维的位置超出该维的最大位置,则该粒子的位置被限制为该维的最大位置。

考虑到基本粒子群算法经常发生早熟收敛等现象,为了保证粒子群算法的收敛,Clerc等[10]通过研究提出了一种带收缩因子χ粒子群方法:

式中 ℓ=c1+c2,ℓ>4。

Clerc等[10]在收缩因子方法中,取c1和c2都为2.05,从而ℓ=4.1,χ=0.729 8。

Eberhart和Shi[11]对该算法做了进一步研究,认为当取c1=c2=2.05时,限制最大速度vmax= xmax,或者预先设置搜索空间的大小,效果更理想。这样几乎可以改进算法对所有测试函数的求解性能。

对于PSO优化混合核函数参数(σ,t,q),每个粒子由三维参数(σ,t,q)决定其位置和速度,适应度函数为软测量模型中期望输出与实际输出偏差的均方根误差,即

3 聚丙烯熔融指数软测量建模中的应用

利用某公司的Spheripol-Ⅱ工艺聚丙烯生产装置2007年8～12月的聚丙烯生产过程数据,结合现场操作中的实际经验和机理分析的结果,该文挑选用于建立聚丙烯熔融指数的辅助变量:第一环管反应器中丙烯、氢气、催化剂的浓度,第二环管反应器中丙烯、氢气、催化剂的浓度及总的宏观反应热。经过一系列数据预处理后,最终获得379组数据,将这些数据分为两部分,229组数据用于建立软测量模型,剩余的150组数据用于模型测试。

采用该文提出的方法建立聚丙烯熔融指数的软测量模型,用粒子群寻找(σ,t,q)参数的最佳数值时,PSO的粒子个数为10,最大迭代次数为100。粒子群算法经过100次迭代寻优结果(σ,t,q)=(2.777 7,0.582 1,1)。得到基于混合核函数的OLS方法建立的聚丙烯熔融指数模型的训练效果及相对误差绝对值如图1,图 2所示。

图1 混合核函数OLS软测量模型的训练效果

图2 混合核函数OLS软测量模型训练效果相对误差

然后分别采用PLS方法、基本OLS方法和基于混合核函数的OLS方法建立软测量模型,比较不同方法的预测效果。对于OLS方法而言,虽然建模数据有229组,但是最终用于建模的OLS模型仅使用了16个基,极大地降低了模型的复杂性。对于混合核函数的OLS方法,最终用于建模的仅有29个基,同样大大降低了模型的复杂性,而且预测精度得到了提高,为了比较不同模型的性能,这里使用均方根误差(RM S E)作为性能指标。三种方法的泛化效果如图3～5及见表1所列。

图3 PLS软测量模型的泛化效果

图4 OLS软测量模型的泛化效果

图5 混合核函数OLS软测量模型的泛化效果

表1 三种方法软测量模型训练和泛化的结果比较

由表1可以看出,虽然最终用于建模的混合核函数OLS软测量模型使用了29个模型基,比OLS模型基的个数要多,但是其模型的训练误差和预测误差均低于OLS方法和PLS方法的软测量模型,而且对比图5与图3和图4的泛化效果,可以看出基于混合核函数的OLS方法建立软测量模型比OLS方法和 PLS方法的软测量模型预测效果较好。

4 结束语

该文采用混合核函数方法对基本的OLS进行改进,提出一种基于混合核函数的OLS软测量建模方法,并且采用 PSO方法对核参数进行寻优。采用实际的工业数据,建立工业聚丙烯熔融指数的软测量模型,应用结果表明,基于混合核函数OLS软测量建模方法比PLS和基本的OLS方法能够更为准确地预测聚丙烯熔融指数的变化情况,具有较好的效果。

[1] 王孝红,刘文光,于宏亮.工业过程软测量研究[J].济南大学学报(自然科学版),2009,23(1):80-85.

[2] 朱学峰.软测量技术及其应用[J].华南理工大学学报(自然科学版),2002,30(11):61-67.

[3] CHEN S,HONG X,LU K B L,et al.Orthogonal-leastsquares Regression:A Unified Approach for Data Modeling [J].Neurocomputing,2009,72(10-12):2670-2681.

[4] CHEN S.Orthogonal-least-squares Forward Selection for Parsimonious Modelling from Data[J].Engineering,2009, 1(2):55-74.

[5] SMITS G F,JORDAN E M.Improving SVM Regression Using Mixturesof Kernels[C]//Proceedingsof the International.Joint Conference on Neural Networks[A]. USA:Honolulu,HI,2002:2785-2790.

[6] 田华阁,田学民,邓晓刚.基于Kalman-OLS的聚丙烯熔融指数软测量[J].控制工程,2010,16(S0):83-86.

[7] CHENG S,HONG X,HARRIS C J,etal.Sparse Modeling Using OrthogonalForward Regression with PRESS Statistic and Regularization[J].IEEE Transactions on Systems,Man and Cybernetics-part B:Cybernetics, 2004,34(2):898-911.

[8] 王华忠,俞金寿.混合核函数PLS建模方法及在软测量中的应用[J].计算机与应用化学,2007,24(2):239-243.

[9] 陈 树,徐保国,王海霞,等.PSO-SVR算法在发酵过程控制中的应用[J].计算机工程与应用,2007,43(19): 214-216.

[10] CLERC M.TheSwarm andtheQueen:Towards a Deterministic and Adaptive Particle Swarm Optimization [C]//Proceedings of the 1999 Congress on Evolutionary Computation[A]. USA:Washington D.C.,1999: 1951-1957.

[11] EBERHART R C,Shi Y.Comparing Inertia Weights and Constriction Factors in Particle Swarm Optimization[C]// Proceedingsof the 2000 Congress on Evolutionary Computation[A].San Diego,CA,2000:84-88.

[12] 宋绍民,王 敏,胡新晚.基于移动最小二乘的传感器数据重构[J].自动化仪表,2010,(5):16-18.

The Study on the OLS Soft Sensor Modeling Based on the Mixed Kernels

Ju Wen,Tian Xuemin

(The College of Information and Control Eng.China Uni.of Petroleum,Dongying,257061,China)

With regard to the problem that single kernel can not accurately describe the distribution character of data in the kernel modeling method,an algorithm of orthogonal least square(OLS)based the mixed kernels is proposed and used for soft sensor modeling in industrial process.To take the mixed kernels replace single kernel in OLS and utilize properties of local and global kernel of the mixed kernel can improve their genelization ability and nonlinear treatment capacity. The selection ofkernel parameters has great influence for the model,the particle swarm optimization algorithm is used to carry out selection ofkernel parameters. The application of industrial polypropylene melt index soft measurement modeling has indicated that OLS based the mixed kernels can more accurately predict change of index than PLS and basic OLS method.

soft sensor;orthogonal least squares;kernel;particle swarm

TP273

A

1007-7324(2011)01-0031-05

2010-11-08。

国家863计划项目(2007AA04Z193);山东省自然科学基金项目(Y2007G49)。

巨 稳(1985—),女,吉林四平人,硕士研究生,从事工业过程建模、软测量技术研究。