基于移动窗的多核最小二乘支持向量机建模算法

李 琦， 杜 晓 东， 张 洪 略， 邢 丽 萍

( 大连理工大学 控制科学与工程学院, 辽宁 大连 116024 )

基于移动窗的多核最小二乘支持向量机建模算法

李 琦*， 杜 晓 东， 张 洪 略， 邢 丽 萍

( 大连理工大学 控制科学与工程学院, 辽宁 大连 116024 )

针对时变工业过程建模中存在的模型泛化性和适应性较低的问题，利用移动窗技术，通过使用多个核函数，提出了一种基于移动窗的多核最小二乘支持向量机(LSSVM)建模算法．该算法在最小二乘支持向量机算法基础上，利用多核组合代替单核，增强了模型的泛化能力；利用移动窗技术，增加了模型对时变工业过程的动态辨识能力及模型的更新效率．仿真实验结果表明，该算法具有更好的泛化性能．

动态建模；核函数；最小二乘支持向量机(LSSVM)；移动窗

0 引 言

核方法是解决非线性问题的一种很好的方法，它可以将一个线性不可分问题转化为求解一个线性可分问题．当原始数据为非线性数据时，核函数可以把原始数据样本映射到一个高维空间，将其处理为可分的线性数据，从而实现求解．通过这种方法，可以在不知道具体映射方法和原始数据的具体分布情况下，快速地解决高维空间映射问题，避免了常规算法对特征空间设计的烦琐．因此越来越多的学者将核方法用于机器学习中[1-2]．目前常用的核函数有sigmoid函数、径向基函数和线性函数等，其中应用最多的是径向基函数．最小二乘支持向量机(least squares support vector machines，LSSVM)中大多采用径向基函数的单核结构，但当数据分布不平坦、数据样本异构或数据不规则、样本规模较大时，单核构成的函数就无法满足需求．

Lanckriet等[3]提出了多核运行的方法，即多核学习(multiple kernel learning，MKL)，通过将多个核函数线性组合代替单核．实验结果表明，用此方法构建的模型比用单核构建的模型性能表现更出色．在处理不同的问题时，不同的核函数可以与多种建模算法相结合，从而解决不同的关键性问题，且两部分互不干扰，可相辅相成形成多种不同的基于核技术的方法．在解决凸优化问题时，用交叉验证选择正则化参数，计算量极其烦琐，Jian等[4]从优化内核和正则化参数的角度出发，提出了基于半定规划(semi-definite programming，SDP)的多核学习算法，成功地避免了此缺陷，较快地形成了一个自动选择模型的过程．Damoulas 等[5]将多核学习用于贝叶斯分类中，并用人工数据做了验证，证明用多核代替单核可以增加决策函数的可解释性，比单核模型的性能更好．另外，单核学习的鲁棒性和泛化性较差，而在多核学习中确定核函数的问题，最终可转化为基本核函数和相应系数的确定问题，因此比单核学习算法的可解释性强、泛化性高[6-7]．

按照核函数权值和机器学习参数的确定顺序，可将多核学习算法的求解方法分为两类：one-step方法，two-step方法．在one-step方法中，进行一次循环便可确定核函数的权值和机器学习的参数值，再利用半定规划SDP、二次约束型二次规划(quadratically constrained quadratic programming)和二阶锥规划(second-order cone programming) 等求解．two-step方法是先利用机器学习的算法更新核函数权值，再利用核函数的运算更新机器学习中的相关参数，不断重复此步骤直到最终结果达到精度要求．较常用的two-step方法是半无限线性规划(semi-infinite linear programming)方法[8]．

本文针对时变工业过程建模问题，融合移动窗技术、LSSVM和基于lp-范数约束的多核学习等不同算法，提出一种基于移动窗的动态多核学习算法．

1 多核学习的原理

LSSVM学习结果的表达式如下：

(1)

式中：ai是拉格朗日因子；b是偏置值；xi(i=1，2，…，n)是训练样本，n是样本个数；K(xi，xj)=φT(xi)φ(xj)．

(2)

其中参数向量

(3)

(4)

2 基于lp-范数约束的多核学习算法的研究

2.1 基于lp-范数约束的多核学习算法描述

(5)

(6)

2.2 基于lp-范数约束的多核学习算法推导

算法采用Ivanov正则优化，假设表达式(5)中(ωm，b)是两个固定值，对β求偏导，令其结果为0，得出如下等式：

(7)

(8)

(9)

2.3 基于lp-范数约束的多核学习LSSVM算法分析

结合上述对多核学习方法的分析和LSSVM的优化过程描述，可以得到基于lp-范数约束的MKL_LSSVM的求解式：

(10)

进一步，可以得出在对偶空间中LSSVM优化问题的拉格朗日表达式：

(11)

从而可推出，对偶空间中基于lp-范数约束的MKL_LSSVM的问题等价于式(12)表达的优化问题：

(12)

(13)

由上面的推导过程可以看出，求解MKL_LSSVM最终转换为求解线性规划QCLP(quadratically constrained linear programming)的问题，实质为求解一个含有二次约束的线性问题．

3 基于移动窗的动态多核LSSVM算法

算法中采用式(14)求取拉格朗日因子a的值：

(14)

求取核函数β，根据LSSVM中的式(15)可以推出式(16)：

(15)

(16)

将式(16)代入式(9)，得到式(17)：

(17)

从而可以按照式(17)更新核函数权值，其多核学习的流程图如图1所示．

在原空间，求解基于lp-范数的多核学习算法步骤如下：

(3)执行下面步骤至满足停止条件．

①按照式(14)求解a(t)；

②结合式(17)和(9)更新核函数的权值：

③上述算法中，如果权值的变化比较小则停止循环，即max(βm(t)-βm(t-1))≤e，其中e是一个非常小的正数．

图1 基于lp-范数的多核学习算法流程图

考虑模型对时变工业过程的动态辨识能力，利用移动窗技术，定义移动窗长为w，对模型进行实时更新操作，以提高模型的自适应性．

同时，考虑到核函数的选取和参数的确定会间接影响输入空间向特征空间的映射，也影响组合核函数的性能，因此样本数据经过核函数处理变为核函数矩阵时，要对核函数矩阵进行核标准化处理．出于以上考虑选用的核函数是高斯核函数(Gaussian kernel)：

δ∈R+

(18)

在对高斯核函数进行处理时选用了球形标准化，标准化的数学表达式如下：

(19)

通过此操作，可以将所有输入样本都置换到一个半径为1的单位球内，并且去掉了输入样本的量纲．

4 仿真实验分析

实验选取了单变量函数和多变量函数两种函数分别对实验对象进行仿真，其中，选用的核函数为径向基函数，将核函数的宽度[11]设为2-2，2-1.5，…，21.5，22，之间相隔0.5；C取值为2-1，…，210；p取值[8]为1，4/3，2，4，∞．通过改变p的值来观察模型性能的变化，定义移动窗长w=50．

(1)性能指标的选取

为了进一步清晰地说明本文提出方案的有效性，需要采用均方根误差Erms和最大绝对值误差Em(maximum absolute error)来评估模型的性能：

(20)

Em=max(yi-fi(x))；i=1，2，…，n

(21)

其中yi表示实际的数据样本值，fi(x)表示按照该算法所建模型预测出来的预测值，n表示样本个数．

(2)仿真函数模型

①单变量函数模型

模型是一个典型的非平坦的混合高斯分布函数[12]：

(22)

函数yi=r(xi)+ni，其中xi∈[0，10]，ni～N(0，0.052)．从0～10内选取均匀分布的200个样本，偶数点的100个输入数据作为训练集，奇数点的100个输入数据作为测试集．

②多变量函数模型

此模型是选取文献[13]中提出的模型，见式(23)．其中，假定系统的输入函数为u(t)=sin(2πt/25)+sin(2πt/10)，均匀分布在[-2，2]．e(t)是高斯白噪声序列，定义为e(t)∈N(0，0.1)．用数学表达式对该非线性模型的表述为y(t)=f(x(t))+e(t)，其中x(t)=[y(t-1)，y(t-2)，u(t-1)]．取其中的200组数据，前100组作为训练集，后100组作为测试集．

(23)

(3)实验结果分析

对两个函数分别单独实验10次，取每次实验的平均值为相应实验的最终结果．对于式(22)，LSSVM的参数C=210，δ=0.4时最优；对于式(23)，LSSVM的参数C=210，δ=0.1时最优．

表1和表2分别表示单变量函数采用静态多核学习和带移动窗的动态多核学习情况下的测试结果，表3和表4分别表示多变量函数采用静态多核学习和带移动窗的动态多核学习情况下的测试结果．

从表1和表2可以看出，对于不同的p值，模型的测试结果不同，p值越大，模型的Erms和Em越小，说明测试值越接近于真实值，模型的预测效果越好．将表1与表2对比可以发现，前者的Erms和Em都远远大于后者，但模型所耗时间均远小于后者．说明函数在带移动窗的动态多核学习下，学习效果要优于静态多核学习效果，动态多核学习下的模型，预测精度更高．由于动态模型具有自适应性，若当前模型不合适时，需要更新模型，故其计算量较大，所耗时间较长．

表1 单变量函数在不同lp-范数下的静态多核学习测试结果

Tab.1 The test results of one-variable function based on differentlp-norm static MKL

pErmsEmt/s14/324∞0.00810.00640.00500.00410.00360.07240.05270.03810.02440.01890.98520.74431.01650.99951.1789

表2 单变量函数在不同lp-范数下的带移动窗的动态多核学习测试结果(w=50)

Tab.2 The test results of one-variable function based on differentlp-norm dynamic MW_MKL (w=50)

pErms/10-4Emt/s14/324∞2.37041.80861.33151.03770.78360.00160.00110.00080.00050.00035.83394.63275.26864.07229.6058

从表3和表4可以看出，不同于单核函数，模型的预测效果并不会随着p值的增大而变好，p值过小或过大，模型的性能都会降低．p=4/3时，模型的预测效果最好．同样对比表3和表4，可以发现：函数在带移动窗的动态多核学习下，模型的误差较小，拟合效果较好，学习效果要优于静态多核学习效果．但是对于多变量函数，带移动窗的动态多核学习算法基本上比静态多核学习算法所耗时间长，但两者计算复杂度差别不是特别大．

表3 多变量函数在不同lp-范数下的静态多核学习测试结果

Tab.3 The test results of multivariable function based on differentlp-norm static MKL

pErmsEmt/s14/324∞0.01970.01940.02030.02120.02230.06310.06130.06980.06510.07164.28813.06792.93792.92433.1722

表4 多变量函数在不同lp-范数下的带移动窗的动态多核学习测试结果(w=50)

Tab.4 The test results of multivariable function based on differentlp-norm dynamic MW_MKL (w=50)

pErms/10-4Emt/s14/324∞3.76433.62973.85563.98674.10570.002160.002030.002150.002200.002234.01333.69333.93233.63604.0298

5 结 语

针对复杂时变工业过程建模问题，提出了基于移动窗的动态多核LSSVM算法，将移动窗技术与传统的静态多核学习方法相结合，利用多核组合代替传统的单核，并给出了相关算法的步骤描述．最后用单变量函数和多变量函数两个非线性函数进行了实验仿真，结果验证了所提方法构建的模型性能优于传统的静态多核学习方法，模型的泛化性更好．

[1] WORTON B J. Kernel methods for estimating the utilization distribution in home-range studies [J].Ecology, 1989,70(1):164-168.

[2] 张凯军,梁 循. 一种改进的显性多核支持向量机[J]. 自动化学报, 2014,40(10):2288-2294.

ZHANG Kaijun, LIANG Xun. An improved domain multiple kernel support vector machine [J].ActaAutomaticaSinica, 2014,40(10):2288-2294. (in Chinese)

[3] LANCKRIET G R G, CRISTIANINI N, BARTLETT P,etal. Learning the kernel matrix with semidefinite programming [J].JournalofMachineLearningResearch, 2004,5:27-72.

[4] JIAN Ling, XIA Zhonghang, LIANG Xijun,etal. Design of a multiple kernel learning algorithm for LS-SVM by convex programming [J].NeuralNetworks, 2011,24(5):476-483.

[5] DAMOULAS T, GIROLAMI M A. Pattern recognition with a Bayesian kernel combination machine [J].PatternRecognitionLetters, 2009,30(1):46-54.

[6] 汪洪桥,孙富春,蔡艳宁,等. 多核学习方法[J]. 自动化学报, 2010,36(8):1037-1050.

WANG Hongqiao, SUN Fuchun, CAI Yanning,etal. On multiple kernel learning methods [J].ActaAutomaticaSinica, 2010,36(8):1037-1050. (in Chinese)

[7] 杨 柳,张 磊,张少勋,等. 单核和多核相关向量机的比较研究[J]. 计算机工程, 2010,36(12):195-197.

YANG Liu, ZHANG Lei, ZHANG Shaoxun,etal. Comparison research of single kernel and multi-kernel relevance vector machine [J].ComputerEngineering, 2010,36(12):195-197. (in Chinese)

[8] KLOFT M, BREFELD U, SONNENBURG S,etal.lp-norm multiple kernel learning [J].JournalofMachineLearningResearch, 2011,12:953-997.

[9] IVANOV V K, VASIN V V, TANANA V P.TheoryofLinearIll-PosedProblemsanditsApplications[M]. Berlin: Walter de Gruyter, 2002.

[10] TIKHONOV A N, ARSENIN V Y.SolutionsofIll-PosedProblems[M]. New York: VH Winston & Sons, 1977.

[11] ZHANG Xiangrong, HU Longying, ZHANG Lin. An efficient multiple kernel computation method for regression analysis of economic data [J].Neurocomputing, 2013,118:58-64.

[12] CEPERIC V, GIELEN G, BARIC A. Sparse multi-kernel support vector regression machines trained by active learning [J].ExpertSystemswithApplications, 2012,39(12):11029-11035.

[13] CAI Yanning, WANG Hongqiao, YE Xuemei,etal. A multiple-kernel LSSVR method for separable nonlinear system identification [J].JournalofControlTheoryandApplications, 2013,11(4):651-655.

MultiplekernelLSSVMmodelingalgorithmbasedonmovingwindow

LI Qi*, DU Xiaodong, ZHANG Honglüe, XING Liping

( School of Control Science and Engineering, Dalian University of Technology, Dalian 116024, China )

In order to solve the problem of modeling in the time-varying industrial process which has lower modeling generalization and adaptation, a multiple kernel least squares support vector machines (LSSVM) modeling algorithm based on moving window technology is proposed by using multiple kernel functions. Multiple kernel groups are used to replace single kernel in this algorithm based on least squares support vector machines, which can improve model′s generalization performance. The algorithm increases the dynamic recognition ability for the time-varying industrial process and updated efficiency of model through moving window technology. The simulation result shows that the algorithm has better generalization performance.

dynamic modeling; kernel function; least squares support vector machines(LSSVM);moving window

2017-01-04；

2017-07-17．

国家自然科学基金资助项目(61403058)；中央高校基本科研业务费专项资金资助项目(DUT14LAB15).

李 琦*(1979-)，男，博士，副教授，E-mail:qili@dlut.edu.cn.

1000-8608(2017)05-0511-06

TP273

A

10.7511/dllgxb201705011