基于优化组合核和Morlet小波核的LSSVM脉动风速预测方法

迟恩楠， 李春祥

(上海大学 土木工程系，上海　200072)



基于优化组合核和Morlet小波核的LSSVM脉动风速预测方法

迟恩楠， 李春祥

(上海大学 土木工程系，上海200072)

核函数是支持向量机的重要组成部分，直接影响预测模型的结果。根据Mercer定理，推导出了Morlet小波核函数，使其具有局部化、多层次、多分辨的优点。选择具有代表性的径向基(RBF)核函数和多项式(Poly)核函数构建出局部性和全局性相结合的线性组合核函数，使得预测模型保留RBF核函数所赋予的优越学习能力以及Poly核函数所拥有的强泛化能力；进一步，使用粒子群优化(PSO)算法，对惩罚参数、核参数、权重、尺度因子进行寻优，分别建立了基于Morlet小波核和组合核的PSO-LSSVM模型;使用建立的预测模型，对脉动风速进行了预测。通过比较预测性能评价指标，发现基于Morlet小波核和组合核PSO-LSSVM的预测精度优于常用的单核PSO-LSSVM模型。

预测；脉动风速；Morlet小波核；组合核；最小二乘支持向量机；粒子群优化

风荷载研究时，通常把风速处理为：在一定时距内不随时间变化的平均风速和随时间随机变化的脉动风速两部分，平均风速产生结构静态响应，而脉动风速产生动态响应[1]。脉动风的频繁作用也会使建筑物外墙面构件和附属物产生疲劳破坏。因此，掌握完整的脉动风速时程对结构设计、安全具有重要意义。

基于数据驱动的样本学习训练为脉动风速预测提供了可行的方法。目前，脉动风速建模预测的方法主要有：时间序列分析法、人工神经网络、支持向量机等方法[2-3]。然而，这些方法都存在着理论或应用上的不足。例如：时间序列方法，高阶模型参数估计难度大、低阶模型预测精度低；人工神经网络作为一种数据驱动算法，具有逼近任意非线性函数的能力，但算法运行时间长，容易陷入局部极小。虽然支持向量机(Support Vactor Machines,SVM)通过核函数定义的非线性变换将输入空间变换到一个高维线性空间，解决了“维数灾难”问题，但核函数的选择决定了模型的特性，局部核函数学习能力强、泛化性能弱，而全局核函数泛化性能强、学习能力弱。因此，在不同的应用场合中，核函数的性能表现差别很大，特别是当样本特征含有异构信息或样本规模很大或数据在高维特征空间分布不平坦时，既有核函数对所有样本进行处理并不合理。因此，提出增强型核函数，并发展基于增强型核函数(Least Suppost SVM,LSSVM)具有重要的意义。

本文根据一维Morlet母小波函数，建立满足Mercer条件的Morlet小波核；同时，对常用单核函数进行提升，提出基于全局多项式核和局部径向基核(高斯核)线性组合的增强型核函数模型；而且，采用粒子群优化(Particle Swarm Optmization,PSO)算法对核函数参数、惩罚参数进行智能优化，以建立基于Morlet小波核和组合核的PSO-LSSVM模型。最后，使用ARMA模型生成脉动风速作为训练、测试样本，采用仅多项式核、仅径向基核、Morlet小波核、组合核函数的PSO-LSSVM模型对脉动风速进行预测研究；通过评估预测性能指标，以评价基于不同核函数PSO-LSSVM模型的预测性能。

1　PSO-LSSVM

1.1LSSVM基本原理

SVM是基于统计学习理论提出的一种小样本学习方法，遵循结构风险最小化原理[4-5]。其基本原理是将输入样本从低维输入空间通过非线性映射转换到一个高维特征空间(H空间)，然后在这个高维空间中寻找输入变量和输出变量之间的一种线性关系。给定训练样本集Q={(xi,yi)|xi∈Rn,yi∈R,i,j=1,2，…,l}，利用非线性映射ψ(x)将输入样本映射到高维特征空间中，考虑用下列函数f(x)对样本数据进行拟合，使得拟合值与实际值误差最小。

f(x)=ω·ψ(x)+b

(1)

式中：ω为权向量；b为偏置项。

(2)

式中：C为惩罚参数；ε为不敏感系数，是特定损失函数的参数，含义是：当x点处的输出值y与拟合预测值f(x)之间的差值不超过ε时，认为在该点处的预测值f(x)是无损失的，否则计算损失。

将不敏感损失函数被误差的二次平方项代替作为损失函数，不等式约束条件转变成等式约束条件[6-7]。因此，LSSVM将求解二次规划问题转化成求解线性方程组，则上式(标准SVM)转化为：

s.t.[yi-(ω·ψ(xi)+b)=ei],i=1,2,3,…,l

(3)

式中：ei∈R为误差。为解式(3)的优化问题，构造Lagrange函数而转化为对偶问题：

(4)

式中：e∈Rl×l为误差向量。对式(4)求偏导，并根据最优化理论中的KKT(Karush-Kuhn-Tucher)条件，得到式(5)：

(5)

联立求解式(5)，消去ω和ei。令：α=[α1,α2,…，αl]T，Q=[1,1,…，1]T，Y=[y1,y2,…，yl]T，I为单位矩阵，则式(5)的解为：

(6)

最后，得到LSSVM的回归模型：

(7)

式中：K为核函数矩阵;k(x,xi)=ψ(x)·ψ(xi)。

1.2核函数

SVM使用了对称、半正定核函数将输入样本映射到高维特征空间，从而使线性不可分问题转化为线性可分问题。在数学上，核函数必须满足Mercer条件[8]。当前，常用的核函数有线性核函数、多项式核函数和高斯核函数。而小波函数具有稀疏变化和多尺度性质，稀疏变化的核函数有助于提高模型精度和迭代的收敛速度；同时，如果对平滑函数缺乏先验知识，尺度插值是最好的方法[9]。为构造Morlet小波核，需要用到Mercer平移不变核定理。即，若h(x)为母小波函数，平移不变核函数k(x,xi)=k(x-xi)是一个允许支持向量机核函数的条件为：当且仅当k(x)的下列傅里叶变换结果非负。

F[k](ω)=(2π)-n/2∫RNexp(-i(ωx))k(x)dx

(8)

于是，由该函数生成的Mercer平移不变核函数为：

(9)

采用Morlet母小波生成Morlet核函数。取如下形式的Morlet母小波函数。

(10)

将式(10)代入式(8)得：

F[k](ω)=(2π)-n/2∫RNexp(-i(ωx))h(x)dx=

(11)

显然，对于所有ω，均有F[k](ω)≥0。所以，Morlet小波核函数为支持向量机允许的核函数。

将式(10)代入式(9)可生成Mercer平移不变核的Morlet小波核函数：

(12)

式中：l∈R为伸缩因子。将式(12)代入式(7)得基于Morlet小波核函数构造的支持向量机模型：

(13)

Poly核函数考虑所有输入样本数据在特征空间的点积作用。因此，它有着良好的全局性质，泛化能力出众。RBF核函数的二维图形为钟形特征，即当输入向量x和y相距较远时，对应的核估计值将变得非常小甚至为零。因此，RBF核函数具有很好的局部学习能力，插值能力较强。根据Mercer核定义，任意核函数矩阵对称且半正定，满足一定的包闭性质，即允许通过简单运算来组合出新的核函数[10-11]。

设k1和k2是χ×χ(χ⊂Rn)上的核函数，则下面核函数的组合仍为核函数。

k(x,xi)=k1(x,xi)+k2(x,xi)

(14)

根据式(14)，考虑到RBF和Poly这两个核函数的优势，通过线性组合构造出下列组合核函数，使其同时具有局部核函数和全局核函数的特征，以此提高学习精度。

k(x,xi)=(1-a)·[(x·xi)+1]q+

(15)

式中：a∈[0,1]为核权重系数。组合核矩阵为对称矩阵，且有以下性质：

综上所述，本文采用的各种核函数及核函数参数列于表1中；根据表1的核函数建立LSSVM模型。

表1　各种核函数及核函数参数

1.3PSO

粒子群优化(PSO)算法是由Eberhart和Kennedy提出的一种模拟群体智能的优化算法，并采用迭代递推形式进行寻优。PSO基本思想：通过考察独立粒子对环境适应和学习能力，然后将粒子个体适应度最优的位置和粒子群适应度最优的位置相结合来调整粒子的自身位置和飞行速度[12]。

(17)

(18)

式中：d=1,2,…,D；c1和c2为学习因子；rand1和rand2为(0,1)的随机数；w为惯性权重系数。较大的w具有较好的全局搜索能力，而较小的w拥有较强的局部搜索能力。本文取w随迭代次数t的增加线性递减，使其初期具有较强的全局收敛能力，后期具有较强的局部收敛能力，表达式为：

(19)

式中：wmax为初始惯性权重；wmin为迭代次数到达最大时的惯性权重;Z为最大迭代次数。本文取wmax=0.9，wmin=0.4。

1.4PSO-LSSVM

采用PSO算法对表1中的各种核函数参数进行优化，以建立PSO优化核函数的LSSVM。由于当多项式核函数参数q过大时，预测模型的计算量骤增，所以本文取q=3，可达到全局拟合能力以及计算时间的折中。核函数参数的优化过程如下：① 粒子种群初始化：设定种群规模M=30，最大迭代次数Z=200，初始速度矩阵V以及初始粒子个体最优位置和全局最优位置。② 确定每种核函数待优化参数的取值范围(见表2)。③ 计算粒子适应度F(xi)，并将其与自身最优适应度F(Pbesti)和全局最优适应度F(Gbesti)进行比较，调整粒子个体最优位置Pi和全局最优位置Pg。定义均方根误差为适应度函数：

(20)

表2　 不同核函数参数的范围

2　预测模型(算法)数值验证

采用ARMA(自回归阶数p=4，滑动回归阶数u=1)模型对200 m高超高层建筑每隔10 m作为模拟风速点，获得不同高度脉动风速样本，功率谱用Kaimal谱，只考虑高度方向相关性。Kaimal谱的表达式：

(21)

表3　数值模拟参数

图1　30 m和80 m处的模拟脉动风速时程Fig.1　Simulated fluctuation wind velocity history at 30 m and 80 m

图2　基于不同核函数PSO-LSSVM的风速预测流程图Fig.2　Flowchart of wind velocity forecasting using the PSO-LSSVM with various kernel functions

图3　在30 m和80 m处，预测风速与模拟风速幅值对比Fig.3　Amplitude comparisons of predicted and simulated wind velocity at 30 m and 80 m

通过比较四种脉动风速预测算法的MAE、RMSE、R值，发现Poly核的预测精度在四种核函数中最差。主要原因：Poly核为全局核，虽然具有较强的泛化能力，但是对数据信号的局部分析能力较弱。特别，由图3可知，在风速信号起止和峰值部分的预测结果有很大震荡。本文为使全局拟合能力和计算时间达到折中效果，取q=3。实际上，随着阶数(q)的增加，计算量呈指数增加，而且预测结果起伏程度加剧。与Poly核相比，RBF核则表现出更好的预测性能，特别是在风速起始和峰值部分的预测精度比Poly核有很大改善。以30 m处风速预测为例，RBF核相对于Poly核的预测精度分别提高24%(MAE)、31%(RMSE)、15%(R)。此外，在训练时间方面，RBF核函数耗时也较短。因此，在常用单核函数中，RBF核函数是最佳的。但值得指出：基于表4中不同高度的RBF核预测结果，RBF核的稳定性不是很理想。这主要取决于RBF核的局部性，学习能力很强但泛化能力较弱。与常用的单核函数相比，本文提出的RBF+Poly线性组合核的预测精度有很大提高，30 m和80 m处风速预测精度提高的百分比见表5。这主要取决于组合核函数同时具备很强的学习能力(局部性)和泛化能力(全局性)，通过对风速信号准确学习后具有高精度外推能力。而且，该预测模型具有很强的稳定性，通过优化各核的权值可以获得最优参数，即使核函数的参数没有达到最优，也不会太多地影响学习效果。

图4　在30 m和80 m处，预测风速与模拟风速的自相关函数对比Fig.4　Autocorrelation function comparisons of predicted and simulated wind velocity at 30 m and 80 m

与单核相比，Morlet小波核的预测精度同样有很大的提高，达到RBF+Poly核水平，甚至在30 m处小波核的预测精度最高；由图4可知，Morlet和Poly+RBF核的自相关函数与模拟风速自相关函数皆吻合良好。由图3可知，在风速边界处小波核比RBF核更优，主要是因为小波函数具有稀疏变化和尺度分析性质，稀疏变化的核函数有助于提高模型精度；同时，如果对平滑函数缺乏先验知识，多尺度插值是最好的方法。不过，小波核的计算时间消耗是巨大的，几乎是组合核的两倍。

表4　预测性能指标

表5　Poly+RBF核的预测精度提高百分比

3　结　论

提出了基于全局Poly核和局部RBF核线性组合的PSO-LSSVM模型。该预测模型保留了RBF核函数所赋予的优越学习能力以及Poly核函数所拥有的强泛化能力。脉动风速预测表明：组合核的预测结果较单核精度更高；经PSO优化的核权重，可进一步保证核函数的稳定性。根据Mercer平移不变核定理，构造出了Morlet小波核函数，使得SVM核函数拥有小波稀疏变化和尺度分析特征。脉动风速预测表明：该核函数的预测精度大大地提高，可作为机器学习的一种有效核函数。运用基于RBF+Poly和Morlet小波核的PSO-LSSVM模型，可根据有限的脉动风速时程样本预测后续时间的脉动风速时程，为结构抗风设计提供所需的完整风速时程，以节约现场实测所消耗的资源，为风工程设计提供更便捷的荷载信息。

[1] 申建红, 李春祥. 强风作用下超高层建筑风场特性的实测研究[J]. 振动与冲击, 2010, 29(5): 62-68.

SHEN Jianhong, LI Chunxiang. Researches on measurements of wind field characteristics of high-rise buildings under strong wind [J]. Journal of Vibration and Shock, 2010,29(5):62-68.

[2] 张华, 曾杰. 基于支持向量机的风速预测模型研究[J]. 太阳能学报，2010, 31(7): 928-931.

ZHANG Hua, ZENG Jie. Research on wind speed forecasting model based on support vector machine [J]. Journal of Solar Energy, 2010, 31(7): 928-931.

[3] 张广明, 袁宇浩, 龚松建. 基于改进最小二乘支持向量机方法的短期风速预测[J]. 上海交通大学学报，2011,45(8):1125-1129.

ZHANG Guangming, YUAN Yuhao, GONG Songjian. Short term wind speed forecasting based on improved least square support vector machine method [J]. Journal of Shanghai Jiao Tong University, 2011, 45(8): 1125-1129.

[4] RAJASEKARAN S, GAYATHRI S, LEE T L. Support vector regression methodology for storm surge predictions [J]. Ocean Engineering，2008, 35: 1578-1587.

[5] CHEN W J, WANG J. Application of support vector machine in industrial process [J]. Computers and Applied Chemistry, 2005, 22: 195-200.

[6] SUYKENS J A K, VANDEWALLE J. Least squares support vector machine classifiers [J]. Neural Processing Letters, 1999, 9: 293-300.

[7] CHEN T T, LEE S J. A weighted LS-SVM based learning system for time series forecasting [J]. Information Science，2015, 299: 99-116.

[8] 赵晨晖. 基于混合和函数支持向量机的基金投资决策研究[D]. 广州：华南理工大学，2012.

[9] NOURISOLA H, AHMADI B. Robust adaptiveH∞controller based on GA-wavelet-SVM for nonlinear vehicle suspension with time delay actuator [J]. Journal of Vibration and Control，2015(10): 1-10.

[10] ZHANG Y, DAI M L, JU Z M. Preliminary discussion regarding SVM kernel function selection in the twofold rock slope prediction model [J]. Journal of Computing in Civil Engineering，2015, 04015031: 1-8.

[11] CHEN F F, TANG B P, SONG T, et al. Multi-fault diagnosis study on roller bearing based on multi-kernel support vector machine with chaotic particle swarm optimization [J]. Measurement, 2014, 47: 576-590.

[12] 谷文成, 柴宝任, 滕艳平. 基于粒子群优化算法的支持向量机研究[J]. 北京理工大学学报，2014, 34(7): 706-709.

GU Wencheng, CHAI Baoren, TENG Yanping. Research on support vector machine based on particle swarm optimization [J]. Transactions of Beijing Institute of Technology, 2014, 34(7): 706-709.

Forecast of fluctuating wind velocity using LSSVM with optimized combination kernel and Morlet wavelet kernel

CHI Ennan, LI Chunxiang

(College of Civil Engineering, Shanghai University, Shanghai 200072, China)

Kernel functions, which are the important components of support vector machines (SVM), directly affect the results of prediction models. In accordance to the Mercer theorem, a Morlet wavelet kernel rendering the advantages of localization, multi-level and mufti-resolution was developed. The representative radial basis function (RBF) kernel and polynomial (Poly) kernel functions were taken into consideration to construct a linear combination kernel function with both local and global properties, so as to form prediction models with superior learning ability and perfect generalization capability given by the RBF kernel and Poly kernel functions respectively. Further, the particle swarm optimization (PSO) algorithm was used to optimize the penalty parameter, kernel parameters and the weight and scale factor. Then, a PSO-LSSVM model using the Morlet wavelet kernel and combination kernel was developed. By resorting to the proposed prediction models, the time histories of fluctuating wind velocity were forecasted. By comparing the predicting performance evaluation indices, it is found that the PSO-LSSVM model with the Morlet wavelet kernel and combination kernel functions renders more accurate results than the common single kernel (such as Poly and RBF) based PSO-LSSVM models.

forecasting; fluctuating wind velocity; morlet wavelet kernel; combination kernel; least square support vector machines (LSSVM); particle swarm optimization

国家自然科学基金(51378304)

2015-06-10修改稿收到日期：2015-09-08

迟恩楠 男，硕士生，1989年生

李春祥 男，博士，教授，博士生导师，1964年生

TU311

A DOI:10.13465/j.cnki.jvs.2016.14.009