基于AIC的RVM核参数选择方法及其应用

陈小明

摘 要：在采用高斯径向基函数的相关向量机（RVM）回归模型中，核参数与模型性能之间关系复杂，针对如何确定RVM核参数的问题，提出一种基于AIC准则选择RVM的核参数的方法。首先基于Akaike Information Criterion （AIC）思想，得出一种新的统计量Q，同时将Q作为适应度函数；然后利用微分进化算法（Differential Evolution Algorithm，DE）对核参数进行寻优，以此选择确定核参数；最后利用该算法建立RVM回归模型对黄金价格进行短期预测。实验结果表明，该模型较传统方法建立的预测模型具有更高的拟合精度和更好的泛化能力，进一步证明基于AIC准则选择RVM的核参数的方法的可行性和有效性。

关键词：径向基函数；核参数；相关向量机；微分进化算法；AIC准则；黄金价格

中图分类号：TP181 文献标识码：A

1 引 言

Tipping于2000年提出相关向量机（Relevance Vector Machine， RVM） [1]，它是一种基于总体贝叶斯框架下的稀疏概率模型。由于其具有模型结构稀疏、核函数不需满足Mercer 条件及计算的复杂度相对较低等优势，RVM 方法已经应用于一些分类和预测任务，如：电能质量扰动分类[2]，老年痴呆症临床变量预测[3]，用于中长期径流预报[4]等。但在采用高斯径向基核函数的RVM回归模型中，一方面由于其核参数与 RVM 回归模型性能（拟合精度、泛化能力、相关向量个数）存在复杂的关系，很难用解析关系进行分析，另一方面由于样本数据不可避免地带有噪声，如统计误差等，所以到目前为止，还没有很好的方法来确定核参数，如文献[5]也只是讨论了核参数的比较适当的取值范围。

基于此，本文基于Akaike Information Criterion （AIC）思想，首先推导出了一种新的统计量Q，然后提出了以Q为适应度函数，利用微分进化算法（DE）对核参数进行寻优的方法确定核参数的算法，最后利用该算法建立起黄金价格的AIC-RVM回归模型，并与以平均绝对百分误差作适应度函数的MAPERVM回归模型以及基于微分进化算法的支持向量机模型、多维灰色模型、小波神经网络模型等模型进行了比较，结果表明，AICRVM回归模型具有较高的拟合精度和更好的泛化能力，说明了该确定RVM的核参数的方法是有效的。

2 相关向量机回归预测模型[3]

3 基于AIC的RVM核参数选择算法

微分进化算法（DE）是一种通过种群内个体间的合作与竞争来实现对优化问题的求解的群体进化的算法，其本质是一种基于实数编码的具有保优思想的贪婪遗传算法，它的基本操作包括变异、交叉和选择三种操作。由于微分进化算法具有很强的全局寻优功能、较快的收敛速度及较好的稳定性。本文引入微分进化算法对 RVM 的核参数c在参数空间中自动寻优。其中，在寻优过程中，适应度函数的选取是关键。

3.1 适应度函数

相关向量机的训练是基于自动相关决策理论（Automatic Relevance Determination，ARD ）来移除不相关的点，从而获得稀疏化的模型。令M为经训练得到的相关向量的个数（即ω中不为零的分量ωi的个数），则所获得稀疏化的RVM模型为

3.2 基于AIC的RVM核参数寻优算法

Step1：输入样本数据。设置DE的最大迭代循环次数D、种群规模Np、放缩因子F及交叉常数CR等参数并设置参数组c的搜索范围。令迭代数j=0。

Step2：在所设置的参数c的范围内随机生成初始种群α0s，（s=1，2，…，Np）。利用RVM对ti进行预测得其预测值i，（i=1，2，…，l）。取适应度函数为Q=2L-R2-12R4。计算每个个体的适应度值。记录各个体极值、全局极值和全局极值点。

Step3：利用变异、交叉和选择这三种操作对种群进行更新，计算新种群各个体的适应度值，并更新各个体极值、全局极值和全局极值点。

Step4：若j

Step5：利用参数c*建立RVM模型。

在该算法中绝大部分处理都集中在适应度的计算上，而RVM训练的时间复杂度为O（N3），从而该算法的时间复杂度为O（NPN3D）。

4 世界黄金价格短期预测

4.1 实验数据和环境

已有的研究表明，引起世界黄金短期价格T（美元/金衡盎司）波动的主要因素有：美元指数x1、道琼斯指数x2、原油价格x3（美元/桶）、美国三十年期债券x4、欧元对美元汇率（一欧元折合美元）x5等[6-8]。本文采用2013年4月1日至2013 年11月10日的188期的世界黄金价格及主要短期影响因素的每日数据（休息日除外）作为188个样本对世界黄金短期价格波动进行实证分析。所使用的世界黄金最新价格以及宏观经济数据来自财经网站cn.investing.com。

为方便起见，下面将2013年4月1日至2013 年11月4日的第1-183个样本作为训练集S，将2013年11月5日至2013 年11月10日的第184-188个样本作为测试集T。

利用训练集S以及2.2中的核参数寻优算法建立基于AIC的RVM预测模型（AICRVM），对测试集T进行预测。设置DE的放缩因子为0.5，交叉因子为0.4，最大迭代循环次数为200，种群规模为30，参数组c的搜索范围为[0.01，10]。在Matlab环境下，利用Matlab及SB2_Release_200软件包中的函数可方便地实现上述算法。通过计算机仿真实验， 可以得到第1-183期黄金价格拟合结果（图2）及第184-188期黄金价格预测结果（图3）。

图2 基于AICRVM的第1-183期

黄金价格预测结果对比

黄金价格预测结果对比其精度分别见表1，表2 可见，该预测模型有较高的预测精度，泛化能力好。

图3 基于AICRVM的第184-188期

4.2 不同适应度函数的预测结果分析

目前文献中常用平均绝对百分误差（mean absolute percentage error，MAPE）作适应度函数对RVM的核参数进行寻优[9，10]。

其计算式为：MAPE=1n∑ni=1ti-iti，其中，ti为第i个样本中的黄金价格的实际值，i为第i个样本中的黄金价格的预测值。利用4.1中的训练集S以及上述MAPE作适应度函数所建立的RVM回归模型（MAPERVM），对4.1中的测试集T进行预测。

图4，图5分别为由所建立的MAPERVM模型得到的第1-183期黄金价格拟合结果及第184-188期黄金价格预测结果：

图4 基于MAPERVM的第1-183期

黄金价格预测结果对比

由图4知该模型对训练集性能较好，但由图5知对测试集性能较差，导致对第184-188期黄金价格进行预测时出现了较大的误差，其预测精度分别见表1和表2。不仅如此，若另从第1-188个样本中随机选5个作测试集，剩下的样本作训练集，建立起来的MAPERVM模型也会出现类似的情况，如选第27、29、133、154、167个样本作测试集，剩下的样本作训练集建立起来的MAPERVM模型对训练集的预测结果为：均方误差是1.4637e-006，平均绝对误差是4.5137e-004，平均相对误差（%）是3.3899e-005；对测试集的预测结果为：均方误差是9.3404e+003，平均绝对误差是86.1200，平均相对误差（%）是6.09。可见以MAPE为适应度函数建立起的MAPERVM模型对第1-188个样本作成的样本空间都有此性能，说明该模型出现了过拟合，泛化能力差。

图5 基于MAPE-RVM的第184-188期

黄金价格的预测结果对比

4.3 同类模型的对比分析

与基于微分进化算法的支持向量机模型（DE-SVR）、多维灰色模型（GM（1，6））的预测效果与精度进行对比可知，AICRVM所得预测结果精度优于上述模型。具体结果分别见表1、表2。与小波神经网络模型的预测效果与精度进行对比发现，小波神经网络在预测黄金价格时出现了过拟合，泛化能力差。具体结果分别见表1和表2。综合上述比较可知，基于AIC的RVM 核参数寻优算法建立起来的回归模型（AIC-RVM）具有拟合结果的精度较高，泛化能力好的特点。其整体性能优于一些传统预测模型。

5 结 论

当样本数据的噪声方差较小时，通过选用Q=2L-R2-12R4作为适应度函数，利用微分进化算法对RVM的核参数进行寻优，以达到提高RVM的拟合精度与提高RVM的稀疏性、降低计算的复杂度之间的平衡，减少了拟合过程中的人为干涉因素以及过拟合的情形发生的目的，从而提高模型的泛化能力。通过使用由该方法建立起来的RVM回归模型对世界黄金价格进行预测的仿真实验表明，一方面该回归模型比选用常用的平均绝对百分误差作为适应度函数的RVM模型的泛化能力强，另一方面该回归模型的预测精度优于基于微分进化算法的支持向量机模型、多维灰色模型等传统预测模型。这说明了使用AIC的思想确定核参数方法的合理性，是一有效的方法。

参考文献

[1] BAI Y，WANG P，LI C，et al. A multiscale relevance vector regression approach for daily urban water demand forecasting[J]. Journal of Hydrology，2014，517（2）：236-245.

[2] BLEKAS K，LIKAS A. Sparse regression mixture modeling with the multikernel relevance vector machine[J]. Knowledge & Information Systems， 2014， 39（2）：241-264.

[3] 程波，张道强.基于多模态相关向量回归机的老年痴呆症临床变量预测[J].南京大学学报：自然科学，2012，48（2）：140-146.

[4] 仕玉治，彭勇，周惠成.基于相关向量机的中长期径流预报模型研究[J].大连理工大学学报，2012，52（1）：9-84.

[5] Shivam Tripathi，Rao S. Govindaraju On selection of kernel parametes in relevance vector machines for hydrologic applications[J].Stoch Environ Res Risk Assess，2007，（21）：747-764.

[6] SMITH G W， MEIDAN R. Everchanging cell interactions during the life span of the corpus luteum： relevance to luteal regression.[J]. Reproductive Biology，2014，14（2）：75-82.

[7] HAIYING L I， LIU Z，SONG J. Realtime Static Security Situational Awareness of Power Systems Based on Relevance Vector Machine[J].Proceedings of the Csee，2015， 35（2）：294-301.

[8] 田国华 国际黄金价格影响因素分析及趋势预测[J].山西大同大学学报：社会科学版，2012，26（5）：104-106.

[9] 孙志刚，翟玮星，李伟伦，等 基于 EMD和相关向量机的短期负荷预测[J].电力系统及 其自动化学报，2011，23（1）：92-97

[10]OUYED O， ALLILI M S. Feature Relevance for Kernel Logistic Regression and Application to Action Classification[C]//Pattern Recognition （ICPR），2014 22nd International Conference onIEEE， 2014：1325-1329.