基于改进平方根法的增量式正则极速学习机及在回归中的应用

李 霞，刘建平，王力丽

(河北科技师范学院数学与信息科技学院，河北 秦皇岛，066004)



基于改进平方根法的增量式正则极速学习机及在回归中的应用

李 霞，刘建平，王力丽

(河北科技师范学院数学与信息科技学院，河北 秦皇岛，066004)

提出了一种基于改进平方根法的增量式正则极速学习机(ISR-RELM)，该方法在求解正则极速学习机(RELM)输出权值时有效减少了隐层神经元递增过程中的计算量。9个基准回归数据集预测表明，ISR-RELM不仅预测精度高，而且所用的训练时间比文献中的3种方法(ISR-RELM，LD-RELM和CF-RELM)都少。因此ISR-RELM是解决数据回归问题的一种新颖且高效的方法。

正则极速学习机；回归问题；改进平方根法

随着回归问题研究的不断深入及其在函数逼近、时间序列预测、机器学习、复杂系统建模等领域中的广泛应用，回归问题已经成为一个重要的研究方向。而人工神经网络由于具有很好的逼近能力，泛化性能和鲁棒性，被许多学者应用到回归数据的预测中。作为人工神经网络的一个重要分支，2006年，Huang G B等[1]提出了极速学习机(ELM)。ELM是一种新颖的单隐藏层前馈神经网络，它将传统的神经网络参数训练的迭代过程转化为求解线性方程组，设置合适的隐藏层结点数，为输入层和隐藏层阈值随机赋值，然后通过最小二乘法得到输出层权值，整个过程无需迭代。但是ELM是基于经验风险最小化理论，可能会导致过度拟合问题，因此邓万宇等[2]考虑了这2种风险，提出了正则极速学习机(RELM)。

RELM建立的数学模型最终转化为求解系数矩阵为对称正定的线性方程组。当线性方程组的系数矩阵是对称正定时，常用的解方程组的方法有平方根法和改进的平方根法[3～6]，但是平方根法在计算过程中需要开平方，而改进的平方根法回避了开平方运算，只需要四则运算就能完成，非常简单有效。因此为实现对回归问题RELM网络结构的输出权值的快速求解，笔者提出了一种基于改进平方根法的增量式求解输出权值的快速方法(ISR-RELM)，并通过9种基准回归数据集验证了该方法的有效性。

1 正则极速学习机

其中αi=[αi1,…,αin]为连接第i个隐层神经元的输入权值；ci是第i个隐藏层结点的阈值；βL=[β1,…,βL]T，βi为连接第i个隐层神经元的输出权值；ε=[ε1,…,εN]T,εi是回归误差。为求解上述优化问题，建立拉格朗日函数为

其中T=[t1,…,tN]T为输出向量，ω=[ω1,…,ωN]为拉格朗日权值。

是隐层矩阵，对拉格朗日函数各变量求偏导并令偏导数为零可得

(1)

式中IL为单位矩阵，利用式(1)求出βL则可建立RELM回归数据集预测模型

(2)

式中x为模型输入，t为模型输出。

2 基于改进平方根法的增量式RELM (ISR-RELM)

2.1ISR-RELM的输出权值求解

因为AL是对称正定的，则AL可分解为

(3)

式中SL是一个单位下三角矩阵，DL为对角线元为正的对角矩阵。通过公式(3)可以得到计算sij和di的计算公式：对于i=1,…,L

(4)

令SLFL=bL，则可以得出FL的元素fi的计算公式为

(5)

(6)

由上述过程可知，只用简单的四则运算就可以求得输出权值βi，而且当ISR-RELM的隐层神经元数量从L个增加到L+1个时，神经元矩阵变化为

HL+1=[HL⋮hL+1]=[h1…hL⋮hL+1]

(7)

式中hi=[f(αi·x1+ci)…f(αi·xN+ci)]T,i=1,…,L+1。此时

(8)

因此从公式(5)所示的FL的计算方式可知

可见，只需计算出fL+1即可获得FL+1，而不需要重新计算f1至fL。基于改进平方根法的βL+1求解方法充分利用了计算βL所储存的信息，使得SL+1，DL+1，FL+1可分别在SL，DL，FL的基础上获得，因此计算βL+1可在计算βL的基础上进行。

2.2ISR-RELM的学习过程

有研究表明[3]，隐层神经元的数量与RELM的测试精度有很大关系，同时也是在设计RELM网络结构时必须事先考虑的关键因素，到目前为止还没有选择神经元个数的有效理论方法，一般可以根据人为经验或者实验确定。ISR-RELM的学习过程为：

步骤1 设置最大神经元数量L；

步骤2 令L=1，计算这时的AL和bL；

步骤3 根据公式(4)求出SL和DL，然后利用SL和bL根据公式(5)得到FL；

步骤5 令L=L+1，在SL-1，DL-1,FL-1的基础上，计算SL，DL，FL,然后转至步骤4，当L最大时结束。

3 ISR-RELM的性能评估

为了评估ISR-RELM的性能，在此将其应用到9个常见的基准回归数据集，并且与其它3种算法比较。本次研究所有程序是在CPUi5-3210M，2.50 GHz，内存2.00 GB，Matlab 2009环境下运行。隐藏激励函数选为Sigmoid函数g(x)=1/(1+e-x)，参数γ=108。在所有的实验中，数据的输入和输出向量分别归一到[-1,1]和[0,1]。每个试验运行了30次，用30次的均方根误差(RMSE)代表该算法的精度，用30次标准差的平均值(S.D.)代表该算法的稳定性，用30次训练时间的平均值(t(s))作为该算法的训练时间。

表1 评估ISR-RELM性能选取的基准回归数据集信息

3.1 基准回归数据集

本次研究选取了9个常见的基准回归数据集[8]，每个数据集随机分为训练样本和测试样本，详细情况见表1。

3.2 ISR-RELM神经元数量的选择

图1～图2为ISR-RELM在L递增条件下应用于2个不同数据集上(其他数据集图形类似)的训练误差和测试误差。从图中可以看出，它们均随隐层神经元个数L的增加而表现出逐渐减小的变化趋势，由于初始的ISR-RELM只有1个神经元，其学习精度与泛化能力都有限，误差较大，但是随着L的增加，训练误差和测试误差都逐渐减小，说明通过增加神经元的个数可以有效提高ISR-RELM的学习能力和泛化能力。从图1～图2可以看到，当神经元到达一定数量时，训练精度和测试精度变化不太明显，如果再增加神经单元，测试精度提高不太明显，反而增加ISR-RELM的网络结构，耗费大量的计算时间。因此，本次研究最大神经元数量设置为50个。另外，根据所有神经元对应的测试精度，由测试误差最小原则，可以找到最佳的神经元数量。

3.3 ISR-RELM与其它3种算法的比较

图1 附加10%噪声Elevators的训练误差和测试误差的变化曲线 图2 附加20%噪声California的训练误差和测试误差的变化曲线

4 结 论

基于改进平方根法的增量式RELM逐渐递增地计算网络输出权值，有效减小了隐层神经元递增过程中所带来的计算代价，减少了计算时间。为了验证该方法的有效性，把其应用于9种基准回归数据集。实验结果表明，该方法无论对于噪声数据还是无噪声数据都具有较高的预测精度和较快的计算速度，适用于回归数据集的预测。

[1]HuangGB,ZhuQY,SiewCK.Extremelearningmachine:theoryandapplication[J].Neurocomputting,2006,70(1-3):489-501.

[2] 邓万宇,郑庆华,陈琳，等.神经网络极速学习方法研究[J].计算机学报,2010,33(2):279-287.

[3] 李庆扬,王能超,易大义.数值分析[M].北京:清华大学出版社,2008.

[4] 郭丽杰,周硕,秦万广.对称矩阵的改进Cholesky分解在特征值问题中的应用[J].东北电力学院学报,2003,23(2):50-52.

[5] 王艳天.数学教学中线性方程组的特殊解法:平方根法[J].中国科教创新导刊,2008(26):139.

[6] 苏尔.关于正定矩阵平方根分解性质的讨论及正定矩阵某个特征的证明[J].吉林师范大学学报:自然科学版,2012(2):54-58.

[7] 张弦,王宏力.基于Cholesky分解的增量式RELM及其在时间序列预测中的应用[J].物理学报,2011,60(11):110201-1-110201-6.

[8]AAsuncion，DNewman.UCImachinelearningrepository[DB/OL].(2007)[2015-03-31].http://www.ics.uci.edu/～mlearn/ML.Repository.html.

[9]HuangGuang-bin，ZhouHong-ming，DingXiao-juan,etal.Extremelearningmachineforregressionandmulticlassclassification[J].IEEETransactionsonSystemsManandCybernetics,2012,42(2):513-529.

表2 4种算法在无噪声数据集上性能的比较

表3 4种算法在附加有10%噪声的数据集上性能的比较

表4 4种算法在附加有20%噪声的数据集上性能的比较

(责任编辑:朱宝昌)

Incremental Regularized Extreme Learning Machine Based on Improved Square Root Method and Its Application to Regression Problems

LI Xia,LIU Jian-ping,WANG Li-li

(School of Mathematics and Information Science & Technology,Hebei Normal University of Science & Technology,Qinhuangdao Hebei,066004,China)

This paper puts forward an incremental regularized extreme learning machine based on improved square root method (ISR-RELM). The method effectively reduces the amount of calculation for solving output weights in the process of increasing the hidden layer neurons. The experiment results of the nine benchmark data show that ISR-RELM not only has the advantage of high accuracy, but also uses less running time than three algorithms(ISR-RELM , LD-RELM and CF-RELM)in the literatures. Therefore, ISR-RELM is a novel and effective algorithm for regression problems.

regularized extreme learning machine; regression problems；improved square root method

10.3969/J.ISSN.1672-7983.2015.02.008

2015-03-31; 修改稿收到日期: 2015-06-25

O234

A

1672-7983(2015)02-0036-07

李霞(1980- )，女，在读博士，讲师。主要研究方向：人工智能算法。