偏鲁棒M回归回声状态网络*

麻风梅,王改堂

(1 电子与信息工程学院安康学院,陕西安康 725000；2 西安现代控制技术研究所,西安 710065)

0 引言

回声状态网络(echo state networks,ESN)是近年来提出的一种新型的递归神经网络,与传统的递归神经网络相比,该算法具有的最大优点在于学习速度快和泛化性能好等[1-2],因此,ESN在时间序列预测[3]、异常检测[4]、语音识别[5]等领域取得了良好的效果。同时,为了提高算法的性能,提出了各种各样的算法[6-10]。ESN算法的核心是储备池核函数(即激活函数),在训练过程中,网络的输入连接权值、输出反馈连接权值和储备池内部连接权值是随机产生的,ESN只需要训练动态储备池与输出神经元之间的连接权值。通常情况下,ESN使用了线性回归算法求解输出权值。然而,在处理实际问题时,使用线性回归算法求解输出权值时易导致病态解问题,为了解决这一问题,史志伟等提出了ESN 岭回归学习算法[11-12]。

鉴于此,文中将偏鲁棒M回归应用于回声状态网络中,提出了偏鲁棒M回归回声状态网络(partial robust m-regression echo state network,PRM-ESN),实验结果验证了该方法的可行性、有效性。

1 回声状态网络

1.1 算法原理

回声状态网络是基于储备池计算的一种新型递归神经网络,其网络拓扑结构如图1所示。

图1 ESN网络的拓扑结构

假如储备池的状态向量为x(k),输入向量为u(k),输出向量为y(k),f(·)为储备池节点的激活函数,Win为输入连接权值,Wback为输出反馈连接权值,W为储备池内部连接的权值,Wout为输出权值,则ESN网络的基本方程可描述为：

x(k+1)=f(Winu(k+1)+Wx(k)+Wbacky(k))

(1)

y(k+1)=fout(Wout(u(k+1),x(k+1),y(k)))

(2)

式中：fout(·)为输出层函数,一般为线性函数。

ESN网络算法的训练过程如下：

对于给定的n个训练样本(xi,yi),激活函数f(x)以及储备池节点数N,则：

1)随机产生初始化权值Win、W和Wback,使其均匀分布在 [-1,1]之间；

2)计算储备池输出矩阵M,输出向量为Y；

3)计算输出权值Wout。

1.2 权值计算方法

回声状态网络输出权值的计算方法主要有以下两种方法：

最小二乘法或MP广义逆最小二乘方法[1-2]：

Wout=M†Y或Wout=(MTM)-1MTY

(3)

式中:M†为储备池输出矩阵M的MP广义逆。

岭回归方法[6]:

Wout=(MTM+λI)-1MTY

(4)

式中:λ为岭参数。

2 偏鲁棒M回归回声状态网络

2.1 改进算法实现原理

该算法的基本原理是利用回声状态网络算法随机产生初始化权值,计算储备池激活函数的输出矩阵M,并将输出矩阵M作为偏鲁棒M回归(partial robust m-regression,PRM)算法的输入样本数据,输出向量Y作为其输出样本数据,采用PRM算法建立加权后输入样本与输出样本数据之间的回归模型,并计算PRM回归系数,也就是ESN网络的输出权值。

假如储备池激活函数的输出矩阵为Mn×m,输出向量为Yn×1,前k个得分向量组成的得分矩阵为Tn×k,则单因变量PLS模型可以描述为：

M=TPT+E

(5)

Y=TQ+F=MWout+F

(6)

式中:P为载荷矩阵,Q为得分向量回归系数,E为残差矩阵,F为残差向量,Wout是单因变量PLS模型的回归系数向量。

2.2 偏鲁棒M回归权值计算

(7)

式中：

(8)

(9)

(10)

(11)

式中:‖·‖表示为欧氏距离,median表示中位值,medL1表示得分向量{t1,t2,…,tn}的L1中位值,ti为T的第i行,通常情况下c为4。

2.3 算法步骤

算法步骤如下：

步骤1：利用ESN算法步骤1)随机产生初始化权值Win、W和Wback；

步骤2：利用ESN算法步骤2) 计算储备池输出矩阵M,输出向量为Y；

步骤3：将输出矩阵M作为PRM算法的输入样本数据,输出向量Y作为其输出样本数据；

步骤4：利用式(7)、式(8)和式(9)初始化权值wi,并设定得分向量回归系数相对差的阈值；

步骤5：对输入输出样本数据进行加权处理,并对加权后的样本数据建立单因变量PLS模型,并更新得分向量；

步骤6：计算每个样本数据的预测值与实际值之间的残差ri,并利用式(7)更新权值wi；

步骤7：判断得分向量回归系数的相对差是否小于给定的阈值,如果小于给定的阈值,则执行步骤8,否则执行步骤5。

步骤8：获取最终的PRM回归系数,即ESN网络的输出权值Wout。

3 仿真研究

为验证提出算法的有效性、可行性,实验使用Sinc函数和MacKay机械手回归函数对其进行验证。Sinc函数分别具有5 000组训练样本和5 000组测试样本数据,MacKay机械手回归函数分别采用200组训练样本和200组测试样本。

在实验中,性能指标使用均方根误差(RMSE)：

(12)

对于Sinc函数,储备池核函数采用径向基函数,当ESN算法的节点数为80,PRM-ESN算法的节点数为20时,ESN算法和PRM-ESN算法的仿真结果分别见图2、图3以及表1所示。

图2 ESN算法的预测结果与误差

图3 PRM-ESN算法的预测结果与误差

表1 ESN和PRM-ESN算法的性能比较

对于MacKay机械手回归函数,在实验训练过程中,储备池核函数同样采用径向基函数作为核函数,当储备池节点个数为50时,ESN算法的运行结果最优,如图4所示。当储备池节点个数为40时,改进算法的运行结果优于原算法,如图5所示。在运行时间和精度上,表2给出了具体的运行结果。

表2 ESN和改进算法的运行结果比较

从运行结果来看,提出的算法虽然在运行时间上作出了牺牲,但测试精度却大大得到了提高,而且储备池的节点数比ESN算法的节点数少。由此可见,文中提出的算法是有效的、可行的。

4 结语

文中是在回声状态网络的基础上,提出了一种新型的偏鲁棒M回归回声状态网络,该算法利用PRM回归算法计算其网络的输出权值。为验证该算法的可行性和有效性,通过sinc函数和MacKay机械手回归函数对其进行验证,实验结果表明,与回声状态网络相比,该算法虽然具有较高的测试精度和良好的泛化能力,但是还存在不足之处,如储备池节点个数的选择问题。