基于动态RPROP算法的对角递归神经网络

王晓燕，杨富龙

（1.兰州城市学院 培黎机械工程学院，甘肃 兰州730070；2.兰州理工大学 电子与信息工程学院，甘肃 兰州730050）

对于参数易变的非线性复杂系统，对角递归神经网络利用其自身的时间特性可以处理时变输入信息，对非线性时变系统进行控制[1]。很多学者就训练神经网络的算法进行了深入研究，并分别应用于不同领域。Guo B等[2]将利用DRNN实现的PID控制器应用于永磁同步电机伺服系统的控制。LI Bo等[3]将DRNN用于挖掘机伺服系统的参数辨识。S.-I.HAN等[4]提出的一种基于递归神经网络的模糊控制器对非线性系统具有良好的跟踪性能。WANG L等[5]为了提高系统的收敛速度，提出了一种混沌DRNN控制器模型。SHUANG F等[6]提出了一种基于DRNN的涡流测功机输入输出特性辨识模型。PENG Jin-zhu等[7]提出了一种结合对角递归神经网络和非线性H_∞方法的控制方法，用于改善非完整约束的两轮移动机器人系统中存在建模误差及外扰的情形。LIU Tong等[8]针对大功率连续微波加热系统的复杂性和非线性，提出了一种基于对角递归神经网络的辨识方法。LI Xiao-fei等[9]利用DRNN近似浆体压力和隧道参数之间的复杂关系，提出了一种施工过程中浆液压力平衡的模型预测控制系统。QIU Zhi-cheng等[10]将DRNN作为抑制机械臂振动的控制器。

从上述文献中可以发现最常用来训练神经网络的算法是梯度下降算法，该算法存在网络权值的学习过程易发生振荡、收敛速度慢、辨识精度不够理想的问题，因此本文提出一种动态RPROP算法，可以使上次的网络连接权值改变量对本次权值改变量产生影响，以得到更好的收敛速度和辨识精度。

1 对角递归神经网络模型

对角递归神经网络[11-12]是一种动态网络，在未知系统结构和阶次的情况下，仅选取上一个历史时刻的参数作为输入向量，即可通过内部递归神经元的权值调整实现非线性系统的动态映射，同时网络权值调节的计算量很小。在DRNN的递归层中存在自回归神经元，使其能够捕捉被控非线性对象的动态行为[13]。对角递归神经网络的结构[14]如图1所示，它的递归层中每一个神经元都是带有一步自反馈的递归元（图1中带阴影的神经元）。

DRNN网络的数学模型为：递归层的输入为：

递归层的输出为：

图1 对角递归神经网络结构

输出层的输出为：

f（·）取为双极型Sigmoid激励函数：

其中，设Ii（k）为第k时刻第i个输入，Sj（k）为递归层第j个递归元的输入之和，Xj（k）为第j个递归元的输出；O（k）为网络的输出；WI、WD、WO分别为输入层、递归层和输出层的权值阵，设有P个输入，Q个递归元，R个输出。

2 动态RPROP算法

动态RPROP学习算法调整网络各连接权值的方法如下：

递归层自反馈权值调整为：

递归层与输入层间的权值调整为：

式中动量因子α∈[0，1]；η-和η+分别为减小因子和增加因子，且0<η-<1<η+；∆ij为网络连接权值的更新值，

其中E（k）为权值调整时采用的性能指标函数，即

式中y（k）为系统的输出（即期望输出），ym（k）为网络的实际输出。

3 仿真研究

为了验证动态RPROP算法的有效性，分别将基于该算法和RPROP算法的DRNN用于非线性时变系统的辨识效果进行比较。

（1）设被辨识非线性时变系统（对象1）的数学模型为：

输入信号为：

DRNN网络结构为2-8-1，即输入层节点数为2，递归层节点数为8，输出层节点数为1，训练1000步。权值更新值的初始值∆0=0.1，增大因子η+=1.2，减小因子η-=0.5，动量因子取为α=0.1。

仿真比较结果如图2、3所示。

图2 动态RPROP与RPROP算法辨识误差比较（对象1）

图3 动态RPROP与RPROP算法均方误差比较（对象1）

（2）为了测试动态RPROP算法的有效性，再将基于该算法的DRNN网络用于辨识另一个非线性时变系统，记为对象2：

其中N为迭代步数。输入信号为：

DRNN网络采用2-10-1的结构，迭代步数为1000。动态RPROP算法中参数的选取为：权值更新值的初始值∆0=0.1，增大因子η+=1.2，减小因子η-=0.5，动量因子取为α=0.5。仿真比较结果如图4、5所示。

图4 动态RPROP与RPROP算法辨识误差比较（对象2）

图5 动态RPROP与RPROP算法均方误差比较（对象2）

4 结束语

在利用学习算法训练DRNN时，为了避免网络权值的学习过程发生振荡、收敛速度慢，得到更好的收敛速度和辨识精度，本文提出一种动态RPROP算法，介绍了动态RPROP学习算法调整网络各连接权值的方法；同时，为了验证动态RPROP算法的有效性，分别采用RPROP算法、动态RPROP算法训练DRNN，并对两个非线性时变系统进行辨识，仿真结果表明基于动态RPROP算法的DRNN辨识器的输出能更好地逼近被辨识系统的实际输出，网络的收敛速度、辨识精度也有较大的提高。