基于遗忘机制的神经网络非线性系统辨识

刘妞　罗广文　廖嘉嘉　张琪

(广西科技大学　电气与信息工程学院，广西柳州　545006)



基于遗忘机制的神经网络非线性系统辨识

刘妞罗广文廖嘉嘉张琪

(广西科技大学电气与信息工程学院，广西柳州545006)

神经网络算法对于系统辨识具有很好的效果，但是对于大数据来说，每一个数据是否都具有平等的等效性这个问题上处理不妥。随着时间推移数据的可靠性越高,采用基于遗忘机制的神经网络非线性系统辨识方法，首先分析了遗忘神经网络的适用条件并对遗忘神经网络进行了理论分析与仿真，其次发现遗忘神经网络在准度和进度上面并不会有很大的误差，所以结论表明遗忘神经网络对于数据的处理具有较强的时效性和跟踪性。

神经网络；非线性系统；辨识；遗忘神经网络

神经网络的思想最早于20世纪40年代被提出。50年代，感知机的成功应用开始受到人们的重视。60年代，由于发现神经网络存在的异或难题等缺陷，因此对他的研究陷入低潮。1986年美国科学家Dvavid.Rumellhartt Hames L.Mocllandv发表了“Parallel Distributd Processing”论著后，神经网络掀起了新的研究热潮。之后，德国心里学家艾宾浩斯[1](Hermann Ebbinghaus)研究发现，遗忘在学习之后立即开始，他认为“保持和遗忘是时间的函数”。为改善神经网络算法提供了依据。

网络训练是神经网络能否成功应用的一个关键环节。用于网络训练的数据的集合称为训练数据集。一般是由数据库、数据仓库等数据存储中的基础数据经一定的选择、转化而形成的。于是在建立训练数据集的过程中，就存在新旧数据的取舍问题[2]。由于现实的规律可能会具有时变性，当所有的数据被同时地用于训练网络时，该网络对决策者所关心的系统当前的表达能力会受到削弱[3]。如果仅选择近期反映数据进行训练会损失早期很多有用的信息。因此人们提出了一种新型的数据训练的神经网络模型即遗忘神经网络[4]。

1　原理

离散型反馈神经网络如图1所示。

图1　离散型反馈神经网络图

离散型反馈神经网络由下列的差分方程描述：

(1)

(2)

如果已知系统的M组输入、输出矢量，则(2)式可写为

(3)

利用最速下降法，我们可得计算连接权值短阵w={wij}的递推公式：

(4)

式中：μ为步长，而J(w)为：

(5)

相应的有

(6)

(7)

式中：H为输入u(k)的个数，当输入u(k)为H个(即i=1,2，…，H)时, (2)式还可以写成如下形式：

(8)

将式(7)和式(8)代入式(5)可得

(9)

遗忘神经网络在原理上与神经网络是一致的，只是在数据的处理上引进了了遗忘机制，增加了遗忘函数y=(1-k)t0-tn，综上所述，遗忘神经网络系统辨识的算法步骤如下：

第一步：选定初始权重值wij(0) (i= 1,2,…,N, j=1,2,…,N)，初始值的区间在(0,1)。

第二步：放入输入I(n), 其中：I(n)=[I(n)1,…,I(n)pm,d(n)), d(n)]是系统的期望输出。

(10)

第四步：权值更新

1)模型输出的反传信号δ

δ(l)=(1-k)t0-tny(n)[y(n)-dj][1-y(n)] .

(11)

误差层的反传信号

(12)

2)权值的更新

(13)

式中η为学习的步长。

第五步：n=n+1返回到第二步进行循环计算, 直到跟踪误差小于等于0.005 %或者计算100次后终止。

2　仿真

下面应用神经网络和遗忘神经网络对具有随机噪声的二阶系统进行模型辨识的仿真。

假设具有随机噪声的二阶系统参考模型的差分方程

(14)

式中：a1=0.336 6；a2=0.663 4；b=0.68；ξ(k)为随机噪声。神经网络和遗忘神经网络选用3-9-9-1型，即输入层i，隐含层j(包括2级)和输出层k，各层的节点数分别为3、9、9、1个。

Matlab仿真结果如图2所示。

图2(a)是遗忘神经网络辨识跟踪的模型误差，基本上迭代15次左右就能很好的跟踪目标。从图可以看出遗忘神经网络在跟踪精度上虽然比不上神经网络，但是基本上控制在0.5 %以内，这是在允许存在的误差之内。从(a)和(b)可知神经网络与遗忘神经网络都同时达到稳定状态，说明跟踪速度上遗忘神经网络并不会比神经网络差。但是在数据处理方面由于数据的有效性不等，遗忘神经网络虽然不能很好地跟踪模型，但是可以逼近模型并且适用于该模型。从(c)和(d)可以看出神经网络逼近每一个数据都误差很少，也就是说数据的有效性是平均，从而达到完美仿真。但现实中并不存在。

根据以上的仿真分析可知：遗忘神经网络虽然在辨识精度上略次于神经网络，但是在辨识速度上完全与神经网络接近。由于遗忘神经网络特别具有对数据有效性的处理。在很多情况下，由于数据常年的积累，难免对于每一个数据的分量都不同，所以在特定的领域内比神经网络具有更好的效果。

3　结语

借助于对一个非线性系统的辨识，本文对遗忘神经网络和神经网络进行了比较。引入了遗忘神经网络算法，分析了遗忘神经网络的适用条件，并通过理论分析证明了遗忘神经网络可以进行非线性系统的辨识。仿真实例说明了遗忘神经网络相比于神经网络,虽然在速度和精度上存在较大的误差但是对于我们还是可以接受的范围，但是在数据的有效性方面，具有较强的时效性和跟踪性。适用于大数据库和数据有效性不等的处理。

[1]张格伟，廖文和，刘长毅，等. 知识的记忆-遗忘模型及其在知识管理的应用 [J]. 南京航空航天大学学报，2008，40(2)：265-270.

[2]周晓正, 林小竹，陈星，等. 一种改进的人工神经网络模型[J]. 计算机工程与应用，2008，44(9)：64-66.

[3]代小娟, 林小竹, 周晓正. 模式神经元网络的聚类方法研究[J]. 北京石油化工学院学报，2009，17(4)：13-16.

[4]叶强，卢涛，李一军. 遗忘神经网络及其BP算法[J]. 计算机工程，2003，29(20)：135-136.

Nonlinear System Identification Based on Neural Network with Forgetting Mechanism

LIU NiuLUO GuangwenLIAO JiajiaZHANG Qi

(School of Electrical and Information Engineering, Guangxi University of Science and Technology, Liuzhou 545006, China)

Neural network algorithm has a good effect for system identification. But it can not tackle the same equivalence of every datum effectively for the big data. With the passage of time the reliability of the data increases. This paper uses a neural network with forgetting mechanism for nonlinear system identification. It analyzes the applicable conditions of the neural network with forgetting mechanism and simulation, and then finds this network has little deviation in terms of accuracy and progression. The result shows it has the advantages of timeliness and of tracking for data processing.

neural networks; nonlinear systems; identification; neural network with forgetting

2015-04-29

刘妞(1992—), 男, 江西吉安人, 硕士生, 主要从事汽车电子技术研究。

TP183

A

1009-0312(2016)03-0054-04