一种新的具有多个储备池的回声状态网

王 茜，伦淑娴

（1.渤海大学 数理学院，辽宁 锦州121013；2.渤海大学 工学院，辽宁 锦州121013）

0 引言

回声状态网（ESN）是由Jaeger教授于2001年提出的一种新型递归神经网络模型.回声状态网由随机稀疏连接的神经元组成储备池，代替递归神经网络的隐含层［1-2］.近年来，许多学者致力于提高ESN的性能，并成功的在许多输入驱动中得到了应用.例如时间序列预测和分类［3-4］、动态模式识别［5］，系统建模或识别［6-8］等.文献［9］指出，一个具有单储备池的ESN，可以很好地被训练生成一个正弦发生器，但在面临实现多个正弦函数叠加（MSO）的任务时，其性能就变差了.究其原因，可能是因为在同一储备池内的神经元是耦合连接的，而任务是需要存在多个不耦合连接的神经元［10］.为了解决MSO问题，自然就考虑到建立一个具有多个储备池的回声状态网，每个储备池可以具有不同规模，不同的拓扑结构，不同的谱半径，这样就可以产生多个不同频率的正弦波叠加的发生器.但实际仿真表明，ESN的储备池神经元被分成多个不同的子储备池时，没有提升其解决MSO问题的能力，与单个储备池差别不大，拟合性能不是很好，这可能是由于每个子储备池之间没有耦合的缘故.因此有学者开始研究含有多个储备池的回声状态网结构［11-12］.文献［11］提出一种生长型回声状态网络（GESN），能够自动生成储备池的拓扑结构和大小，可以在一定程度上，避免过拟合问题.但是，GESN只是通过增加子储备池的数量来改变网络整体的结构和性能.文献［12］提出利用侧抑制作用设计一个新型多储备池回声状态网（DESN）.DESN在增加自由参数条件下实现了令人满意的网络的可能性.但是，DESN的各个子储备池之间的连接还不够随机稀疏性.在此背景下，本文对子储备池之间的连接方式进行了改进，提出新的具有多储备池的回声状态网结构（MLESN）.

1 泄漏积分型回声状态网（Leaky-ESN）

2 多储备池回声状态网（MLESN）

2.1 MLESN 模型

为保证回声状态网的神经元具有相异性，论文提出由泄露积分型神经元构建一种新型的多储备池回声状态网，称为多储备池泄露积分回声状态网（MLESN）.MLESN是采用由顶向下和由底向上相结合的思路构建回声状态网.具体思路如下：

首先采用由顶向下的思路构建回声状态网.针对Leaky-ESN网络，假设其储备池由P类相异神经元构成.每一类神经元的群体将构成一个子储备池.那么将构成P个子储备池，即MLESN网络的储备池是由P个子储备池构成.

然后采用由底向上方式构建回声状态网.首先确定P类相异神经元，生成P个子储备池.在这里相异神经元指的是它们的状态相异，同类神经元是指它们彼此状态相同或相近.假设同类神经元的代表，称为中心神经元，即中心神经元与其它同类神经元之间的欧氏距离近似相同.那么，为了生成P类相异神经元就转换成了生成P个中心神经元，且这P个中心神经元大于一定的欧氏距离，来保证中心神经元之间的相异性.当中心神经元一旦确定，其对应的子储备池就确定了.子储备池的神经元状态与其中心神经元状态相同或相近.

储备池状态更新过程，仍需保持各子储备池内部神经元之间的差异性小，不同子储备池神经元状态之间的差异性大.

储备池神经元之间的连接权矩阵W产生方式仍与单储备池神经元连接权矩阵相同.

得到MLESN更新方程式为：

2.2 MLESN 回声特性

2.3 MLESN 的参数选取与优化

MLESN模型在这里为了保证稳定性令Wfb= 0.因此最终需要优化的MLESN模型如下：

在方程（6）中，需要优化三个全局参数，分别是：a，ρ，Sin，我们采用随机梯度下降法来优化以上三个参数.首先，在这里我们提出误差与平方差公式

2.4 MLESN 网络的实现过程

MLESN网络的实现步骤如下：

1）假设MLESN的储备池是由P类神经元构成，每一类神经元构成一个子储备池，第i个储备池的神经元个数为di，那么储备池总神经元总数为

2）参数初始化，包括稀疏度、运行步长、连接权矩阵W，Win和Wfb，待优化参数a，ρ，Sin等；

3）P个子储备池的中心神经元构成了虚拟的子储备池，其对应的连接权值为Wˉ；Wˉ是随机生成的，具有一定的稀疏度，分别生成了P个初始状态；

4）P个子储备池的初始状态由P个中心神经元初始状态决定，每个子储备池的所有神经元初始状态与其对应的中心神经元初始状态一致；

5）在第2）中随机生成的具有一定稀疏度的W，对应所有的储备池神经元；

6）更新系统的储备池状态；

7）仍然按照中心神经元的状态值，修正其所属子储备池其他神经元的状态，保证同一子储备池状态更新后仍一致；

8）优化参数，训练结束获得最优参数和Wout；

9）测试网络性能.

3 仿真和结果分析

仿真运行结果如图2、图3和图4所示.图2与图3分别是Leaky-ESN模型与MLESN模型的预测结果.图4分别显示了Leaky-ESN模型与MLESN模型的预测误差.由图2、图3和图4所示，本文提出的改进的MLESN模型预测结果与真实数据更加接近，MLESN模型的预测误差相对稳定，而Leaky-ESN模型的各个序列预测误差值波动较大，这表明本文提出的MLESN模型预测精度和稳定性方面都要优于Leaky-ESN模型.

4 结论

本文提出了一种新型的多储备池回声状态网络MLESN，该模型的储备池网络结构是由多个子储备池构成，每个子储备池中的神经元属于同一类神经元，其状态可以由中心神经元代表，这些中心神经元之间通过随机稀疏连接构成了一个新的虚拟子储备池，可以通过减小网络的储备池神经元数来保证网络的性能，具有很高的预测精度和预测稳定性.