深度回声状态网络概述

程国建，魏珺洁

(西安石油大学 研究生院，陕西 西安 710065)

递归神经网络(Recurrent Neural Network，RNN)作为一种动态神经网络[1]，因为其训练算法太过复杂、计算量大、训练网络需要大量的时间，所以在实际的应用中仍然存在很多问题[2]。2001年，Jaeger提出了一种新型的递归神经网络[3]——回声状态网络(Echo State Network，ESN)，该网络能够更好的解决时序相关的动态问题。ESN的计算量小，训练简单，使用过程中只需要训练网络的输出权值，而且仅通过线性回归就可以完成训练[4]。现在ESN已经应用在许多方面，例如预测太阳黑子数量的时间序列和城市共享单车数量[5]、变风量空调内模控制[6]、网络流量预测[7]、化工故障检测[8]、非线性卫星信道盲均衡[9]以及电力负荷预测[10-11]等。然而ESN也有不足，即当输入数据用储备池中的回声状态来表示时，由于储备池通常是一个大的随机稀疏连接的递归神经网络，所以可能会存在多余的回声状态。这就是ESN的共线性问题。

有许多研究人员尝试对ESN进行优化及改进[12-15]，黄文华在其研究中将改进的ESN作为热点话题预测模型[16]，张宁致等人将改进的ESN应用在股价预测等实际问题中[17-18]。深度回声状态网络(Deep-Echo State Network，Deep-ESN)也是一种改进的ESN，论文所介绍的Deep-ESN模型是Qianli Ma、Lifeng Shen等人在2017年提出的一种分层储备池计算框架[19]，为了融合每个储备池获得的多尺度表示，该网络添加了从每个编码器到最后一个输出层的连接。一些时间序列的实验结果表明，Deep-ESN可以捕获多尺度动力学，并且优于标准的浅层ESN。

1 回声状态网络

1.1 网络模型

ESN是一种结构简单的新型RNN，它仅由输入层、储备池和输出层组成[20]，如图1。其中输入层、储备池和输出层所包含的神经元数分别为D，N和L，在t时刻的输入向量，储备状态向量和输出向量分别用u(t)、x(t)和y(t)表示。Win是输入层与储备池之间的一个N×D维的权值矩阵，它是从均匀分布[-1,1]中随机初始化的一个值。Wres是储备池内部神经元之间的一个N×N维权值矩阵，它通过储备池的参数——储备池谱半径(Spectral Radius，SR)来计算。Wout是将从输入层到输出层的直接连接和从储备池到输出层的连接串联起来的一个L×(D+N)维权值矩阵，它是ESN中唯一一个需要训练的权值矩阵。

ESN利用储备池中随机连接的神经元来生成一个复杂的状态空间，左侧的输入数据经过状态空间的线性组合得到右侧的输入数据。这里的ESN与传统的RNN主要有以下不同：(1)ESN采用随机高维投影方法捕捉输入的动态性；(2)储备池是整个系统的核心，它由大量(通常为100～1 000D)稀疏连接的神经元组成；(3)输出信号是储备池中回声状态的线性组合，通过简单的线性回归就可以计算输出权值。

图1 ESN的基本结构

1.2 储备池

储备池内部包含大量随机连接的神经元[21]，如图2所示，储备池中神经元的个数决定了储备池的规模[22-23]，这些随机连接的神经元构成了复杂的状态空间。储备池内部的计算过程与支持向量机(Support Vector Machine，SVM)的核方法类似[24]，基本思想都是把低维空间中的输入信号映射到高维空间。

图2 储备池

ESN的核心就是储备池，因此ESN的稳定性和复杂度等性能就由储备池的参数决定。储备池主要有以下4个参数：(1)规模(神经元个数)；(2)稀疏程度；(3)谱半径SR；(4)输入尺度因子(Input Scaling，IS)

2 深度回声状态网络

2.1 网络模型

论文介绍的Deep-ESN是一种多投影编码分层框架，最显著特点是它在分层框架中交替使用储备池和编码器，如图3所示。

图3 Deep-ESN的基本结构

2.2 学习过程

在Deep-ESN中，当输入时间序列被投影到储备池的回声状态空间时，随后的编码器接收前一个储备池的回声状态作为输入，并且编码高维度的回声状态表示再进入较低维度。然后，这些低维表示再次被投影到下一个储备池的高维空间中，如此循环。

(1)

计算出前一个储备池的状态之后，可以利用无监督降维技术对它们进行编码并产生编码特征。第j个编码器的编码过程可以表示为

(2)

其中，fenc(·)是编码器的激活函数，当fenc(·)为恒等函数时，左侧的函数是一种线性降维技术。

综上所述，最后一个储备池的状态表示为

Hj=tj°Fj

(3)

(4)

Deep-ESN将附加的编码器层的编码特征合并到最后的输出层中，得到如下输出

Y=fout(WoutM)

(5)

(6)

整个Deep-ESN的平方误差损失为

(7)

此时，参数Wout的优化仍然是一个简单的回归问题。由于时间序列维持着一个高维度的形式，所以这个问题需要用Tikhonov正则化进行岭回归[25]来解决。

2.3 应用

ESN自从提出以来，就产生了很大的影响，可以应用在预测太阳黑子数量的时间序列和城市共享单车数量、变风量空调内模控制、网络流量预测以电力负荷预测等问题中。近几年，也有许多研究学者提出了一些基于ESN的优化模型，并将这些模型应用于疾病诊断、趋势预测[26-27]等问题中。

论文所介绍的Deep-ESN是由Qianli Ma等人在2017年发表的《A Multiple Projection-encoding Hierarchical Reservoir Computing Framework》中提出的。该论文对两个混沌系统和两个真实世界时间序列进行了基于Deep-ESN的综合实验分析，这些时间序列有麦基玻璃系统、NARMA系统、每月太阳黑子系列和每日最低温度系列等。该论文通过实验证明了Deep-ESN在4个时间序列(两个混沌系统和两个现实世界的时间序列)上超越了一些其他多尺度ESN的方法。

2.4 与其他方法的对比

相比于其他的方法，Deep-ESN有如下几点特征(详见表1)：(1)多投影编码。Deep-ESN不是直接堆叠多个ESN，而是在储备池之间使用编码器，充分利用高维投影来获得丰富的多尺度输入动态表达；(2)多尺度特征融合。为了更好地融合每个储备池捕获的多尺度动态表示，添加了从每个编码器到最后一个输出层的连接，即特征链接；(3)简化训练。与以前的一些基于层次的ESN模型不同，Deep-ESN唯一可训练的层是最后一个输出层，它保留了储备池计算的高效计算而不依赖于梯度传播算法。

表1 各种方法的对比

3 结束语

论文综合了众多学者的研究，在理解了ESN的结构框架的基础上，给出了ESN的概括性介绍。不难发现，ESN在应用到实际问题中时存在着一些不足，并且已经有许多学者尝试对其改进。论文在研究了众多改进的ESN结构之后，选择了Qianli Ma、Lifeng Shen等人在2017年提出的Deep-ESN进行学习研究，论文对其学习过程和网络结构进行了介绍。在作者研究的过程中，发现了一些与Deep-ESN有相似应用的方法，文中也给出了这些方法的对比。

论文通过对ESN和Deep-ESN的研究，发现Deep-ESN不仅引入了一种编码器对来自储备池的数据进行降维编码。同时，该网络循环交替使用储备池和编码器，增加了网络的深度，使得Deep-ESN的整体性能要优于传统的ESN。

尽管Deep-ESN具有许多优势，储备池的优化仍然是Deep-ESN需要解决的一个主要问题。现在也有许多研究人员从事这方面的研究，相信将来这个问题定会得到很好的解决。由于论文所介绍的Deep-ESN是一种新型的网络模型，现阶段的应用与研究非常少。但是Deep-ESN训练过程简单、利用分层投影编码的特点，会使它在将来受到广泛的关注，并逐渐应用到实际问题中去。