基于改进回声状态网络的数据预测算法研究

朱毅 杨慧颖 贾善杰 李勇 郭光

摘要：回声状态网络（ESN）由于自身的回声记忆能力以及高效的神经元连接模式，在数据非线性预测问题上获得了良好的实验效果。为了进一步推广ESN算法的应用范围，将其应用在电力网络流量数据预测方面，并根据电网对数据分析结果的精益要求，在ESN网络的输入、存储池和输出模块中利用去噪、平稳计算等方法，增强了算法的鲁棒性，并通过实验平台验证了算法的有效性及可靠性，将指导电网数据预测软件的设计与开发。

关键词：回声状态；数据预测；流量预测模型

中图分类号：TP183文献标志码：A文章编号：1008-1739（2018）17-66-4

Research on Data Prediction Algorithm Based on Improved Echo State Network

ZHU Yi1， YANG Huiying2， JIA Shanjie1， LI Yong2， GUO Guang3（1. Economic and Technological Research Institute， State Grid Shandong Electric Power Company， Ji爷nan Shandong 250022， China； 2. State Grid Shandong Electric Power Company， Jinan Shandong 250022， China； 3. Beijing Zhongke Chuangyi Technology Co.， Ltd， Beijing 100198， China）

0引言

随着通信网络的环境越来越复杂，网络变化方式也由单一的线性向非线性变化，传统的网络预测手段已经无法准确获知网络变化的轨迹，需通过智能型且复杂度较高的网络自学方法来辅助分析网络性能。

目前，较成熟的网络学习方法有贝叶斯、小波分析、支持向量机机器学习及神经网络等方式，但经过不断实验及应用验证发现，大部分算法还存在预测精准度不够的问题，甚至有的算法因应用范围限制，仅限于一个固定的应用场景，在其他领域则无法训练学习。针对预测精度的问题，德国Jaeger教授于2001年提出回声状态网络，预測精度比传统网络提高了2 400倍，因此本文将从传统的ESN算法入手，从输入、网络训练池和输出3个部分综合优化算法性能，提出了改进的ESN算法，提升网络的噪声干扰性及平稳性等，使算法在网络流量数据预测应用方面有更好的应用。

1回声状态网络结构

ESN是一种新型的递归神经网络，网络结构有输入、隐含和输出3层，其优越性主要表现在隐含层处，隐含层中存储的是数量及训练权值可变化的稀疏神经元，并且输出反馈权值会进一步优化隐含层网元训练的程度。网络具体结构如图1所示。

ESN网络中的输入值、训练权值和输出值都在一个维度的紧凑数集，相互间具有强关联性。图1中的是存储了大量随机产生的神经元的集合，定义为存储池，神经元之间的连接关系在某一时刻是不变的。当换到下一个时刻会自适应变化，因此ESN存储池内的权值是变化的，相对于传统神经网络固定的权值而言，更不容易出现长时间训练局部收敛或不收敛问题，ESN会根据输出值反馈连接back值作用于存储池内，随时调整网络连接方向，使递归网络逼近复杂映射的能力，这就属于网络回声状态属性。

从公式上就能看出，ESN的构造方法简单且灵活，网络可经验性选择初始值，并自适应调整存储池连接权值，使得整个训练过程能快速完成。网络中几个关键参数会影响网络训练性能，例如输入连接的权值大小以及内部连接矩阵的谱半径等直接影响网络记忆能力。通过Jaeger教授的试验结果可知，

in越小，谱半径越接近1，网络短期记忆性能越好，但是，记忆能力提升的同时也会造成训练收敛性能下降，因此对存储池神经元个数及连接矩阵的初始化值选择上需要精心部署。

2回声状态网络算法的改进分析

电网对于网络运行安全性的要求是精益求精的，分点预测误差很可能造成电网瘫痪，损失是无法预估的，ESN网络性能的优化是改善预测结果的唯一方法，针对传统ESN网络发展缺陷进行归纳统计，提出建设性改进意见。

（1）输入和输出网络的优化

输入和输出作为网络的起末端，属于网络边缘，很容易造成噪声的干扰。输入端的数据一般由电网网管数据读出，其中会存在其他系统数据的干扰或设备间的杂散噪声；而输出端数据由于经过存储池内部不断的计算训练，偶尔会有增益神经元加入，会增加输出矩阵的维度，因此输入和输出端数据都会存在很多冗余，需要采用降噪和平稳的算法对数据进行预处理。使用PVC算法，相对于其滤波、傅里叶变换等算法方面有很强的特征提取能力，保障数据的纯净度，便于快速计算。

（2）存储网络的优化

在ESN的3部分中，存储池是其核心部分，也是最复杂的部分，越复杂的地方就会引出越复杂的问题。存储池构建的3个关键部分就是神经元个数、初始连接权值矩阵和训练算法的选取。

①神经元的个数一般是根据输入矩阵的维度适当选择，一般会大于等于输入矩阵维度，神经元个数如果选择过大会造成后期重复冗余计算弊端，应尽量选择恰当的数值减少网络规模来节省后期的计算资源。

②储备池连接权值矩阵是随机产生的，容易造成一些重要的、不可人为控制的参数。储备池的控制程度与储备池产生的方式密切相关。存储池内部链接权值的选择是一个难度很高的过程，由于ESN内部节点数量一般比较庞大，存储池控制性能是否良好关键在于初始值的选择。为了确保算法整体的收敛性，连接权值谱半径的经验值小于1，并且ESN的神经元为稀疏连接，初始值必须满足这2个先验条件。

从初始值特点可以看出，存储池的稀疏性会影响训练的收敛性，由于训练的数量庞大，缺乏聚集性就导致收敛耗时过长，根据输入端数据的特征进行功能性分类，把对应的存储池连接矩阵子模块划分，多个存储子圈同步训练，减少了数据的维度，优化了收敛性能。

③矩阵训练是一个动态的过程，在训练的次数中会产生不同的训练误差，预测误差是伴随着储备池连接权值矩阵谱半径的变化而变化的，谱半径超出一定范围，则无法收敛，因此要选择合适的训练算法来根据训练过程中产生的误差，依次调整存储池谱半径和稀疏程度，从而达到相对最优的储备池参数，避免陷入局部最优的困境。

3改进回声状态网络的流量数据预测模型构建

由于神经元训练属于动态过程，在矩阵变换的过程中，会出现数据的冗余，因此最后再输出测同样利用PVC算法进行去噪去冗余，推导出（ +1）=（ +1）。

4仿真验证及分析

利用Matlab7.0仿真工具对以上算法进行系统验证。从电力通信网管系统TMS上采集一段0～100 s的数据，采样频率为0.1，采集1 000个数据，在Matlab中编译加载算法代码，选择训练不同的训练次数，最终获得最佳的算法收敛效果，仿真图形如图3所示。

图中黑色实线为实际值，绿色虚线为传统ESN算法预测曲线，红色虚线为改进ESN算法预测曲线，从图上可以直观地看出改进的预测曲线更加贴近实际预测值，选取误差最小阈值为e-0.0003，传统的ESN训练了524次才收敛，改进的ESN训练了465次就收敛了，证明改进的算法不仅在收敛次数有所减少且预测精度更加准确，验证了设计算法的有效性及可靠性。

5结束语

ESN作为新生代递归神经网络的研究代表，因其结构的灵活性及稳定性而越来越受到研究学者的青睐。目前ESN算法处于研究应用的起步阶段，本文针对ESN的存储池性能、权值设置等方面做了相关的研究和实验验证，后期还需要进一步工程性验证，并且目前ESN算法的研究领域较狭窄，应深入拓宽研究思路，提升算法的预测精度及适应范围，使其能够解决更多实际的应用问题。

参考文献

[1]韩敏.源浊时间序列预测理论与方法[M].北京：中国水利水电出版社，2007，155-185.

[2]范剑青，埼姚伟.非线性时间序列建模、预报及应用[M].北京：高等教育出版社，2005.

[3]张军峰，胡寿松.基于一种新型聚类算法的RBF神经网络源浊时间序列预测电子学报，2007，56（2）：713-719.

[4]张平，潘学萍，薛文超.基于小波分解模糊灰色聚类和BP神经网络的短期负荷预测[J].电力自动化设备，2012，32（11）： 121-125，141.

[5]韩敏，許美玲，王新迎.多元时间序列的子空间回声状态网络预测模型[J].计算机学报，2014，37（11）：2268-2275

[6]韩敏，史志伟，郭伟.储备池状态空间重构与混沌时间序列预测[J].物理学报，2007，56（1）：43-50.

[7]嵇灵，牛东晓，吴焕苗.基于贝叶斯框架和回声状态网络的日最大负荷预测研究[J].电网技术，2012，36（11）：82-86.

[8]何洋，邹波，李文启，等.基于混沌理论的电力系统短期负荷预测的局域模型[J].华北电力大学学报：自然科学版，2013.40（4）：43-50.

[9]宋青松，冯祖仁，李人厚.回响状态网络输出连接权重的一个稳定训练方法[J].控制与决策，2011，26（1）：22-26.

[10]乔俊飞，薄迎春，韩广.基于ESN的多指标DHP控制策略在污水处理过程中的应用[J].自动化学报，2013，39（7）： 1146-1151.