基于改进回声状态网络的居民消费价格指数预测研究

楚旭

摘 要：对居民消费价格指数（CPI）做出准确的预测，能够为国家或地区相关部门在制定合理的发展规划以及对资源进行优化配置时提供重要依据。早期研究者主要采用计量经济模型、时间序列模型对CPI进行预测。

本文分析了回声状态网络预测模型和小世界网络结构。包括ESN的训练过程、储备池的关键参数和小世界网络的数学模型。然后，构建具有小世界特性的小波回声状态网络预测模型（SW-W-ESN）。同时，储备池是ESN的核心部分，改进回声状态网络对CPI的预测更为准确，在宏观经济调控方面更具有科学性和可行性。

关键词：回声状态网络;居民消费价格指数;小世界网络;小波函数

一、具有小世界特性的小波回声状态网络预测模型

传统的回声状态网络储备池是随机生成的，神经元之间耦合很强，预测能力受限。使用小世界网络结构取代传统的随机结构，避免了模块化结构。不同的群集包含不同数量的神经元，不同类型的神经元，丰富了储备池神经元，增强了储备池信息处理能力。因此，使用小世界网络代替储备池传统的随机结构。小波函数具有良好的局部特性和变换特性，在储备池达到一定规模时，可扩展储备池的状态空间，有助改善储备池的非线性逼近能力。

1.具有小世界特性的回声状态网络储备池设计

本文提出了一种简单的小世界网络构造方法，可以直接生成储备池连接矩阵。生成过程分为以下几步：

新方法可以简单、直接、快速生成连接矩阵作为ESN储备池结构，在实际应用中，在保证预测精度的前提下，降低预测工具的使用复杂度是很有意义的。

2.小波神经元分析

储备池神经元通常使用Sigmoid函数作为激励函数限制了传统ESN储备池激励函数的类型，减弱了ESN处理复杂特征的能力。小波神经元的激活函数是由一个小波母函数经过伸缩和平移变换后得到的，用其替换部分Sigmoid函数。因此，每个小波神经元具有不同的激活函数，从而丰富了储备池的存储和转换功能，并提高了储备池的记忆功能。本文选用Symlets小波作为母小波，其数学形式表示为：

对每一个小波神经元使用不同的伸缩和平移因子，Symlets 小波产生的小波函数系为：

最后，ESN的储备池状态的更新方程定义如下：

这样，储备池神经元类型就在S型神经元的基础上增加了小波神经元，而且不同的小波神经元可以通过小波基函数拓展为不同的函数形式，极大地丰富了神经元类型。

3.SW-W-ESN组合预测模型

SW-W-ESN预测模型通过使用小世界网络结构代替传统ESN储备池随机结构并同时使用Sigmoid函数和小波函数作为激励函数的改进回声状态网络预测模型。首先，确定储备池规模N以及小世界群集数Q。本研究中，选取Sigmoid函数或Symlets函数，至此，具有小世界网络特征和小波激励函数的储备池构建完成，然后使用训练数据集对SW-W-ESN预测模型进行训练，训练获得对应的输出权值矩阵，对测试集数据进行预测，对每组数据集进行50次试验，最后将50次试验获得的MAPE和MSE的平均值作为模型最后的输出。

SW-W-ESN组合预测模型流程如下所示：

（1）读取数据，对数据进行预处理，将标准化后的数据分别划分为训练集和测试集，训练集和测试集的數量比一般设为7：3。

（2）构建具有小世界特性的ESN储备池。

（3）确定各群集的神经元类型。

（4）使用测试集对SW-W-ESN预测模型进行测试，确定最优的输出权值矩阵。

（5）使用经过训练的SW-W-ESN模型预测验证集数据。记录预测值与期望值的MAPE和MSE。

（6）50次重复试验，输出MAPE和MSE的平均值。

二、居民消费价格指数预测

在第1章中，得到了改进的回声状态网络预测模型——SW-W-ESN预测模型，并从理论上分析了改进的科学性和可行性。在本章中，将SW-W-ESN模型应用到实际问题中，对CPI进行预测。

1.预测精度衡量指标

常见的误差评判方法有：平均误差（ME）、平均百分误差（MPE），平均绝对百分误差（MAPE）和均方误差（MSE）;然而，ME和MPE不能有效地反映预测效果，因为正负误差会抵消，使平均值总是接近于零。MAPE虽未能考虑到误差方向，但确实能够很好地反映预测效果。如果实际值达到0或接近0，误差会被放大，本研究选择MSE作为精度评判标准更合适。MSE本质上是预测误差的样本标准偏差（没有任何自由度调整），假设较大的预测误差比较小的预测误差更重要，所以算例选取MAPE和MSE来评价模型的预测性能。

2.基于SW-W-ESN的居民消费价格指数预测

（1）数据来源

2000年1月-2019年4月全国CPI指数具体数据。数据来源：http：//data.eastmoney.com/cjsj/consumerpriceindex.aspx？p=1。

（2）对比预测模型和数据集划分

SW-W-ESN模型的预测效果与储备池规模N、群集个数Q、小波神经元所占比例P有关，在第1章中提到，参数的设置方法可以通过实际应用中的经验给出或者通过寻优得到。针对这些参数设置对比实验，储备池规模N取值为{100，150，200}群集个数Q取值为{2，3，4，5}，小波神经元P取值为{25%，50%，75%}，确定具有较优参数的SW-W-ESN预测模型;然后将SW-W-ESN模型与传统ESN模型的预测效果进行对比;最后，与只进行单一改进的模型进行对比。

对比验证选取的数据为2000年1月至2018年9月全国各月CPI数据，共有220个数据点，数据分为两个部分：训练集（156个数据点）和测试集（52个数据点），训练集用来对生成的网络进行训练得到输出权值，最后用测试集数据来检测模型的预测效果。本文采用单步预测策略，前12个数据预测第13个数据，则训练集中共有156组训练样本，测试集中共有52组测试样本。

（3）参数设置及结果分析

对于本文提出的SW-W-ESN模型，最重要的三个参数是储备池规模N、小世界网络群集个数Q、小波神经元所占比例P。

（4）预测模型验证分析

通过对比实验，发现当储备池规模为150，群集个数为3，小波神经元所占比例为1/3时，预测效果最好。

为了验证SW-W-ESN预测模型的改进能够提高原始模型的预测精度，分别用ESN、SW-ESN和W-ESN三种不同的模型作为对比。储备池规模相同的情况下，SW-ESN模型的群集个数为3，W-ESN模型中小波神经元所占比例为1/3。

从表3和图2可以得到以下几点结论：

（1）本实验选取了一组变化规律十分复杂的时间序列，四种模型都实现了高精度预测，说明传统ESN模型和改进后的ESN都能对游客到达人数进行精准的预测;

（2）对传统ESN模型进行单一的改进均能提升预测效果，但提升幅度有限;相对于传统ESN模型，W-ESN模型的MAPE和MSE分别降低3.34%、3.18%，SW-ESN模型的MAPE和MSE分别降低4.61%、4.28%;

（3）预测精度提升明显，使用SW-W-ESN模型进行预测，取得的MAPE和MSE分别降低22.44%、33.84%;说明同时改进具有意义且优于单一改进。

（4）看出传统ESN模型和SW-W-ESN模型预测能力的异同。在一次预测多个数据点的时候，大多数模型的预测精度会越来越低，但这两个模型在对50个月度数据进行预测时，预测精度并没有明显的降低，只是后期的预测值趋于平稳，不具备对峰值数据的精准预测能力，这说明两种模型具有很强的预测稳定性，可以进行长期预测;SW-W-ESN模型的预测值全面优于传统ESN模型。

三、结论

在ESN储备池中引入具有小世界特性的网络结构代替传统的随机网络结构，避免了随机网络节点之间耦合性强、计算能力有限的缺点。同时使用小波神经元和S型神经元，使得储备池神经元具有良好的局部特性和变换特性。构建SW-W-ESN模型，设置对比试验，得到预测效果较好时的储备池规模和群集个数。选取了一组变化规律十分复杂的时间序列，使用ESN模型、W-ESN模型、SW-ESN模型和SW-W-ESN模型进行预测，结果显示，SW-W-ESN模型的预测精度明显高于其他三种模型，同时对两者进行改进时，预测精度有了明显的提升，说明这两种改进的组合是有意义的，有互相促进的作用，其预测精度的提升幅度明显高于两种单一改进模型的提升幅度之和，而且SW-W-ESN模型很强的预测稳定性，可以进行长期预测。

参考文献：

[1]Akin M. A novel approach to model selection in tourism demand modeling[J].Tourism Management，2015，48：64-72.

[2]Bao G，Zeng Z G.Global asymptotical stability analysis for a kind of discrete-time recurrent neural network with discontinuous activation functions[J].Neurocomputing，2016，193（1）：242-249.

[3]Boccato L，Diogo C，Attux R，Fernando J.Performance analysis of nonlinear echo state network readouts in singal processing tasks[C].Proceeding of WCCI 2012 IEEE World Congress on Computational Intelligence，2012：1-8.

[4]Cang S.A non-linear tourism demand forecast combination model [J].Tourism Economics，2011，17（1）：5-20.

[5]Jaeger H. The “Echo State” Approach to Analysing and Training Recurrent Neural Networks - with an Erratum note[R].German National Research Center for Information Technology，2010：148-156.

[6]Jan A，Hiu F C. A wavelet neural network conjunction model for groundwater level forecasting[J].Journal of Hydrology，2011，407：28-40.

[7]Kim C I，Yu I K，Song Y H. Kohonen neural network and wavelet transform based approach to short-term load forecasting[J].Electric Power Systems Research 2002，63：169-176.

[8]Li D C，Han M. Chaotic time series prediction based on a novel robust echo state network[J].IEEE Transactions Neural Networks Learning Systems，2012，23：787-799.

[9]Li G，Niu P，Zhang W，Zhang Y.Control of discrete chaotic systems based on echo state network modeling with an adaptive noise canceler[J].Knowledge-Based Systems，2012，35： 35-40.

[10]Wang S，Yang X J，Wei C J.Harnessing nonlinearity by sigmoid-wavelet hybrid echo state networks[C].The 6th World Congress on Intelligent Control and Automation，2006，WCICA 2006.Piscataway，NJ 08855-1331，2006，1：3041-3018.

[11]Zheng P S，Tang W S，Zhang J X. A simple method for designing efficient small-world neural networks[J].Neural Networks，2010，23（2）：155-159.

[12]薄迎春，喬俊飞，张昭昭.一种具有small world特性的ESN结构分析与设计[J].控制与决策，2012，27（3）：383-388.

[13]黎倩.回声状态网络的神经元模型和拓扑结构优化研究[D].重庆：重庆大学图书馆，2017.

[14]罗熊，黎江，孙增圻.回声状态网络的研究进展[J].北京科技大学学报，2012，34（2）：217-222.

[15]杨飞，方滨兴，王春露，左兴权，李丽香，平源.基于小波和回声状态网络的交通流多步预测模型[J].吉林大学学报（工学版），2013，43（3）：646-653.