基于经验模态分解的小波神经网络预测模型

张彦霞　肖清泰,2　徐建新,2　桑秀丽*

1(昆明理工大学质量发展研究院　云南 昆明 650093)2(昆明理工大学省部共建复杂有色金属资源清洁利用国家重点实验室　云南 昆明 650093)



基于经验模态分解的小波神经网络预测模型

张彦霞1肖清泰1,2徐建新1,2桑秀丽1*

1(昆明理工大学质量发展研究院云南 昆明 650093)2(昆明理工大学省部共建复杂有色金属资源清洁利用国家重点实验室云南 昆明 650093)

针对小波神经网络(WNN)在非平稳、非线性时间序列预测上无法实现自适应多分辨率分析，且其预测精度有待提高的问题，提出基于经验模态分解的小波神经网络预测模型。首先，对非线性、非平稳时间序列进行经验模态分解(EMD)，以降低时间序列的非平稳性；然后对EMD分析得到的固有模态分量(IMF)和余项分别构建WNN模型；最后，汇总预测结果，得到预测值。通过数据验证，新模型的预测精度高于BP神经网络和WNN。

经验模态分解小波神经网络BP神经网络预测

0　引　言

时间序列是每隔特定时间出现的按照时间顺序排列的一组数据，广泛存在于工业工程控制、故障诊断、天气预报和经济预测等领域。早期的时间序列预测分析方法绝大部分是通过构建线性模型来“捕获”训练集的规律，然后利用该规律进行预测。比如常见的ARMA模型[1]，取得了较好的效果。但在实际问题中，人们更常见的是非线性、非平稳时间序列。

目前，BP神经网络、小波神经网络和经验模态分解三种方法被广泛应用于非线性、非平稳性时间序列预测。BP神经网络具有网络结构简单、非线性映射能力和自学习性较强等优势，但是BP神经网络预测模型易出现局部极小值问题，且精度不尽理想[2]。WNN是继BP神经网络之后，在非线性、非平稳时间序列预测中得到广泛应用的一种模型。其结合了人工神经网络和小波变换各自的特点，把小波变换应用到人工神经网络中，具备BP神经网络的自学习能力和小波变换局部化等优点[3-5]，能够有效解决局部极小值问题。但是在实际生活生产中，发现其存在小波分解无法实现的自适应多分辨率分析的问题[6,7]。针对该问题，部分学者通过引入遗传算法、粒子群算法等对WNN的参数进行优化。这些解决方案本质上是对WNN本身进行优化，以期达到克服自身缺陷、提高精度的目的。但是，优化后的WNN模型预测精度不尽理想，其预测精度还具有提高的空间。EMD在信号处理和分析中的有效性得到了验证[8,9]，具有直接、简单和自适应的良好特性，很好地弥补了小波神经网络自适应多分辨率的缺陷。理论上，EMD算法可以解决所有类型信号的分解问题，其在处理非线性、非平稳信号上，具有较强优势[10-12]，然而也存在模态混叠的不足[13]。单个预测方法往往都有各自的不足，为了充分利用多个方法的优势，提高预测精准度，产生了组合多个方法进行预测的思想。Jain等人验证了组合方法可以提高时间序列的预测精准度[14]。郝凤龙等人证实了EMD与小波变换组合模型的有效性和科学性[15]。

鉴于此，本文基于EMD和小波变换各自的特性，采用组合模型的思想，提出了基于经验模态分解的小波神经网络预测模型，以期在非线性、非平稳时间序列预测中得到更加理想的拟合精度和预测精度。

1　基本理论概述

1.1BP神经网络

BP神经网络是一种采用最小二乘法求解误差函数最小值的多层前馈式网络，其隐含层的激励函数是S型正切函数。BP网络的学习过程包括输入信号的正向传播过程和误差的反向传播过程。两个学习过程反复进行，不断在相对误差函数梯度下降的方向计算各个网络节点的权值和偏差，得到变化结果，逐步实现目标。常见的BP神经网络结构为输入层、隐含层(大于等于1个)和输出层。

1.2小波神经网络

小波神经网络WNN是一种以BP神经网络和小波理论为基础，把小波基函数作为隐含层激励函数的多层前馈神经网络。WNN具有信号向前传播的同时误差向后传播的特点。在信号传递中，信号首先从输入层进入网络，然后经过隐含层神经元逐层处理，最后到达输出层。输出层“判断”输出结果是否是期望输出，若是，则输出结果，否则进入反向传播过程。反向传播过程根据网络预测误差更新网络连接权值、尺度因子和位移因子，使预测输出不断接近期望输出。构建WNN的主要任务之一是依据具体时间序列特性，筛选合适的小波基函数作为联系小波变换和神经网络的激励函数。

(1)

小波神经网络拓扑结构如图1所示。

图1　小波神经网络拓扑结构图

图1中的Xi是小波神经网络的输入序列， i=1,2,…,I； fj是选择的小波基函数， Y是小波神经网络的输出序列。 j为隐含层节点数，j=1,2,…,m。

小波神经网络算法流程包括以下三部分：

(1) 小波神经网络构建：选取合适的小波神经网络结构；

(2) 小波神经网络训练：初始化参数并使用训练数据训练WNN；

一是集团化改革取得新成效。广东农垦在1994年就开始实施集团化改革，并以资本为纽带，组建了湛江、茂名、阳江、揭阳、汕尾等5个区域集团公司和一批现代公司制产业集团。国有农场作为产业集团的生产基地，是全产业链的基础环节，与产业集团形成紧密型利益共同体。

(3) 小波神经网络预测：用训练好的小波神经网络预测测试样本，得到预测结果并进行分析。

1.3经验模态分解

经验模态分解EMD是Huang等人[3]提出的一种新型数据分析方法，可以将非平稳、非线性时间序列中的不同特征波动和趋势分离开，形成若干固有模态分量IMF和1个余项，其本质是平稳化处理数据。EMD分解出的IMF要满足以下两个特点：① IMF中的所有极值点数量和所有零点数量相差为0个或者1个；② 在IMF中的任何一个点处，所有极大值点形成的上包络线和所有极小值点形成的下包络线的平均值始终为0。

EMD算法步骤是：① 筛选出时间序列p(t)中的极大值和极小值；② 通过三次样条插值法拟合出极大值和极小值的包络线；③ 计算包络线均值g(t)与初始时间序列p(t)的差值，设为y(t)；④ 把y(t)看作初始时间序列，重复k次步①-步③计算，直至Hk小于给定的阈值，得到第一个imf1(t)，imf1(t)=yk(t)，Hk满足式(2),r1(t)=p(t)-imf1(t)；⑤ 将r1(t)看作初始时间序列，重复①-④，得到imf2(t)，r2(t)=r1(t)-imf2(t)；⑥ 将r2(t)看作初始时间序列。重复以上步骤直至所得到的余项函数值小于给定的阈值或者是单调函数时，结束计算。最后一次得到的余项函数r(t)称为余项。

(2)

由上文可知，时间序列p(t)的公式为：

(3)

2　EMD-WNN预测模型

2.1模型构建

针对非线性、非平稳的时间序列，首先对其进行归一化处理。其次，利用EMD分析方法对其进行分解，最终得到一组IMF和一个余项。然后，利用WNN分析方法对IMF和余项分别进行网络的训练和预测。最后，将IMF和余项预测结果累加即得到原始时间序列的最终预测值。

2.2算法步骤

Step1数据预处理：对原始数据进行归一化处理。

Step2对归一化后的时间序列进行EMD分析，具体如下：(1) 筛选原始序列的局部极值；(2) 拟合上、下包络线；(3) 计算上、下包络线的均值；(4) 计算原始时间序列与步(3)均值的差值序列；(5) 判断步(4)序列是否为IMF，若是，则将步(4)序列视为第一个IMF，若否，则将步(4)序列视为原始时间序列，重复步(1)-步(5)；(6) 计算原始时间序列与第一个IMF之间的差值，视为余项和原始时间序列。继续重复步(1)-步(6)，直至余项满足停止条件。

Step3WNN预测分析：(1) 网络初始化：随机初始化小波函数尺度因子和位移因子、网络连接权值以及学习速率；(2) 样本分类：将原始数据集划分为训练样本集和测试样本集，训练样本用于训练网络，测试样本用于预测；(3) 预测输出：将训练样本集输入网络，计算实际输出以及网络误差；(4) 判断误差是否达到精度要求或者算法是否达到其他停止条件，若是，训练完成，若否，继续步(5)；(5) 权值修正：根据网络误差修正连接权值、尺度因子以及位移因子；(6)返回步(3)，重复计算。

Step4将得到的一组IMF与余项利用WNN预测的预测值累加，记为原始时间序列的预测值。新模型实施的流程如图2所示。

图2　基于EMD-WNN的预测模型结构图

3　仿真实验

3.1数据选取

本文数据采用的是Matlab随机生成的数据，数据分为三组，每组数据的样本容量为50，样本容量合计为150。各组数据的自变量和因变量取值情况如下：第一组数据的自变量取值分别为0～0.6之间和0～0.7之间的随机数，对应的因变量取值为1；第二组数据的自变量取值分别为0.4～1之间和0～0.6之间的随机数，对应的因变量取值为2；第三组数据的自变量取值分别为0.3～1之间和0～0.4之间的随机数，对应的因变量取值为3。为保证效果，在生成数据之后，将前100组数据乱序之后作为样本数据进行训练。归一化后的时间序列如图3所示。

图3　归一化后的时间序列图

数据的计算处理均使用Matlab软件，运行环境是2.13 GHz、2.00 GB内存，测试环境为Matlab R2012b。将随机数据的前100项设置为训练样本集，后50项为测试样本集。为验证本文模型的有效性，采用BP神经网络、WNN及本文模型三种方案对相同数据集进行预测，然后比较分析三种方案的结果。

3.1.1网络参数的确定

对于BP神经网络，采用试凑法确定最佳隐含层节点数和层数。输入层的节点数为2，隐含层节点数为4，输出层的节点数为1。隐含层的传递函数是正切S型函数，输出层的传递函数是线性函数，训练函数是学习率自适应并附加动量因子的最速下降法。训练显示间隔次数为50，学习速率为0.1，动量系数为0.9，训练次数为10 000，性能目标(MSE)是0.01。 对于WNN，学习概率分别为0.01和0.001，网络迭代学习次数为1000。本文隐含层的小波基函数采用国际上常用的Morlet母小波函数。Morlet小波函数在时频局部和对称性方面具有优势，使得模型具有很好的线性逼近能力，母小波函数公式为：

(4)

其中t为输入变量，f(t)为输出变量。

继而，小波函数偏导数输出为：

(5)

3.1.2预测结果图

在明确网络参数的基础上，根据原始数据结构：存在两个输入变量和一个输出变量。分别对三个变量的时间序列进行EMD分析，结果如图4-图6所示。从三幅图中可以看出，三个时间序列经过EMD分析，均得到5个IMF和1个余项，并且可以明显地看出IMF是从高频到低频依次被提取。然后，将三组变量中的分量依次对应，组成6个样本集，包括5个IMF样本集和1个余项样本集。利用WNN分别训练和测试上述样本集，将最终得到的测试样本集的预测值累加，即得到测试样本集最终预测值。图7即为测试样本集中期望输出值与实际输出值(预测值)的图示。

图4　第一个输入变量的EMD图　　图5　第二个输入变量的EMD图

图6　输出变量的EMD图　　　图7　EMD-WNN预测图

3.2预测结果对比分析

为了有效评价模型的有效性，本文采用预测模型中被广泛应用的平均绝对误差(MAE)、平均相对误差(MARE)来进行三种模型的对比评价。

计算测试样本集中最终实际值与期望值的MAE和MARE，结果如表1所示。从表1可以看出，EMD-WNN获得的实际值与期望值之间的MAE和MARE分别为0.3355和0.5452，BP神经网络的MAE和MARE分别为0.5066和0.7317，WNN的MAE和MARE分别为0.4741和0.6773。EMD-WNN训练样本的MAE和MARE分别为0.2741和0.4588。三种模型的运行时间分别为0.45、7.13和42.58。由以上数据可得：(1) BP神经网络预测速度较快，但是预测结果落后于WNN，说明了WNN预测精度高于BP神经网络；(2) EMD-WNN比WNN的时间成本高，但是误差好于WNN，说明了有必对非平稳、非线性时间序列进行EMD分析；(3) EMD-WNN训练样本的MAE和MARE与测试样本的MAE和MARE相差很小，说明新的算法具有较好的泛化能力。总之，EMD-WNN的MAE和MARE均小于BP神经网络和WNN的MAE和MARE。显然，EMD-WNN的拟合效果和预测精度均优于BP神经网络和WNN。这是由于WNN结合了小波变换良好的时频局部化性质与BP神经网络的学习能力，因此具有了更加灵活有效的函数逼近能力。另外，EMD对非平稳的时间序列进行了平稳化，有助于提高预测精度。而EMD与WNN的结合，能充分发挥两者的优势，提高预测精度。

表1　测试样本预测结果

4　结　语

时间序列的非线性以及非平稳特性，导致其预测难度增加，预测结果不理想。目前，WNN是时间序列预测方法中较理想的一种预测方法，但是其自身不足对预测结果也造成了一定的影响。为了提高非线性、非平稳时间序列的预测精度，本文采用组合模型的思想，针对WNN在非平稳以及非线性时间序列预测上无法实现自适应多分辨率分析问题，从EMD和WNN的根本特性出发，对EMD和WNN进行有机结合，提出了一种基于EMD的WNN预测模型，并使用Matlab软件生成随机时间序列进行仿真实验。通过仿真实验可以得到如下结论：EMD-WNN的拟合效果和预测精度均优于BP神经网络和WNN，其泛化能力较好；新模型的构建对非线性、非平稳时间序列有一定的价值，为其预测研究提供了一种新思路。

[1] Contreras J,Espiola R,Nogales F J,et al.ARIMA models to predict next-day electricity prices[J].Power Systems,IEEE Transactions on,2003,18(3):1014-1020.

[2] 卢辉斌,李丹丹,孙海艳.PSO优化BP神经网络的混沌时间序列预测[J].计算机工程与应用,2015,51(2):224-229,264.

[3] Huang N E,Shen Z,Long S R,et al.The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis[C]//Proceedings of the Royal Society A:Mathematical,Physical and Engineering Sciences.The Royal Society,1998,454(1971):903-995.

[4] Wu Z H,Huang N E.Ensemble empirical mode decomposition: a noise-assisted data analysis method[J].Advances in Adaptive Data Analysis,2009,1(1):1-41.

[5] Guan C,Luh P B,Michel L D,et al.Very short-term load forecasting:Wavelet neural networks with Data Pre-Filtering[J].IEEE Transactions on Power Systems,2013,28(1):30-41.

[6] 孙斌,姚海涛,刘婷.基于高斯过程回归的短期风速预测[J].中国电机工程学报,2012,32(29):104-109.

[7] He K J,Yu L,Lai K K.Crude oil price analysis and forecasting using wavelet decomposed ensemble model[J].Energy,2012,46(1):564-574.

[8] 吴大鹏,赵莹,熊余,等.基于小波神经网络的告警信息相关性挖掘策略[J].电子与信息学报,2014,36(10):2379-2384.

[9] 王宇谱,吕志平,崔阳,等.利用遗传小波神经网络预报导航卫星钟差[J].武汉大学学报:信息科学版,2014,39(7):809-814.

[10] 李合龙,王龙,李明建,等.基于平均包络线匹配算法的EMD端点效应分析及在股价趋势分解中的应用[J].系统工程理论与实践,2013,33(8):2072-2079.

[11] 白春华,周宣赤,林大超,等.消除EMD端点效应的PSO-SVM方法研究[J].系统工程理论与实践,2013,33(5):1298-1306.

[12] Yaguo Lei,Zhengjia He,Yanyang Zi.EEMD method and WNN for fault diagnosis of locomotive roller bearings[J].Expert Systems with Applications,2010,38(6):7334-7341.

[13] Tang J.Variability periodicity and chaotic property of quasars based on ensemble empirical mode decomposition[J].Acta Physica Sinica,2014,63(4):049701.

[14] Jain A,Kumar A M.Hybrid neural network models for hydrologic time series forecasting[J].Applied Soft Computing,2007,7(2):585-592.

[15] 郝凤龙,徐更光,黄学义.基于经验模态分解及小波变换的炸药NQR信号处理[J].振动与冲击,2014,33(16):183-187.

WAVELET NEURAL NETWORK PREDICTION MODEL BASED ON EMPIRICAL MODEL DECOMPOSITION

Zhang Yanxia1Xiao Qingtai1,2Xu Jianxin1,2Sang Xiuli1*

1(QualityDevelopmentInstitute,KunmingUniversityofScienceandTechnology,Kunming650093,Yunnan,China)2(StateKeyLaboratoryofComplexNonferrousMetalResourcesClearUtilization,KunmingUniversityofScienceandTechnology,Kunming650093,Yunnan,China)

Wavelet neural network (WNN) can’t achieve adaptive multi-resolution analysis on non-stationary and nonlinear time series prediction, and its prediction accuracy needs to be improved. In order to solve the problems above, this paper proposes an EMD-based prediction model of wavelet neural network. First, it applies empirical mode decomposition (EMD) on non-linear and non-stationary time series so as to reduce the non-stationarity of time series. Then, it builds respectively the WNN models of intrinsic mode functions (IMF) and remainders derived from EMD analysis. Finally, it summarises the results of each prediction to obtain the final forecasting value. Through data verification, it is proved that the prediction accuracy of new model is higher than that of BP neural network and WNN.

Empirical mode decompositionWavelet neural networksBack propagation neural networkForecasting

2015-06-25。张彦霞，硕士生，主研领域：预测模型。肖清泰，硕士生。徐建新，博士。桑秀丽，教授。

TP319O15N93

A

10.3969/j.issn.1000-386x.2016.10.063