基于深度信念网络的网络流量预测模型*

任　玮

(中北大学 计算机与控制工程学院，山西 太原 030051)



基于深度信念网络的网络流量预测模型*

任玮

(中北大学 计算机与控制工程学院，山西 太原 030051)

摘要：为了提高网络流量预测精度，根据深度学习理论提出一种基于深度信念网络(DBN)的网络流量预测模型。该预测模型由受限玻尔兹曼机(RBM)单元组成，采用逐层无监督贪心算法训练参数，然后利用反向传播学习算法微调整个网络参数。最后基于该预测模型对收集到的真实网络流量进行预测和分析，并与传统神经网络预测进行对比研究，结果表明，该预测模型克服了传统神经网络容易陷入局部最优、训练时间长及函数拟合度不高等缺点，具有更高的预测精度。

关键词：网络流量；深度学习；深度信念网络；受限玻尔兹曼机；神经网络；预测

近年来，目前的网络规模随着计算机网络的迅速发展变得极为复杂和庞大，网络流量管理日益重要和迫切，其核心是准确预测网络流量并及时做出调整，可以有效地改善网络性能和提高服务质量。目前网络流量预测主要有传统统计和智能预测两大类方法。

传统统计方法主要是基于线性回归理论进行预测，如Sang A等[1]提出的基于自回归(AR)的预测模型，邹柏贤[2]提出自回归滑动平均(ARMA)的预测模型以及薛可[3]提出的基于自回归求和滑动平均(ARIMA)预测模型，上述模型是难以准确反映网络流量的非线性变化规律，使得模型的预测结果不可靠。智能预测方法是将机器学习算法应用于网络流量预测，人工神经网络算法为目前网络流量预测的主要研究方向。刘杰[4]提出了基于BP神经网络预测模型，提高了预测精度和灵活性，但BP算法本身存在收敛速度慢和存在局部极小点的问题。王俊松[5]提出基于RBF神经网络的预测模型解决了BP神经网络本身存在的问题，赵清艳[6]提出的遗传优化神经网络预测模型，用遗传算法来优化RBF神经网络的模型参数，取得比较好的结果。但是RBF模型的不足之处在于需要大量的数据样本才能获得好的效果。

上述预测模型都是基于浅层结构算法的预测模型，都不能更接近真实反映网络流量数据中复杂的非线性关系。Hinton[7]提出了深度学习理论为上述问题提供了解决思路。深度学习可通过自学习构建一种非线性深层次的网络结构，能更准确拟合复杂函数。基于深度学习理论，Hinton又提出了深度信念网络(DBN)[8]，其是目前研究和应用都比较广泛的深度学习方法，已经成功应用于多个领域[9]。

综上所述，为了更好反映网络流量数据之间的关系，提高预测精度，本文研究了一种基于深度信念网络(DBN)的网络流量预测模型，其为非线性深层次网络结构[10]模型，克服了传统预测模型的不足，具有更高的函数逼近能力和良好自适应性。

1网络流量预测原理

网络流量数据是由网络上在线用户的行为而产生，而用户行为又会随着外界因素的影响而变化，因而其产生的网络流量既有规律性也有偶然性。网络流量数据本质上是一种时间序列数据。根据流量行为的特性，不同时刻之间的流量存在一定的非线性关系，其动力学特性表示为：

y(t)=f(y(t-1)，y(t-2)，…，y(t-n)) .

(1)

其中，n为模型的阶数，y(t)，y(t-1)，y(t-2)，…，y(t-n)分别为t，t-1，t-2，…，t-n时刻的网络流量[5]。

由(1)式网络流量时间序列动力学特性可知，通过t，t-1，t-2，…，t-n时刻的网络流量可以预测出t时刻的网络流量数据，它们之间存在复杂的非线性关系f(·)。本文使用深度学习算法进行非线性函数拟合，并在此基础上提出一种基于深度信念网络的网络流量预测模型。

2深度信念网络模型

2.1模型结构

基于深度信念网络(DBN)的网络流量预测模型由两层受限玻尔兹曼机(RBM)和一层BP神经网络组成。其结构如图1所示。

图1　深度信念网络模型结构

深度信念网络(DBN)的核心是受限玻尔兹曼机(Res-tricted Boltzmann Machines，RBM)单元，RBM是一种典型的人工神经网络，其是由可视层和隐藏层组成的一种特殊的对数线性马尔可夫随机场(Markov Random Field)，网络中处于同一层的节点之间无连接。一个深度信念网络(DBN)的参数需要预训练和微调训练两个训练过程来确定。

2.2预训练

预训练就是网络参数初始化的过程，通过逐层采用无监督贪心算法方式来[11]初始化各层间的连接权重值和偏置值。在训练过程中，首先将可视向量的值映射给隐含单元，然后可视单元由隐含单元重建，随后将这些新可视单元再次映射给隐含单元，这样就获取了新的隐含单元。反复执行这种步骤的过程叫做吉布斯采样[12]。下面来分析RBM参数训练过程。

RBM层与层的节点之间相互无连接，其本质上是一种能量模型，可视层和隐含层的联合组态能量函数为：

(2)

式中，vi和hj分别为可视层、隐含层的节点状态。θ={w,a,b}是模型的参数，wij为可视层和隐含层之间连接权重值，bj和ai分别是可视层节点和隐含层节点对应的偏置值。则RBM在状态参数θ下的联合概率为：

(3)

(4)

然后采用最大似然函数最大化Pθ(v)，得到RBM的参数并通过随机梯度下降法推导出RBM的权值更新准则：

(5)

其中：Edata(vihj)是在真实数据集中的期望，Emodel(vihj)是模型中定义的期望。

一层的RBM训练完成之后，把其隐含层节点的相应参数作为输入数据来训练下一层的RBM，以此类推，可训练多层RBM，最终完成整个DBN的预训练过程。

2.3微调权值训练

预训练完成后可以初始化RBM每层的参数，然后使用BP神经网络算法[13]对DBN的所有权重值进行微调训练，利用输出误差来估计输出层的直接前一层误差，经过逐层的反向传播学习，估计获得所有其余各层的误差，再使用梯度下降法计算更新各节点权值直到输出误差足够小。权值微调算法克服了传统BP神经网络因随机初始化权值参数而容易陷入局部最小和训练时间过长的缺点，只需要对已知权值空间进行微调，大大缩减了参数寻优的收敛时间。

3网络流量预测

3.1模型预测流程

基于深度信念网络模型具体预测流程如图2所示。

图2　模型预测流程图

首先从网络上收集到的网络流量数据进行归一化处理，然后将数据集分成训练集和测试集两部分，使用训练集训练网络流量预测模型参数，最后使用测试集测试模型预测效果。

3.2网络流量数据归一化处理

由于网络流量是多种因素影响的综合结果，其数据值的变化范围较大，需要对收集到的网络流量样本数据进行归一化处理[14]来提高模型的训练效率，将所有的网络流量数据值处理为[0,1]区间范围的数据，采用的方法为最大最小法，其公式为：

(6)

模型预测完成后，还需要对预测的结果进行反归一化处理，使其恢复成真实的预测流量数据，反归一化公式为：

xi=x′i(xmax-xmin)+xmin.

(7)

式中，xi表示网络流量原始数据，xmax和xmin表示流量数据的最大值和最小值。

3.3模型评价指标

为了检验模型预测准确度和效果，采用均方根误差RMSE(Root Mean Squared Error)和平均绝对误差MAE(Mean Absolute Error)等指标对预测准确度进行衡量，上述指标定义如下：

(8)

(9)

4实验分析

4.1数据来源

实验数据来源于网络流量文库(http://news.cs.nctu.edu.tw/innreport/)主节点路由器Incoming articles从2014年9月1日到10月20日的每小时访问流量，得到1 200个流量数据样本，从而形成一个网络流量时间序列，如图3所示。

将前1 000个流量数据作为训练集建立基于深度信念网络的网络流量预测模型，其余200个数据作为测试集进行预测检验。模型训练前需要对网络流量原始数据进行归一化处理。

模型预测前需要确定模型的阶数。在本流量数据样本中的时间粒度为1小时。网络流量的自相关函数变化曲线如图4所示。

图3　网络流量原始数据

图4　网络流量原始数据自相关函数

经过分析，从图4中可知，某t时刻的网络流量数据值与t-1,t-2,t-3,t-4,t-5时刻的网络流量数据值相关性高，故设模型的5阶，即将t-1,t-2,t-3,t-4,t-5时刻的网络流量数据值输入预测模型，以此来预测时刻的网络流量值。

4.2结果与分析

对于图4的网络流量，基于深度信念网络预测模型的预测结果和预测误差变化曲线分别如图5和图6所示。

图5　DBN模型预测输出

图6　DBN模型预测误差

从图5可知，DBN流量预测模型可以很好的跟踪网络流量变化趋势，预测的网络流量值和实际值比较接近，偏差小。从图6可知，DBN流量预测模型预测误差小，预测误差变化范围波动小。

为了进一步说明基于深度信念网络(DBN)的预测模型的效果，分别与传统神经网络，即基于BP神经网络及基于RBF神经网络流量预测效果进行比较，如表1所示。

表1　三种预测模型的性能指标对比

对表1各个模型评价指标进行分析可知，基于DBN的预测模型相对于BP神经网络和RBF神经网络的预测误差均有所下降，预测精度得以提高，表明DBN网络流量预测模型较好的克服了传统神经网络的缺陷，提高了网络流量的预测精度，可以建立性能更优的网络流量预测模型。

上述实验结果分析表明，基于深度信念网络(DBN)的网络流量预测模型是一种高精度、预测结果可靠的网络流量预测模型。

5结束语

针对网络流量变化规律的复杂性，提出一种可以更好刻画数据之间复杂非线性关系的流量预测模型。通过用实际的网络流量数据对预测模型进行实验分析，发现该流量预测模型能够更好反映网络流量的变化规律，提高流量预测精度。同时，深度信念网络在隐含层数量越多、数据量越大情况下效果越好。因此，下一步研究工作将适当加大深度信念网络的隐含层数量，并且收集更多网络流量数据作为训练样本，这样有利于更精确的对网络流量做预测。

参考文献

[1]Sang A,Li S.Predictability Analysis of Network Traffic[C]//Pro-ceedings of INFOCOM 2000,2000:342-351.

[2]邹伯贤,刘强.基于ARMA模型的网络流量预测[J].计算机研究与发展,2002,39(12):1645-1652.

[3]薛可,李增智,刘浏,等.基于ARIMA模型的网络流量预测[J].微电子学与计算机,2004,21(7):84-87.

[4]刘杰,黄亚楼.基于BP神经网络的非线性网络流量预测[J].计算机应用,2007,27(7):1770-1772.

[5]王俊松,高志伟.基于RBF神经网络的网络流量建模及预测[J].计算机工程与应用,2008,44(13):6-7.

[6]赵清艳.遗传优化神经网络的网络流量预测[J].微电子学与计算机,2013,30(3):132-135.

[7]Hinton G,Salakhutdinov R.Reducing the Dimensionality of Data with Neural Networks[J].Science,2006,313(5786):504-507.

[8]Hinton G,Osindero S.A Fast Learning Algorithm for Deep Belief Nets[J].Neural Computation,2006,18(7):1527-1554.

[9]余凯,贾磊,陈雨强,等.深度学习的昨天、今天和明天[J].计算机研究与发展,2013,50(9):1799-1804.

[10]Bengio Y.Learning Deep Architectures for AI[J].Foundations and Trends in Machine Learning,2009,2(1):1-127.

[11]Bengio Y,Lamblin P,Popovici D,et al.Greedy Layer Wise Training of Deep Networks[C]//Proceedings of Advances in Neural Information Processing Systems(NIPS 2006),2007,19:1-8.

[12]孙志军,薛磊,许阳明,等.深度学习研究综述[J].计算机应用研究,2012,29(8):2806-2810.

[13]Rrumelhart D,Hinton G,Williams R.Learning Representations by Back-propagating Errors[J].Nature,1986,323(6088):533-536.

[14]李振刚.基于高斯过程回归网络流量预测模型[J].计算机应用,2014,34(5):1251-1254.

Network Traffic Forecasting Based on Deep Belief Network

Ren Wei

(SchoolofComputerandControlEngineering,NorthUniversityofChina,TaiyuanShanxi030051,China)

Abstract:The prediction of network traffic flow is the foundation of network performance and service quality; it plays an important role in network layout and management. To improve the network traffic prediction accuracy, a nonlinear network traffic prediction model based on Deep Belief Network (DBN) is proposed. The model consists of Restricted Boltzmann Machine (RBM) unit which optimizes the layer-by-layer parameters by unsupervised greedy algorithm, and then optimizes all parameters by Back-Propagation algorithm. Simulation results on real network traffic show that the proposed prediction model is more efficient, and has better precision compared with the traditional neural network model.

Key words:Network traffi; deep learning; deep Belief Network(DBN); Restricted Boltzmann Machine (RBM); neural network; forecasting

中图分类号：TP393.02

文献标识码：A

文章编号：1674- 4578(2016)01- 0062- 03

作者简介：任玮(1988- )，男，硕士研究生，研究领域为信息安全，机器学习。

基金项目：国家自然科学基金资助项目(61379125)

收稿日期：2015-10-21