融合深度学习与回归残差神经网络的流量预测方法

［张伟 刘甫琴］

1 引言

随着5G行业的蓬勃发展，5G商用逐渐落地，各种网络应用的数量呈指数级的增长。日益增长的流量对5G网络切片提出了更高的要求。由于流量分布在区域上呈现不均衡的状态，为了实现数据高效传输，就必须优化网络流量管理，而网络流量管理的前提是对网络流量进行提前预测。基于流量预测的基础，针对网络流量的变化实现网络切片的动态调整成为了当前5G切片管理的重要课题。目前基于深度学习的移动网络流量预测成为移动网络流量预测领域的研究重点，当前大多数研究仅仅局限于研究网络流量的时间相关性[1～5]，并没有深度研究移动网络的空间相关性。除了采用深度学习对流量进行时空分析外，为了保证流量预测的准确性，本文在对流量进行时空特征分析的基础上，融合回归残差网络对流量进行回归预测和残差预测，通过对残差的推理，实现其他深度学习网络不具备的全局最优性和最佳逼近性能，从而保证网络流量信息全局信息的延续性。

2 融合深度学习与回归残差神经网络的流量预测思路

针对网络流量受到噪音扰动以及深度学习模型自身的不足，本文将深度学习、回归分析以及RBF进行融合，对模型做了以下三方面的改进：首先，基于卷积神经网络（Convolutional Neural Networks，CNN）和长短期记忆网络（Long Short-Term Memory，LSTM）对网络流量进行时空特征提取[6]，作为后续对流量预测模型改进的基础；其次，考虑到不同却与的流量数据往往会收到非高斯噪音的影响，本文将回归分析方法应用到网络流量预测模型的改进中，提出了基于回归残差神经网络的深度学习误差预测模型；最后，针对传统的回归分析预测不稳定的问题，将回归分析的预测值与残差预测值进行结合，实现网络流量的预测。融合深度学习与回归残差神经网络的流量预测思路如图1所示。

2.1 基于注意力机制的CNN-LSTM网络流量时空特征提取

基于注意力机制的CNN-LSTM模型是一个融合CNN与LSTM双通道的模型，两种模型以注意力机制相融合，使得模型具有时间和空间的表达能力。该模型的步骤分为四步：（1）基于CNN提取流量的时间特征表达；（2）基于LSTM提取流量的空间特征表达；（3）采用softmax对CNN和LSTM的特征表达进行融合；（4）采用注意力机制对时空特征各维度权重进行计算。具体方法是：将CNN的特征向量与LSTM的特征向量融合成一组权重，并采用softmax激活函数将权重归一化到0-1，形成不同特征维度的权重表达；（5）将注意力机制输出的各维度权重与LSTM的隐含层特征元素进行相乘，形成融合注意力机制的特征表达。由此看来，不仅能够学习到局部特征的重要性程度，还能全面反映流量的上下文信息，避免出现由于流量数据步长过长导致记忆丢失和梯度弥散的问题。

考虑现有网络流量的特征，基于注意力机制的CNNLSTM的网络流量特征提取的具体过程如图2所示。

图2 基于注意力机制的CNN-LSTM的网络流量特征提取

样本分别从左右两个通道输入网络。左通道为CNN网络，将n*20维的样本输入CNN网络，在CNN最后一层输出1*n维的特征向量：

右通道为LSTM网络，LSTM输出维度为n*m的特征向量。n为序列长度。M为LSTM隐藏层输出维度。

在得到两个通道的特征表达之后，采用注意力机制实现特征重要程度提取。

Wa为m*n维的权值矩阵；ba为偏置项，均由训练时学习得到；的转置。等式（3）将CNN的特征向量与LSTM的特征向量融合成一组权重，并通过式（4）softmax激活函数将权重归一化到0-1。最后通过式（5），将LSTM不同时间点的隐含层输出向量与对应的权重ai相乘，并求和，以此作为样本最终的特征表达，即由此可知，包含n个时空特征。

2.2 基于回归残差RBF神经网络的残差预测及流量预测

传统的回归模型是基于历史的流量数据进行短时的流量预测，在常规模式下具有良好的预测能力。但是网络流量具有随机性和波动性等特性，遇到突发的事件，基于历史数据的回归模型预测值和实际值会产生很大的偏差[7]。如果结合注意力机制挖掘出当前流量特征与上下游的时空关系，那么采用上下游的数据特征来修正预测点的预测值，模型的预测精度就会提高。基于上述的思想，本文利用RBF神经网络模型将融合注意力机制的时空特征与回归分析的残差进行时空关联，通过RBF产生的残差预测结果对回归模型的预测数据进行修正，最终形成流量预测。基于回归残差RBF神经网络的残差预测及流量预测如图3所示。

图3 基于回归残差RBF神经网络的残差预测与流量预测思路

（1）基于回归分析模型的流量残差预测

将因变量代进去回归分析模型中，得到的流量拟合值为：

残差向量可以表示为：

由此可知，残差向量包含m个残差。

（2）基于回归残差RBF神经网络的残差预测

RBF神经网络是一种三层的神经网络，包括输入层、隐藏层、输出层。从输入空间到隐层空间的变换是非线性的，而从隐层空间到输出层空间变换是线性的[8]。RBF神经相较于BP神经网络收敛速度更快，使用性更强，隐层单元数也就是网络的结构可以根据研究的具体问题，在训练阶段自适应地调整。RBF是高效的前馈式神经网络，它具有唯一最佳逼近的特性，能够有效避免局部最优的问题。

在提取流量数据的时空特征向量和对原始数据进行回归分析之后，可以将经过训练的流量时空特征和m个残差值作为RBF网络的输入，得到流量残差预测值。基于回归残差RBF神经网络的残差预测思路如图4所示。

图4 基于回归残差RBF神经网络的残差预测

图4输入层的维度为n+m维，输出层维度是m维。

RBF神经网络的激活函数可表示为：

3 实验分析

为了验证融合深度学习与残差回归神经网络对流量预测的有效性，将该方法用于预测中山联通5G试验网中进行测试，以期验证该算法在5G流量预测的有效性。本文在预测准确性和模型收敛性两个方面与传统的残差神经网络ST-ResNet方法[9]进行了对比。两种算法的误差结果如表1所示，本文算法的预测误差为10.5，低于ST-ResNet方法的预测误差13.8。这是因为ST-ResNet方法只是采用简单的卷积层提取网络流量数据的空间特征，而本文采用CNN+LSTM提取时空特征，因此得到更加抽象的特征。除此之外，采用回归残差RBF神经网络对残差进行修正的方法考虑到当前流量特征与数据上下游的时空关系，实现其他深度学习网络不具备的全局最优性和最佳逼近性能，提升了预测的准确率。

表1 ST-ResNet方法与本文方法的误差对比

除此之外，还需要对比两种方法的收敛结果，收敛结果如图5所示。图中的RMSE代表误差，epoch代表迭代次数。从图5可以看出，随着迭代次数的增加，模型的误差在不断缩小，当模型迭代到74次左右时，本文模型的误差开始收敛到某一个固定值，而在模型迭代到88次左右时，模型误差趋于稳定。而ST-ResNet方法迭代到82次左右时才开始收敛，而迭代次数达到94次才趋于稳定，综上所述，ST-ResNet算法收敛性比本文算法差。主要原因是：本文采用的CNN+LSTM提取的时空特征的方法能够在很大程度上反映了流量的特征，极大减少了计算量，提升了模型的收敛速度。

图5 迭代次数与误差曲线

4 结束语

本文提出一种融合深度学习与回归残差神经网络的流量预测新方法。该方法在基于注意力机制的CNN-LSTM网络流量时空特征提取基础上，采用回归残差RBF神经网络对残差进行修正后，实现流量的精准预测。该方法的主要优势在于对流量的时间和空间信息进行提取，极大减少了模型的计算量，有利于提升模型的迭代能力；除此之外，回归残差RBF神经网络对残差进行推理，实现其他深度学习网络不具备的全局最优性和最佳逼近性能，从而保证网络流量预测的准确性。