一种基于深度学习的数据预测方法

2019-04-26陈建婷

电子技术与软件工程 2019年6期

文/陈建婷

1 引言

近年来，随着人工智能的发展，更多的神经网络方法用于进行数据预测。愈发成熟的算法所预测出的结果也越来越精准。然而，多变量时间序列预测是一项艰巨的任务。以电力负荷预测为例，负载是复杂的并且具有多个季节性水平，给定小时的负载不仅取决于前一小时的负载，而且还取决于前一天同一小时的负载。其次，必须考虑许多重要的外生变量，特别是与天气有关的变量。

多变量时序预测方法通常分为两种，一种是基于时间序列模型的传统方法，自回归积分滑动平均模型是其中的典型代表。自回归积分滑动平均模型的原则是探索序列和数据变化之间的规律和特点，而序列即为随时间变化的随机数列。该方法的利用了时间序列数据的时序性，但是缺点在于对非线性关系的预测准确度较差。

另外一种是基于人工智能的方法。如使用简单的神经网络方法，人工神经网络最初是受人类大脑处理信息方式启发的数学工具。人工神经网络由神经元所构成，不同的输入信息经由神经元处理，并发出响应。随着深度学习算法完善和发展，单一的基于神经网络的方法预测结果不够精准。

针对传统方法所存在的缺陷，本文使用了一种基于长短期记忆神经网络的方法对多变量时序数据进行预测。该方法的优势在于考虑到了多变量时序数据的时序性和非线性的特点。论文剩余部分将首先介绍循环神经网络和长短期记忆神经网络的原理，之后通过数据集的实验，证明基于LSTM 的电力负荷预测方法精准度高，稳定性强。

2 LSTM神经网络模型

2.1 循环神经网络

循环神经网络(RNN)是人工神经网络的一种，RNN 的特点在于不同层之间的神经元相互也建立权的连接，当序列继续推进，之前隐藏层将对之后的隐藏层产生效果。如图1所示，是一个RNN 的示意图。

在图1中，右侧是计算时便于理解记忆而展开的结构。简单说，x 为输入层，o 为输出层，s 为隐含层，而t 指第几次的计算。V，W，U分别为不同层的权重，其中计算第t 次的隐含层状态时为St=f(U*Xt+W*St-1)，实现当前输入结果与之前的计算关联的目的。

RNN 的缺陷是当输入数据的时间间隔逐渐变长的情况下，RNN 将失去学习较长时间之前数据的功能，此情况即是梯度消失。

2.2 LSTM模型

LSTM 模型是RNN 的一种改进体，最早是由Juergen 提出的。经典的LSTM 模型单元结构如下：

如图2所示，LSTM 的特征是在RNN 的结构基础上，将其每一层都增加了阀门节点。阀门一共有三种类型：遗忘门，输入门和输出门。可以开启或关闭增加的阀门以确定每一层的输出处的模型网络的存储器状态的结果是否达到阈值，若超过阈值，将被增至到当前层的计算中。在图2中，阀节点以sigmoid 函数计算网络的状态为输入；若超过阈值，阀门输出和当前层的乘积被视为下一层的输入；若结果未能超过阈值而选择忘记输出。在不同模型的每次反向传播训练期间进行不同层的权重更新。而某些修改（例如耦合输入和遗忘门）简化了LSTM，不会显着损害性能。对参数交互的分析表明，可以独立调整参数。尤其是使用相当小的网络首先校准学习速率，这样做可以节省大量的实验时间。