基于Time-Causality模型的供热用气量预测分析

孙志伟 贾洪川 马永军

(天津科技大学计算机科学与信息工程学院 天津 300457)

0 引 言

时间序列是按时间顺序记录的一组数据，通常是在等间隔时间内，根据一定的采样率对某种过程进行观测的结果[1]。时间序列普遍存在于交通、金融、物流和工业诸多领域，如天气数据的变化、股票价格序列的变化以及电力负荷的变化等。时间序列数据本质上反映的是某个或者某些随机变量随时间不断变化的趋势，而时间序列预测方法的核心就是从数据中挖掘出这种规律，并利用其对将来的数据作出估计[2]。

关于时间序列的数据挖掘技术也成了现在的研究热点。随着数据量的增加，高维度、大容量、高复杂性的多变量时间序列预测已成为许多研究的焦点[3]。然而多变量的时间序列往往存在着大量的冗余变量，容易掩盖重要变量的作用,对预测模型的建立产生负面的影响[4]。因此需要进行数据降维处理，常用的数据降维的方法包括特征提取和特征选择。特征提取是指利用算法将输入的特征空间映射到一个维度较低的空间。最为经典的特征提取方法就是主成分分析法(PCA)，它通过线性变换用低维数据来代替多维数据，保留了数据原有信息。而特征选择是根据一定准则或某种评估标准剔除冗余特征选出最优的特征子集，再将选择后的特征子集作为输入到合适的预测模型进行预测[5]。这将提高目标时间序列的预测效果以及预测效率。

Lasso(least absolute shrinkage and selection operator)算法通过缩小系数或消除系数来强制模型丢弃无关信息来进行特征选择。Tibshirani[6]在传统特征选择方法的基础上做了改进，提出Lasso特征选择方法，该方法在实现参数估计的同时还可以压缩变量。Lasso算法通过构造惩罚函数得到精化模型,最终通过确定某些指标的系数为零来达到简化指标集的目的。Katayama等[7]提出了利用Lasso方法提取相关的预测因子并建立在高维多元线性回归分析的模型。蒋峰等[8]使用Lasso方法选取影响地方财政收入的主要因素变量，并将其作为GRNN神经网络的输入变量对某地的财政收入进行预测，其预测效果优于其他对比模型。

多元自适应回归样条[9](Multivariate Adaptive Regression Splines,MARS)也是一种特征筛选的方法。该方法通过前向过程建立不同的样条基函数，在后向阶段利用广义交叉验证准则来评估子集的性能以获取最佳子集。MARS非常适合解决大数量的数据集问题，能够对非线性和变量间的交互作用进行建模，且运算十分便捷[10]。王盛慧等[11]将MARS算法应用到水泥能耗建模中，建立了精确的煤耗模型，并通过参数分析，给出了变量的相对重要性值，进一步分析煤耗与重要变量之间的关系。Tsai等[12]提出利用MARS来筛选特征并用SVR做预测，利用遗传算法对SVR的进行调参的混合时间序列模型预测长期股票数据取得了不错的效果。

关于时间序列的特征选择，利用时间序列的Granger关系进行筛选也引发学者的研究。传统的相关关系是两个变量因素的相关密切程度，反映变量之间的依赖关系。而Granger关系的目的是检测一个时间序列在预测方面对另一个时间序列的影响，是指变量序列导致目标序列变化。关于Granger关系的分析方法，其核心思想是：如果使用变量序列和目标序列进行双变量预测其效果优于只使用目标序列的单变量预测，则认为该变量序列有助于预测目标序列，也就是说该变量序列为目标序列的因变量，存在着Granger关系。孙友强等[14]提出一种基于Granger关系挖掘的多变量时间序列预测模型与传统方法有更精确的预测效果。Hmamouche等[15]提出一种基于Granger关系图的特征选择算法，建立预测模型进行预测，并与其他的特征算法比较，有更好的预测效果。

现有的时序数据预测方法大多是从单一时间尺度上进行分析，然而时间序列数据的变化规律不是单一的，而是具有短期性、周期性和长期趋势性等复杂特性。所以只是从单一的时间尺度对时间序列进行预测不能全面地把握时序数据的特点，需要从多个时间尺度对其未来的发展趋势进行分析预测。王金策等[16]利用时间序列分段算法从原始序列中提取带有多时间尺度趋势的特征，并应用隐马尔可夫模型设计多时间尺度趋势预测算法对股票数据进行预测，在各个尺度上有比较好的预测效果。李洁等[17]根据时序数据的特征建立基于后向传播算法的循环神经网络预测模型，对多种时间尺度的旅客出行情况进行预测，提升了预测模型的准确性。

上述研究从多个方面对时间序列特征选择及预测进行了研究，但没有考虑在多时间尺度下预测模型的特征随尺度变化而其预测作用会发生变化，并且基本没有考虑时间本身作为维度的可能。因此，本文对所选特征的预测作用随时间尺度的变化进行分析研究。

本文主要对在多时间尺度下的供热用气量数据进行预测，分析其预测模型的特征变化，提出了引入时间维度的Granger关系特征选择预测模型Time-Causality，基于Granger关系来筛选有助于预测用气量数据的特征维度。对于供热用气量数据，其变化具有很强的时间周期性。针对其周期性的特点本文引入时间维度作为模型输入维度，并与用气量的历史值和筛选得到的特征维度作为LSTM神经网络的输入维度构建预测模型。最后分析研究随时间尺度变化，预测模型的特征对用气量预测作用的变化，并进一步分析各个特征的对用气量数据贡献作用，以便为供热用气量预测工作的研究提供更准确的参考。

1 相关理论知识

1.1 Granger关系分析

Granger关系的原理是变量序列的增加有助于结果序列的预测。这里序列y={y1,y2,…,yn}设为目标序列，将序列x={x1,x2,…,xn}设为变量序列。为了检测Granger关系，这里会用到两个回归方程。

给定两个平稳的时间序列xt和yt，其分别代表变量序列和目标序列，xt-k,xt-k+1,…,xt-1为xt的过去k个时段的观测值，yt-1,yt-l+1,…,yt-1为yt的l个时段的观测值，则：

(1)

(2)

得到回归方程后，计算F统计量，表示为：

(3)

式中：RSS1和RSS2分别表示式(1)和式(2)的残差平方和。

若F统计量下的置信度表明式(2)的预测误差显著地小于式(1)的预测误差，那么x是y的Granger原因，即x有助于对y的预测。

当进行Granger关系分析时，还需要考虑目标序列是对变量序列的Granger关系的情况，所以需要建立以下回归：

(4)

(5)

如果式(2)能提升预测y的效果，同时式(5)不能提升预测x的效果，则表明x真正引起y变化。

Granger关系是一种基于统计的关联关系检验，可以在时间序列的预测、异常检测中发挥作用。

1.2 LSTM神经网络

LSTM神经网络模型是一种改进的RNN模型[21]，其基本单元是记忆模块。LSTM记忆模块中包括三个门结构，分别是遗忘门、输入门和输出门。遗忘门控制LSTM中记忆单元遗忘掉无用的历史信息，输入门可以更新本记忆单元的单元状态，输出门决定输出信息。

如图1所示，对于t时刻，LSTM单元会有当前时刻的输入向量xt,并且前一时刻LSTM的隐藏状态为ht-1。

图1 LSTM单元结构图

记忆模块的状态更新和信息输出的过程如下：

首先，遗忘门忘记无用的信息：

ft=σ(Wxfxt+Whfht-1+bf)

(6)

然后，输入门根据输入数据和先前记忆单元的状态来更新状态：

it=σ(Wxixt+Whiht-1+bi)

(7)

(8)

(9)

最后，输出门输出当前时刻的信息,并记录隐藏状态：

ot=σ(Wxoxt+Whoht-1+bo)

(10)

ht=ot×tanh(Ct)

(11)

式中:Wxc、Wxi、Wxj、Wxo为连接输入向量xt的权重矩阵；Whc、Whi、Whj、Who为连接隐含层ht的权重矩阵；bi、bc、bf、bo为偏置向量;σ是Sigmoid激活函数;ft、it和ot分别表示t时刻遗忘门、输入门和输出门的输出状态；Ct表示t时刻的记忆单元状态。

LSTM首先在训练期间计算LSTM单元的输出值，然后反向计算LSTM的误差项，再根据误差项计算每个权重的梯度，最后基于梯度优化算法更新权重。

综上所述,采用克罗米芬联合绒毛膜促性腺激素、人绝经促性腺激素治疗妇科内分泌失调具有显著效果,能够有效提高患者卵泡雌激素及雌二醇水平,降低不良反应发生,促使患者尽快恢复健康。

2 Time-Causality预测模型

2.1 供热数据特点

如图2所示，锅炉房用气量变化曲线呈现出以天为周期的周期性变化，而每天的数据会随温度等其他因素影响呈现出差异。图3为日用气量数据的变化趋势，每天都是在4：00左右把用气量调到一天的最大，在7：00-8：00用气量会有所下降；而到了中午，室外气温升高，用气量会维持在相对较低的数值；到了16：00左右用气量数据会小幅度陡增，过了几个小时后会下降到和中午持平的数值范围；在22：00用气量急剧下降到一天中最低值。

图2 某周内天津某锅炉房用气量数据变化趋势图

图3 某天内天津某锅炉房用气量变化趋势图

结合锅炉房用气量数据的特点，引入时间偏移量作为另一个新的输入维度。由于供热系统锅炉房的数据呈现出以24小时(天)为单位的周期性变化，因此本文的时间偏移量采用当前时刻距该天0:00的分钟数。以1日凌晨4：00的数据为例，该时刻的时间偏移量为240，而对于2日0:00的时间偏移量则重新记为0。引入时间偏移量更好地刻画用气量在一天中不同时间的变化规律。

2.2 具体流程

Time-Causality预测模型的构建流程图如图4所示。

图4 Time-Causality预测模型流程图

具体步骤如下：

(1) 数据平稳性检测。Granger关系分析的一个重要前提是目标序列和变量序列必须具有平稳性[18]。因此，首先要利用单位根检验[19]对时间序列进行平稳性检验，将不平稳的时间序列进行适当的平稳化处理，以防止虚假回归。

(2) 建立回归模型。Grange关系分析基于一个目标序列的单变量预测模型和一个目标序列与变量序列的双变量预测模型。对于这两个模型一般采用VAR模型来建立。对于VAR模型滞后期长度的检验，这里采用AIC信息准则(Akaike Information Criterion)[20]来确定。

(3) 各个特征维度之间F统计量检测。建立各个特征序列之间的回归模型后，进一步利用F统计量检测。这里提出两个假设:

H0:∀i∈{1,2，…,L},bk=0
H1:∃i∈{1,2，…,L},bk≠0

在零假设H0(假设x不引起y)的情况下,F统计量服从自由度为(L,n-(K+L+1))的F分布。因此为了在一定程度上进行Granger分析。检验的p值是在H0为真的前提下，观察给定结果的概率，这里的Granger关系则考虑为1-p，这样其表示Granger关系的值在[0,1]之间。进一步可以得出各个特征维度之间的关系矩阵M。

(4) 筛选变量。从矩阵M中筛选出特征,满足变量序列x对目标变量y的Granger关系远远大于y对x的Granger关系。矩阵M中的元素的值my,x表示变量序列x对目标变量y的Granger关系的大小，而mx,y的值表示目标序列y对变量序列x的Granger关系的大小。如果my,x的值减去mx,y的值远远大于给定的阈值δ，则变量序列x为筛选得到的特征之一。利用此方法对除目标变量的所有变量遍历筛选特征。

(5) 引入时间偏移量为时间维度。在原有数据维度下，新增时间偏移量这一预测的输入维度，对于实验采取的不同时间尺度来说，时间偏移量会有所不同。对于分钟级的原始数据是当前时刻距该天0:00的分钟数，对于小时级的数据则是当天的小时数，对于日数据则是对应的天数。

(6) LSTM模型训练。本文的LSTM预测模型包含2层LSTM单元，之后接一个单一神经单元的全连接层作为用气量预测模型的输出层，从输出层得到的结果再经反归一化得到最终的预测值。模型的激活函数选定为Relu函数，batch_size为64，训练次数(epoch)为500。本文的LSTM模型都建立在Keras库的基础上，以TensorFlow为后端通过Python 3.6语言进行编写。

(7) 预测模型的评估方法。本文采用平均绝对百分误差(Mean Absolute Percentage Error，MAPE)与均方根误差(Root Mean Square Error，RMSE)作为模型准确性的评价标准，公式表达如下：

(12)

(13)

(8) 分析不同尺度下特征选择的差异。为了进一步分析各个特征在不同尺度下的预测差异，将Time-Causality模型筛选得到各个特征与供热用气量历史值作为模型的输入维度分别进行训练和预测。对其预测得到的RMSE值和MAPE值作为评估标准进行分析。由于各个时间尺度下的RMSE值和MAPE值差异很大，需要对其进行归一化处理。本文采用的归一化的方法是min-max最小值最大值标准化，使数据的值映射到[0,1]之间，表示为：

(14)

式中：xmin是所在尺度下最小的RMSE或MAPE；xmax是所在的时间尺度下RMSE或MAPE的最大值；x*为归一化后得到的预测贡献分数。根据预测贡献分数的大小，进一步分析各个特征在不同时间尺度下的预测作用。

3 实 验

3.1 数据集与数据预处理

本文使用天津市某锅炉房的供热数据进行测试，采集数据的时间间隔为分钟级包括室外气温、用气量、锅炉房供水回水温度、锅炉房供水回水压力等数据维度。实验数据的时间范围选取1月份4周的数据，其中前3周的数据作为模型的训练数据，第4周的数据作为模型的测试数据。为了从多时间尺度更好地分析供热用气量数据，除了原始采集数据外，选取时间尺度为10分钟、1小时和1天。另外对于时间尺度为1天的数据，以11月份和12月份作为训练数据，1月份的4周数据作为测试数据。

为了对锅炉房用气量进行分析与预测，要对数据进行预处理，包括空值数据处理以及无效数据的处理等。由于各个维度数据大小差异很大，需要对数据进行归一化处理来减小误差，提高预测精度。公式如下：

(15)

式中：xmin是原始的样本数据分量的最小值；xmax是原始的样本数据分量的最大值；x*是要输入到神经网络的数据。当数据进行归一化处理输入到神经网络中进行预测时，需要对最后的预结果进行反归一化处理，保证和原来的输入数据在同一个数量级，公式如下：

(16)

式中:yi为网络输出，采用归一化后的数据进行训练后，训练好的模型结构值适用于归一化后的数据，因此训前先对输入值进行归一化处理，得到神经网络的输出结果对其值进行反归一化。

3.2 多时间尺度下特征选择方法对比

本文选取主成分分析(PCA)特征降维法、Lasso算法、MARS算法、Granger分析法与本文提出的Time-Causality模型在原始数据、时间尺度为10分钟、1小时和1天这四个时间尺度下，筛选在不同时间尺度下有助于对用气量数据预测的有关特征，并将这些特征与用气量的历史观测值一起作为LSTM的输入变量对用气量进行预测。结果如表1、表2所示。而对于特征选取评价则通过LSTM预测模型的MAPE和RMSE的值进一步评估。

表1 不同时间尺度下特征选择方法预测结果的RMSE

表2 不同时间尺度下特征选择方法预测结果的MAPE

实验结果表明：无论是用RMSE还是用MAPE对预测结果评价，Granger分析法相比于PCA降维法、Lasso算法和MARS算法都可以在不同的时间尺度下筛选到更合适的特征。本文提出的Time-Causality方法的预测效果在不同时间尺度下都优于Granger分析法，表明Time-Causality方法引入的时间维度可以提升供热用气量的预测效果。

3.3 多时间尺度下特征分析

本文利用Time-Causality模型筛选出有助于用气量数据预测的特征，并进一步分析在不同尺度下，筛选出的各个特征的预测作用。

表3为利用Time-Causality模型筛选的不同时间尺度下有助于预测用气量数据的特征。在原始采集时间尺度下只有管网压力和时间维度这两个特征，而在10分钟时间尺度下，有管网压力、室外温度、循环泵出口压力和时间维度这4个特征；时间尺度放大到1小时，有室外温度、循环泵出口压力和时间维度这3个特征；对于时间尺度为1天的数据，只有室外温度和时间维度这2个特征。

表3 Time-Causality模型所选特征

本文认为，Granger分析只能证明两个变量具有一定的Granger关系，而要进一步分析各个特征对目标序列的预测作用，需要实验来比较验证。本文将筛选的所有特征分别与用气量的历史值作为LSTM的输入维度，进一步构建LSTM预测模型，通过每个模型的RMSE和MAPE的值对该模型进行评估。另外，加入单变量预测以验证特征的预测效果，也进一步分析每个特征在该尺度下的预测作用，从而得出各个特征的预测作用随着时间尺度增大的变化规律。

根据表4和表5可以得出，Time-Causality模型筛选的特征在不同时间尺度下训练预测的RMSE和MAPE。根据其RMSE和MAPE可以进一步分析每个特征的预测作用随尺度变化的影响变化。从结果上进行分析，随着时间尺度增大，管网压力的预测作用减弱，而室外温度的预测作用明显增强。

表4 不同时间尺度下预测特征的RMSE结果

表5 不同时间尺度下预测特征的MAPE结果

图5和图6中的圆圈表示该时间尺度下Time-Causality模型没有选择该特征。可以看出，特征在不同尺度的预测作用并不相同。随着时间尺度增大，室外温度对供热用气量的预测作用在增大。管网压力在原始分钟级时间尺度的预测作用要高于其他特征，但随时间尺度变大，预测作用在减弱。循环泵出口压力的预测作用随时间尺度增大，其预测作用也增大，但在时间尺度为1天的预测作用较弱。

图5 特征随时间尺度变化预测作用趋势图(RMSE标准)

图6 特征随时间尺度变化预测作用趋势图(MAPE标准)

4 结 语

本文引入了时间维度作为输入维度并基于因果关系提出了Time-Causality预测模型，将筛选的特征与用气量的历史值作为输入维度构建LSTM的供热用气量预测模型。对比实验表明，Time-Causality模型可以在不同时间尺度下筛选出更优的特征，有助于供热用气量的预测，并且引入的时间维度可提升预测效果。本文又从原始采集分钟级数据、10分钟、1小时和1天不同时间尺度下，分析各个特征的预测作用。结果表明：不同时间尺度Time-Causality模型选用的特征不同，对于小时间尺度管网压力预测作用明显，对于大尺度下温度预测作用明显。同一特征在不同的时间尺度下的预测作用不同，如随时间尺度变大，室外温度的预测作用逐渐增强；而管网压力维度情况则相反。

本文的实验结果可以为供热系统的用气规律提供分析，具有实际的应用价值，在提供优质供热的基础上，高效地利用能源。后续将尝试构建关于用气量的Granger关系的分析图，并从不同时刻分时间段的角度对用气量数据进行研究预测，从而更好地分析锅炉房用气量数据的特点以及供热系统用气规律。