基于GRU-CNN模型的云南地区短期气温预测

刘家辉,梅 平,刘长征,刘剑南

(1. 南京信息工程大学自动化学院,江苏 南京 210044;2. 国家气候中心,北京 100081)

1 引言

气候预测对于指导人类的生产生活具有重要的意义[1]。现阶段我国比较常见且危害比较大的气象灾害有霜冻、干旱、高温和阴雨灾害等[2],这其中最高最低气温对农业生产和出行出游又有着重要的影响。在这样的背景下,如何遴选合适的预测工具并提高气温预测的准确度和可靠性就成了气候预报领域亟待解决的重要问题。

目前,国内外有以下几种针对气温预报常用的预测方法,这些方法也都在不同的问题中得到了应用,比如利用周期函数对小时级别的气温数据进行经验方程的拟合[3],通过日较差分类方法对北京地区的气温进行预测[4],利用卡尔曼滤波算法预测极端气温[5]等。最近几年来,深度学习算法发展迅猛,在各个领域中的应用愈发广泛,常用的深度学习算法有人工神经网络(ANN),卷积神经网络(CNN),循环神经网络(RNN),长短时记忆神经网络(LSTM)和门控循环单元网络(GRU)等。这其中CNN算法可以有效地捕捉数据的空间特征与深层局部特征,其非线性处理能力显著优于ANN,因此也被大量应用于气温预报等预测性质的科研工作中,如RASP[5]等人利用CNN算法对德国地面站两米高区域的温度进行预测,结果显示CNN的预测效果相较于ANN有了大幅度的改善。LSTM由RNN发展而来,在RNN时间序列输入的基础上加入了一路输入和一路输出,增加了对过去状态的过滤,解决了RNN网络梯度消失、梯度爆炸和长期记忆能力不足的问题。QI[6]等人利用LSTM模型对华北大型城市未来一小时的气温进行预测,结果显示预测的均方误差降低了31.7%。但LSTM也有结构过于复杂导致模型训练成本较高的问题,GRU作为LSTM的一种变体,将忘记门和输入门合成了一个具有遗忘功能的更新门。同样还混合了细胞状态和隐藏状态,加诸其他一些改动,最终的模型比标准的 LSTM 模型结构更简单也更易训练,GRU模型在气象预测方面也多有应用,如ZHANG[7]等人利用GRU模型对渤海海表温度进行预测,结果显示拟合曲线与真实数据的相关性提升了34%。以上案例证明了这几种深度学习模型对于气候预测工作的有效性。

然而,以上研究针对气象预测选择的算法大多都是单一的模型,CNN虽然在空间特征的提取上成绩裴然,但在针对时间序列的预测问题上效果不如RNN、LSTM和GRU算法;GRU在LSTM解决了RNN梯度问题和长期记忆问题的基础上简化了模型结构,提高了训练效率,但在数据空间特征的深层局部特征提取上不及CNN。

同时,在气象预报的具体实施阶段,并不总是能得到全面的预测数据,因此预测因子越少则模型需要满足的条件就越少,模型的结构也越简单,对硬件的要求也就越低。因此本文只选取了云南地区历史最高最低气温作为预测因子,本文研究的重点在于在拥有少量预测数据的前提下利用组合深度学习模型提高云南地区气温预测的精度。

综上,本文将CNN与GRU算法进行结合,并创造性地将新模型应用到了云南地区的最高最低气温预测上。选取了云南地区1980-2019年八个气象站点所记录的最高最低气温日度数据,并对数据进行了预处理。接着利用过去30天的气温数据对未来3天的最高最低气温进行短期预测,最后对结果和模型的优劣进行了探讨,证明了GRU-CNN模型的优越性。本研究为云南和其他地区开展气温预测提供了参考。

2 算法介绍

2.1 卷积神经网络(CNN)

CNN属于一种深度神经网络,在视觉图像的分类工作中较为常见。上世纪60年代,Hubel与Wiesel受猫和猴子的大脑神经元含有小区域响应的视野的启发,提出了感受野的概念[12],1989 年 Yann Le Cun 将反向传播算法应用于CNN 模型[13],大大增加了模型的适用范围,这种方法才广泛被人所了解。

CNN 主要由卷积层、池化层、全连接层等构成。卷积层是CNN的核心组成部分,卷积神经网络也因之得名,卷积层由一个或多个卷积核构成,卷积核是一个可学习的参数矩阵,其大小一般取奇数,例如3×3和5×5,其运算过程如图4所示:

图1 卷积运算过程

由图可知,卷积核在图像的高度和宽度上逐行进行扫描,计算卷积核与输入图像矩阵之间的卷积,最终得到图像矩阵的空间特征,卷积运算的公式如下

(1)

池化层,一说下采样层,常常拼接在卷积层后面,是一种最早由Le Net[14]所提出的网络结构。池化层可以实现对数据的降维,在简化数据的同时保留特征。现阶段最常用的池化操作是最大池化,如图2所示。

图2 最大池化过程

图2中,左侧是尺寸为4×4的输入数据,右侧为2×2的卷积核,在卷积神经网络的实际应用中,一般取卷积核的大小为池化操作的步长。可以看到经过最大池化后,原来4×4尺寸的数据缩小到了2×2,数据量大大缩小,但数据的特征却得到了保留,这样的操作可以有效地减少参数数量,防止模型过拟合[15]。卷积神经网络往往会设置多个卷积和池化层,在这其中会穿插全连接层以增加模型复杂度,最后的输出层往往会选择搭配softmax函数。

2.2 门控循环单元网络(GRU)

GRU是LSTM的一种变体,前者简化了后者的结构,GRU引入了门控机制,将忘记门和输入门合成了一个具有遗忘功能的更新门[16]。GRU还混合了细胞状态和隐藏状态,加诸其他一些改动,有效地解决了LSTM长期记忆的缺失和反向传播中的梯度等问题[17]。其结构图如图3所示。

图3 GRU的结构

图中ht-1为t-1时刻的隐藏状态,xt为t时刻的输入,重置门输出rt和更新门输出zt的计算公式如下

rt=σ(wxrxt+whrht-1+br)

(2)

zt=σ(wxzxt+whzht-1+bz)

(3)

式中,σ是sigmoid激活函数,wxr和wxz分别为xt与rt和zt之间的权重关系,而whr和whz分别为ht-1与rt和zt之间的权重关系,rt和zt对应的偏置项分别用br和bz表示。

(4)

(5)

GRU所设置的更新门和重置门简化了LSTM的结构。相较于LSTM,GRU的训练参数大大减少,在训练过程中,后者的收敛速度比前者更快,其训练效率也得到了大幅提高。

3 模型的搭建与验证

3.1 数据预处理

选取了1980-2019云南8个站点最高最低气温日度数据各14610个数据,数据总量为233760,对于其中的缺失值,利用周围数值的平均数将缺失值补齐,并对处理后的数据进行Z-score归一化,公式如下

(6)

其中xscale表示归一化后的数据,x为序列中的原始数据,μ表示原始数据的平均值,σ为原始数据的标准差。经过Z-score归一化后的数据均值将变为0,方差将变为1,如此处理减弱了异常值对数据的影响,也方便了后续的计算。

3.2 评价指标

采用平均绝对误差(MAE)和均方根误差(RMSE)来对模型的预测效果进行检验,MAE用来指示预测值和测量值之间误差绝对值的平均值,RMSE是误差平方和与数据个数比值的平方根,MAE与RMSE的计算公式如下

(7)

(8)

3.3 模型的搭建与检验

选择的CNN模型结构包含一层输入层、两层CNN隐藏层加一层全连接层和一层输出层,CNN隐藏层中又包含汇聚层、一维卷积层和一维池化层以及全连接层,一维卷积和个数为32,大小为3。示意图如图4所示。

图4 CNN模型示意图

选取的GRU模型包含一个输入层,两个GRU层和一个全连接层以及一个输出层,每个GRU层包含30个GRU单元,示意图如图5所示。

图5 GRU模型示意图

构建的GRU-CNN模型由一层输入层、两层CNN隐藏层和一层全连接层、两层GRU隐藏层以及一层全连接层和一层输出层构成,CNN与GRU层参数的设置与前文中的模型相同,示意图如图6所示。

图6 GRU-CNN模型示意图

训练的batch size设置为128,学习率为0.01,并将整体数据的70%作为训练集,10%作为验证集,20%作为测试集。利用训练集对模型进行训练,利用验证集进行校准,最终用测试集对模型预测效果进行验证。表1-表6为各站点在不同模型下不同天数的最高最低气温预测效果对比。

表1 提前1日的最高气温预测效果对比

表2 提前2日的最高气温预测效果对比

表3 提前3日的最高气温预测效果对比

表4 提前1日的最低气温预测效果对比

表5 提前2日的最低气温预测效果对比

表6 提前3日的最低气温预测效果对比

由各站点在不同模型下预测效果的对比表格可知,GRU-CNN模型的预测效果要显著好于CNN和GRU,前者日最高温度预测误差的RMSE指标比后两者平均要低21.17%,MAE指标比后两者平均要低19.22%;前者日最低温度预测误差的RMSE指标比后两者平均要低18.37%,MAE指标比后两者平均要低17.15%。以上结果表明,GRU-CNN的预测性能要更胜一筹。

4 结论

本文提取了八个位于云南的气象站点的最高最低气温数据,并对其进行数据补齐和预处理。在CNN与GRU模型的基础上,将二者进行了结合,并将新模型用于云南地区最高最低气温的预测当中。将经过预处理的数据输入搭建好的模型后得到了预测结果,根据RMSE和MAE指标对于预测效果的评价,可以得出结论:GRU-CNN模型在气温预测上的效果优于CNN与GRU模型,与这些传统模型相比,GRU-CNN模型在提取序列的时间特征的基础上又借助CNN学习了序列的空间特征的深层局部特征,极大地提升了预测的准确性。