基于优化算法的CNN-BiLSTM-attention的月径流量预测

朱 豪,胡 圆 昭,尹 明 财,贾 慧,张 济 世

(1.兰州交通大学 环境与市政工程学院,甘肃 兰州 730070; 2.中建新疆建工集团第一建筑工程有限公司,新疆 乌鲁木齐 830000)

0 引 言

径流研究是水文预测研究的主要研究内容之一,提高径流研究的预测精度有助于城市防洪、水力发电和优化配置水资源。径流形成的过程主要受到大气压强、大气降水、温度、环境地形和人类行为等多重因素的影响[1],导致对径流时间序列研究的过程,具有模糊性和复杂的不确定性,对其形成过程难以用确定精准的模型进行准确的描述。近年来,卷积神经网络[2](Convolutional Neural Network,CNN)得到广大学者的青睐,具有局部连接和权值共享的特征,可以有效地减少冗杂的训练次数,使得时间序列数据更便于训练。长短期记忆网络[3](Long Short-Term Memory Networks,LSTM)是通过门控机制控制信息的传递路径,并对经过门控机制的信息有选择保留或者剔除以保证时间序列的预测效果,而双向长短期记忆网络[4](Bi-directional Long Short-Term Memory,BiLSTM)拥有两个普通的LSTM组成,分别运用过去和未来的信息,其预测效果优于单向LSTM模型。由于水文径流序列的复杂性和难以寻优模型的超参数,需要进行复杂的训练和庞大的工作量,所以单一的模型模拟径流形成的过程较差。因此,迫切需要一种辅助优化模型,能够选取建立水文模型的相对最优参数,借此提高模型的预测精度。为此不少学者运用了贝叶斯优化算法[5-6]、鲸鱼优化算法[7]、海洋捕食者算法[8]、免疫粒子群算法[9]以及麻雀搜索算法[10]等方法,以此辅助模型的超参数选优,极大地提高了模型的预测精度。其中麻雀搜索算法模拟了麻雀的捕食和反捕食的行为,便于操作,参数调节较少,与其他优化算法相比较,该算法的收敛速度和搜索的精度具有一定的优势;而基于萤火虫改进的麻雀搜索算法(Firefly Algorithm,Sparrow Search Algorithm,FA-SSA)[11-12]是在麻雀搜索算法的基础上,利用萤火虫的扰动进一步对麻雀搜索的位置优化更新,提高搜索性,以此提高算法的寻优性能。

为解决非线性、随机性、不稳定性以及复杂的时空特性对径流量时间序列的影响,本文提出了基于CNN-BiLSTM-attention-FA-SSA的月径流预测模型。其中卷积神经网络(CNN)可以有效提取月径流量时间序列的局部特征,attention可以有效优化BiLSTM模型的权重,BiLSTM可以同时通过正反两个方向深度提取月径流时间数据的深层时间特征,FA-SSA优化算法为CNN和BiLSTM提供最优超参数的数量保障。选取1959年1月至2020年7月汉口站的径流数据进行模拟验证,以消融的方式研究不同方法对月径流量的预测效果,研究结果可为发展径流量预报方法和水资源管理提供科学参考。

1 数据资料

汉口水文站是控制长江干流在汉江入汇后水情变化的高精度水文站,是长江干流的重要控制站,同时也是长江流域和全国设立最早的近代水文站。本文选取径流数据为汉口水文站1959年1月至2020年7月的月径流数据,气象资料选取57 583,57 399,57 483,57 494,58 402,58 407和57 378等6个站点1959年1月至2020年7月的平均降水、平均气温、平均气压、平均相对湿度、小型蒸发量、平均风速和日照时数的日数据。6个气象站的气象数据来源于国家气象科学数据中心,月径流资料来源于汉口水文站的观测数据。将日气象数据统计成逐月数据,对于数据中部分缺失的少量数据采用样条函数插值处理。

2 研究方法

2.1 卷积神经网络

卷积神经[13-15](Convolutional Neural Networks,CNN)是一种深度学习的神经网络模型,处理大量数据信息时具有自动分层提取的能力,通过卷积核减少神经网络的参数,可以有效防止模型过拟合和提高网络模型的计算速度。CNN主要用于分类问题和回归分析,由卷积层、池化层、全连接层、输入层和输出层构成(见图1)。

图1 卷积神经网络结构Fig.1 Structure of convolutional neural network

卷积运算类似于二维权重数组,采用相同步长对输入的数据滑动截取,然后相乘求和;再经过非线性激活函数进行非线性组合,作为池化层的输入;随后池化层对特征进行降维,按照一定的池化窗口大小,检索输入数据,提取出重要特征,减少网络参数。全连接层主要负责卷积层和池化层得出的特征进行整合并连接到输出层。通过堆叠并在多个神经元的全连接层添加非线性激活函数,可以提高卷积神经网络的非线性拟合能力。

2.2 双向长短期记忆网络

长短期记忆网络(Long-Short Term Memory,LSTM)[16-17]是一种特殊的反馈神经网络,神经元以累加功能和门控机制的特殊隐层单元为基础,下一刻将上一步传递的信息产生一个权值并联接到自身,以复制自身状态的真实值并累积外部输入信号,适合用于处理大量时间序列数据相关的深度学习问题。

LSTM由输入层、隐含层和输出层组成,采用门控机制有选择地控制信息,更真实地表征和模拟内部的特征规律,将需要的长期记忆信息和短期记忆信息组合在一起,组成新的神经单元,控制网络信息的传输[18-20]。门控机制由遗忘门、输入门和输出门组成,分别对应着忘记、选择性记忆和输出的处理过程。

如图2所示,通过遗忘门(图2的①部分)舍弃上个单元不需要的信息,输入门(图2的②部分)控制长短期的信息存储,输出门(图2的③部分)控制输入门信息的最终输出,其具体公式为

图2 长短期记忆网络结构Fig.2 Structure of long and short term memory network

ft=σ(Wf·[ht-1,xt]+bf)

(1)

(2)

it=σ(Wi·[ht-1,xt]+bi)

(3)

(4)

(5)

ot=σ(Wo·[ht-1,xt]+bo)

(6)

ht=ot·tanh(ct)

(7)

y=σ(Wy·ht+by)

(8)

式中:ot为xt和ht-1对ht的影响系数;ht为隐层单元的输出;y为预测输出值;Wo为权重;bo为阙值。

BiLSTM[21]是由两个普通的LSTM构成,单向LSTM只能通过从过去到未来的方向挖掘时间序列数据的特征信息,无法挖掘从未来到过去的时间序列数据信息,可能导致径流量预测模型的学习效率低,影响模型的预测精度。BiLSTM通过两个方向来挖掘时间序列数据信息,促使BiLSTM不仅能够利用过去时刻的气象数据和水文数据的信息,还能学习未来时刻的时间序列的特征,不断提高神经网络预测模型学习能力和时间序列数据的利用率,借此提高模型的预测精度。

2.3 注意力机制

注意力机制(attention)来源于人类视觉的信号处理机制。当人类将绝大部分的注意力资源集中在重点图像的区域时,会自动屏蔽其他可见的信息。针对注意力机制的原理,众多学者将注意力机制广泛应用于各行各业[22]。attention机制将气象数据和水文数据的不同特征对于径流量预测结果影响的大小,作为赋予神经网络隐藏单元权重大小的依据,使对预测结果有突出影响的因素获得更高关注,为后续数据处理提供依据,极大减少资源的浪费,可以辅助提高模型的预测精度[23]。

ei=tanh(Whi+b)

(9)

(10)

(11)

式中:W和b分别为权重和阙值;hi为CNN输出的隐藏单元状态值,得出每个隐藏单元状态值的得分ei,再通过式(10)对注意力机制的得分进行归一化处理,最终将ei和ai进行加权求和,得出隐藏层状态值ct。

2.4 基于萤火虫改进的麻雀搜索算法

萤火虫算法(Firefly Algorithm,FA)的主要思想是利用萤火虫的光亮作为一个信号系统,始终是亮度较高的吸引着亮度较低的萤火虫,亮度较低的萤火虫通过光的亮度更新萤火虫的位置,而亮度随着距离的增加而减弱[24]。

麻雀搜索算法(Sparrow Search Algorithm,SSA)是受到麻雀捕食生活习性的启发而提出的优化算法。麻雀捕食过程中由发现者、加入者、警示者3部分构成[25]。该算法中适应度较高的发现者会搜索出丰富食物的局部区域,加入者将引导种群的搜索和捕食;加入者为提高适应度会跟随发现者觅食,而种群内麻雀的加入者能量越低,加入者的觅食位置就越差,当警示者发现危险时会警示麻雀种群,则会发生反捕食行为。

基于萤火虫改进的麻雀搜索算法的原理是在麻雀搜索算法后,对麻雀进行萤火虫扰动,所有麻雀借助萤火虫的扰动方式而进行位置更新,提高其搜索性,扰动后的麻雀与扰动前的麻雀相比,如果其效果更优则更新麻雀的位置。其算法流程如下:

步骤1:初始化种群,迭代次数,初始化捕食者和加入者比例。

步骤2:计算适应度值,并排序。

步骤3:麻雀更新捕食者位置。

步骤4:麻雀更新加入者位置。

步骤5:麻雀更新警戒者位置。

步骤6:计算适应度值并更新麻雀位置。

步骤7:利用萤火虫扰动更新麻雀位置。

步骤8:计算适应度值并更新麻雀位置。

步骤9:是否满足停止条件,满足则退出,输出结果;否则,重复执行步骤2～8。

3 模型构建及评估机制

文中月降水量预测的时间序列选取统计成逐月资料的平均降水、平均气温、平均气压、平均相对湿度、小型蒸发量、平均风速和日照时数以及历史的月径流资料作为协变量。本文以CNN-BiLSTM-attention径流量预测模型为例构建模型,其中构建的CNN-BiLSTM-attention-FA-SSA模型属于全耦合深度学习模型,基于萤火虫改进的麻雀搜索算法优化的超参数分别为:卷积核个数、BiLSTM隐藏层神经元个数、全连接隐藏层神经元个数、dropout层、批量大小和学习速率。由于BiLSTM中的隐含层对输出变量的影响是相同的,但现实情况并非如此,为改变这种现象,通过引入attention机制,计算每个输出隐含层与不同输入隐含层的相似度,再通过使用soft-max计算每个隐含层对输出变量的贡献,得到每个隐含层的贡献度,最后通过不同隐含层的贡献度加权求和,得出新的输出隐含层的值,而这个过程就是attention机制引入BiLSTM模型的作用。

为防止模型发生过拟合现象,一般通过3种方法对模型进行修正:① 增加数据集的数量长度,文中收取近60 a的月数据,无法再延长数据长度;② 减少模型的复杂程度,通过适当减少隐含层的层数或者神经元的个数,可以有效防止模型过拟合;③ 添加正则项dropout。dropout可以对原来网络进行修剪,得到参数规模较小的网络,该网络不易发生过拟合现象,最后对训练过程中所有的小网络进行集成,从而减小泛化误差。

文中模型构建的数据主要分为训练集和测试集两部分,其中1959年1月至2002年8月为训练集,共计512个月;2002年9月至2020年7月为测试集,共计203个月。以汉口水文站月径流资料为变量,对汉口站月径流量进行预测,其步骤如下。

步骤1:机器深度学习的过程中,为避免不必要的误差和增加模型的运行速度,将全部的样本数据统一归一化处理。

步骤2:初始化模型参数,将数据样本划分为训练集和测试集,并将训练的样本数据设置目标变量与协变量,机器深度学习其特征变化。对于BiLSTM模型的设置参数为:BiLSTM模型的层数为2层,dropout=0.5,hidden size=400,input size=64。隐含层节点为对于CNN模型的设置变量为:channel=3,stride=1,padding=1,激活函数均为Relu。

步骤3:CNN模型对数据进行提取和降维。将划分好的数据集输入卷积神经网络,进入卷积神经网络的卷积层,卷积层上众多特征面的神经元,对数据进行特征提取,而卷积层提取的数据通过激活函数处理,再次传递给池化层,池化层中众多的特征面上的神经元,对首次提取特征的数据进行二次局部特征提取、简化数据并利用每个神经元采样,对输入的数据进行层次提取,最后将提取的局部信息进行整合,为进一步利用BiLSTM提取深层时间特征奠定基础。

步骤4:引入attention机制。CNN所提取的信息作为新输入变量传入LSTM,再通过深度学习的正向传播和反向传播,利用attention机制计算LSTM隐含层的权重,对各时间序列点的隐藏层状态相对应的门权重和偏置矩阵进行传播,根据预测值与实际值之间的误差不断调整优化,再通过误差更新attention 机制优化的门权重值和偏置值,最终获得适合、稳定的深度学习模型。在BiLSTM的隐藏层内加入attention机制,进一步深入学习双向径流时序变化规律,精准捕获关键信息,防止BiLSTM的输出层的数据泛化。

步骤5:运用萤火虫改进的麻雀搜索算法选取CNN-BiLSTM-attention径流量预测模型的最优参数。其中萤火虫改进的麻雀搜索算法的超参数设置上边界为(128,600,300,0.5,128,0.001),下边界为(32,100,100,0.1,16,0.000 1),pop=5,MaxIter=50,dim=6,其中边界里的数据分别表示卷积核个数、BiLSTM隐藏层神经元个数、全连接隐藏层神经元个数、dropout层、批量大小和学习速率。

步骤6:借助FA-SSA算法,选取CNN-BiLSTM-attention的最优参数并带入径流量预测模型,利用汉口水文站的径流数据进行验证。

步骤7:输出预测结果数据,并进行反归一化处理得到径流预测值。

步骤8:模型评估。文中选用拟合系数R2、平均绝对误差MAE和均方误差MSE作为评价模型性能的依据,判别模型的预测性能,计算相关公式[26-28]为

(12)

(13)

(14)

4 实际应用分析

4.1 气象因子的相关性分析

汉口水文站径流量与气象因子的变化关系如图3和图4所示。由图3可知,年际变化内,径流量与降水量和气温变化具有较好的同步性,径流与降水和气温之间均呈现出正向关系,降水量的大小直接影响其径流的变化,而与降水相比,气温对径流变化的影响较小。由图4分析可知,在年内变化中,径流、降水、气温三者间存在着显著的正向关系,其变化具有一定的时滞性,但是整体随着气温与降水的增长,径流也随之增长,反之,则减小。

图3 径流量与气象因子年际变化关系Fig.3 Interannual variation relationship between meteorological factors and runoff

图4 径流量与气象因子年内变化关系Fig.4 Annual variation relationship between meteorological factors and runoff

文中选取了平均降水、平均气温、平均地温、平均气压、平均相对湿度、小型蒸发量、平均风速和日照时数等8个气象因子以及历史径流量的资料探究径流量的预测情况,为更好地研究气象因子对径流量预测研究的影响大小,采用线性回归方法,衡量每个气象因子对径流量预测的影响程度。

如图5所示,平均降水、平均气温、平均地温等8个气象因子与径流量呈现正相关的关系,其中平均降水、平均温度和平均气压是影响径流量预测的最主要特征因子,相关系数分别为0.763,0.747和0.739,而剩余的气象因子对径流量的影响程度较小。通过气象因子与径流量的相关性分析的实验数据,说明文中选取的8个气象因子不同程度上影响了径流量的预测,并无多余的冗杂特征变量。

图5 气象因子与径流量的相关性分析Fig.5 Correlation analysis between meteorological factors and runoff

4.2 模型对比分析

为更好地验证CNN-BiLSTM-attention径流量预测组合模型的预测性能,文中选取了BiLSTM、CNN、CNN-BiLSTM和BiLSTM-attention模型与CNN-BiLSTM-attention径流量预测模型进行对比验证实验。为减少模型训练过程中出现偶然性的因素,将模型进行多组训练学习,最终将每种模型训练效果最优的一组记录下来,结果如表1 所列。

表1 多种径流预测模型的对比分析Tab.1 Comparative analysis of various runoff prediction models

由表1可知:CNN+BiLSTM+attention径流量预测模型的MSE、MAE和R2三项评估指标,均优于其余4种模型,该方法的MSE为0.009,与BiLSTM、BiLSTM-attention、CNN和CNN-BiLSTM 4种模型相比较,MSE分别下降了30.4%,30.3%,20.3%和8.2%;该方法的MAE为0.068,与其他4种模型相比,分别下降了16.2%,19.6%,12.6%和0.6%;CNN-BiLSTM-attention模型的决定系数为0.768,与其他4种模型相比,分别提升了15.2%,15.1%,8.3%和2.8%。由此说明,CNN-BiLSTM-attention模型比其他径流量预测模型更适合多元时间序列的预测,有效提高了径流量时间序列的预测精度。

从单一模型来看,CNN径流量预测模型整体性能的要求较高于BiLSTM径流量预测模型,也只能揭示CNN模型比BiLSTM模型更适合于汉口水文站的径流预测;BiLSTM-attention的MAE、MSE和R2略高于BiLSTM模型,但从实验数据结果来看,attention 机制在BiLSTM里深入学习双向径流时序变化规律的作用并不是很强;CNN-BiLSTM模型通过卷积神经网络对数据的提取和降维,BiLSTM可以有效提取输入信息,较大程度上提高了模型的预测精度和真实值的拟合程度;与BiLSTM-attention模型相比,CNN-BiLSTM-attention模型自从加入卷积神经网络对数据进行提取和降维之后,attention的有效捕捉关键时刻信息的能力明显提升。

卷积神经网络、双向长短期记忆网络和注意力机制的组合构建了CNN-BiLSTM-attention径流量预测模型,极大发挥了卷积神经网络的数据提取和降维能力、双向长短期记忆网络的多元长时间序列的持续学习能力以及attention有效捕捉关键时刻信息的能力,从而提高了CNN-BiLSTM-attention模型的径流量预测精度,增强径流量时序特征变化的学习能力和提升了与真实值的拟合能力。图6为CNN-BiLSTM-attention和其他4种模型径流预测效果图,从图中可以看出CNN-BiLSTM-attention 的预测精度和拟合的效果好于其他4种模型。整体来说,图中的5种模型在2002～2015年的整体模拟效果较好,而2016～2020年的汉口径流量模拟效果较差,其主要原因可能是:模型的训练集主要负责学习和探索输入变量和径流量的特征规律,数据量越大,模型所掌握的特征规律以及输入变量和径流量的内在关系也会越强,故测试集中输入变量对径流量的预测效果也会更好,但是由于输入的气象因子和径流量的关系也会发生改变,离训练集时间年限较远的测试集,径流量的预测效果会稍微差一点,再加上人类活动和数据集的特殊极值点的影响,故2016～2020年的峰值模型明显变小,与2002～2015年相比,其预测效果相对较差。

图6 多种径流量预测效果Fig.6 Renderings of various runoff forecasts

4.3 优化算法对比分析

4.3.1优化算法参数选优

为验证基于萤火虫改进的麻雀搜索算法(FA-SSA)的优越性,选取了研究体系较为成熟和流行的贝叶斯优化算法(Bayesian Optimization Algorit,BOA)[29]和灰狼算法(Grey Wolf Optimization,GWO)[30]对比研究。FA-SSA的超参数设置为pop=5,MaxIter=100,dim=6和上下边界值,边界值中分别表示的是卷积核个数、BiLSTM隐藏层神经元个数、全连接隐藏层神经元个数、dropout层、批量大小和学习速率,其中上边界为(128,600,300,0.5,128,0.001),下边界为(32,100,100,0.1,16,0.0001)。GWO的超参数设置为pack size=5,min values =[32,100,100,0.1,16,0.0001],max values =[128,600,300,0.5,128,0.001],iterations=50。BOA的超参数设置为channel:(32,128),隐藏层神经元hidden size1:(100,600),全连接隐藏层神经元hidden size2:(100,300),dropout:(0.1,0.5),batch size:(8,128),learning rate:(0.0001,0.001),每个括号里的数值表示设置超参数的最小值和最大值。

FA-SSA优化算法随着大量时间的深度学习,如图7所示,最优适应度值约为0.0076时的参数为该算法的最优参数,其最优参数值分别为channel=64.67,hidden size1=572.28,hidden size2=286.32,dropout=0.48,batch size=21.03,learning rate =0.000 97。

图7 FA-SSA的适应度曲线Fig.7 Fitness curve of FA-SSA

由于篇幅原因,只能展示一部分贝叶斯优化算法的参数优化数据,如表2所列。其中加粗的是贝叶斯优化算法中获取最优的参数优化数据,文中选取几组中channel最大的一组参数优化数据,即表2的41组数据,优化参数为channel=127.90,hidden size1=239.60,hidden size2=199.70,dropout=0.35,batch size=8.88,learning rate =0.000 54。通过灰狼优化算法的深度学习,GWO获取的最优参数为channel=63.06,hidden size1=209.35,hidden size2=146.78,dropout=0.20,batch size=16.82,learning rate =0.000 81。FA-SSA、BAO和GWO 3种优化算法获取的最优参数,代入相应的算法程序,得到3种径流预测效果图(见图8)。

表2 贝叶斯优化算法参数优化分析Tab.2 Parameter optimization analysis of Bayesian optimization algorithm

图8 基于优化算法的CNN-BiLSTM-attention模型效果Fig.8 Effect of CNN-BiLSTM-attention model based on optimization algorithm

4.3.2优化算法对比分析

如表3所列,CNN-BiLSTM-attention径流预测模型的3种优化算法同样运用MSE、MAE和R23项评估指标来检验经优化算法优化之后的CNN-BiLSTM-attention模型的预测性能。由表3可知,FA-SSA-CNN-BiLSTM-attention的预测效果优于CNN-BiLSTM-attention模型、GWO-CNN-BiLSTM-attention模型和BOA-CNN-BiLSTM-attention径流预测组合模型,而GWO-CNN-BiLSTM-attention模型和BOA-CNN-BiLSTM-attention模型的径流预测性能整体略低于未加优化的CNN-BiLSTM-attention径流预测模型,其中4种模型的MSE和MAE的数值近似相等,相差不大。FA-SSA-CNN-BiLSTM-attention模型的R2为0.801,与CNN-BiLSTM-attention模型以及GWO和BOA优化的CNN-BiLSTM-attention 3种模型相比较,分别提升了4.39%,5.25%和 5.94%。由此说明基于萤火虫的麻雀搜索算法的CNN-BiLSTM-attention径流量预测模型在测试期拥有较高的拟合精度,能够充分挖掘径流量时间序列的特性。如图8所示,FA-SSA-CNN-BiLSTM-attention模型径流量的预测效果明显优于灰狼算法和贝叶斯优化算法,表现出优于其他两种优化算法模型的稳定性和泛化能力。

表3 多种辅助优化算法的预测结果Tab.3 Prediction results of various auxiliary optimization algorithms

5 结 论

文中构建了BiLSTM、CNN、CNN-BiLSTM和BiLSTM-attention与CNN-BiLSTM-attention的基础径流量预测模型,随后构建了基于FA-SSA优化算法、GWO优化算法和BOA优化算法的CNN-BiLSTM-attention径流预测组合模型,以汉口水文站的月径流量数据验证模型的预测性能,结果如下:① 以随机森林为基础的特征量重要度(feature importance)模型表征的结果可以发现,平均气压、平均温度和平均降水是影响径流量预测最主要的特征因子,而其余气象因子对径流量预测的影响较小。② 从汉口水文站的应用来看,BiLSTM、CNN、CNN-BiLSTM、BiLSTM-attention与CNN-BiLSTM-attention四种模型都具有较好的预测效果,决定系数均大于0.65,其中CNN-BiLSTM-attention组合模型的径流预测效果为最佳,决定系数为0.768,通过模型对比分析发现BiLSTM和attention两种方法只有配合CNN使用时,BiLSTM和attention才能更有效地提取和捕捉关键信息,从而获得更好的预测效果。③ 选取3种优化算法的CNN-BiLSTM-attention最优超参数并将其代入训练,FA-SSA-CNN-BiLSTM-attentio的预测效果最佳,所需要的运算时间远高于其他两种模型,而BOA-CNN-BiLSTM-attention和GWO-CNN-BiLSTM-attention的拟合能力和泛化能力均低于未经优化的CNN-BiLSTM-attention径流预测组合模型。

从数值结果上看,本文提出的FA-SSA-CNN-BiLSTM-attention模型与目前较为流行的径流量预测模型相比,具有优异的预测效果和较高的实质性应用效果,其相关的方法和理论对径流量预测精度的提高具有现实的意义。对于汉口水文站的研究,若要得到更具完整和代表性的结论,还需要在日后的研究中获取更多水文站点的径流量数据,进一步验证模型的稳定性、数据拟合和泛化能力。