基于EMD-ATT-BiLSTM的径流量预测模型研究

陈 良，毕晓英，周新志

（四川大学电子信息学院，成都 610065）

0 引言

自然灾害是人类关注的重点话题，而洪水灾害是造成人类死亡和经济损失最频繁和最具破坏性的自然灾害之一。近年来，受全球气候变化和人类活动影响，极端天气事件和人为突发事件明显增加。径流预报是预防洪水灾害的重要工程措施之一，如何提高径流预报的准确性也是水资源管理研究中的一大难点问题。因此，构建有效的径流预报模型，提高径流预报的准确度具有强烈紧迫性和必要性。

通常将设计的径流预测模型分为两类：物理模型和数据驱动模型。物理模型通常通过物理函数来表示复杂的水利过程，并根据输入和输出得到预测结果，典型的水文模型包括SWAT模型和新安江模型。但是水文系统中的变量之间存在着强烈的非线性关系，这一直是物理模型难以解决的问题。数据驱动模型是一种端到端模型，直接探索各种历史水文特征与径流之间的关系，本质上是一种黑箱方法，不必考虑流域系统的整体物理机制，也不必去明确数据中隐含的规律，而是直接从实际测得的数据中发现系统潜在的规律性。近年来，机器学习在数据科学发展中取得了很多显著的成果，基于机器学习的径流预测方法也越来越多，主要有BP神经网络、支持向量机（SVM）以及自回归移动平均（ARMA）。而径流序列存在非线性、非稳态等特点，同时上述模型忽略了长时间径流序列的周期性与季节性等规律。这些方法会使得预报与真实结果之间有一定的偏差。EMD方法是一种针对非线性、非稳态时间序列的数据处理方法。范琳琳等人使用EMD与ANN方法混合的模型，对云南省昭通市径流量进行了预报，取得了较好的预报效果。但是传统的ANN方法在应用时也存在很多缺陷，如收敛速度慢、不具有记忆性、容易陷入局部极小值。这些存在的缺陷会在一定程度上影响径流预测的精度。RNN变体LSTM神经网络带有记忆功能，能够提取到径流序列中的季节性与周期性。姜淞川等人使用LSTM网络对鄱阳湖抚河流域径流模拟研究取得了较好的预报结果。Wu和Ding等人分别提出了基于注意力机制与RNN神经网络架构结合的径流预报方法，这些特别的神经网络的一定程度上能提高径流预报的结果，但是也不能很好地解决时间序列非线性、非稳态的问题。

为了更好地提高径流预报准确性，解决水文时间序列非稳态、非线性等问题，同时提高神经网络的鲁棒性，本研究提出一种组合方法的径流预测模型，该模型是结合双向长短期记性神经网络（BiLSTM），EMD方法以及注意力机制（Attention）。以清溪河流域为例，用EMD方法将历史日径流序列分解为不同频率的本证模态函数和趋势项，随后采用ATT-BiLSTM网络对不同频率的分量进行预测，最后叠加得到清溪河日径流量的预测结果，并与其他未使用EMD的同期预报方法进行了对比。除了模型上面的处理，本文还在水文数据上进行了处理。水文数据采集的精度会影响模型预测的精度，水文预报研究数据通常是以天为单位的数据，在采集精度上不算很精确，因此采用了平均插值的方法来提高数据的精度，这是一种数据预处理修正的方法，而且有效地提升了预测的准确度，这为清溪河流域径流预测研究提供了参考。

1 研究对象以及数据

1.1 研究对象

本文研究的是四川省宣汉县的清溪河流域，是一个比较小的流域。清溪河自东北向西南流经观山、清溪镇，在清溪口注入后河，河道长46 km，流域面积297 km。清溪河为山溪性河流，两岸山高坡陡，相对高差在300～500 m，河面宽15～30 m。滩多弯急，落差大，水流湍急，中上游河道平均比降约10‰。清溪河受大巴山暴雨的影响，暴雨洪水频繁。清溪河的洪水主要由暴雨形成，洪水发生的时间与暴雨相应，年最大流量发生在5—9月，7月最多。清溪河属于山溪性暴涨暴落河流，有涨落影响，但无明显绳套趋势。通常一次洪水持续时间0.5～24 h，洪峰持续时间0.5～1 h，清溪水文站最大洪水多发生在5—9月，最大流量453 m/s，最小流量0.057 m/s，平均流量5.627 m/s。如图1所示。

图1 清溪河流域

1.2 研究数据

清溪河流域内，设有一个基本水文站，4个有历史系列资料的雨量站，包括老君站、峰城站、南坪站以及清溪站。在对水文站及雨量站数据资料进行筛选后，选择时间跨度从1985年1月1日到2005年12月31日的降雨径流数据。结合实际情况，选取了输入变量为提前两天的四个站点（南坪站，峰城站，老君站，清溪站）的降雨（-2）、（-1）提前2天的流量（-2），（-1）。这些实测值来自四川省水文局水文信息数据中心。

从图2可以直观地看到，清溪站日径流数据的变化曲线跳变较大，数值陡峭，最大值、最小值相差上千倍，数据很不平缓。为了提高预测结果的准确性，本文采取平均值插值来提升输入数据的平稳性。插值后需要对输入数据进行标准化处理，将所有数据归一化到［0，1］区间内，预测后再将数据还原，这样有利于缩短模型的训练周期，发掘变量间的联系。数据归一化处理如式（1）所示。

图2 清溪站日径流数据从1985年1月1日—2005年12月31日

2 研究方法

为了对清溪河流域进行准确地径流预报，准确地对影响径流量的各变量进行建模就显得非常重要。针对清溪河水文序列的非稳态、非线性等问题，赋予重要的时间点合适的权重，基于EMD-ATT-BiLSTM的径流预测模型整体框架如图3所示。

图3 模型框架

2.1 EMD方法

经验模态分解（EMD）是由Huang等人在1998年提出的一种自适应的数据处理方法，适合非线性、非平稳时间序列的处理。这对于探索预测模型的隐藏时间序列关系起了至关重要的作用，有助于揭示复杂的非线性时间序列的特征。该方法可以将复杂信号分解为有限个不同尺度的本征模态函数（intrinsic mode function，IMF），分解得到的IMF必须满足两个条件：一是IMF中极值点个数与过零点的个数相等或不超过1；二是由极大值与极小值确定的包络线均值为零。设时间序列为（），则EMD分解成一列的IMF分量后可表示为式（2）所示。

式中，imf表示第个IMF分量；表示残差项。分解得到的IMF分量按照频率从高到低顺序排列。

2.2 注意力机制

人类视觉系统的信息处理机制是一个高度复杂的过程，其中最重要的是视觉注意特征。人类的视觉总是能够快速找到重要的目标区域进行详细分析，而其他区域只是粗略分析甚至忽略。这种主动的、选择性的心理活动被称为视觉注意机制。这是一种人类利用有限的注意力资源，从大量的信息中快速挑选出高价值信息的方法。它是人类在长期进化过程中形成的一种生存机制。人的视觉注意机制大大提高了视觉信息处理的效率和准确性。深度学习中的注意机制与人类的选择性视觉注意机制在本质上是相似的，其核心目标也是从众多信息中为当前的任务目标选择更关键的信息。

水文时间序列中各个时间点的数据重要性不同，加入注意力机制层是用来加强对输入的时间序列数据中短期重要特征的关注，对输入数据赋予适当的权重系数后，就能得到加入注意力机制以后的每个时间的隐向量特征，然后将其输入到BiLSTM网络中去学习训练预测。

2.3 双向长短期记忆网络

长短期记忆网络是一类特殊的递归神经网络（RNNs），包含一个反馈连接，允许过去的信息影响当前的输出，因此对于涉及顺序输入的任务非常有效。作为传统RNNs的扩展，LSTM引入了一种特殊的所谓的记忆单元，它就像一个累加器来学习序列长期依赖性，使优化变得更加容易。这个记忆单元是自连接的，它会复制自己的当前状态并积累外部输入。同时，每个单元由输入、输出和遗忘门三个乘法单元控制，以确定是忘记过去的单元状态还是将输出传递到最后的状态，这允许LSTM长时间地存储和访问信息。根据Graves的工作，其公式如下

其中，，分别表示输入门、遗忘门和输出门；是记忆细胞；是sigmoid函数；是一个隐藏向量；和是权重项和偏置项。由于单向的LSTM模型只能编码从前到后的信息，不能编码从后到前的信息，为了获得更多的信息，BiL⁃STM被提出。

BiLSTM基于整个时间序列对输出进行预测，其中包含了两个正反方向的LSTM网络，第1层LSTM计算当前时间点序列信息，第2层LSTM反向读取相同序列，并添加逆序信息，能够同时利用前向和后向的信息。每一个训练序列向前和向后分别是两个LSTM网络，而且这两个网络都连接着一个输出层，前向的LSTM模型提取过去的体征，后向的LSTM模型提取未来的体征。这个结构为输出层的输入序列中的每个点提供了完整的过去以及未来的信息。在进行训练时，通过对输出神经元的正向和反向传播来更新网络的权值。双向LSTM结构如图4所示。

图4 BiLSTM结构图

本研究对神经网络模型进行了验证集上的所有可调超参数进行了网格搜索，关键参数（例如输入数、隐藏节点和隐藏层）是确定神经网络模型结构的先决条件。确定隐藏节点的数量和隐藏层的数量仍然是一项艰巨的任务，没有成熟的理论方法可以解决此问题，只好使用减少或增加层数以及每层神经元数的实验方法来确定最佳参数设置。此外，在基于注意力的模型中，都需要设置合适的时间步长，经过多次测试，选择了时间步长为6，同时隐含层确定为两层，隐藏层单元数都为16。

2.4 基于EMD-ATT-Bi LSTM的预测方法

为了进行清溪河流域洪水进行准确预报，本文将EMD方法和基于注意力机制的BiLSTM神经网络方法相结合进行径流量模拟预测，计算的流程如图5所示。

图5 计算流程

径流序列是一个典型的非线性、非稳态过程，EMD非常适合这样的时间序列，可有效地提取序列中变化特征、趋势等隐含信息，并且基于注意力机制的双向长短期神经网络对因果关系复杂的、变化规律复杂的问题具有出色的分析递推能力，将二者结合可有效发挥各自优势。

EMD-ATT-BiLSTM时间序列预测模型建立思路如下：

（1）将训数据集划分为三个部分，训练集（从1985年1月1日 至2001年12月31日），验证集（从2002年1月1日至2003年12月31日），测试集（从2004年1月1日至2005年12月31日）。利用平均值插值的方法对水文时间序列进行预处理，并将其进行归一化处理。

（2）利用EMD方法对水文时间序列进行分解，可以得到不同频率的IMF和残差项。

（3）对基于注意力机制的双向长短期（ATT-BiLSTM）神经网络的时间步长、隐含层个数、训练速率、训练次数等参数进行初始化设置，将经EMD分解处理后的数据导入模型中并进行训练。

（4）训练完成后，用训练好的ATT-BiLSTM神经网络对清溪河流域2004/1/1至2005/12/31的日径流量进行预测，得到不同频率的预测值。

（5）将不同频率的预测值进行叠加重构，再进行反归一化，最终得到预测结果。

3 结果与讨论

本文将提出的EMD-ATT-BiLSTM模型应用于清溪河站点，进行日径流预测，与其他三种较为先进的模型进行预测性能的对比，同时使用三个常用的标准进行了评估。

在本研究中，采用的对比模型分别是LSTM、ATT-LSTM和ATT-BiLSTM模型。评价统计方法分别是均方根误差（RMSE）、平均绝对误差（MAE）、均方根误差（RMSE）和纳什效率系数（Nash-Sutcliffe efficiency）。

3.1 评价指标

拟合程度的统计度量可用于评价模型的性能。本研究采用均方根误差（RMSE）、平均绝对误差（MAE）和纳什效率系数（Nash-Sutcliffe effi⁃ciency）三种统计方法来衡量模型的性能。这三个指标由以下公式定义。

均方根误差（RMSE）：

平均绝对误差（MAE）：

纳什效率系数（NSE）：

3.2 预测结果

通过对1985年1月1日—2001年12月31日期间每日径流数据的建模得到预测结果，分别采用了四个模型对数据集进行预测。

模型一：选取了提前两天的四个站点（南坪站、峰城站、老君站、清溪站）的降雨（-2）、（-1）提前1天的流量（-1）作为输入数据，利用LSTM模型对清溪河日径流量进行预测，预测的结果如图6所示。

图6 LSTM数据集预测结果

模型二：选取了提前两天的四个站点（南坪站、峰城站、老君站、清溪站）的降雨（-2）、（-1）提前1天的流量（-1）作为输入数据，利用ATT-LSTM模型对清溪河日径流量进行预测，预测的结果如图7所示。

图7 ATT-LSTM数据集预测结果

模型三：选取了提前两天的四个站点（南坪站、峰城站、老君站、清溪站）的降雨（-2）、（-1），提前1天的流量（-1）作为输入数据，利用ATT-BiLSTM模型对清溪河日径流量进行预测，预测的结果如图8所示。

图8 ATT-BiLSTM数据集预测结果

模型四：通过EMD方法将（-1）分解为若干个IMF分量以及趋势项，分别与提前两天的四个站点（南坪站、峰城站、老君站、清溪站）的降雨（-2）、（-1）作为输入数据进行预测，最后进行叠加得到最终预测结果，预测的结果如图9所示。

图9 EMD-ATT-BiLSTM插值数据集预测结果

图中显示了数据集的预测结果，从四个预测结果可以看到，LSTM模型的预测效果最差，特别是表现在峰值的预测上，Att-BiLSTM模型的预测效果比ATTLSTM在峰值的预测上要稍好一些，EMD-ATT-BiLSTM预测结果在细节处理上也很不错，模型的预测峰值更加接近观察值，四个模型在预测的值与观测值的变化趋势都是一致的，趋势预测都不错，表1给出了经过插值预处理的四个模型的评价指标结果，整体来说，EMD-ATT-BiLSTM模型表现得比其他三个模型更为优秀。

表1 评价指标

日径流数据是测一天内某一时刻的数据来代表当天的径流量，一旦一天内出现突发性降雨（暴雨）势必会导致径流量的变化（这种情况十分常见），但是采样的单位是以天为单位，因此数据的精确度就会成为预测精确度的重要性因素，而插值法和EMD方法能提升序列的平稳性，或者说提升了数据本身的精确度，从而能够在良好的模型上提高预测的准确度。

通过以上比较分析得到，本文所述的四种模型，即LSTM，ATT-LSTM、ATT-BiLSTM和EMD-ATT-BiLSTM，EMD-ATT-BiLSTM在日径流序列中表现出最佳的预测性能。总之，比较结果表明，提出的神经网络模型具有比其他模型更好的预测性能。

4 结语

本文采用EMD方法、注意力机制、双向长短期记忆神经网络相结合EMD-ATT-BiLSTM模型，对清溪河清溪水文站的日径流量进行了预报。将该模型与其他三个神经网络模型（即LSTM、Att-LSTM和Att-BiLSTM）进行了比较。总体而言，在处理日径流系列的预报时，本研究的工作成功地证明了使用EMD方法的ATTBiLSTM模型可以有效提高日径流预报的性能，其纳什效率系数（NSE）可以达到0.957。结果表明，提出的EMD-ATT-BiLSTM模型是预测复杂序列数据的有用工具，该方法有希望成为日径流预测的新方法。