基于BiLSTM-attention模型的NDVI预测研究

2023-09-04杜永兴李宝山

计算机仿真 2023年7期

高迪,李倩,杜永兴,李宝山

(内蒙古科技大学信息工程学院,内蒙古包头 014010)

1 引言

植被作为陆地生态系统的重要组成部分,是连接土壤、水文、大气等生态要素的自然“纽带”,在人类生产生活中扮演着重要的角色,在全球变化研究中起着“指示器”的作用[1][2]。归一化植被指数 (Normalized Difference Vegetation Index, NDVI)又称标准植被指数,是研究植被变化的重要工具[3],同时也是反映植物生长状态及植被空间分布密度的最佳指示因子。在农业、畜牧业和林业等相关领域中NDVI作为重要监测指标,常被用于草地涨势的监测研究,气候变化分析,能源利用研究,干旱和森林火灾防范研究,以及农业生产力分析和自然资源管理等多方面的研究[4]。

近年来,国内外学者专注于利用NDVI对植被覆盖时空动态变化和气候变化等方面进行分析和预测研究。王丽霞等[5]采用CA-Markov模型模拟并预测了渭河流域NDVI的空间分布状况;李宇恒等[6]采用灰色预测模型对黄土高原植被覆盖时空演变进行动态分析和预测研究;张华等[7]采用一元线性趋势分析、Hurst指数等方法对民勤绿洲NDVI的时空变化趋势进行了分析和预测。李丹[8]、陈安等[9]采用TS非参数趋势分析和偏相关分析等方法,探讨NDVI时空变化对气候因子的响应,结果表明NDVI会受气温和降水的共同影响,即水热条件的增加会促进植被生长;贾松涛等[10]在考虑不同因子的滞后性对植被生长覆盖程度影响的基础上构建了支持向量机预测模型。Elnaz N等[11]利用NDVI阈值法预测植被覆盖比例对地表发射率和温度的影响;Tsakmakis I.D.等[12]在研究中发现NDVI可以用于预测植被未来长势以及监测目标地物,并对农业估产和模拟土壤水分等研究起着重要的作用。随着机器学习的发展,人工神经网络由于其强大的非线性模拟能力不仅在预测模型领域被广泛应用,在利用遥感卫星数据分析植被动态变化方面也具有重要意义。迟凯歌等[13]构建了基于人工神经网络的NDVI预测模型,模拟和预测了雅鲁藏布江流域植被的空间分布特征;潘信亮等[14]基于卷积长短期记忆网络(ConvLSTM),利用NDVI数据的时序性创建了精度较高的NDVI预测模型;HUANG T C[14]、D. Sushma Reddy[16]等基于MODIS NDVI时间序列数据构建长短期记忆神经网络来预测植被动态变化,进一步提高了NDVI预测精度。虽然以上研究均表明植被覆盖度受多种因子的共同作用,但目前关于NDVI预测研究中多以降雨和气温作为输入因子,且不能实现对未来数据的预测,在上述传统预测方法中发现BP神经网络在因变量过多时,会存在误差大、准确性差、神经网络收敛速度慢等问题;CNN算法虽具有直接处理空间数据的优势,但不能充分地考虑复杂的时间相关性;而LSTM网络结构单一,易出现过拟合、适用性差、精确度低等局限性问题。

针对上述问题,本文提出了基于注意力机制的双向长短期记忆神经网络(BiLSTM-attention)预测模型,BiLSTM网络能够处理好气温、降水等时间序列变量与NDVI数据过去及未来的内在联系,注意力机制能够优化模型的权重,从而提高预测的准确度。本文还探讨了BiLSTM-attention模型在草原中对植被长势预测的适用性和可行性,进而验证本方法在草场环境保护和改善草原植被方面提供重要的理论据,进而指导牧民科学化养殖。

2 研究概况与数据源

2.1 研究区概述

研究区是位于中国四大天然牧场之一的锡林郭勒大草原西北部的苏尼特左旗,地理坐标北纬42°45′～45°15′,东经111°24′～115°12′。该地区是纯牧业边境旗,以畜牧业为主导产业,天然草场总面积达到342.45万hm2。属半干旱大陆性气候,降水稀少且主要集中在4-9月份,日照充足,日照时数在全国属于高值区,蒸发量大,雨热同期。植被类型以荒漠草原和干草原植被为主,草场于4月初开始返青,9月末枯黄,牧草生长关键时期日照充足。

图1 苏尼特左旗位置图

2.2 数据源获取

本文MODIS中国月合成产品NDVI数据集MODND1M,来源于中国科学院计算机网络信息中心地理空间数据云平台(http:∥www.gscloud.cn),其空间分辨率为500m,采用最大合成法获得NDVI月值。数据以月为单位选取从2005年1月至2015年12月共132幅NDVI影像。实验数据集中的降水、气温、日照等气象观测数据来源于内蒙古气象局。

3 数据预处理

3.1 归一化处理

MODIS数据经格式转换后得到TIF格式的数据文件,利用ArcMap对栅格数据进行裁剪处理,最终得到月合成NDVI植被指数。

本文为解决不同数量级和不同量纲对预测结果的影响,对NDVI和气象数据进行归一化处理,一方面有利于神经网络的特征提取,从而达到加快网络的训练速度和效果;另一方面提高了网络训练模型的泛化能力。本文将实验数据进行归一化处理,其转换函数如式(1)所示

(1)

式(1)中,X为归一化之后模型的输入数据;x为原始的输入数据;xmax,xmin分别为原始数据各变量的最大值和最小值。

3.2 相关性分析

相关系数反应的是两个变量之间变化趋势的方向及程度,取值范围-1～1,0表示两个变量不相关,正值表示正相关,负值表示负相关,值越大表示相关性越强。本文为筛选出与NDVI相关性较高的影响因子,从而构建精度更高的预测模型,选择相关系数分析法来判断NDVI与气象因素之间的相关性。相关系数计算方法如式(2)所示

(2)

表1 NDVI与气象因素之间的相关系数

由表1可知, NDVI与气温相关性最高,其相关系数达到0.797,蒸发量、日照和降水对NDVI的影响次之,其相关系数分别是0.546、0.554和0.507,而相对湿度、气压和风速与NDVI的相关性较低。由于无效或冗余的输入数据是人工神经网络误差产生的重要原因,因此本文舍弃与NDVI相关性较小的湿度、气压和风速这三个影响因素,有助于提高预测模型的精度。

4 研究方法

4.1 LSTM网络

长短期记忆网络(Long-term and short-term memory, LSTM)是在循环神经网络(Recurrent neural network, RNN)基础上增加了前向传播链式结构,解决了传统RNN网络记忆时间短、梯度消失和梯度爆炸等问题。LSTM主要由三个门结构组成,分别是遗忘门、输入门和输出门,其内部结构如图2所示。

图2 LSTM的结构图

遗忘门用来决定上一时刻细胞状态信息是否丢弃,要将哪些信息保留在当前细胞中,其过程如式(3)所示。式中ht-1表示上一个时刻的输出,xt表示当前时刻的输入,Wf为遗忘门权重矩阵,bf为遗忘门偏置矩阵,σ为Sigmoid函数,ft为遗忘门的输出。

ft=σ(Wf[ht-1,xt]+bf)

(3)

it=σ(Wi[ht-1,xt]+bi)

(4)

(5)

(6)

输出门通过Sigmoid层得到初始输出结果οt,再经过tanh层与Sigmoid层得到的输出逐对相乘获得到最终的输出结果ht,其过程如式(7)和式(8)所示。Wο为输出门权重矩阵,bο表示输出门偏置矩阵。

οt=σ(Wο[ht-1,xt]+bο)

(7)

ht=οttanh(Ct)

(8)

4.2 BiLSTM网络

双向长短时记忆神经网络(Bidirectional long short-term memory, BiLSTM)是在LSTM网络的基础上添加另一反向 LSTM 层,可以进一步处理反向信息,即由前向的LSTM与后向的LSTM共同构成BiLSTM,其网络结构如图3所示。前向的LSTM负责获取输入序列过去的信息,后向的LSTM负责获取输入序列未来的信息。因此BiLSTM可以更好的发掘数据的时序特征,更好的改善长期依赖问题,提高预测精度。

图3 BiLSTM的结构图

对于BiLSTM网络中每一级的隐藏层状态ht都是由前向和反向隐藏单元的输出,以及当前时刻的输入量xt组合而成。每一级隐藏层状态的组合过程的公式如式(9)～式(11)所示。

(9)

(10)

(11)

由上述可知,本文中NDVI和气象数据均属于时间序列数据,因此选择BiLSTM网络用于NDVI的预测。

4.3 注意力机制

注意力模型(attention mechanism, AM)最早是由Bahdana等人用于神经机器翻译系统,后被广泛应用于机器翻译、图像识别等深度学习任务中。注意力机制可以从大量信息中筛选出关键信息,忽略其不重要信息,进而对每个特征值分别赋予不同权重,在模型中加入注意力机制可以针对长时间序列数据和多维特征数据进行处理,使模型更专注于权重高的特征数据,从而降低多维输入所带来的计算负担。注意力机制结构如图4所示。

图4中h1,h2,…hn表示输入序列隐藏层的状态向量;αni为历史输入的隐藏层状态对当前输入的注意力权重,值越大,说明分配的注意力越多;hn′表示最终输出最后节点的隐藏层状态值,注意力模型的计算公式如式(12)～(14)所示。

(12)

hn′=H(C,hn,xn)

(13)

(14)

上述公式中:hn′为得到注意力的大小;H是一个学习函数,主要作用是计算C,hn,xn之间的相关性大小;C表示注意力加权特征向量。

4.4 BiLSTM-attention模型设计

本文根据NDVI和气象数据呈现出的非线性、高维化等特点,提出了一种基于注意力机制的双向长短时记忆神经网络(BiLSTM-attention)预测模型。其BiLSTM神经网络可以考虑到预测点前后信息的优点,适用于处理非线性数据之间的时间序列预测问题,而注意力机制有助于优化并更新输入的特征向量,对不同的输入变量实现权重系数的动态分配,将注意力加权后的特征向量输入到BiLSTM中对模型进行训练,可以对最终预测有正向帮助的影响因素分配较高的权重系数,从而提升模型的预测精度。BiLSTM-attention预测模型结构如图5所示。

图5 BiLSTM-attention模型结构图

图5中X表示BiLSTM-attention预测模型输入的特征向量,y表示模型输出的预测值,主要由6个部分构成。

1)输入数据:对预处理和相关性分析后的气象数据(包括气温、降水、日照、蒸发量)和NDVI数据作为模型的输入数据;

2)卷积操作:数据由一维卷积层进行特征提取,实现跨通道的交互和信息融合;

3)BiLSTM层:利用正向和反向LSTM网络对筛选处理后的数据进行模型构建和训练;

4)attention层:通过注意力机制计算输入的每个特征向量注意力大小,并更新特征向量;

5)Dense层:将数据经过Flatten层分别进行过滤和扁平化处理,通过在Dense层前融合Dropout方法,防止模型过拟合,将更新后的特征向量在Dense层经过非线性变化完成维度转换;

6)预测值:选择sigmoid函数作为激活函数,输出某一时刻NDVI的预测值,记为y,输出维度为1维,得到最终的实验结果。

4.5 反归一化处理

为了使最终的预测结果与NDVI数据在同一量级,需要对预测的数据进行反归一化处理得到最终的NDVI值,反归一化公式如式(15)所示。

x=X(xmax-xmin)+xmin

(15)

式中x为最终的预测结果,取值范围为-1～1,xmax、xmin为原始数据中的最大、最小值。

5 实验与分析

5.1 实验环境

Keras是一个使用最少的程序代码和花费最少的时间就可以建立深度学习模型的高层神经网络 API,因此本文选用Keras深度学习框架的Keras2.3.1、python3.7和tensorFlow2.1.0完成实验。

5.2 评价标准

本文采用经典均方根误差(Root Mean Square Error, RMSE)和平均绝对误差(Mean Absolute Error, MAE)作为预测NDVI的评价指标。其中RMSE的值越小意味着预测模型描述实验数据具有更好的精度,MAE的值越小能更好地反映预测值误差的实际情况。采用相对系数R-Square来表示预测模型的好坏,它的结果越大代表模型对数据的拟合效果越好。RMSE和MAE的计算方法分别如式(16)和(17)所示。

(16)

(17)

5.3 实验结果与分析

从上文的相关性分析可以看出,除气温和降水外,NDVI的变化并不是只受到气温和降水的影响,还会受到多种气候要素的共同作用。为进一步直观比较气象因素对NDVI的影响,将数据集划分为:(1)仅有数据预处理后2005-2014年近10年的NDVI植被指数和气温、降水气象因素的数据集;(2)数据预处理后2005-2014年近10年的NDVI植被指数和气象数据(气温、降水、蒸发量、日照)的数据集。将两个数据集在相同条件下,分别输入到BiLSTM-attention预测模型中,观察因输入数据中所输入影响因子的不同导致预测模型对NDVI预测精度造成的影响,其实验结果如表2所示。

表2 BiLSTM-attention预测模型输入变量的精度对比

由表2可以看出,加入蒸发量、日照两个影响因子,有助于提高模型的预测精度,可使模型的均方根误差降低20%左右,因此,在NDVI预测中考虑加入更多与NDVI相关性较大的影响因子,有助于会提高模型的预测精度,使模型更具有可靠性。

本实验将数据集中的前70%作为训练数据集,剩余30%作为测试数据集,通过不断的优化调整,使模型训练达到最优,避免了利用已知历史NDVI数据预测植被覆盖度的变化趋势,导致估产滞后性的缺点,从而实现对研究区2015年生长季逐月NDVI具体数据的精准预测,其结果如图6所示。

图6 不同模型的NDVI预测结果

图6中展示2015年4月到9月生长季NDVI的预测结果在不同模型下同实际值的对比情况。图中明显可以看出在2015年5月份和8月份的预测值和实际值有明显差异,因此进一步对数据进行分析后发现2015年5月份的平均气温为13.6℃,而当月的降水量为20.5mm,2015年8月份的平均气温为22.0℃,当月的降水量仅有7.8mm,5月份时和8月份气温和降水数值波动较大,呈现出高温少雨的现象,从而造成模型的预测结果相对较差。综合考虑,本文所提出的 BiLSTM-attention模型预测结果与NDVI真实值波动最为相近。

为了进一步验证本文提出的BiLSTM-attention模型在NDVI预测中的优势和它的有效性和实用性,用NDVI植被指数和气象数据的数据集按照7:3的比例划分数据样本。输入变量的维数为5维,分别是气温、降水、蒸发量、日照和NDVI,输出变量的维数为1维,即为预测的NDVI植被指数,采用Adam优化器,将本文的模型同目前常用于预测的LSTM、GRU、BiLSTM和LSTM-attention几种模型进行对比,将NDVI、气温、降水、蒸发量和日照各因子作为输入项,在同等条件下,经多次实验后,通过调整各参数,使模型的预测结果达到最优,表3中展示的是不同预测模型各评价指标RMSE、MAE和R-square的对比结果。

表3 NDVI预测模型的评价指标

由表3可知,在预测时间相同的情况下,BiLSTM-attention预测模型RMSE的值可达到0.046,MAE的值为0.035,均小于其它4个预测模型,而BiLSTM-attention模型的R-square高于其它模型。说明 BiLSTM-attention模型的各项评价指标均优于其它4个对比模型。即在对2015年生长季的NDVI预测时,BiLSTM-attention预测模型的提升效果较为明显,拟合度上的表现也优于其它对比模型。进而说明注意力机制对提高模型准确性起到了一定的作用。

经实验证明BiLSTM-attention模型在草原植被预测中较其它模型具有更好的适用性,预测的数据整体上与产品数据趋势一致,从而能够很好地掌握NDVI的时间特征。可以根据不同地区当地的相关数据,对BiLSTM-attention模型的相关参数进行自适应调整,使其能够对NDVI更加精确地预测。