基于多源遥感数据融合和LSTM算法的作物分类研究

解 毅，张永清，荀 兰，柴旭荣

基于多源遥感数据融合和LSTM算法的作物分类研究

解 毅1，张永清1，荀 兰2，柴旭荣1

（1. 山西师范大学地理科学学院，临汾 041004； 2. 中国科学院空天信息研究院，北京 100094）

准确、及时地获取农作物的空间分布信息，对于指导农业生产、制定农业政策具有重要意义。为了检验长短时记忆网络（long short-term memory，LSTM）算法在基于时序遥感数据进行作物分类中的优势，该文以临汾盆地为研究区域，利用Savitzky-Golay滤波对MODIS NDVI进行平滑处理，并采用ESTARFM（enhanced spatial and temporal adaptive reflectance fusion model）算法对滤波后的MODIS NDVI和Landsat NDVI进行融合，生成空间分辨率为30 m、时间分辨率为8天的时序NDVI。基于Landsat NDVI利用LSTM算法进行作物分类，同时，基于融合NDVI分别利用LSTM算法和神经网络（neural network，NN）算法进行作物分类，并对比3种方法的分类精度。结果表明，Savitzky-Golay滤波后的时序MODIS NDVI能够反映不同作物的物候特征；基于融合NDVI的分类精度明显高于基于Landsat NDVI的分类精度，表明融合后的时序NDVI由于具有更高的时间分辨率，能够更加突出不同作物的物候特征，显著提高作物分类精度；基于融合NDVI和LSTM算法的分类精度高于基于融合NDVI和NN算法的分类精度，前者的冬小麦面积估测精度高于后者的估测精度，表明LSTM算法的分类精度高于NN算法。该文可为基于遥感影像进行不同作物种植区域提取的研究提供重要的方法参考。

作物；遥感；分类；数据融合；物候特征；长短时记忆网络；神经网络

0 引 言

作物类型遥感识别是提取不同作物种植面积、作物长势分析及产量估测、预测的基础，也是农情遥感监测的重要内容[1-5]。时间序列遥感数据能够反映不同作物的物候特征，比单一时相遥感数据在识别不同作物类型或不同作物种植结构上更有优势[6-10]。时间分辨率高的遥感数据（如MODIS数据）其空间分辨率较低（250～1 000 m），在进行作物分类时存在混合像素的问题，而中、高空间分辨率的遥感数据回访周期较长，例如，在遥感分类中被广泛应用的Landsat数据，其时间分辨率为16 d，且在作物生长的主要生育期由于云的干扰，很难获得充足的Landsat数据用以提取作物的物候信息[11-13]。因此，将MODIS和Landsat数据进行融合，获取中空间、高时间分辨率的时序遥感数据，是基于作物物候特征进行不同作物分类的有效途径[14-16]。

在遥感数据融合方面，Gao等[17]提出了自适应遥感影像融合模型（spatial and temporal adaptive reflectance fusion model，STARFM）用于融合Landsat和MODIS数据，构建以天为尺度的30 m分辨率的时序数据，该算法在融合过程中能够同时考虑研究区域的时间、空间差异性，是目前应用最广泛的时空融合模型之一。然而，在异质性较强的区域，空间分辨率较低的MODIS数据容易产生混合像素问题，从而影响STARFM算法的融合精度。通过假设地表反射率在一段时间内为线性变化，且混合像素反射率为不同地表类型反射率的线性组合，针对异质性强的区域，Zhu等[18]提出了增强型STARFM（enhanced STARFM，ESTARFM）算法，该算法在STARFM算法的基础上引入一个转换系数来提高数据融合的精度，被广泛应用于遥感数据融合的研究。

近年来，深度学习方法被逐渐应用于遥感影像的自动分类，如卷积神经网络（convolutional neural network，CNN）、层叠去噪自编码器（stacked denoising auto-encoders，SDAE）、深度信念网络（deep belief network，DBN）和循环神经网络（recurrent neural network，RNN）等，这些算法均被证明能够有效地应用于光学影像（高光谱、多光谱影像）和雷达影像的处理以及不同土地覆盖分类研究[19-23]。目前，大多数研究主要是基于深度学习方法利用单一时相的遥感影像进行土地覆盖和作物类型的分类，然而，结合时间序列遥感数据和不同作物的物候特征能够更加准确地区分不同作物的种植区域。因此，Kussul等[24]结合Landsat-8和Sentinel-1A数据构建时间序列遥感数据以提取作物物候特征，利用CNN算法进行不同作物的分类，并取得了较高的分类精度。Sharma等[25]基于影像像素与其邻域像素间的空间相关性，提出了一种基于块的CNN算法（a patch-based CNN），并将其应用于中空间分辨率时序遥感影像的分类，其分类精度明显高于基于像素的CNN算法的精度。

CNN算法能够较好地处理遥感影像的空间自相关性，但其不能充分地考虑复杂的时间相关性，因此，基于CNN算法不能够充分地提取时序遥感数据所反映的作物物候特征，而RNN算法中的长短时记忆网络（long short-term memory，LSTM）算法，能够较好地处理时序遥感数据中的时间依赖性。LSTM算法基于循环的方式获取时序数据中存在的时间相关性，被成功应用于基于时序遥感数据的作物分类研究[26]。Zhong等[23]将LSTM算法应用于时间序列Landsat EVI数据，从而对美国加利福尼亚州约洛县的夏季作物进行了分类。Ienco等[26]结合LSTM算法和时序遥感数据进行不同作物的分类研究，结果表明，在异质性强的区域，LSTM算法的分类精度高于传统机器学习算法的精度。尽管目前已有研究将LSTM算法应用于时序遥感数据的分类，但很少有研究基于LSTM算法对融合后的中空间、高时间分辨率的遥感数据进行分类，并检验不同时间分辨率数据对LSTM算法分类精度的影响。因此，本文融合MODIS和Landsat-8数据以构建空间分辨率为30 m的时序遥感数据，结合时序遥感信息和LSTM算法进行不同作物的分类研究。为了检验该方法对遥感分类精度的影响，本文进行以下2方面的对比：1）基于融合前的Landsat-8数据对LSTM模型进行训练并分类，将其精度和融合数据的分类精度进行对比；2）基于融合数据分别采用LSTM和神经网络（neural network，NN）算法进行分类，并对比2种算法的精度。

1 研究区域和数据处理

1.1 研究区域概况

临汾盆地包括整个汾河下游地区以及陕西韩城山前平原，长约200 km，宽约20～25 km，面积约5 000 km2，海拔约400～500 m，自北向南主要包括洪洞县、尧都区、襄汾县、曲沃县、侯马市、新绛县、稷山县和河津市8个县区（图1）。临汾盆地地处半干旱、半湿润季风气候区，属温带大陆性气候，雨热同期，年平均降水量约500～600 mm，土壤肥沃，灌溉发达，是华北地区重要的粮食生产基地。

图1 研究区域和样点的分布

1.2 Landsat数据预处理

本研究获取了临汾盆地2015年全年云量小于10%的Landsat-8遥感影像，轨道号为126/035，传感器类型为OLI/TIRS，影像获取时间分别为2015-02-16、2015-05-23、2015-06-08、2015-07-26、2015-08-27、2015-09-12、2015-12-17。该影像来源于美国地质勘查局网站（USGS, http://glovis.usgs.gov/）。对获取的Landsat-8影像进行辐射定标、大气校正和几何校正预处理，然后计算归一化植被指数（normalized difference vegetation index，NDVI）

式中NIR和RED分别为影像的近红外波段和红光波段反射率。

1.3 MODIS数据预处理

本文通过美国国家航空航天局网站（NASA，http://reverb.echo.nasa.gov/reverb/）获取h26v05轨道的MODIS地表反射率产品（MOD09Q1），该产品的时间分辨率为8 d，空间分辨率为250 m。该产品为经过几何校正和大气校正的标准2级产品，数据中包含的红光和近红外波段与Landsat-8对应的波段如表1所示。利用MRT（MODIS Re-projection Tool）工具将MODIS数据重投影为UTM-WGS84坐标系，对研究区域进行裁剪并利用最近邻域法将像素大小重采样为240 m，以便后续利用Landsat-8数据进行MODIS混合像素的分解[27]。将MODIS红光和近红外波段影像乘以10-4转化为[0，1]的地表反射率，计算NDVI，从而构建时间序列MODIS NDVI。

表1 Landsat-8和MODIS影像的对应波段信息

1.4 样本数据获取

基于中国气象数据网（http://data.cma.cn/）提供的农气资料、空间分辨率为30 m的全球地表覆盖数据GlobeLand30、Google Earth高分辨率影像和野外调查数据获取不同土地覆盖和作物类型样点的坐标信息，分析不同样点的时间序列NDVI的变化特征。根据冬小麦-夏玉米、春玉米、冬小麦、林地（包括果园）和建筑用地（包括裸地）区域的NDVI变化特征，随机选取不同像素并对其时序NDVI进行判定，确定该像素所属类别，从而在原有样本基础上增加样本数目，最终获得冬小麦-夏玉米、林地（包括果园）、冬小麦、春玉米和建筑用地（包括裸地）的样本数分别为100、80、58、68和70，样点空间分布如图1所示。每种土地覆盖类型选取30个样本作为验证样本，其余样本作为训练样本。此外，本文采用GlobeLand30数据中水体的分布区域对研究区域进行掩膜。

2 研究方法

本文的技术流程如图2，首先对逐像素的时间序列MODIS NDVI进行Savitzky-Golay（S-G）滤波处理，然后利用ESTARFM算法对滤波后的时序MODIS NDVI和Landsat NDVI进行融合，获得时间分辨率为8天、空间分辨率为30 m的融合NDVI。分别采用以下3种方法进行分类：1）基于训练样本的Landsat NDVI对LSTM模型进行训练，采用训练后的模型对待测样本进行判定，获得研究区域的作物分类图（称为“Landsat NDVI+LSTM”方法）；2）基于训练样本的融合NDVI训练LSTM模型并进行作物分类（称为“融合 NDVI+LSTM”方法）；3）基于训练样本的融合NDVI训练NN模型并进行作物分类（称为“融合 NDVI+NN”方法）。

2.1 S-G滤波处理

本文采用上包络线S-G滤波对时序MODIS NDVI进行平滑处理，获得滤波后的时序MODIS NDVI，其计算方法为[28-29]

式中为滤波后的NDVI；全年有46幅MODIS NDVI影像，表示第1～46时相；为滑动窗口的大小，设为5；为滑动窗口内第个原始NDVI；Eh为窗口内第h个原始NDVI的滤波系数，即Savitzky-Golay多项式拟合的系数，通过查表获得[30]。

2.2 遥感数据融合

采用ESTARFM算法融合时序MODIS NDVI和Landsat NDVI数据，获得时间分辨率为8 d、空间分辨率为30 m的融合NDVI，其具体过程为：

1）类别定义及丰度提取。利用非监督分类方法ISO-DATA对Landsat-8影像聚类获得分类图，在分类图上创建大小为MODIS NDVI分辨率（240 m）像素尺度的网格，统计MODIS NDVI混合像素内各土地覆盖类别的面积占该像素面积的比例，得到各土地覆盖类别的丰度。

2）降尺度数据获取。利用全约束的混合像素线性分解模型对MODIS NDVI进行分解[16]，得到各土地覆盖类的NDVI均值。将求得的NDVI均值依照类别对应到相应像素上，获得分解后的降尺度NDVI。

3）融合影像生成。在Landsat NDVI影像的局部窗口（窗口大小设为11×11个Landsat-8 OLI像素[16]）内计算中心像素和相邻像素间的NDVI差值，将NDVI差值小于阈值的像素作为中心像素的相似像素[18]。根据式（3）计算t时刻的逐个相似像素的Landsat NDVI与降尺度NDVI间的光谱差异性S

最后通过式（9）预测t时刻的30 m分辨率NDVI

2.3 作物分类与验证

最后分别将Landsat NDVI和融合NDVI代入训练后的LSTM模型进行研究区域不同作物的分类，为了进行对比，同时将融合NDVI代入NN模型进行不同作物分类，本研究中利用ENVI工具实现NN模型的分类过程。通过验证样本对3种方法的分类精度进行检验和对比，然后基于3种算法的分类结果估测小麦种植面积，并采用临汾盆地各县区的小麦种植面积统计数据进一步对分类结果进行检验和对比。

3 结果与分析

3.1 Savitzky-Golay滤波

利用S-G滤波对逐像素的时间序列MODIS NDVI进行平滑处理，获得重构的NDVI，以冬小麦-夏玉米和春玉米样点的时序NDVI为例进行分析（图3）。结果表明，原始的MODIS NDVI曲线虽然呈现显著的波峰、波谷特征，但由于云、大气和MODIS数据质量的影响，NDVI曲线呈现骤降现象，导致NDVI曲线从波谷到波峰呈锯齿状的不规则波动，不利于进行不同作物的物候特征分析。经S-G滤波处理后的NDVI曲线由于去除了噪声的影响而更加平滑，能够清晰地反映时序NDVI的长期变化趋势及局部的突变信息，符合作物的生长特征，能够满足识别不同作物种植模式的要求。

3.2 遥感数据融合

基于ESTARFM算法融合时序MODIS NDVI和Landsat NDVI，获得逐像素的30 m分辨率时序NDVI。为了检验ESTARFM算法的准确性，通过2015年5月23日和7月26日的Landsat NDVI预测6月8日的30 m分辨率NDVI，并将其与6月8日的Landsat NDVI进行对比（图4a）；通过2015年7月26日和9月12日的Landsat NDVI预测8月27日的30 m分辨率NDVI，并将其与8月27日的Landsat NDVI进行对比（图4b）。结果表明，6月8日、8月27日的预测NDVI与Landsat NDVI间的相关系数分别为0.91和0.95，且散点主要分布在1:1线的附近，表明预测NDVI与Landsat NDVI间的线性相关性较高。因此，融合后的NDVI能够有效地反映同时期Landsat NDVI的信息，能够用于不同作物类型的识别。

图3 S-G滤波后的冬小麦-夏玉米和春玉米的时间序列NDVI

图4 Landsat NDVI和基于ESTARFM预测NDVI的散点图

基于中国气象数据网提供的农气资料、空间分辨率为30 m的全球地表覆盖数据GlobeLand30、Google Earth高分辨率影像和野外调查数据获取不同土地覆盖和作物类型样点的坐标信息，并分析不同样点的时序NDVI的物候特征（图5）。结果表明，冬小麦-夏玉米种植区域的时序NDVI包含2个大的波峰和1个小的波峰，具有明显的一年两季种植模式的变化特征，第1个大波峰出现在DOY（day of year, 年积日）125左右，对应于冬小麦的抽穗-灌浆期，第2个大波峰出现在DOY240左右，对应于夏玉米的抽雄-灌浆期，小波峰出现在DOY330左右，对应于冬小麦的分蘖期。单季冬小麦和单季春玉米种植区域的时序NDVI具有明显的一年一季作物种植模式的物候特征，春玉米种植区域的时序NDVI仅包含1个波峰，出现在DOY200左右，对应于春玉米的抽雄-灌浆期；单季冬小麦种植区域的时序NDVI包含1个大的波峰和1个小的波峰，大波峰出现在DOY125左右，对应于冬小麦的抽穗-灌浆期，小波峰出现在DOY330左右，对应于冬小麦的分蘖期。冬小麦-其他种植区域的时序NDVI包含1个大的波峰和2个小的波峰。在研究区域范围内，冬小麦-其他主要包括冬小麦-油葵、冬小麦-棉花和冬小麦-大豆等，由于这些作物种植模式的区域分布较少，本文将其与单季冬小麦合并为一类。林地（包括果园）区域的时序NDVI不具有明显的作物物候特征，在DOY80左右NDVI开始快速升高，然后基本保持稳定，在DOY270左右NDVI开始缓慢下降。建筑用地（包括裸地）区域的时序NDVI较低，不超过0.2，没有明显的波峰波谷现象。

图5 不同土地覆盖和作物类型的时序NDVI

3.3 分类结果及精度验证

将LSTM模型最终的h和全连接层、softmax层的神经元实现连接并构建代价函数，将训练样本的30 m分辨率时序NDVI代入LSTM模型进行训练，当隐藏层维数分别为5、10和30时，分析多次迭代训练后代价函数的变化。结果表明，无论隐藏层维数为5、10或30，在2 000次迭代内，代价函数均急剧下降，在2 000至4 000次迭代内，代价函数缓慢下降，在4 000次迭代后，代价函数基本保持不变；当隐藏层维数为5时，最终的h和softmax层直接连接，此时代价函数的最低值为0.55，低于隐藏层维数为10和30时的代价函数最低值（分别为0.66和0.65）。因此，本文将隐藏层维数设为5，迭代次数设置为4 000，对LSTM模型进行训练。

基于Landsat NDVI+LSTM方法、融合NDVI+LSTM方法和融合NDVI+NN方法获得的分类结果如图6所示。结果表明，基于3种方法获取的不同土地覆盖和作物类型的分布区域大体一致，同时存在一些差异。基于Landsat NDVI+LSTM方法的临汾盆地中南部的冬小麦-夏玉米分布区域略小于基于融合NDVI+LSTM方法以及基于融合NDVI+NN方法的分类结果；基于Landsat NDVI+LSTM方法的临汾盆地西北部的冬小麦-夏玉米的分布区域略大于基于融合NDVI+LSTM方法以及基于融合NDVI+NN方法的分类结果。

图6 临汾盆地的土地覆盖和作物类型的分类

采用混淆矩阵对分类结果进行精度评价，评价指标包括总体精度（overall accuracy，OA）、用户精度（user’s accuracy，UA）、生产者精度（producer’s accuracy，PA）和Kappa系数4项（表2）。结果表明，3种方法的总体精度均大于80%，其中，融合NDVI+LSTM方法的总体精度（90.00%）、Kappa系数（0.88）以及融合NDVI+NN方法的总体精度（88.10%）、Kappa系数（0.86）明显大于Landsat NDVI+LSTM方法的总体精度（82.86%）、Kappa系数（0.80），表明在基于物候信息进行不同作物识别时，时序遥感数据的时间分辨率对分类精度有重要影响，分辨率越高，分类精度越高。融合NDVI+LSTM方法的分类结果中冬小麦-夏玉米、林地（包括果园）、冬小麦以及春玉米的UA、PA均明显高于Landsat NDVI+LSTM方法分类结果对应的UA、PA，这是因为以上4种作物种植模式的物候特征显著，相比于离散的Landsat NDVI，融合后的时序NDVI更加突出物候特征，从而更利于对不同作物种植模式进行识别。同时，融合NDVI+LSTM方法分类的总体精度、Kappa系数与融合NDVI+NN方法的分类精度相差不大，前者比后者略有提高，对于冬小麦-夏玉米、林地（包括果园）及建设用地和裸地，前者的UA、PA与后者相差不大，对于春玉米，前者的PA明显大于后者。

表2 3种方法的分类精度对比

临汾盆地包括洪洞县、尧都区、襄汾县、曲沃县、侯马市、新绛县、稷山县和河津市8个县区，冬小麦是该地区的主要粮食作物之一，估测各县区2015年的冬小麦种植面积，即分类图中各县区冬小麦-夏玉米和单季冬小麦像素所表示的面积之和，然后将各县区的冬小麦估测面积和统计面积进行相关性分析，并计算估测面积和统计面积间的相对误差（relative error，RE）和均方根误差（root mean square error，RMSE）（图7）。结果表明，基于融合NDVI+LSTM方法（2=0.94，<0.001）和基于融合NDVI+NN方法（2=0.91，<0.001）的小麦估测面积与统计面积间的相关性明显大于基于Landsat NDVI+LSTM方法的相关性（2=0.71，<0.01）。同时，基于融合NDVI+ LSTM方法（RE=9.89%，RMSE=3 023.37 hm2）和基于融合NDVI+NN方法（RE=11.78%，RMSE=4 386.40 hm2）的估测面积与统计面积间的RE、RMSE均小于基于Landsat NDVI+LSTM方法的RE、RMSE（RE=19.48%，RMSE= 7 712.88 hm2），表明相比于离散的Landsat NDVI，融合后的时序NDVI能够有效地提高冬小麦面积估测精度。此外，基于融合NDVI+LSTM方法的估测面积和统计面积间的相关性大于基于融合NDVI+NN方法的相关性，前者的RE和RMSE均小于后者的RE和RMSE，表明LSTM算法比NN算法在估测作物面积方面更有优势。

图7 临汾盆地各县区的冬小麦估测面积和统计面积的对比

4 讨 论

本文基于ESTARFM算法融合时序MODIS NDVI和Landsat NDVI得到时间分辨率为8 d、空间分辨率为30 m的NDVI，相比于MODIS NDVI，融合后的NDVI的混合像素减少。相比于离散的Landsat NDVI，融合后的时序NDVI更利于反映作物生长特征，从而更易于提取不同作物类型的物候信息，因而在作物分类和作物面积估测方面的精度更高。然而，基于Landsat NDVI和ESTARFM算法对MODIS NDVI混合像素分解的过程仍存在着不确定性，从而使作物分类结果产生误差，同样，30 m空间分辨率的Landsat NDVI在异质性强的区域也存在着混合像素问题。自2017年6月起，可获取的Sentinel-2数据（包括Sentinel-2A和Sentinel-2B）的有效回访周期为5 d，相比于Landsat-8数据，Sentinel-2数据的红光波段和近红外波段的空间分辨率更高（10 m）。因此，在今后的研究中可采用时间分辨率更高的时序Sentinel-2 NDVI数据进行作物物候信息的提取，同时能够避免混合像素分解产生的误差，从而进一步提高不同作物的分类精度。

深度学习中的LSTM算法能够基于循环的方式获取时序遥感数据中存在的时间相关性，进而有效地提取作物物候信息从而识别不同作物种植区域。本文基于逐像素的时序NDVI利用LSTM算法进行作物分类，利用混淆矩阵对分类结果进行了精度评估，并根据分类结果获取了临汾盆地各县区的冬小麦估测面积。相比于神经网络算法，LSTM算法的分类精度和冬小麦的面积估测精度均有所提高。基于LSTM算法能够从时序遥感数据中提取作物的物候信息，然而，在进行作物分类时，遥感影像的纹理特征同样能够提供重要信息[31]，且CNN算法能够较好地处理遥感影像上的空间相关性。因此，今后的研究中可将LSTM和CNN方法相结合，从而同时利用物候特征和空间纹理特征进行不同作物的分类。

5 结 论

对临汾盆地逐像素的时序MODIS NDVI进行S-G滤波，然后基于ESTARFM算法融合Landsat NDVI和滤波后的时序MODIS NDVI，获得时间分辨率为8 d、空间分辨率为30 m的NDVI，结合训练样本的融合NDVI和LSTM算法进行临汾盆地不同作物的分类，并将其分类精度分别与基于Landsat NDVI、基于NN算法的分类精度进行对比，主要结论为：

1）S-G滤波处理后的时序MODIS NDVI能够有效地去除云、大气和MODIS数据质量的影响，从而反映不同作物的NDVI的长期变化趋势和局部突变信息，有效地表达了不同作物的物候特征。

2）基于ESTARFM算法融合生成的30 m分辨率NDVI与相同日期的Landsat NDVI间的线性相关性较高。基于融合NDVI的分类精度明显高于基于Landsat NDVI的分类精度，且前者的小麦估测面积与统计面积间的误差明显低于后者的估测误差，说明NDVI时间分辨率的提高能够更加突出作物物候特征，从而提高作物分类及面积估测精度；基于融合NDVI和LSTM的分类精度略高于基于融合NDVI和NN的分类精度，且前者的小麦估测面积与统计面积间的误差低于后者的估测误差，说明基于LSTM算法的作物分类及面积估测精度优于NN算法的精度。

[1] 王利民，刘佳，杨福刚，等. 基于GF-1卫星遥感的冬小麦面积早期识别[J]. 农业工程学报，2015，31(11)：194－201.

Wang Limin, Liu Jia, Yang Fugang, et al. Early recognition of winter wheat area based on GF-1 satellite[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2015, 31(11): 194—201. (in Chinese with English abstract)

[2] 欧阳玲，毛德华，王宗明，等. 基于GF-1 与Landsat8 OLI 影像的作物种植结构与产量分析[J]. 农业工程学报，2017，33(11)：147—156.

Ouyang Ling, Mao Dehua, Wang Zongming, et al. Analysis crops planting structure and yield based on GF-1 and Landsat8 OLI images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(11): 147—156. (in Chinese with English abstract)

[3] 黄健熙，侯矞焯，苏伟，等. 基于GF-1 WFV数据的玉米与大豆种植面积提取方法[J]. 农业工程学报，2017，33(7)：164—170.

Huang Jianxi, Hou Yuzhuo, Su Wei, et al. Mapping corn and soybean cropped area with GF-1 WFV data[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(7): 164—170. (in Chinese with English abstract)

[4] Skakun S, Franch B, Vermote E, et al. Early season large-area winter crop mapping using MODIS NDVI data, growing degree days information and a Gaussian mixture model[J]. Remote Sensing of Environment, 2017, 195: 244—258.

[5] 郝鹏宇，唐华俊，陈仲新，等. 基于历史增强型植被指数时序的农作物类型早期识别[J]. 农业工程学报，2018，34(13)：179—186.

Hao Pengyu, Tang Huajun, Chen Zhongxin, et al. Early season crop type recognition based on historical EVI time series[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(13): 179—186. (in Chinese with English abstract)

[6] Bargiel D. A new method for crop classification combining time series of radar images and crop phenology information[J]. Remote Sensing of Environment, 2017, 198: 369—383.

[7] Clark M L. Comparison of simulated hyperspectral HyspIRI and multispectral Landsat 8 and Sentinel-2 imagery for multi-seasonal, regional land-cover mapping[J]. Remote Sensing of Environment, 2017, 200: 311—325.

[8] Veloso A, Mermoz S, Bouvet A, et al. Understanding the temporal behavior of crops using Sentinel-1 and Sentinel-2-like data for agricultural applications[J]. Remote Sensing of Environment, 2017, 199: 415—426.

[9] 王鹏新，荀兰，李俐，等. 基于时间序列叶面积指数傅里叶变换的作物种植区域提取[J]. 农业工程学报，2017，33(21)：207—215.

Wang Pengxin, Xun Lan, Li Li, et al. Extraction of planting areas of main crops based on Fourier transformed characteristics of time series leaf area index products[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(21): 207－215. (in Chinese with English abstract)

[10] 常布辉，王军涛，罗玉丽，等. 河套灌区沈乌灌域GF-1/WFV 遥感耕地提取[J]. 农业工程学报，2017，33(23)：188—195.

Chang Buhui, Wang Juntao, Luo Yuli, et al. Cultivated land extraction based on GF-1/WFV remote sensing in Shenwu irrigation area of Hetao Irrigation District[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(23): 188—195. (in Chinese with English abstract)

[11] 许青云，杨贵军，龙慧灵，等. 基于MODIS NDVI多年时序数据的农作物种植识别[J]. 农业工程学报，2014，30(11)：134—144.

Xu Qingyun, Yang Guijun, Long Huiling, et al. Crop information identification based on MODIS NDVI time-series data[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2014, 30(11): 134—144. (in Chinese with English abstract)

[12] 王连喜，徐胜男，李琪，等. 基于决策树和混合像元分解的江苏省冬小麦种植面积提取[J]. 农业工程学报，2016，32(5)：182—187.

Wang Lianxi, Xu Shengnan, Li Qi, et al. Extraction of winter wheat planted area in Jiangsu province using decision tree and mixed-pixel methods[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2016, 32(5): 182—187. (in Chinese with English abstract)

[13] Cai Yaping, Guan Kaiyu, Peng Jian, et al. A high-performance and in-season classification system of field-level crop types using time-series Landsat data and a machine learning approach[J]. Remote Sensing of Environment, 2018, 210: 35—47.

[14] Emelyanova I V, Mcvicar T R, Van Niel T G, et al. Assessing the accuracy of blending Landsat-MODIS surface reflectances in two landscapes with contrasting spatial and temporal dynamics: A framework for algorithm selection[J]. Remote Sensing of Environment, 2013, 133: 193—209.

[15] Jia Kun, Liang Shunlin, Zhang Ning, et al. Land cover classification of finer resolution remote sensing data integrating temporal features from time series coarser resolution data[J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2014, 93(7): 49—55.

[16] 谢登峰，张锦水，孙佩军，等. 结合像元分解和STARFM 模型的遥感数据融合[J]. 遥感学报，2016，20(1)：62—72.

Xie Dengfeng, Zhang Jinshui, Sun Peijun, et al. Remote sensing data fusion by combining STARFM and downscaling mixed pixel algorithm[J]. Journal of Remote Sensing, 2016, 20(1): 62—72. (in Chinese with English abstract)

[17] Gao Feng, Masek J, Schwaller M, et al. On the blending of the Landsat and MODIS surface reflectance: Predicting daily Landsat surface reflectance[J]. IEEE Transactions on Geoscience and Remote Sensing, 2006, 44(8): 2207—2218.

[18] Zhu Xiaolin, Chen Jin, Gao Feng, et al. An enhanced spatial and temporal adaptive reflectance fusion model for complex heterogeneous regions[J]. Remote Sensing of Environment, 2010, 114: 2610—2623.

[19] Geng Jie, Fan Jianchao, Wang Hongyu, et al. High-resolution SAR image classification via deep convolutional autoencoders[J]. IEEE Geoscience and Remote Sensing Letters, 2015, 12(11): 2351—2355.

[20] Liang Heming, Li Qi. Hyperspectral imagery classification using sparse representations of convolutional neural network features[J]. Remote Sensing, 2016, 8(2): 1—16.

[21] Lyu Haobo, Lu Hui, Mou Lichao. Learning a transferable change rule from a recurrent neural network for land cover change detection[J]. Remote Sensing, 2016, 8(6): 1—22.

[22] Chen Yushi, Lin Zhouhan, Zhao Xing, et al. Deep learning-based classification of hyperspectral data[J]. IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing, 2017, 7(6): 2094—2107.

[23] Zhong Liheng, Hu Lina, Zhou Hang. Deep learning based multi-temporal crop classification[J]. Remote Sensing of Environment, 2019, 221: 430—443.

[24] Kussul N, Lavreniuk M, Skakun S, et al. Deep learning classification of land cover and crop types using remote sensing data[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(5): 778—782.

[25] Sharma A, Liu Xiuwen, Yang Xiaojun, et al. A patch-based convolutional neural network for remote sensing image classification[J]. Neural Networks, 2017, 95: 19—28.

[26] Ienco D, Gaetano R, Dupaquier C, et al. Land cover classification via multitemporal spatial data by deep recurrent neural networks[J]. IEEE Geoscience and Remote Sensing Letters, 2017, 14(10): 1685—1689.

[27] 邬明权，牛铮，王长耀. 利用遥感数据时空融合技术提取水稻种植面积[J]. 农业工程学报，2010，26(增刊2)：48—52.

Wu Mingquan, Niu Zheng, Wang Changyao. Mapping paddy fields by using spatial and temporal remote sensing data fusion technology[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(Supp.2): 48—52. (in Chinese with English abstract)

[28] Chen Jin, Jönsson P, Tamura M, et al. A simple method for reconstructing a high-quality NDVI time-series data set based on the Savitzky-Golay filter[J]. Remote Sensing of Environment, 2004, 91: 332—344.

[29] Xun Lan, Wang Pengxin, Li Li, et al. Identifying crop planting areas using Fourier-transformed feature of time series MODIS leaf area index and sparse-representation- based classification in the North China Plain[J]. International Journal of Remote Sensing, 2018: 1—19.

[30] Savitzky A, Golay M J E. Smoothing and differentiation of data by simplified least squares procedures[J]. Analytical Chemistry, 1964, 36(8): 1627—1639.

[31] Zhang Lefei, Zhang Liangpei, Tao Dacheng, et al. On combining multiple features for hyperspectral remote sensing image classification[J]. IEEE Transactions on Geoscience and Remote Sensing, 2012, 50(3): 879—893.

Crop classification based on multi-source remote sensing data fusion and LSTM algorithm

Xie Yi1, Zhang Yongqing1, Xun Lan2, Chai Xurong1

(1.,,041004,; 2,,100094,)

Accurate distribution information of crop types is vital for monitoring crop growth, guiding agricultural production, and making effective management measurements. Time series remote sensing data can reflect phenological characteristics of crops, which have more advantages than single temporal data in identifying crop types or planting patterns. MODIS and Landsat data can be fused to obtain time series data with medium spatial resolution and high temporal resolution, which can be used for classifying different crops based on phenology characteristics. In this study, in order to test the accuracy of combining long short-term memory (LSTM) algorithm with time series remote sensing data in crop classification, the Linfen basin was chosen as the study area for obtaining crop distribution map. At first, the Savitzky-Golay filter was used to denoise and reconstruct time series MODIS NDVI data. Then the filtered MODIS NDVI and Landsat NDVI were merged by the enhanced spatial and temporal adaptive reflectance fusion model (ESTARFM) to generate time series NDVI with a spatial resolution of 30 m pixel by pixel. Based on field investigation, GlobeLand30 data, Google Earth images and agro-meteorological stations data, we obtained the coordinate information of several sampling sites representing different land cover and crop types. The phenological characteristics of time series NDVI of the pixels covering the sampling sites were analyzed, and the types of randomly selected pixels were determined based on the phenological characteristics for increasing the number of sampling sites. Three methods were used for crop classification in this study: 1) the Landsat NDVI of training samples were used to train the LSTM model, and the trained LSTM model was adopted to determine the crop type pixel by pixel (called the Landsat NDVI+LSTM method); 2) the fused NDVI of training samples were used to train the LSTM model for crop classification (called the fused NDVI+LSTM method); and 3) the fused NDVI of training samples were used to train the neural network (NN) model for crop classification (called the fused NDVI+NN method). In order to compare the accuracies of the three methods, the classification accuracies were evaluated with the validation samples. The evaluation indexes included overall accuracy (OA) and Kappa coefficient. Also, the planting area of winter wheat for each county of the study area was estimated according to the crop classification map, and the relative error (RE) and root mean square error (RMSE) between estimated and statistical wheat areas were calculated for further validating the accuracies of the three methods. Results showed that the Savitzky-Golay filter can remove the influence of factors such as cloud and atmosphere, thus the reconstructed time series MODIS NDVI curves could reflect the phenological characteristics of crops effectively. Positive correlation between the fused NDVI and the Landsat NDVI indicated the fused NDVI can reflect the information of Landsat NDVI effectively. The classification accuracies based on the fused NDVI, either using the fused NDVI+LSTM (OA=90.00%, Kappa=0.88) or fused NDVI+NN (OA=88.10%, Kappa=0.86) methods, were significantly higher than the accuracy of the Landsat NDVI+LSTM method (OA=82.86%, Kappa=0.80). The RE and RMSE of the formers were lower than those of the latter. These results indicated that the fused time series NDVI could highlight the phenological information of different crop types, thus the classification accuracy can be improved significantly. In addition, the classification accuracy of the fused NDVI+LSTM method was slightly higher than that of the fused NDVI+NN method, and the RE and RMSE of the former were lower than those of the latter. These indicated that the classification accuracy of LSTM algorithm was higher than that of the NN algorithm. This study can provide an important reference for accurately extracting distribution information of different crops in the study area.

crops; remote sensing; classification; data fusion; phenological characteristics; long short-term memory; neural network

10.11975/j.issn.1002-6819.2019.15.017

S127

A

1002-6819(2019)-15-0129-09

2019-06-04

2019-07-28

国家自然科学基金面上项目（31571604）

解 毅，博士，讲师，主要从事定量遥感及其在农业中的应用研究。Email：a791909926@163.com

解 毅，张永清，荀 兰，柴旭荣. 基于多源遥感数据融合和LSTM算法的作物分类研究[J]. 农业工程学报，2019，35(15)：129－137. doi：10.11975/j.issn.1002-6819.2019.15.017 http://www.tcsae.org

Xie Yi, Zhang Yongqing, Xun Lan, Chai Xurong. Crop classification based on multi-source remote sensing data fusion and LSTM algorithm[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(15): 129－137. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.15.017 http://www.tcsae.org