基于卷积神经网络的中国北方冬小麦遥感估产

周 亮，慕号伟，马海姣，陈高星

基于卷积神经网络的中国北方冬小麦遥感估产

周 亮1,2,3，慕号伟1,2,3，马海姣4，陈高星5

（1. 兰州交通大学测绘与地理信息学院，兰州 730070； 2. 地理国情监测技术应用国家地方联合工程研究中心，兰州 730070；3. 甘肃省地理国情监测工程实验室，兰州 730070； 4. 西北农林科技大学水利与建筑工程学院，杨凌 712100； 5. 北京地空数驰科技有限公司，北京 100871）

针对传统的农作物估产方法过度依赖人工经验，以及实地采样成本高等问题。该研究使用MODIS数据构建了基于卷积神经网络（convolutional neural network，CNN）的冬小麦估产模型。对2006－2016年中国北方冬小麦核心区的60个地级市进行模型训练，鲁棒性检验以及估产误差空间特征分析。结果表明：1）估产模型在训练集和验证集的均方根误差（root mean square error, RMSE）分别为183.82 kg/hm2、689.72 kg/hm2，决定系数（2）分别为0.98、0.71。2）以同样的神经网络结构对2006－2016年估产样本分别作为验证集，训练11个独立模型的RMSE平均值是772.03 kg/hm2，证明算法具有较高的鲁棒性。3）2007、2012和2016年不同省份的估产结果表明，模型对北方冬小麦区的平原区估产精度较高，尤其是河北和山东2省（RMSE为500 kg/hm2）。该文构建的估产模型可以实现冬小麦单产的复杂拟合，可以应用于较大尺度（范围）冬小麦产量预报。

作物；产量；遥感；作物估产；卷积神经网络；深度学习；冬小麦

0 引 言

大范围可靠的农情信息对粮食市场及相关政策的制定至关重要，是保障区域及国家粮食安全的重要依据，特别是产量信息的快速、有效获取可以降低市场风险并提高效率[1]。其中遥感技术具有覆盖范围广、重访周期短，获取成本相对低等优势，在作物长势监测、农业气象以及产量估算中扮演着重要的角色，且对大面积露天农业生产的调查、评价、监测和管理具有独特的作用[2]。随着人工智能与大数据技术的发展，遥感大数据为农业应用提供了智能化和信息化的技术途径，将推动农业遥感估产的发展[3]。文献分析发现目前遥感估产中最为有效的方法有2种：一是利用数据同化技术把遥感反演参数信息融入到作物机理过程模型之中，实现大面积作物生长状态及产量模拟的目的[4-5]，如基于WOFOST[6]、Oryza2000[7]、WheatSM[8]、ChinaAgroys[9]4个作物模型所构建的中国作物生长模拟监测系统（CGMS-China），CGMS-China对冬小麦各主产省的平均预报相对误差为7%[10]。二是基于统计模型方法的遥感估产，其统计模型方法包括线性模型方法和非线性模型方法。线性模型方法在省级尺度[11]，县级尺度[12-13]，村级以及地块尺度[14-15]下都有良好的应用。但是作物产量形成的机理通常表现为非线性[16]，因此非线性模型方法更受研究者的关注，如支持向量回归（support vector regression，SVR）[17]和神经网络法（neural network，NN）[18-24]等等。然而，支持向量回归这种传统统计学习方法并不适合大规模数据处理，当前基于神经网络法的作物估产得到了快速发展。Kaul等[19-20]结合气候、气象和土壤等数据用人工神经网络进行作物估产，在不同区域中人工神经网络相比于多元线性回归模型都有了优越的表现。Kuwata等[21]结合卫星，气候和其他环境数据用多层受限玻尔兹曼机进行玉米估产，相比于SVR算法更有优势。You等[22-23]结合MODIS数据用多种深度学习算法进行大豆估产，Wang等[24]在You的研究基础上使用深度迁移学习对巴西的大豆进行估产，在解决遥感应用的实际需求中，发现深度学习在遥感数据分析中具有极大的应用潜力[25]。从原始像素的底层特征抽象出高级语义信息的深度学习与遥感数据结合将会是解决农作物估产的有效手段。

冬小麦是中国重要的粮食作物，主要分布于暖温带的北方冬小麦区。本文将其作为研究区域，选取研究区2006－2016年各地级市冬小麦生长季中的时间序列遥感影像作为数据源。与之前研究不同的是，本文以卷积神经网络代替以往常用的分区域回归拟合作为估产方法，对农作物估产展开研究。分区域回归拟合的优势在于简单灵活，但这种经验分区和简单拟合与冬小麦单产建立的关系更易受到自然因素变化的影响。而卷积神经网络可以从遥感信息里表达的作物生长环境中学习到与冬小麦单产之间的复杂关系，这种关系包含了作物的生长机理，能可靠应用于冬小麦单产估算中。同时卷积神经网络具备的学习性在数据累积的情况下可以成长为高精度的冬小麦估产模型，对于国家级冬小麦产量预报具有良好的应用前景。试验为表达冬小麦的生长环境与状态，选取6种不同的MODIS产品，通过直方图降维和数据归一化方法进行特征工程，并与卷积神经网络相关联，旨在探索一种在大范围中普适性强的高精度遥感估产方法和技术途径。

1 研究区与数据

1.1 研究区

研究区位于北方冬小麦区（31°38－42°62N，105°48－122°71E），主要分布在秦岭、淮河以北，长城以南，包括河南、河北、山东、陕西、山西5省（图1）。研究区大部分在秦岭—淮河线以北（除陕西省安康市、商洛市、汉中市和河南省信阳市），冬小麦的生育期不同，北方地区平均出苗期在10月左右，部分地区在9月中旬，而成熟期在6月左右[26]，因此需要扩大MODIS数据的时间范围，以包含不同地区的冬小麦生育期。2016年整个研究区的小麦产量是7.96×107t，约占全国小麦产量的62%，是中国重要的小麦产地。研究区小麦种植以冬小麦为主，因而也是中国重要的冬小麦基地。试验中考虑统计数据不连续和高程受限的情况下筛除了河北省的承德市和张家口市，山西省的大同市、朔州市和阳泉市以及陕西省的安康市和榆林市，保留了5个省60个地级市作为估产区域。

图1 研究区数据选择及高程特征

1.2 数据来源

本文采用的MODIS数据具有高时间分辨率，可以获取足够监测作物产量的多时相影像，来源于LAADS DAAC（https://lsadsweb.modaps.eosdis.nasa.gov/）。试验选择MODIS数据中不同产品的多个波段作为估产指标（表1），MOD09A1的7个不同波长的地表反射率数据可以反映土壤湿度及作物生长环境。MYD11A2的白天和夜间地表温度与冠层温度密切相关，可以进行作物产量估算[27]。归一化植被指数（NDVI）和增强型植被指数（EVI）均能很好的预测冬小麦产量[28]，其中NDVI与冬小麦产量具有极高的相关性[29]。MOD15A2H的光合有效辐射（FPAR）与作物产量有更直接的关系，是大量作物生长模型的基础[30]。试验中选择MCD12Q1数据产品中植物功能型方案的谷物掩模，谷物掩模中包含了冬小麦的信息。研究区各地级市冬小麦单产数据来源于2007—2017年河南，山东，山西和陕西的统计年鉴以及河北的农村统计年鉴，同时还有研究区的高程和水系数据，以及地级市的矢量边界。

1.3 数据预处理

研究区的冬小麦在上一年的9月播种，下一年的6月成熟。因此，根据冬小麦的生育期确定构建卷积神经网络样本的时间范围是一年中的第273天到下一年中的第185天，年份上选择了2006－2016年的影像数据，根据研究区范围选择了MODIS数据的行列号为h26v04，h26v05，h27v04，h27v05。将MYD11A2影像重采样为500 m的空间分辨率，其中MOD15A2H影像在2016年第49天缺失，试验中通过对第41天和第57天的影像进行均值补充，同时将MOD13A1，MYD13A1影像在时间序列上进行融合以保证时序的完整性。MODIS发布产品为HDF格式，投影类型为正弦曲线投影（等面积伪圆柱投影），试验中采用Shell与GDAL进行批量处理，将MODIS数据的投影转换为基于WGS-84椭球体的UTM投影，同时对多张类型的影像进行了波段提取，拼接，裁剪后融合为21 600张包含12个波段的影像。

表1 遥感数据类别

2 研究方法

2.1 估产样本构建

2.1.1 直方图降维与归一化

直方图降维的前提是假设冬小麦单产和影像像素的位置无关，仅与不同像素值的数量相关。因而将遥感影像映射到像素计数的直方图中信息损失较少。为了使得降维特征更加明显，需要确定直方图降维的范围。以信阳市为例，将其2010年冬小麦生长季中36张影像在时间序列上进行直方图统计，通过可视化每个波段在时间序列上的变化（图2），从而确定直方图降维的范围（表1）。

图2 各个波段随着时间序列的直方图变化

每个影像在确定直方图降维范围后，划分36个区间逐个离散化统计像素个数用来生成像素直方图，同时对生成的像素直方图进行式1归一化处理。

2.1.2 时间序列融合

以2010年的河南省信阳市为例示意卷积神经网络样本的构建过程（图3），对生长季中36张包含12个波段的影像进行直方图提取，使得每个波段的影像生成长度为36的向量，同时时间序列上进行融合形成36×36的矩阵，最终在288 d的生长季中由遥感影像生成36×36×12的矩阵作为卷积神经网络的输入层。以相同时间相应地级市的冬小麦产量数据作为输出层，构造一个完整的卷积神经网络样本。每个地级市每年构建一个样本，试验中2006－2016年60个地级市构建的样本形成卷积神经网络的估产样本库，共有660个样本，其中600个作为训练集，60个作为验证集。

图3 卷积神经网络样本构建过程

2.2 冬小麦单产估算模型结构

对于深度学习模型，其输入是与输出相对应的样本数据，后续则是堆叠在输入层和输出层之间的众多操作层。研究所使用的卷积神经网络借鉴了You等提出的网络结构[22]，结合样本的特点将卷积神经网络进行改进（图4），采用小卷积核的多层叠加，减少了参数个数，加深网络深度进而增大了网络容量和复杂度，对作物生长的复杂过程进行拟合。本文构建的神经网络主要由输入层，7个卷积层，7个激活层，7个批归一化层，3个Dropout层，2个全连接层以及输出层组成。相比于You等[22]的网络结构，考虑到批归一化算法本身对于模型泛化能力的提升，而过多的Dropout层反而降低模型的预测能力。当模型状态由训练到验证时，Dropout会使具体神经元的方差产生偏移[31]，因而在批归一化层之后采用Dropout层，加入2参数正则化共同来提升模型的泛化能力。

图4 卷积神经网络结构

2.2.1 网络结构设计

本文的卷积神经网络输入层为36×36×12的矩阵，卷积层C1～C7的卷积核个数依次是64、64、128、128、256、256、256，卷积核大小都是3×3 dpi，滑动步长分别为2、1、2、2、2、1、2，每个卷积层进行1个零填充。同时，在每一个卷积层上进行批归一化和Relu函数激活操作，并在全连接层加入Dropout层。

2.2.22参数正则化

通过向目标函数添加一个参数范数惩罚Ω()，用来限制模型的学习能力。将正则化后的目标函数记为

2.2.3 损失函数

因而个样本的2损失函数定义如下

回归问题的2种损失函数1和2在回归精度上相差无几，不过在一些情况下2损失函数可能会略优于1[32]，同时收敛速度方面2损失函数也略快于1损失函数，因此本文采用2损失函数。

2.3 估产精度评价指标

本文采用以下4个指标评价模型估产效果，即决定系数2，皮尔逊积矩相关系数Pearson’s，均方根误差RMSE，平均相对误差MRE，具体公式如式（6）~式（9）所示。

3 结果与分析

3.1 冬小麦估产模型训练以及单产预测

为了实现冬小麦的单产预测采用本文设计的神经网络结构开始模型训练，其中2006－2015年600个样本为训练集，2016年60个样本为验证集。将训练集和验证集分为多个批次，每个批次随机选择36个训练样本，网络训练1次更新1次权重，总共训练40 000次。通过Adam算法进行梯度下降，将初始学习率设置为0.001，分阶段逐次减少为原来的10倍，第1个阶段是当训练3 500次时，第2个阶段是当训练达到20 000次时，第3个阶段是当训练达到30 000次时。

模型训练20 000步时逐步收敛（图5a），直到完成训练后保存模型并对训练集和验证集进行产量预测（图5b）。训练集和验证集的RMSE分别是183.82 kg/hm2、689.72 kg/hm2，MRE分别是2.95%、10.53%，Pearson's分别是0.98、0.71。模型对2016年60个地级市的冬小麦单产进行了较为准确的预测，卷积神经网络模型的估产误差在合理范围内，证明了遥感数据通过直方图降维和归一化方法进行特征工程的信息损失较少，和卷积神经网络结合可以有效拟合作物生长的复杂过程。而在网络结构中加入了Dropout层、批归一化层以及2参数正则化方法下出现训练集的预测精度相比验证集高的过拟合现象，表明模型的训练样本较少，增加样本可以提升估产精度。

图5 模型训练过程及评价

将卷积神经网络模型的预测产量与统计产量进行比较（图6），误差较大的区域主要分布在陕西省，山西省和河南省的一些地级市。陕西省的渭南市和西安市属于关中平原地区，模型对于关中平原地区普遍高估，这种误差的产生原因可能是模型输入中没有敏感表达区域异质性的参数所造成。山西省的吕梁市和太原市冬小麦种植面积较少且没有准确的冬小麦掩模，在直方图降维过程中容易出现不稳定的状态给模型预测带来误差。河南省的漯河市和焦作市属于高估，而信阳市属于低估，可能是样本没有在省域尺度下进行区分所产生的。例如陕西省的粮食单产为抽样调查数，因而不同省份统计数据构建的样本给模型预测带来了一些困难。山东省和河北省的估产误差较低，RMSE基本稳定在500 kg/hm2以内，模型在这些区域表现优秀。以山东省为例，莱芜市的统计产量是5 227 kg/hm2相比于全省最低，模型的预测产量为5 014.96 kg/hm2，德州市的统计产量为7 130 kg/hm2相比于全省最高，而模型的预测产量是7 447.69 kg/hm2，上述结果表明卷积神经网络对于高产和低产样本都能够准确的拟合，相比线性模型更具优势。总而言之，卷积神经网络模型在研究区的估产精度较高，可以实现对冬小麦的单产预测。

图6 模型预测产量与统计产量差异

3.2 估产算法鲁棒性检验

为了对估产算法鲁棒性进行检验，将2006－2016年估产样本逐年作为验证集，对应其余年份作为训练集，分别训练11个模型（表2）。结果表明2006—2016年11个模型RMSE的平均值是772.03 kg/hm2，MRE在10%左右，Pearson's基本大于0.8，2在0.58与0.77之间，预测数据的离散程度较为一致，表明基于卷积神经网络的估产算法鲁棒性较好，在不同训练集和验证集下都有一个相对一致的误差水平，在未来冬小麦单产预测中比较可靠。数据分析发现逐年训练的模型中2007年的误差较大，RMSE是920.45 kg/hm2，MRE是18.82%；2012模型效果最好，RMSE是632.08 kg/hm2，MRE是8.42%。2008、2012、2014和2016年模型的预测精度较高，RMSE小于700 kg/hm2，MRE小于12%；而2007、2011、2013和2015年的模型效果较差，RMSE基本都是在900 kg/hm2左右，MRE在15%左右。模型对于偶数年和奇数年的样本预测产生了较为明显的差异，同时MRE随着时间变化有逐渐下降的趋势，虽然模型本身没有时间相关性，但是统计数据自身的时间关联给模型结果带来了这种特点，表明算法可以逼近任何复杂函数，直接学得从遥感数据输入到统计数据输出的映射，这种“端到端”的关系中包含着作物生长过程，但与此同时对训练数据的依赖程度较高。

试验对2007年，2012年以及2016年中各个地级市的单产精度展开分析（图7）。2007年模型的预测单产大都高于统计单产，主要是因为所有省的冬小麦的单产数据呈现逐年递增的趋势，其中陕西省表现尤为明显，例如商洛市2007和2008年的统计单产分别是1 365、2 280 kg/hm2，因而训练数据中大多是高产样本，低产样本不足导致数据不均衡给预测带来极大的困难。同时模型的输入参数中主要包含地表反射率、地表温度以及表达作物生长状态的植被指数，并没有考虑到农业生产方式等提升所带来的增产，可以考虑未来研究中给模型加入人为因素作为变量。本文构建的卷积神经网络结构与遥感数据相结合的估产算法在不同验证集下有着基本一致的误差水平，可以肯定卷积神经网络在国家级冬小麦产量预报中的应用价值。更进一步的研究发现3个模型的误差有一些共同的空间分布，其省域特征表现明显，因而对冬小麦的单产误差分省展开研究。

表2 逐年训练模型的精度评价

图7 2007、2012及2016年的模型精度及误差分布

3.3 冬小麦估产误差的空间特性

通过对误差分布的区域研究发现在华北平原大多数地区的误差都比较低，而误差主要分布在关中平原一带。考虑到不同省份对于统计数据的收集有所差别，因此对2007、2012以及2016年不同省域的单产精度展开分析（表3）。模型在河北省和山东省的冬小麦估产误差比较小，其RMSE基本都在500 kg/hm2左右，但是山东省在2007年的2只有0.2，这主要是因为菏泽市的单产预测出现离群值，其统计单产和预测单产分别是5 462、7 142 kg/hm2，而山东省其余16个地市中除莱芜市、青岛市、德州市和东营市的误差分别是861、738、647和615 kg/hm2外，其余地市的误差都在350 kg/hm2以内。河南省的单产误差RMSE和MRE分别稳定在800 kg/hm2和10%左右，各个地级市的误差都维持在较低水平。山西省的运城市和太原市出现离群值，2007年运城市统计单产和预测单产分别是2 374、4 429 kg/hm2，2012年太原市的统计单产和预测单产分别是5 754、3 943 kg/hm2，误差主要分布在山西北部区域，可能是因为海拔高度和掩模数据不精确造成的不稳定因素。而对于陕西省来讲，2007年的误差最大，所有的预测产量都大于统计产量，表现尤为明显的是商洛市，其统计产量和预测产量分别是1 365、4 439 kg/hm2，这是由于2007年厄尔尼诺现象以及地理分布在北亚热带和暖温带交界区域，水平方向上具有2个气候带过渡性特征，地形复杂，受到极端天气影响剧烈[26]。整个算法对于遥感数据是统一获取处理，因此影像产生的误差对于每个样本是一致的，而这些误差较大的离群值产生的原因是不同省份的统计数据收集和检验方式不一致，当然不排除遥感数据处理不当的可能性。对于卷积神经网络估产算法的提升，可以将模型对不同省份分开训练，但会存在样本不足的情况，因而在县级、乡镇级以及村级等小尺度下样本充足且不存在数据分省统计的误差，估产精度会更高。

表3 2007、2012及2016年模型分省精度评价

4 讨 论

试验中通过直方图的方式对遥感影像进行降维，因此在不同的区域尺度下本文的算法都有所适用，但不适合实地采样点的单产估算。同时深度学习算法是“端到端”的，不适用于作物生长过程的描述与机理表达，只能应用于训练数据所包含的区域。算法对于极端天气等突发事件的适应性不好，但对于气候的年际波动适应性较好，且可以通过输入数据敏感的表达区域异质性。

深度学习算法建立于大样本之上，因而对提高算法精度可从样本的角度出发。一是直接增加样本量，在同一范围更小尺度下随着样本数量的增加精度也会随之提高。二是基于深度迁移学习将不同尺度或者区域的模型结合使用，也就相当于扩大样本数量。相较于传统作物估产方法都是小模型，对大样本数据的拟合能力不强，而且需要人工干预进行分区，不能客观表达试验结果。因此大样本成为深度学习类算法的主要特点，但对于小样本的作物估产，传统算法则更胜一筹。未来随着数据的累积，相信深度学习算法的优势会逐渐凸显。

本文对北方冬小麦区的估产方法是一种新的探索与尝试，模型在关中平原地区的估产出现离群值，可能是输入层中没有参数代表区域的空间异质性，未来研究可以尝试在模型中加入坡度、蒸散发、降雨等地理与气象数据，提升模型在不同地域下估产的场景应用。另外，本研究使用的MCD12Q1的谷物掩模数据包含其他作物，数据对估产结果存在一定程度扰动和误差，因此更加精确的作物覆盖数据可以提高估产精度。

5 结 论

根据冬小麦的生长环境，从MODIS数据中选择12个估产指标，通过特征工程和卷积神经网络建立基于统计数据的估产模型，进一步提高大范围冬小麦单产估算效率。同时应用本文构建的神经网络结构对2006－2016年逐年样本进行训练预测，对算法应用于国家级冬小麦产量预报的可行性进行研究。主要结论如下：

1）卷积神经网络模型可以从遥感影像中有效地学习与冬小麦产量相关的特征，解决了传统统计模型对复杂关系拟合的制约，不依赖实地样本采集，在模型训练完成后对未来冬小麦产量预测可以做到实时高效。

2）基于卷积神经网络的遥感估产算法鲁棒性较好，精度较高。而且当模型出现较大偏差时，不会对算法性能产生负面的影响，在不同的数据集中有着较为一致的结果，对于国家级冬小麦产量预报具有良好的应用前景。

3）本文所采用的直方图降维是遥感应用结合深度学习算法的不同思路，这个方法可以在不同尺度以及不同作物中进行作物估产，解决行政尺度对于算法的限制。在大范围小尺度中随着样本量的增加算法精度会逐渐提升，可对未来基于卷积神经网络的农作物估产研究提供科学参考。

[1] 吴炳方，蒙继华，李强子. 国外农情遥感监测系统现状与启示[J]. 地球科学进展，2010，25(10)：1003－1012.

Wu Bingfang, Meng Jihua, Li Qiangzi. Review of overseas crop monitoring system with remote sensing [J]. Advances in Earth Science, 2010, 25(10): 1003－1012. (in Chinese with English abstract)

[2] 史舟，梁宗正，杨媛媛，等. 农业遥感研究现状与展望[J]. 农业机械学报，2015，46(2)：247－260.

Shi Zhou, Liang Zongzheng, Yang Yuanyuan, et al. Status and prospect of agricultural remote sensing[J]. Transactions of the Chinese Society for Agricultural Machinery, 2015, 46(2): 247－260. (in Chinese with English abstract)

[3] 陈仲新，任建强，唐华俊，等. 农业遥感研究应用进展与展望[J]. 遥感学报，2016，20(5)：748－767.

Chen Zhongxin, Ren Jianqiang, Tang Huajun, et al. Progress and perspectives on agricultural remote sensing research and applications in China[J]. Journal of Remote Sensing, 2016, 20(5): 748－767. (in Chinese with English abstract)

[4] 黄健熙，黄海，马鸿元，等. 遥感与作物生长模型数据同化应用综述[J]. 农业工程学报，2018，34(21)：144－156.

Huang Jianxi, Huang Hai, Ma Hongyuan, et al. Review on data assimilation of remote sensing and crop growth models[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 144－156. (in Chinese with English abstract)

[5] 吴蕾，柏军华，肖青，等. 作物生长模型与定量遥感参数结合研究进展与展望[J]. 农业工程学报，2017，33(9)：155－166.

Wu Lei, Bai Junhua, Xiao Qing, et al. Research progress and prospect on combining crop growth models with parameters derived from quantitative remote sensing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2017, 33(9): 155－166. (in Chinese with English abstract)

[6] Van Diepen C A, Wolf J, Van Keulen H, et al. WOFOST: A simulation model of crop production[J]. Soil Use and Management, 1989, 5(1): 16－24.

[7] Bouman B A M, Kropff M J, Tuong T P, et al. ORYZA2000: Modeling Lowland Rice[M]. Los Baños: International Rice Research Institute, 2003.

[8] 冯利平，高亮之，金之庆，等. 小麦发育期动态模拟模型的研究[J]. 作物学报，1997，23(4)：418－424.

Feng Liping, Gao Liangzhi, Jin Zhiqing, et al. Studies on the simulation model for wheat phenology[J]. Acta Agronomica Sinica, 1997, 23(4): 418－424. (in Chinese with English abstract)

[9] Wang J, Yu Q, Lee X. Simulation of crop growth and energy and carbon dioxide fluxes at different time steps from hourly to daily[J]. Hydrological Processes, 2007, 21(18): 2474－2492.

[10] 侯英雨，何亮，靳宁，等. 中国作物生长模拟监测系统构建及应用[J]. 农业工程学报，2018，34(21)：165－175.

Hou Yingyu, He Liang, Jin Ning, et al. Establishment and application of crop growth simulating and monitoring system in China[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2018, 34(21): 165－175. (in Chinese with English abstract)

[11] 顾晓鹤，何馨，郭伟，等. 基于MODIS与TM时序插补的省域尺度玉米遥感估产[J]. 农业工程学报，2010，26(增刊2)：53－58.

Gu Xiaohe, He Xin, Guo Wei, et al. Maize yield estimation at province scale by interpolation of TM and MODIS time-series images[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(Supp.2): 53－58. (in Chinese with English abstract)

[12] 任建强，陈仲新，周清波，等. MODIS植被指数的美国玉米单产遥感估测[J]. 遥感学报，2015，19(4)：568－577.

Ren Jianqiang, Chen Zhongxin, Zhou Qingbo, et al. MODIS vegetation index data used for estimating corn yield in USA[J]. Journal of Remote Sensing, 2015, 19(4): 568－577. (in Chinese with English abstract)

[13] Becker-Reshef I, Vermote E, Lindeman M, et al. A generalized regression-based model for forecasting winter wheat yields in Kansas and Ukraine using MODIS data[J]. Remote Sensing of Environment, 2010, 114(6): 1312－1323.

[14] Lambert M J, Traoré P C S, Blaes X, et al. Estimating smallholder crops production at village level from Sentinel-2 time series in Mali's cotton belt[J]. Remote Sensing of Environment, 2018, 216: 647－657.

[15] 陈联裙，朱再春，张锦水，等. 冬小麦遥感估产回归尺度分析[J]. 农业工程学报，2010，26(增刊1)：169－175.

Chen Lianqun, Zhu Zaichun, Zhang Jinshui, et al. Regression scale analysis of winter wheat yield estimation by remote sensing[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2010, 26(Supp.1): 169－175. (in Chinese with English abstract)

[16] 朱再春，陈联裙，张锦水，等. 基于信息扩散和关键期遥感数据的冬小麦估产模型[J]. 农业工程学报，2011，27(2)：187－193.

Zhu Zaichun, Chen Lianqun, Zhang Jinshui, et al. Winter wheat yield estimation model based on information diffusion and remote sensing data at major growth stages[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2011, 27(2): 187－193. (in Chinese with English abstract)

[17] 黎锐，李存军，徐新刚，等. 基于支持向量回归（SVR）和多时相遥感数据的冬小麦估产[J]. 农业工程学报，2009，25(7)：114－117.

Li Rui, Li Cunjun, Xu Xingang, et al. Winter wheat yield estimation based on support vector machine regression and multi-temporal remote sensing data[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2009, 25(7): 114－117. (in Chinese with English abstract)

[18] Bottou L, Cun Y L. Large scale online learning[C]//Advances in neural information processing systems. 2004: 217－224.

[19] Kaul M, Hill R L, Walthall C. Artificial neural networks for corn and soybean yield prediction[J]. Agricultural Systems, 2005, 85(1): 1－18.

[20] Ji B, Sun Y, Yang S, et al. Artificial neural networks for rice yield prediction in mountainous regions[J]. The Journal of Agricultural Science, 2007, 145(3): 249－261.

[21] Kuwata K, Shibasaki R. Estimating crop yields with deep learning and remotely sensed data[C] //Geoscience and Remote Sensing Symposium (IGARSS), 2015 IEEE International. IEEE, 2015: 858－861.

[22] You J, Li X, Low M, et al. Deep gaussian process for crop yield prediction based on remote sensing data[C] //AAAI. 2017: 4559－4566.

[23] Sabini M, Rusak G, Ross B. Understanding satellite-imagery- based crop yield predictions[R]. Technical Report. Stanford University, 2017.

[24] Wang A X, Tran C, Desai N, et al. Deep transfer learning for crop yield prediction with remote sensing data[C]// Proceedings of the 1st ACM SIGCAS Conference on Computing and Sustainable Societies. ACM, 2018: 50.

[25] Zhang L, Zhang L, Du B. Deep learning for remote sensing data: A technical tutorial on the state of the art[J]. IEEE Geoscience and Remote Sensing Magazine, 2016, 4(2): 22－40.

[26] 高辉明，张正斌，徐萍，等. 2001－2009 年中国北部冬小麦生育期和产量变化[J]. 中国农业科学，2013，46(11)：2201－2210.

Gao Huiming, Zhang Zhengbin, Xu Ping, et al. Changes of winter wheat growth period and yield in northern China from 2001－2009[J]. Scientia Agricultura Sinica, 2013, 46(11): 2201－2210. (in Chinese with English abstract)

[27] Idso S B, Jackson R D, Reginato R J. Remote-sensing of crop yields[J]. Science, 1977, 196(4285): 19－25.

[28] Kouadio L, Newlands N K, Davidson A, et al. Assessing the performance of MODIS NDVI and EVI for seasonal crop yield forecasting at the ecodistrict scale[J]. Remote Sensing, 2014, 6(10): 10193－10214.

[29] Skakun S, Franch B, Vermote E, et al. Winter wheat yield assessment using Landsat 8 and Sentinel-2 data[C] //IGARSS 2018－2018 IEEE International Geoscience and Remote Sensing Symposium. IEEE, 2018: 5964－5967.

[30] 吴炳方，曾源，黄进良．遥感提取植物生理参数LAI/FPAR的研究进展与应用[J]. 地球科学进展，2004，19(4)：585－590.

Wu Bingfang, Zeng Yuan, Huang Jinliang. Overview of LAI/FPAR retrieval from remotely sensed data[J]. Advances in Earth Science, 2004, 19(4): 585－590. (in Chinese with English abstract)

[31] Ioffe S, Szegedy C. Batch normalization: Accelerating deep network training by reducing internal covariate shift[C]// ICML'15 Proceedings of the 32nd International Conference on International Conference on Machine Learning, 2015, 37: 448－456.

[32] Zhang C L, Zhang H, Wei X S, et al. Deep bimodal regression for apparent personality analysis[C]//European Conference on Computer Vision. Cham: Springer, 2016: 311－324.

Remote sensing estimation on yield of winter wheat in North China based on convolutional neural network

Zhou Liang1,2,3, Mu Haowei1,2,3, Ma Haijiao4, Chen Gaoxing5

(1.,730070,; 2.,730070,; 3.,730070,; 4.712100; 5.,100871,)

Accurate and timely winter wheat yield estimation has significant effect to grain markets and policy. Most crop estimation methods can be divided into two categories, one is based on the crop model and the other is the statistical learning method. For statistical learning methods with recent advances in deep learning, convolutional neural network (CNN) have become state-of-the-art algorithms. can extract the depth-dependent features of crop growth. However, the pivotal challenge is to combine remote sensing images with CNN. In this paper, we employ the method of histogram dimensionality reduction and time series fusion to generate the input layer. The experiment firstly performed projection transformation, splicing, mask, fusion, and clipping for 6 different MODIS images in the research area from 2006 to 2016, and then generated 21 600 fusion images of 12 bands (surface reflectance data of 7 different wavelengths in MOD09A1, surface temperature of day and night in MYD11A2, NDVI and EVI in MOD13A1, and FPAR in MOD15A2H). Then, the sensitivity range of winter wheat growth in each band is divided into 36 sections, and the histogram statistics are used to reduce the dimension to generate a vector of length 36, so the remote sensing image generates a matrix of 36×36×12 in the 228-day growing season. The corresponding time and regional statistics are applied as the output layer to construct a complete sample. The yield estimation sample database of 12 indices in the winter wheat region of north China (60 prefecture-level cities) from 2006 to 2016 was constructed, and the training set and verification set were divided into 10:1 for the training and evaluation of yield estimation model. Finally, the neural network structure is designed according to the sample, which consists of the input layer, 7 convolution layers (c1-c7), 7 activation layers, 7 batch normalization layers, 3 dropout layers, 2 full connection layers, and output layer. The number of c1-c7 convolution kernels is 64, 64, 128, 128, 256, 256, 256, the convolution kernel size is 3×3 dpi, and the sliding step length is 2, 1, 2, 2, 2, 1 and 2 respectively, 1 zero paddings per convolutional layer. At the same time, batch normalization and Relu function activation are performed on each convolutional layer, and the Dropout layer is used in the fully connected layer. The results show that: 1) The root-mean-square error (RMSE) and coefficient of determination (2) of the convolutional neural network model on the training set are 183.82 kg/hm2and 0.98 respectively. In the validation set, RMSE and2are 689.72 kg/hm2and 0.71. 2) With the same neural network structure, the average RMSE of the estimated samples from 2006 to 2016 trained as validation sets for 11 models was 772.03 kg/hm2. The error of the yield estimation model was the largest in 2007 and the smallest in 2012, and the RMSE was 920.45 kg/hm2and 632.08 kg/hm2respectively. Crop estimation algorithm based on CNN has high robustness and precision; 3) The accuracy analysis of prediction yield at the municipal level of different provinces in three temporal points of 2007, 2012 and 2016 indicates that the model has higher accuracy in most areas of the northern winter wheat region, especially, RMSE of Hebei and Shandong provinces is approximately 500 kg/hm2. The result shows that CNN is well applied to the estimation of winter wheat production. This is a great thought of remote sensing combined with the deep learning algorithm. This method can be used to estimate yield by remote sensing in different scales and regions. Compared with the traditional method, this “start-to-end” learning method has the advantage of synergy and can obtain the optimal estimation model relative to the whole area. Meanwhile, As data accumulates, the estimation accuracy will be continuously improved, and it has a good application prospect in the national agricultural production forecast.

crops; yield; remote sensing; crop yield estimation; convolutional neural network; deep learning; winter wheat

10.11975/j.issn.1002-6819.2019.15.016

S127

A

1002-6819(2019)-15-0119-10

2019-03-18

2019-06-11

国家自然科学基金项目（41701173，41961027）；中国博士后科学基金项目（2016M600121）；甘肃省飞天学者特聘计划；兰州交通大学优秀平台支持（201806）

周 亮，博士，副教授，研究方向为区域可持续发展。Email：zhougeo@126.com

周 亮，慕号伟，马海姣，陈高星. 基于卷积神经网络的中国北方冬小麦遥感估产[J]. 农业工程学报，2019，35(15)：119－128. doi：10.11975/j.issn.1002-6819.2019.15.016 http://www.tcsae.org

Zhou Liang, Mu Haowei, Ma Haijiao, Chen Gaoxing. Remote sensing estimation on yield of winter wheat in North China based on convolutional neural network[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2019, 35(15): 119－128. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2019.15.016 http://www.tcsae.org