基于Sentinel-1A影像和一维CNN的中国南方生长季早期作物种类识别

赵红伟，陈仲新,3，姜 浩，刘 佳

·农业信息与电气技术·

基于Sentinel-1A影像和一维CNN的中国南方生长季早期作物种类识别

赵红伟1,2，陈仲新1,2,3※，姜 浩4,5,6，刘 佳1,2

（1. 中国农业科学院农业资源与农业区划研究所，北京 100081；2. 农业农村部农业遥感重点实验室，北京 100081； 3. Information Technology Division, Food and Agriculture Organization of the United Nations (FAO), Rome 00153, Italy； 4. 广东省遥感与地理信息系统应用实验室，广州 510070； 5. 广东省地理空间信息技术与应用公共实验室，广州 510070； 6. 广州地理研究所，广州 510070）

作物的早期识别对粮食安全至关重要。在以往的研究中，中国南方作物早期识别面临的主要挑战包括：1）云层覆盖时间长、地块尺寸小且作物类型丰富；2）缺少高时空分辨率合成孔径雷达（synthetic aperture radar，SAR）数据。欧洲航天局Sentinel-1A（S1A）卫星提供的SAR图像具有12 d的重访周期，空间分辨率达10 m，为中国南方作物早期识别提供了新的机遇。为在作物早期识别中充分利用S1A影像的时间特征，本研究提出一维卷积神经网络（one-dimensional convolutional neural network, 1D CNN）的增量训练方法：首先利用生长季内全时间序列数据来训练1D CNN的超参数，称为分类器；然后从生长季内第一次S1A影像获取开始，在每个数据获取时间点输入该点之前（包括该点）生长季内所有数据训练分类器在该点的其他参数。以中国湛江地区2017年生长季为研究实例，分别基于VV、VH和VH+VV，评估不同极化数据在该地区的作物分类效果。为验证该方法的有效性，本研究同时应用经典的随机森林（random forest, RF）模型对研究区进行试验。结果表明：1）基于VH+VV、VH和VV极化数据的分类精度依次降低，其中，基于VH+VV后向散射系数时间序列1D CNN 和RF测试结果的Kappa系数最大值分别为0.924和0.916，说明S1A时间序列数据在该地区作物分类任务中有效；2）在研究区域内2017年生长季早期，基于1D CNN和RF 的5种作物的-均达到0.85及以上，说明本文所构建的1D CNN在该地区主要作物早期分类任务中有效。研究结果证明，针对中国南方作物早期分类，本研究提出的1D CNN训练方案可行。研究结果可为深度学习在作物早期分类任务中的应用提供参考。

作物；遥感；识别；早期；一维卷积神经网络（1D CNN）；深度学习；合成孔径雷达；Sentinel-1

0 引 言

及时准确的作物类型图对粮食安全至关重要[1]。在作物年度制图中，需要在作物生长季结束之前对作物类型进行早期识别，以便进行产量预测和灌溉管理[2]。除了热带或非常干旱地区，大多数地区的作物每年有1个或2个（冬季和夏季）生长季。本研究中，作物生长季早期分类指的是在年度周期的第6个月至第9个月之间提供年度作物类型图[3]。

在作物识别领域，光学影像通常比合成孔径雷达（synthetic aperture radar, SAR）影像应用的更广泛，这是由于光学影像观测结果与植被物候之间的关系能够更好地被理解[3]。然而，在中国南方地区，由于频繁的阴雨天气和长时间的云层覆盖，光学传感器无法很好地发挥作用[4]。相比之下，SAR的主动微波遥感可以在任何时间、任何天气条件下进行工作[5-6]。

SAR后向散射对作物结构（高度、孔隙率、覆盖度等）和田间条件（田间含水量等）敏感，每种作物的物候演变产生了后向散射系数的独特时间分布[7-8]。因此，SAR的时间序列影像可以有效用于作物分类任务[9-10]。在以往的研究中，由于小面积的种植结构和丰富的作物类型，缺乏高时空分辨率的SAR影像在中国南方作物分类中的应用研究[8]。特别是针对作物早期分类，足够的数据获取频率非常关键。

欧洲航天局（europeanspace agency, ESA）于2014年4月3日发射的Sentinel-1A（S1A）卫星[11]搭载了重访周期为12 d的C波段SAR传感器，具有单极化、双极化等不同的极化方式。宽幅干涉模式（interferometric wide swath mode, IW）的距离分辨率和方位分辨率分别为5 m和20 m。IW Level-1产品中地距影像（ground range detected, GRD）最高分辨率为10 m，并可免费获取。该数据为中国南方作物早期识别提供了新的机遇。

传统作物分类方法，如随机森林（random forest, RF）、支持向量机（support vector machine, SVM）等，把传感器在不同时间获取的数据作为特征输入[12-13]。忽略了数据的时间特性[14]。此外，传统作物分类系统通过使用多个预处理步骤提取模型所需特征[4,15-16]，分类过程复杂，且依赖于专业知识来设计特征提取器。

深度学习通过简单但非线性的模块获得多个级别的特征表示，每个模块将特征从一个级别（从原始输入开始）转换成更高级别。对于分类任务，较高级别的特征层放大了输入数据中区分不同类别的重要部分，并抑制了不重要的信息[17]。这种从观察值中获取并被编码到内部权重参数的数据驱动模型[18]将特征提取和分类以联合的方式执行，只需要基于原始输入数据和输出标签就可以用端到端的方式进行训练。

研究证明，循环神经网络（recurrent neural network, RNN）[19]和一维卷积神经网络（one-dimensional convolutional neural network, 1D CNN）[20]可以有效地用于基于时间序列的分类任务[21-22]。长短时间记忆网络（long short-term memory, LSTM）[23]和门控循环网络（gated recurrent unit,GRU）[24]是RNN的2种变体，用于解决普通RNN随着序列的增长梯度爆炸和消失的问题[23-24]。在作物分类领域，已有学者将LSTM、GRU和1D CNN应用于基于时间序列的光学影像[25-27]和SAR影像[14, 28]，并取得了良好的效果。但是，针对作物的早期识别，深度学习方法的应用较少。

在作物生长季早期识别中，为寻找不同作物的最优识别时间点，模型输入的时间序列长度是不断变化的。RNN的参数与时间序列的长度有关，它的每个神经元在时间序列上循环展开[29-30]。因此，相对于RNN，1D CNN具有更简单的网络结构、更少的训练参数[30]，这对于作物早期识别的效率具有重要价值。Cai等[31]利用2000－2013年研究区域大豆和玉米生长期内全时间序列数据（Landsat 5, 7, 8）训练1D CNN 的超参数和参数。并利用2014年和2015年的时间序列数据作为测试数据。测试数据从生长季内第一次的数据获取开始，在每个数据获取时间点将之前所有数据输入训练好的1D CNN，来寻找不同作物早期分类的时间点。该方法中1D CNN（包括超参数和参数）的训练数据是作物生长季内全时间序列，而测试数据是全时间序列的子集。

与Cai等的方案不同，在本研究中，作者提出基于中国湛江地区主要作物生长季的全时间序列数据来训练1D CNN的超参数，分别得到S1A 3类极化方式（VH, VV, VH+VV）的最优超参数，称为分类器；然后，针对每一种极化方式，从生长季内第一次数据获取开始，在每个S1A影像获取时间点输入该点之前（包括该点）生长季内所有数据来训练分类器在该点的其他参数。最后对测试数据的分类结果进行分析，得到研究区域内不同作物早期识别的最优时间点和最佳极化方式。通过该方案来评估1D CNN在作物早期分类中的作用和S1A极化时间序列数据对作物早期分类的影响。为验证该方案的有效性，本研究同时应用经典的RF模型对研究区进行试验[3]。

1 材料与方法

1.1 研究区域概况和地面数据获取

研究区域位于中国广东省南部的雷州半岛，包括遂溪县和雷州市2个县（县级市），如图1所示。该地区属亚热带湿润气候，年平均气温22～23℃，7月份平均气温28.4 ℃，1月份平均气温15.5 ℃，年平均降水量为1 400～1 700 mm，且干湿明显，5－10月为雨季[32]。

地面调查时间为2017年10月，共获得当地水稻、甘蔗、香蕉、菠萝和桉树5类地面覆被类型（以下统称“作物”）的830个样本点（地面数据），如图1所示。水稻、甘蔗、香蕉、菠萝和桉树的样本数量分别为179，215，53，44和339。5类作物中，水稻包括早稻和晚稻，生育期分别为每年的3月初－7月中下旬和8月初－11月底；甘蔗的生育期为每年的3月中旬－第二年的2月中旬；香蕉、菠萝、桉树的生育期一般分别为2～4、1.5～2和4～6 a。

1.2 SAR时间序列

本研究使用S1A卫星IW模式下Level-1产品中GRD影像的VH和VV极化数据。该产品具有12 d的重访周期，最高分辨率为10 m，可以通过ESA的Sentinels Scientific Data Hub网站（https://scihub.copernicus.eu/dhus/）获取。基于Sentinel应用平台(SNAP)的开放源码软件6.0.0版本对S1A数据进行预处理。预处理步骤如下：

1）辐射校正。根据S1A数据中的元数据信息生成与雷达后向散射系统直接相关的影像。本研究使用Level-1产品查找表中的带返回像素值。

2）正射校正。为了补偿影像的几何变形，利用距离多普勒地形正射校正步骤1）中输出的影像。

3）重新投影。使用双线性插值将经过正射校正的SAR影像进一步重新采样到10 m的空间分辨率。然后重新投影到1984世界大地测量系统（world geodetic system, WGS-84），北纬49°带的通用横向墨卡托（universal transverse mercator, UTM）坐标系。

4）斑点过滤。应用7×7的Gamma-MAP滤波器[33]过滤影像的颗粒噪音。

5）将经过斑点滤波的影像转换为后向散射系数（dB）标度，并归一化为0～255之间的值。

在2017年主要作物（水稻和甘蔗）生长季内（2017年3月初－2018年2月底），S1A对该研究区域重复访问30次。双极化（VH、VV）通道共得到60幅图像，每类作物在VV、VH极化方式下后向散射系数的时间分布如图2所示，每个时间序列由30个点组成。水稻、甘蔗、香蕉、菠萝和桉树的VH/VV均值依次为−17.562/−10.634、−16.117/−10.130、−11.905/−4.772、−13.352/−13.352和−14.302/−14.302；VH/VV方差依次为1.264/0.917、1.521/1.231、1.327/1.267、1.942/1.674、0.506/0.355，如图3所示。

图1 研究区域和采样点分布

图2 不同极化方式下五类作物的后向散射系数时间序列

图3 不同极化方式的五类作物后向散射系数均值和方差

2 研究方法

本研究的技术路线如图4所示。

注：X表示极化类型，包括VV, VH, VH+VV三类，L表示Sentiel-1A数据获取日期的个数。

具体步骤如下：

1）数据预处理，并根据地面样点数据提取相应位置的VH、VV的后向散射系数时间序列（=30个）；

2）利用全时间序列数据（=30个）训练1D CNN和RF以获得最优参数，称其为分类器。需要说明的是，随机选择每种作物类型的80%构成训练集，其余20%用于测试集；

3）执行增量训练。从第一次数据获取开始，在每个S1A影像获取时间点输入之前所有数据来训练分类器在该点的其他参数；

根据总体准确性和Kappa系数以及每个作物时间序列的准确性分析网络性能。对VV, VH和 VH+VV极化数据分别执行以上步骤。

2.1 1D CNN

与传统神经网络相比，CNN通过卷积核进行局部连接和权重共享，不仅减少了参数数量，而且降低了模型复杂度，更适用于大数据量的图像处理[34]。卷积层通过计算卷积核与覆盖区域信号值的点积来确定神经元的输出。1D CNN利用一维卷积核来捕捉输入序列的时间模式或形状[35]。

在1D CNN的训练过程中，每一层输入数据的分布都会因为前一层参数的变化而变化。如果每批（batch）训练数据的分布各不相同，网络在每次迭代都去学习适应不同的分布，这将会降低网络的训练速度。此外，训练数据与测试数据的分布不同，网络的泛化能力将大大降低[3,36]，本研究通过增加批量归一化层（batch-norm）来解决该问题。

针对基于时间序列数据的作物分类，本研究构建的1D CNN网络结构如图5所示，包括2个卷积层（Conv1/Conv2）、2个批量归一化层（Batch-Norm）、2个修正线性单元（Relu）、2个全连接层（Full-Con1/Full-Con2）。卷积核的通道（Channel）数与输入数据的通道数相同。

图5 1D CNN架构

2.2 RF分类器

RF分类器[37]通过拟合多个简单决策树分类器的结果来提高分类精度并控制过拟合。为了降低算法的复杂度和样本子集之间的相关性，当决策树达到最大深度或者当节点上的样本数小于最小样本阈值时，RF分类器便停止决策树的构造。已有研究表明，在基于时间序列数据的作物识别中，与SVM等机器学习方法相比，RF具有精度高、计算速度快、参数易调整的特点[2,12]。考虑到模型输入的特征量最高为60个，即S1A对研究区域重复访问30次,双极化（VH、VV）通道共得到60幅图像，本研究选择RF与1D CNN进行比较分析。

2.3 超参数训练

超参数训练的目标是得到每种极化方式（VV, VH, VH+VV）下1D CNN和RF的最优超参数，称其为分类器。训练标准通常是用最少计算量获得最高分类精度。本研究中，1D CNN和RF模型需要训练的超参数如表1所示。模型的输入为全时间序列（=30个）极化数据。由于不同作物的样本数量分布不均匀，试验随机选取每类作物样本的80%为训练集，其余20%样本为测试集。

1D CNN 的训练采用Adam优化器，该优化器已被证明优于其他随机优化方法[38]，并在一些时间序列的分类任务中得到了成功的应用[25,39]。其他参数根据经验设置，如滤波器的宽度一般设置为3～5，以获取局部时间信息特征[40-41]。图5中Conv1和Conv2的卷积核（宽×高×输入通道×输出通道）分别为5×1×1×16，4×1×16×14。

2.4 时间序列增量训练

时间序列增量训练[3]目标是得到每个时间点上的1D CNN和RF模型的所有参数。首先，设置2017年主要作物（水稻和甘蔗）生长季内（2017年3月初－2018年2月底）首次获得S1A数据的日期2017年3月10日为开始时间点；然后在每个S1A影像获取时间点输入之前所有数据来训练分类器在该点的其他参数；最后得到每个Sentinel-1A数据获取时间点基于2017年3月10日到该时间点的所有数据的分类模型。对3种极化数据（VV、VH或VH+VV）分别执行以上操作。每个时间点将有1D CNN（VV、VH、VH+VV）和RF（VV、VH、VH+VV）共6个分类模型。

软件环境：开发平台Python的版本为3.6；基于Tensorflow-gup深度学习架构构建1D CNN网络，版本为1.13.1；RF分类器的实施基于Python库Scikit-learn，版本为0.19.1。

表1 1D CNN和RF模型的超参数

3 结果与分析

3.1 时间序列SAR数据对南方作物的识别能力分析

图6、图7为1D CNN和RF模型在测试集S1A（VV、VH、VH+VV）时间序列上分类精度的演变。

图6 1D CNN模型的时间序列增量分类Kappa系数

图7 RF模型的时间序列增量分类Kappa系数

由Kappa系数趋势线[44]可知：

1）不同极化方式的S1A数据在2类模型中具有相似的特征：VV极化数据分类精度最低；VH+VV极化数据分类精度最高；VH极化数据分类精度接近于VH+VV，且在每个时间点的精度都高于VV。此外，VV极化方式下Kappa系数最大值为0.796，出现在图6中2017年12月23日。说明VV单极化数据难以完成该地区的作物分类任务。

因此，本文重点分析VH和VH+VV极化方式对作物早期识别的影响。图6、图7中，大部分时间的VH+VV极化的Kappa系数均高于VH，详细分析如表2所示。相对于VH极化，VH+VV极化不仅整体精度更高，而且Kappa系数首次大于等于0.8的日期更早。因此，VH+VV极化方式下的散射数据在早期作物识别中更有优势。

2）就不同时间序列对分类精度的影响而言：5月21日之前，Kappa系数基本处于低水平波动状态，这时候多数作物还未进入快速成熟期；5月下旬到10月中旬之间，Kappa系数快速上升，在这期间增加时相，构建时间序列能够有效提高作物识别精度；10月24日之后Kappa系数趋于稳定，基本处于小幅波动，这时候双季晚稻和甘蔗成熟。

表2 Kappa系数分析

3.2 1D CNN 和RF 在作物早期识别中的表现

图8为1D CNN和RF模型基于VH+VV极化测试数据集的Kappa系数的时间序列曲线。由图可知，两者非常接近。1D CNN和RF 的Kappa系数最大值分别为0.924（2018年01月28）和0.916（2017年12月11日），这充分说明利用作物生长季内全时间序列数据训练1D CNN的超参数，进而利用时间序列增量训练每个时间点分类模型（包含所有参数）是有效的。

图8 VH+VV极化下时间序列增量分类的Kappa系数

针对作物早期分类任务，根据“生长季早期”的定义，研究区域内第6个月－第9个月是指2017年8月－2017年11月。1D CNN 和RF模型的Kappa系数连续大于0.85的时间分别为2017年09月06日－2017年09月18日和2017年09月30日－2017年10月12日。根据研究区域内作物的生育期可知，09月06日－10月12日在双季晚稻和甘蔗生育期结束之前。为深入分析不同作物早期识别的最佳时间，表3给出了利用1D CNN和RF模型对测试集不同作物的[45]时间序列。用于度量测试集的准确性，平衡了分类结果的准确率和召回率。

根据表3可知，基于1D CNN 和VH+VV后向散射系数分类结果表明：1）香蕉和桉树几乎在每个时间点的-都大于0.8，香蕉在2017年07月08日已经可以完全识别（= 1）；2）随着时间序列的增加，水稻的分类精度呈平稳增长，在2017年07月20日达到0.853，这与早季水稻进入收割期后向散射系数突降有关；3）2017年09月18日甘蔗的达到0.875，早于甘蔗收割期4～5个月；4）菠萝的在2017年09月30日达到1。

表3 不同模型下五种作物的F-measure时间序列

此外，基于RF模型和VH+VV后向散射系数分类结果表明：1）香蕉和桉树的都大于0.8，但是香蕉完全识别的日期（2017年08月01日）比1D CNN 晚了24 d；2）水稻的同样在2017年07月20日出现较高增长，到达0.872，略大于1D CNN模型；3）甘蔗的F-measure在2017年10月12日达到0.854，比1D CNN模型早了12 d；4）菠萝的在2017年10月24日达到1。

需要说明的是，在2017年08月13日，菠萝的值在1D CNN 和RF模型中均出现大幅度下降，分别为0.308和0.364。结合图2和图3可知，在5种作物中，菠萝在2017年生长季内VV和VH极化值变化最大，尤其是05月09日－08月25日期间，与水稻和甘蔗的后向散射系数曲线多次相交，这导致这个时间段内菠萝的曲线变化剧烈，8月初该地区早稻已经收割，晚稻开始出苗，一定程度上影像了菠萝时间特征的提取。

4 讨 论

本研究使用中国湛江地区S1A时间序列数据，评估了1D CNN模型在作物早期分类中的应用和VV、VH和VH+VV极化数据在早期作物分类中的效果。使用2017年生长季节30个全时间序列S1A数据来训练1D CNN模型的超参数，称为分类器；然后，从第一次数据获取开始，在每个S1A影像获取时间点输入该点之前（包括该点）生长季内所有数据训练分类器在该点的其他参数。

首先，无论是1D CNN方法还是经典RF模型，基于S1A VH+VV、VH和VV时间序列数据的分类精度依次降低。说明S1A双极化数据（VH+VV）对研究区域的作物分类具有重要价值。值得注意的是，本研究同时下载了光学传感器Sentinel-2在2017年生长季研究区域内33幅光学图像，其中只有6幅没有云层覆盖。因此，具有12 d重访期的S1A SAR不仅可以在任何天气条件下获取数据，而且可以对作物生长进行精确的时间跟踪，对作物早期分类非常重要。

其次，图8中1D CNN的Kappa系数曲线与RF的 Kappa系数曲线非常接近。这也证明了本研究提出的1D CNN训练方案有效。利用全时间序列数据训练1D CNN的超参，然后在每个S1A影像获取时间点输入之前所有数据来训练分类器在该点的其他参数。这对早期分类任务中精确提取作物时间特征具有重要意义。避免了Cai等方案中每个时间点利用同一个1D CNN网络对作物进行分类。

此外，每类作物的分类精度是随时间变化的，不同作物最早达到≥0.85的时间是不同的。Cai等证明了使用不同年份的时间序列数据训练深度学习模型的所有参数的有效性，本研究在作物制图任务中可以选用不同年份的数据来训练1D CNN，进而根据不同作物的需求选择用于制图的时间序列数据。

最后，分析结果表明了所提出1D CNN 的训练方案的有效性。尽管1D CNN的性能几乎与RF相似，但深度学习模型具有其他方法所没有的优势。例如，端到端的训练可以学习手工特征模型无法获得的长期依赖性和表示形式。因此，在不久的将来，深度学习方法将在作物早期识别中发挥重要的作用。

5 结 论

本文以中国湛江为研究区域，评估了高时空分辨率的Sentinel-1A（S1A）数据（VV、VH、VH+VV）在我国南方作物早期识别中的潜力，并研究了深度学习技术中一维卷积神经网络（1D CNN）在作物早期识别中的效果。主要结论如下：

1）针对研究区域内5种作物识别。无论是采用经典的机器学习模型RF还是1D CNN，S1A VH和VH+VV极化方式下的后向散射系数均具有良好的效果，其中VH+VV的分类精度更高，Kappa系数分别为0.924（1D CNN）和0.916（RF）。表明S1A时间序列数据是该区域中作物识别的有效数据源，其中以VH+VV双极化数据分类效果最佳。

2）针对研究区域内5种作物早期识别。1D CNN在2017年作物生长季早期2017年9月-2019年11月，能够识别出5种作物，且每类作物≥0.85。表明本研究在每个S1A数据获取时间点的分类模型是有效的。

3）本研究提出的1D CNN 训练方案的核心是利用生长季节全时间序列数据来训练1D CNN的超参数，然后从第一个时间点开始，执行增量训练过程，在每个S1A影像获取时间点输入该点之前（包括该点）生长季内所有数据来训练分类器在该点的其他参数。避免了已有研究中每个时间点利用同一个1D CNN网络对作物进行分类。为深度学习方法在作物早期识别中的应用提供了新的视角。

需要说明的是，1D CNN具有多种潜在的网络结构和超参数，在作物早期分类中的应用有待进一步挖掘。未来的工作将侧重于基于深度学习技术的作物绘图，挖掘不同深度学习模型在多源遥感数据作物制图中的潜力，以期为中国农业监测提供基础数据。

[1] Thenkabail P S . Global croplands and their importance for water and food security in the Twenty-first Century: Towards an ever creen revolution that combines a second green revolution with a blue revolution[J]. Remote Sensing, 2010, 2(9): 2305－2312.

[2] Jordi I , Marcela A , Benjamin T , et al. Assessment of an operational system for crop type map production using high temporal and spatial resolution satellite optical imagery[J]. Remote Sensing, 2015, 7(9): 12356－12379.

[3] Inglada J, Vincent A, Arias M, et al. Improved early crop type identification by joint use of high temporal resolution SAR and optical image time series[J]. Remote Sensing, 2016, 8(5): 362.

[4] Xie L, Zhang H, Li H, Wang C. A unified framework for crop classification in southern China using fully polarimetric, dual polarimetric, and compact polarimetric SAR data[J]. International Journal of Remote Sensing, 2015, 36: 3798－3818.

[5] Lee J S , Pottier E. Polarimetric Radar Imaging: Basics to Applications, Second Edition[M]. Boca Raton: Crc Press, 2009.

[6] S R Cloude, Howard Zebker. Polarisation: Applications in remote sensing[J]. Physics Today, 2010, 63(10): 53－54.

[7] Mosleh M , Hassan Q , Chowdhury E . Application of remote sensors in mapping rice area and forecasting its production: A review[J]. Sensors, 2015, 15(1): 769－791.

[8] Jiang H, Li D, Jing W, et al. Early season mapping of sugarcane by applying machine learning algorithms to sentinel-1A/2 time series data: A case study in Zhanjiang City, China[J]. Remote Sensing, 2019, 11(7): 861.

[9] Rogan J, Franklin J, Roberts D A. A comparison of methods for monitoring multitemporal vegetation change using thematic mapper imagery[J]. Remote Sensing of Environment, 2002, 80(1): 143－156.

[10] Xie Y, Sha Z, Yu M. Remote sensing imagery in vegetation mapping: A review[J]. Journal of plant ecology, 2008, 1(1): 9－23.

[11] Drusch M, Del Bello U, Carlier S, et al. Sentinel-2: ESA’s optical high-resolution mission for GMES operational services[J]. Remote sensing of Environment, 2012, 120: 25－36.

[12] Onojeghuo A O, Blackburn G A, Wang Q, et al. Mapping paddy rice fields by applying machine learning algorithms to multi-temporal Sentinel-1A and landsat data[J]. International journal of remote sensing, 2018, 39(4): 1042－1067.

[13] Hao P, Zhan Y, Wang L, et al. Feature selection of time series MODIS data for early crop classification using random forest: A case study in Kansas, USA[J]. Remote Sensing, 2015, 7(5): 5347－5369.

[14] Ndikumana E, Ho Tong Minh D, Baghdadi N, et al. Deep recurrent neural network for agricultural classification using multitemporal SAR Sentinel-1 for Camargue, France[J]. Remote Sensing, 2018, 10(8): 1217.

[15] Conrad C, Dech S, Dubovyk O, et al. Derivation of temporal windows for accurate crop discrimination in heterogeneous croplands of Uzbekistan using multitemporal RapidEye images[J]. Computers and Electronics in Agriculture, 2014, 103: 63－74.

[16] Foerster S, Kaden K, Foerster M, et al. Crop type mapping using spectral–temporal profiles and phenological information[J]. Computers and Electronics in Agriculture, 2012, 89: 30－40.

[17] LeCun Y, Bengio Y, Hinton G. Deep learning[J]. Nature, 2015, 521(7553): 436－444.

[18] Rußwurm M, Körner M. Multi-temporal land cover classification with sequential recurrent encoders[J]. ISPRS International Journal of Geo-Information, doi:10.3390/ijgi7040129

[19] Werbos P J. Backpropagation through time: what it does and how to do it[J]. Proceedings of the IEEE, 1990, 78(10): 1550－1560.

[20] Wang Z, Yan W, Oates T. Time series classification from scratch with deep neural networks: A strong baseline[C]// 2017 international joint conference on neural networks (IJCNN). IEEE, 2017: 1578－1585.

[21] Giles C L, Miller C B, Chen D, et al. Extracting and learning an unknown grammar with recurrent neural networks[C]// Advances in neural information processing systems. 1992: 317－324.

[22] Lawrence S, Giles C L, Fong S. Natural language grammatical inference with recurrent neural networks[J]. IEEE Transactions on Knowledge and Data Engineering, 2000, 12(1): 126－140.

[23] Hochreiter S, Schmidhuber J. Long short-term memory[J]. Neural computation, 1997, 9(8): 1735－1780.

[24] Cho K , Van Merrienboer B , Bahdanau D , et al. On the properties of neural machine translation: Encoder-decoder approaches[J]. Computer Science, doi：10.3390/ijgi7040129

[25] Rußwurm M, Korner M. Temporal vegetation modelling using long short-term memory networks for crop identification from medium-resolution multi-spectral satellite images[C]//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition Workshops, 2017: 11－19.

[26] Zhong L, Hu L, Zhou H. Deep learning based multi-temporal crop classification[J]. Remote sensing of environment, 2019, 221: 430－443.

[27] Kogan F, Kussul N N, Adamenko T I, et al. Winter wheat yield forecasting: A comparative analysis of results of regression and biophysical models[J]. Journal of Automation and Information Sciences, 2013, 45(6) : 68－81.

[28] Bermudez J D, Feitosa R Q, Achanccaray P M, et al. Evaluation of recurrent neural networks for crop recognition from multitemporal remote sensing images[C]//Anais do XXVII Congresso Brasileiro de Cartografia, 2017.

[29] Sak H, Senior A, Beaufays F. Long short-term memory recurrent neural network architectures for large scale acoustic modeling[C]//Fifteenth annual conference of the international speech communication association, 2014: 337—342.

[30] Gamboa J C B. Deep learning for time-series analysis[J]. Computer Science: arXiv preprint arXiv:1701.01887, 2017: 1－13.

[31] Cai Y, Guan K, Peng J, et al. A high-performance and in-season classification system of field-level crop types using time-series Landsat data and a machine learning approach[J]. Remote sensing of environment, 2018, 210: 35－47.

[32] 王壬，陈建耀，江涛，等近30年雷州半岛季节性气象干旱时空特征[J]. 水文，2017(37)：36－41.

Wang Ren, Chen Jianyao, Jiang Tao, et al. Spatiotemporal characteristics of seasonal meteorological drought in leizhou peninsula during 1984-2013[J]. Journal of China Hydrology, 2017(37): 34－41. (in Chinese with English abstract)

[33] Frost V S, Stiles J A, Shanmugan K S, et al. A model for radar images and its application to adaptive digital filtering of multiplicative noise[J]. IEEE Transactions on pattern analysis and machine intelligence, 1982 (2): 157－166..

[34] O'Shea K, Nash R. An introduction to convolutional neural networks[J]. Computer Science: arXiv preprint, arXiv: 1511.08458, 2015: 1—11.

[35] Wei H , Yangyu H , Li W , et al. Deep donvolutional neural networks for hyperspectral image classification[J]. Journal of Sensors, 2015, 2015: 1－12.

[36] Jaderberg M, Simonyan K, Zisserman A. Spatial transformer networks[C]//Advances in neural information processing systems, 2015: 2017－2025.

[37] Michie D, Spiegelhalter D J, Taylor C C. Machine learning[J]. Neural and Statistical Classification, 1994, 13: 1－4.

[38] Kingma D P , Ba J . Adam: A method for stochastic optimization[J]. Computer Science: arXiv:1412.6980, 2014: 1－15.

[39] Karim F, Majumdar S, Darabi H, et al. Multivariate lstm－fcns for time series classification[J]. Neural Networks, 2019, 116: 237－245.

[40] Hatami N, Gavet Y, Debayle J. Classification of time-series images using deep convolutional neural networks[C]//Tenth International Conference on Machine Vision (ICMV 2017). International Society for Optics and Photonics, 2018: 1－8.

[41] Zheng Y, Liu Q, Chen E, et al. Time series classification using multi-channels deep convolutional neural networks[J]. Springer, doi: 10.1007/978-3-319-08010-9_33

[42] Tatsumi K, Yamashiki Y, Torres M A C, et al. Crop classification of upland fields using Random forest of time-series Landsat 7 ETM+ data[J]. Computers and Electronics in Agriculture, 2015, 115: 171－179.

[43] Goldstein B A, Polley E C, Briggs F B S. Random forests for genetic association studies[J]. Statistical Applications in Genetics and Molecular Biology, 2011, 10(1): 1－34.

[44] Congalton R G. A review of assessing the accuracy of classifications of remotely sensed data[J]. Remote Sensing of Environment, 1991, 37(1): 35－46.

[45] Sasaki Y. The truth of the F-measure[J]. Teach Tutor mater, 2007, 1(5): 1－5.

Early growing stage crop species identification in southern China based on sentinel-1A time series imagery and one-dimensional CNN

Zhao Hongwei1,2, Chen Zhongxin1,2,3※, Jiang Hao4,5,6, Liu Jia1,2

(1.,,100081,; 2.,100081,; 3.(),00153; 4.,510070,; 5.,510070,; 6.,510070,)

Timely and accurate estimation of the area and distribution of crops is vital for food security. In previous research, the main challenges of early crop identification in southern China were: 1) cloudy days are frequent; 2) most parcels are small and crop types are variant; 3) high spatial and temporal resolution synthetic aperture radar (SAR) data is lack. The European Space Agency Sentinel-1A (S1A) satellite, which recently became operational, is a satellite system providing global coverage of SAR with 12-days revisit period at high spatial resolution at 10 m. This provides a new opportunity for early crop identification in southern China. Compared with classical machine learning methods, deep learning has many advantages, such as end-to-end training, mobility, it provides a new chance for using high spatio-temporal data efficiently. One-dimensional convolutional neural network (1D CNN) and recurrent neural network (RNN) have been shown to be effective deep learning methods for extracting temporal features for classification tasks. However, the parameters (but not hyper-parameters) of RNN are determined by the length of the time series. Compared with RNN, 1D CNN has the advantages of simple structure and few parameters, but very few studies have applied 1D CNN to time series data for early stage crop’s identification at present. In this study, we proposed to combine 1D CNN hyper-parameters training with an incremental time series training method to attain a classification model for each time point in the growth season. Firstly, we trained the 1D CNN hyper-parameters using the full time series data during the growth season, and refer to the 1D CNN with hyper-parameters as a classifier. Then, starting at the first time point, the incremental training process was carried out, at the acquisition time point of each S1A image, input all data in the growing season before (including) the point to train other parameters of the classifier at that point, and then obtained a classification model with all parameter values (including the previous hyper-parameters) at each time point. Finally, test accuracies of each time point were assessed for each crop type to determine the optimal time series length. A case study was conducted in Zhanjiang City, China. To verify the effectiveness of this method, a comparative experiment with the classical random forest (RF) method was carried out. In order to evaluate different polarizations mode (VV, VH, VH+VV) of S1A data for crop classification in the study area, we performed the above training process for each polarization time series data. The results were as follows: 1) the classification accuracies of VH+VV, VH, and VV decrease in order, based on the VH+VV backscatter coefficient time series, the maximum Kappa coefficient values of 1D CNN and RF model were 0.924 and 0.916 respectively, illustrating that S1A time series data was valid for crop classification task in the study area; 2) in the early growing season of 2017 of the study area,of 1D CNN and RF model were above 0.85, which indicated that 1D CNN in this work was effective for early crop classification. All results indicated that the proposed training method of 1D CNN was valid for early stage crop’s classification. At the same time, 33 optical images of sentinel-2 in the study area of 2017 growth season were downloaded, of which only 6 were not hindered by clouds. Therefore, S1A SAR with 12 days revisit period can not only obtain data under any weather conditions, but also track crop growth accurately. This method provides a new perspective for the application of deep learning in early stage crop’s classification tasks. In addition, all parameters of 1D CNN can be trained by using time series data from different years. Although the performances of 1D CNN almost similar to those of the RF, deep learning models have advantages that other methods do not have. Therefore, we believe that deep learning methods will play an important role in early crop identification in the near future.

crops; remote sensing; recognition; early stage; one-dimensional convolutional neural network (1D CNN); deep learning; synthetic aperture radar (SAR); Sentinel-1

赵红伟，陈仲新，姜 浩，刘 佳. 基于Sentinel-1A影像和一维CNN的中国南方生长季早期作物种类识别[J]. 农业工程学报，2020，36(3)：169－177.doi：10.11975/j.issn.1002-6819.2020.03.021 http://www.tcsae.org

Zhao Hongwei, Chen Zhongxin, Jiang Hao, Liu Jia. Early growing stage crop species identification in southern China based on sentinel-1A time series imagery and one-dimensional CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2020, 36(3): 169－177. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.2020.03.021 http://www.tcsae.org

2019-07-28

2019-11-27

高分辨率对地观测系统重大专项：GF-6卫星数据大气校正技术（30-Y20A02-9003-17/18）；农业农村部现代农业人才支撑计划（农业空间信息技术创新团队）项目（914-2）；广东省农业科技创新及推广项目（2019KJ102）

赵红伟，博士，助理研究员，研究方向为农业遥感；农业空间信息技术应用。Email：zhaohongwei@caas.cn

陈仲新，博士生导师，研究员，博士，研究方向为农业遥感；农业空间信息技术应用。Email：chenzhongxin@caas.cn

10.11975/j.issn.1002-6819.2020.03.021

S-1

A

1002-6819(2020)-03-0169-09