基于无人机遥感的农作物自动分类研究

王晨宇张亚民吴伯彪郭学来

(1.国家统计局河南调查总队，河南 郑州 450018；2.郑州科技学院，河南 郑州 450064)

长期以来，我国农作物种植类型等重要农业统计数据，主要通过全面统计或抽样调查等传统方法获得，由分布在全国各地的农调队等定期收集农作物种植种类信息、农作物播种面积信息、作物长势状况、受灾情况，逐级汇报或者直接上报到农业农村部，作为分析全国农业结构种植情况和采取对策的依据。采用人工GPS实测地面样方或卫星影像辅助调查时，由于调查人员的业务能力各不相同无法做到客观规范，在收集、处理及上报的过程中存在时间滞后，采集的信息存在差异性，且人工方法存在调查工作量庞大、财力和物力耗费高及调查周期长等诸多缺陷。卫星遥感信息具有可覆盖面积大、探测能力强及现势性强等特点，为快速准确获取作物种植分类提供了新的技术手段。近些年，遥感技术已经在农作物分类动态信息提取、作物分布制图中发挥了重要作用，但由于高分辨率的卫星重返周期长，特定时间的指定区域的数据无法保证，单一利用遥感进行农作物分类监测精度无法满足要求，必须辅助以地面采样调查，实现农作物种植分类的精细提取。

随着无人机平台及摄影测量技术的发展，无人机遥感为农作物分类调查提供了新思路，无人机具有作业灵活、操作简单、节省人力物力等特点，可以获得超高分辨率遥感影像，在中小尺度上，无人机能充分发挥优势，还可以为大面积卫星遥感提供地面验证，对作物监测技术的发展和应用具有重大意义。因此，通过无人机遥感影像获得农作物分类信息十分必要。

多波段传感器可获得更多波谱信息，然而如何从海量影像数据中及时、准确地获取所需信息并加以利用是需要解决的重大问题之一。有效地对具有高空间及光谱分辨率的影像分类，进行信息的提取和解译，在地物识别、农田灾害监测、植被覆盖度反演等方面具有重要的意义，也是困扰很多人的难点之一。

1 研究区概况

原阳县属河南新乡市，地处豫北平原，南临黄河，北面是余河通道，地势西南偏高，东北偏低，地貌属黄河冲积平原，其地理坐标E113°36′～114°15′，N34°55′～35°11′，其四邻，东接封丘，西邻武陟、获嘉，背靠新乡、延津，南于中牟和郑州郊区隔河相望。

2 研究方法

2.1 技术路线

基于无人机影像提取农作物光谱、纹理和地形3种特征，基于语义分割模型DeepLabv3+获取4种农作物(玉米、花生、水稻和大豆)范围信息。具体技术路线如图1所示。

图1 技术流程图

2.2 基本原理

利用无人机影像光谱、纹理、空间特征组合提取农作物分类信息方法的基本原理大体如下。进行研究区域选择和地面实际情况调查，用无人机遥感系统进行影像采集；基于影像及数字表面模型提取农作物光谱、纹理、空间组合最优分类特征,采用多种分类办法，如支持向量机等，进行农作物无人机遥感影像的分类研究，统计分类精度及分类速度，分析无人机遥感影像分辨率对农作物分类精度的影响；根据分类精度，制定满足农业统计调查应用的分类方法和遥感影像分辨率，形成农作物分类的自动解译系统。

目前关于农作物分类自动解译还处于技术研究和分析阶段，没有较为成熟的识别系统广泛应用。其根本原因为农作生长情况较为复杂，生长过程受自然因素和人为因素影响较大，在遥感影像中呈现的纹理特征和光谱特征差异较大，往往还会出现同物异谱和异物同谱的现象，仅通过物候时间、纹理特征、光谱信息比较难以区分易混淆和相似的作物种类，作物识别精度不高。

因此，设计该功能模块应该充分借助当前应用较为广泛的深度学习模式，利用调查队的调查优势，获取足量的、准确的样本数据，为开展本地作物的自动识别做好数据支撑，从而提高作物识别精度。

2.3 特征确定

2.3.1 光谱特征

大疆精灵4无人机平台搭载的多光谱成像相机，搭载可见光、近红和红光边缘5个原始波段，以及5个植被指数。具体原理是利用植被指数将不同作物的光谱信息与其它地物的光谱信息差异放大，从而提取出农作物分类的分布信息。

表1 无人机多光谱影像波段范围

表2 无人机多光谱影像植被指数说明

2.3.2 纹理特征

高分辨率无人机遥感数据，减少了混合像元的出现，使得农作物的冠层形状、尺寸、结构等更加清晰，因而增加纹理信息比单纯利用光谱信息有更好分类效果。灰度共生矩阵是目前应用最广泛的一种纹理统计分析方法，将灰度共生矩阵GLCM作为基础提取纹理统计量，在14个纹理统计量中，仅有4个特征是不相关的，分别是二阶矩、对比度、相关和熵。

2.3.3 地形特征

表3 无人机多光谱影像纹理特征说明

无人机数字表面模型(Digital Surface Model，DSM)是包含各种地物的表面高程信息，如建筑物顶层表面高度、植被冠层表面高度，并不是植被覆盖区地面的高度。在原阳县，种植多种农作物，如玉米、水稻、大豆和花生，由于农作物物候不同以及品种本身差异，从而可以将作物高程信息作为农作物分类提取特征，提高分类精度。采用DSM-DEM提取农作物植株株高数据。

2.4 影像切片

通过将无人机多个特征通道输入，结合野外和内业人工标注具体农作物类型，将每景影像切割成1024×1024的切片大小，基于语义分割模型DeepLabv3+将影像分割成5个类别，分别是玉米、水稻、花生、大豆和背景，并通过GDAL库将结果赋予地理投影信息。

2.5 语义分割模型

图像语义分割(Semantic Segmentation)，又叫作全像素语义分割(Full-pixel semantic segmentation)是图像处理和机器视觉技术中关于图像理解的重要一环，也是AI领域中一个重要的分支。

早期，计算机视觉的初始应用需求只是识别基本元素，如边缘(线和曲线)或渐变，前期的卷积神经网络(Convolutional Neural Network，CNN)只是识别图像中存在的内容，从未完全按照人类感知的方式提供像素级别的图像理解。通过图像语义分割来理解像素级的图像，其将属于同一目标的图像部分聚集在一起，是对图像中每一个像素点进行分类，确定每个点的类别(如属于背景、大豆或玉米等)，从而进行区域划分。

识别每个像素或分组像素一起分配类别的过程可以通过以下过程，效果如图2所示。

图2 图像分类(左)、物体识别和检测(中)、语义分割(右)

图像分类(image classification)，识别图像中存在的内容；物体识别和检测(object recognition and detection)，识别图像中存在的内容和位置(基于边界框)；语义分割(semantic segementation)，识别图像中存在的内容和位置(通过查找属于它的所有像素)

语义分割模型可以被认为分类问题，其中每个像素被分类为来自某一系列对象中的某一个，为了识别卫星图像上每个像素的具体农作物类型(如玉米、花生、水稻和大豆)，农作物分类可以被视为多级语义分割任务。

2.6 DeepLabv3+模型

2.6.1 模型基础

2.6.1.1 深度卷积神经网络DCNN

深度卷积神经网络(DCNN)如AlexNet、VGG和ResNets的常规深度卷积神经网络模型不适合于这类像素级预测任务，因为这些模型包含很多层，经过多层卷积层和池化层来降采样，此时特征图维度降低，但是特征更高级，语义更丰富，对于简单的图像分类任务没有问题，由于特征图过小对于语义分割模型则无法接受。图3为深度卷积神经网络基本架构。

图3 深度卷积神经网络基本架构示意图

2.6.1.2 残差网络ResNet

残差网络(ResNet)是一个非常受欢迎的DCNN，ResNet的特点是容易优化，并且能够增加相当的深度来提高准确率，其内部的残差块使用了跳跃连接，缓解了在深度神经网络中增加深度带来的梯度消失问题。

2.6.1.3 DeepLabv3

DeepLab使用在ImageNet上预训练的残差网络ResNet作为其主要特征提取器网络，在这个模块顶部，使用了ASPP。

2.6.1.4 ASPP空洞空间金字塔池

对于ASPP，其想法是为模型提供多尺度信息，因此ASPP增加了一系列具有不同扩张率的空洞卷积，这些不同扩张率是为了获取较大上下文图像语义信息，此外，为了添加全局上下文信息，ASPP通过全局平均池合并了图像级的特征。

2.6.1.5 空洞卷积

空洞卷积是带有扩张因子的传统卷积，其中扩张因子扩展了滤波器的视野。

2.6.2 模型架构

DeepLabv3+是性能最好的语义分割模型之一。相较于其它语义分割模型，采用2大关键技术，把Xception和深度可分离卷积应用到ASPP和Decoder中，编码器-解码器(Encoder-Decoder)结构可以更好地恢复物体的边缘信息。

DeepLabv3+模型的整体架构如图4所示，将原DeepLabv3当作Encoder，添加Decoder，得到新的模型DeepLabv3+。其Encoder的主体就是原DeepLabv3，Decoder的主体是带有空洞卷积的DCNN，采用常用的分类网络ResNet，然后是带有空洞卷积的SPP，主要是为了引入多尺度信息，相比DeepLabv3，v3+引入了Decoder模块，其将底层特征与高层特征进一步融合，提升分割边界准确度。

图4 DeepLabv3+模型的整体架构示意图

3 实验分析及精度评估

以原阳县为研究区，采集原阳县7个村，共21个样方，共18景多光谱无人机影像；进行作物标注，并基于深度学习进行作物分类识别；最终识别规则为将样方内及周围作物分为5类，分别为玉米、水稻、花生、大豆、其它(道路、坑塘、水沟、园林、大棚、建筑等)5类。并进行分类精度验证。

3.1 数据采集

使用大疆精灵4多光谱版搭载了一体式的多光谱成像系统，集成了1个可见光及5个多光谱传感器(蓝、绿、红、红边和近红外)。配置智能规划软件，创建自动化作业任务，包括飞行计划、任务执行和飞行数据管理。利用制图软件，进行照片拼接和基础指数提取。通过相关软件完成影像的拼接及相关指数层提取。

大疆精灵4以开发基于安卓版的SDK，后期可集成于安卓平板。无人机获取数据参数：飞行高度，120m；地面分辨率，5cm；光谱通道，可见光拼图1套，红、绿、蓝、近红外光单独通道4套，自动计算的指数5套，DSM数据5套；单个样方飞行时间，2min以下，此次为了积累训练数据，飞行面积大大超过200m×200m的样方面积。

3.2 数据处理

快速拼图使用大疆制图软件对拍摄完成后的原片进行快速制图，2.5G左右文件，约8min即可完成(拍摄范围远远大于样方面积)。

3.3 模型训练

标注使用深度学习专业标注软件，对7个村拍摄范围内的影像进行标注，以供后期训练学习。进行像素级别标注(即水稻或玉米地中的树木、坟地都会标注出来)，分为玉米、水稻、花生、大豆、其它(道路、坑塘、水沟、园林、大棚、建筑等)5类。

训练模型构建，基于可见光图层，红、绿、蓝、近红外、DSM等6个维度进行训练。将不同地物的光谱特征、纹理特征和高度特征进行充分考虑，使用深度学习算法进行训练。植被、水、建筑、道路、大棚之间有着明显光谱区别，易于区分；园林木与作物之间在纹理与光谱之间差别也较大，也易于区分；玉米、水稻、花生、大豆之间，光谱差别较小，但在纹理、高度差别较大，也相对容易区分。

3.4 分类结果

以桂刘庄为例，使用深度学习分别对遥感影像和无人机拍摄的影像进行分类，分类结果如图5所示。从图5中可以看出，以GF-6为底图进行的野外实测，主要有玉米、花生、果树、道路、其它等地类，不同地类边界整齐；以GF-6为底图采用机器学习的方法进行分类，从分类结果看，不同地类的识别精度比较准确，但是不同地类的图斑边界精度效果很不理想，如道路并没有单独识别出来，玉米和花生的图斑边界相互交错，两类作物中间的空隙识别成道路，区分度很差，果树所在地块识别不准，错分为其它和裸地；以无人机影像为底图进行机器学习分类，分类效果比较理想，不同地类识别准确，图斑边界精度也很高，尤其是果树、裸地等地物边界精度较高，其中果树地块中的行树间的裸地也很精确地识别并分离出来，部分花生地块中长势较差土壤裸露较大的位置也可以识别分离出来。

图5 不同数据源机器学习自动解译分类效果对比

3.5 精度验证

将遥感数据分类结果和无人机分类结果进行统一处理，以野外实测数据为监测数据，采用混淆矩阵分析方法分别对以2种数据源为底图的机器学习分类结果进行精度分析，以遥感影像为底图的机器学习分类结果中，总体分类精度为81.26%，其中花生分类精度为77.43%，玉米分类精度为89.69%；以无人机影像为底图的分类结果中，总体精度为96.16%，其中花生分类精度为93.77%，较遥感影像分类精度提升16.34%，玉米分类精度为98.91%，较遥感影像分类精度提升9.22%。分析结果如表4-6所示。

表4 遥感影像分类结果精度验证矩阵

表5 无人机影像分类结果精度验证矩阵

表6 不同数据源为底图的主要作物机器学习分类精度

4 研究总结

综上，目前无人机多光谱影像自动分类精度均在90%以上，飞行及识别时间均在预期范围内，已经能初步满足调查工作使用，后续可以继续完善深度学习模型训练，将多种植被指数纳入训练体系，从而进一步提升分类精度，使调查结果更为精准，实现多光谱无人机调查替代人工调查。

5 延伸与展望

5.1 影像配准及面积统计

目前因无人机外业时RTK信号不强，未开启RTK高精度定位功能，后期开启后，可与前期通过卫星影像勾绘的矢量进行精准配准。

配准后，可对分类结果进行面向对象的后处理。目前现有分类结果是以像素为单位，处理后的结果是以矢量为单位，可有效地过滤杂质像素，完成以矢量为单位的自动解译，并进行不同地物类别的面积统计和自动填报。

5.2 农作物长势监测

长势监测工作主要利用植物的反射光谱，植物的反射光谱随着叶片中叶肉细胞、叶绿素、水分含量、氮素含量以及其它生物化学成分的不同，在不同波段会呈现出不同的形态和特征的反射光谱曲线。不同的作物、或同一作物在不同的环境条件、不同的生产管理措施、不同生育期，以及作物营养状况不同和长势不同时都会表现出不同的光谱反射特征。

目前可以结合农业部门关于作物苗情的监测情况，使用多光谱无人机对确定的苗期数据进行飞行，获取植被指数。将处理好的无人机影像数据对应的不同星源卫星影像数据、MODIS数据一齐获取，并保持时间的一致性。对这3个数据均进行植被指数的提取分析，研究这3个植被指数之间的关联、相关性等，进而确定一个比例或者拟合系数，通过这个系数对全区的植被指数进行分析，获取到监测地区的不同区域的苗情和长势情况。

此外也可以将农情遥感监测技术与无人机平台相结合，不仅可以控制在低成本内获取高时间、高空间分辨率的遥感影像，而且减少了天气、地形等对影像获取的影响，可以实时获取作物关键生育时期的信息，从而使得快速准确监测作物长势成为可能。

5.3 农作物产量估算

遥感估产是基于作物特有的波谱反射特征，利用遥感手段对作物产量进行监测预报的一种技术。利用影像的光谱信息可以反演作物的生长信息(如LAI、生物量)，通过建立生长信息与产量问的关联模型(可结合一些农学模型和气象模型)，便可获得作物产量信息。

在收集分析各种农作物不同生育期不同光谱特征的基础上，通过无人机影像记录的地表信息，辨别作物类型，监测作物长势，并在作物收获前，预测作物的产量。基于无人机影像产品提供的植被指数产品，采用积分数据原理，计算累积植被指数LNDVI；构建NPP与LNDVI关系函数；根据NPP与作物总产的关系，确定作物的产量转换系数，利用当年监测区域的总NPP值来估算当年作物的总产。