基于深度语义分割的无人机影像烟草种植面积提取*

付必环，黄 亮

（昆明理工大学，云南 昆明 650039）

0 引言

烟草种植业作为我国重要的经济支柱产业，具有很高的经济价值和现实意义。据统计，2020 年中国卷烟产量为22 621.3 亿支，烟草税收更是达到了12 803 亿元，创下了税利总额的历史新高，为国家和地方经济发展作出了重要贡献，带动了地区的发展。而云南作为产烟大省，在“十三五”期间，云南省烟草产业创造的增加值占全省GDP 的13.8%。从这些数据可以看出，烟草行业所带来的经济效应不容小觑，更是云南经济发展的支柱产业。但与此同时，云南烟草大部分种植区域为高原山区，地形崎岖、种植分散，这给人工统计烟草种植面积带来了较大困难，无法满足烟草相关部门对烟草种植快速、及时的监测要求[1]。因此，及时快速地掌握烟草的种植面积与分布，对宏观调控并改善烟草生产结构和布局、辅助企业合理安排烟草采收、加工和出售等后续工作和促进烟草行业工业化发展有重要意义。

无人机遥感技术因其具有覆盖面积大、获取信息的速度快、周期短、实时性强、操作便捷、不受地面条件限制，以及与人工常规的地面调查与统计相比具有费用低等优点，已经在农作物监测领域得到广泛应用[2-4]。

应用遥感影像对烟草信息进行提取已得到初步应用，国内外诸多学者就烟草的提取问题进行了探讨和研究。吴孟泉等人[5]利用遥感监测手段和监督分类方法对云南产烟县的烟草面积进行提取；符勇[6]利用高分辨率星载合成孔径雷达（Synthetic Aperture Radar,SAR）数据并建立不同极化HH、VV 的SAR亮度值与烟草叶面积指数（Leaf Area Index,LAI）相关性，以此估测烟草种植面积；董梅等人[7]分别选取了多个特征值，并且结合形态学和面向对象的方法，对烟草种植面积进行提取；彭光雄等人[8]利用美国的Landsat TM 影像对泸西县烤烟面积遥感监测最佳时相选择的研究；刘明芹等人[9]采用资源三号卫星遥感影像为研究数据，将面向对象的方法与地面控制点的光谱、纹理和形状等特征结合起来对烟草面积进行提取；夏炎等人[10]提出了利用无人机影像并采用模糊超像素分割算法的烟草识别方法；胡九超[11]利用高分辨率SAR 对高原山区烟草进行识别和提取。分析近年来国内外针对烟草信息的提取研究可知，数据来源从中空间分辨率和低空间分辨率遥感图像再到高空间分辨率遥感图像，从光学图像转到合成孔径雷达；平台范围从高空卫星遥感到低空无人机遥感；监测方法从基于像素特征的统计方法到面向对象的方法。由于云南省属于低纬度高原地区，烟草种植面积小，空间分布分散，烟草与其他作物多为混种或间作[12]。因此，中低空间分辨率的卫星遥感影像难以准确提取种植面积，小地块容易漏检。而高空间卫星遥感影像很难保证在特定区域和物候期获取图像。无人机遥感以其灵活性和高空间分辨率已成为烟草种植区监测的主要手段。面向对象的图像分析和深度学习是当前高空间分辨率遥感图像分类的主要方法。然而，图像分割和特征提取限制了面向对象图像分析方法的发展。目前，深度语义分割方法在农业领域得到了广泛的应用，并取得了令人满意的效果。例如，郁林[13]基于高分辨率遥感影像数据，利用改进的U-Net 网络模型进行水稻面积的提取，并取得了较好的效果；宁斯岚[14]采用雷达遥感数据并结合深度学习的方法对水稻种植面积进行提取。

综上所述，为实现云南高原烟草种植面积的准确提取，本文以云南省昆明市晋宁区夕阳乡为研究区，选取高空间分辨率的无人机影像作为实验影像，采用DeeplabV3+为主要深度语义分割模型，同时为了识别效果和降低培训成本，采用和比较了4 种轻量化骨干网络：Xception、MobilenetV1、MobilenetV2 和Resnet50。

1 数据与研究方法

1.1 数据来源

文中采用的数据来源于Huang 等人[15]制作的数据集。该数据集采用大疆精灵4 无人机为平台，采集数据点位于云南省中部的夕阳乡，并对采集的数据进行图像配准、图像校正、图像镶嵌等步骤生成数字正射影像图；最终经过批量裁剪并剔除没有烟草的图像，得到238 张烟草标注图像，如图1 随机展示了该数据集的10 张原图与标注图。

图1 部分烟草数据集

1.2 研究方法

由于烟草的生长情况、种植面积、种植密度等存在巨大差异，如图2 所示，其中，图2（a）和图2（b）烟草种植与道路建筑物临近，图2（c）、图2（d）、图2（e）和图2（f）中存在混种与套种情况，使用面向对象的方法很难从无人机遥感图像中找到理想的提取特征。深度学习具有自学习的特性，不仅可以学习简单的特征，还可以学习更多抽象的特征。因此，本文采用深度语义分割的方法从无人机遥感图像中提取烟草。目前，用于深度语义分割的网络模型包括全监督语义分割、弱监督语义分割和非监督语义分割。然而，大多数弱监督和非监督方法的性能低于全监督方法[16]。因此，本文采用全监督的图像语义分割方法。文中以DeeplabV3+为主要网络模型[17]，如图3 所示。为了在不影响预测精度的前提下大大减少训练时间，采用了4种轻量化的骨干网络替换原始的骨干网络。由于骨干网络是特征提取层的堆叠，如图4 展示了Xception、MobelnetV1、MobelnetV2 和Resnet50 的核心提取层。

图2 烟草示例数据

图3 Deeplabv3+网络模型

图4 4 种骨干网络卷积层

1.2.1 训练环境配置

这里为了验证轻量化骨干网络的效率和电脑效率，在处理平台上选择了intel i7-8700 6 核处理器、NVIDIA GTX1060、6 GB GDDR5 和16 GB DDR4运存。训练环境是GPU 版本的tensorflow1.13.1 和Keras2.1.5。由于数据集较小，采用针对小数据的数据划分方式，即训练数据与预测数据的比例为7:3，即167 张训练图像和71 张预测图像。

1.2.2 训练参数选择

实验中需要设置NCLASSES，学习率（Learning Rate，LR），一次训练图片数（Batch Size，BS）和训练次数（Epoch）。考虑到硬件条件与Huang 等[15]对于参数设置的讨论，在本文中选择了BS=6，LR=1×10-3，Epoch=40。同时，这里采用了迁移学习的思想，文中从https://github.com/fchollet/deeplearning-models/releases 网址下载了4 个骨干网络的预训练权重。

2 结果与分析

为了验证语义分割的准确性，采用平均交并比（Mean Intersection Over Union，mIoU）[22]和类别平均像素准确率（Mean Pixel Accuracy，mPA）[22]两个指标来对71 张场景的整体精度进行评估，并采用准确率（Precision）[23]，召回率（Recall）[23]，F1[24]，IoU[22]和PA[22]进行定量化评价指标。评价指标如下：

使用Xception、MobelnetV1、MobelnetV2 和Resnet50 为骨干网络对71 张场景预测图像进行语义分割，获得的mIoU和mPA如表1 所示。

表1 4 种骨干网络的mIoU 和mPA 值

从表1 中可以看出，在mIoU和mPA这 两个指标中，使用4种骨干网络得到的结果均优于90%。实验结果表明深度学习对烟草种植区域的语义分割有很好的效果。其中，Xception 主干网络的mIoU和mPA最高，语义分割的整体性能最好；Resnet50 主干网络的总体预测精度最低。Xception、MobilenetV1 和MobilenetV2 主干网络的总体预测精度存在较小差异。

由于预测图像的数量很大，因此无法完全显示。本文选取了3 幅具有代表性的数据作为示例数据，如图5 所示。3 幅图像的预测结果如表2 所示。

图5 4 种骨干网络的预测结果

表2 选取样本的5 种精度指标值

图5 中，图5（a）所示部分烟草曝光不均匀，有些作物与烟草光谱相似；图5（b）所示的是道路、烟草、建筑物以及一些其他植物；图5（c）所示的烟草种植密度不同，生长状况良好。从图5 和表2可以看出，在示例5（a）的数据中，Xception 主干网络在所有的5 个指标中得分最高，对于曝光不均匀的场景有很好的效果；从视觉比较可以看出，其他3 个主干网络都存在误识别的情况，一些接近烟草光谱的作物被错误地检测为烟草；在示例图5（b）的数据中，Xception 主干网络除了precision指标略低于MobilenetV2 主干网络，在其他指标中得分最高，4 种主干网络都存在不同程度的漏检，其中Xcepton 主干网络漏检的区域最小；在示例图5（c）的数据中，MobilenetV2 主干网络在Precision、F1 和IoU3 个指标中得分最高，且得到的结果与标记图像更加一致；从识别结果来看，Xception、MobilenetV1 和MobilenetV2 主干网络都存在不同程度的漏检，而Resnet50 主干网路存在一定程度的错检，但从表2 可以看出，4 个主干网络在5 个指标中的得分相差较小。

结合图5 和表2 可以看出，利用4 种不同的深度学习的主干网络对不同场景下的烟草种植区域进行语义分割可以得到较好的结果；但是不同的主干网络在不同的情况下仍然有一定的性能差异。

3 结语

本文主要探讨了深度语义分割方法在高原山区烟草种植面积自动提取中的应用潜力。使用DeeplabV3+为主要模型，采用Xception、MobilenetV1、MobilenetV2 和Resnet50 共4 种主干网络的深度语义分割方法，采用已有烟草数据集进行实验。实验结果表明，与传统的面向对象的图像分析方法相比，深层语义分割方法不需要特征选择和优化，具有较高的自动化程度和较好的通用性。实验效果较为理想，但仍有一些问题需要进一步研究：

（1）具有相似光谱特征的杂草或作物很容易被错误地识别；

（2）对于图像中出现的漏检与错检现象，可以进一步考虑结合形态学方法提高提取精度；

（3）不同分辨率的无人机影像是否具有相似的效果有待进一步探究；

（4）深度学习的特点在于其泛化性，对于以上方法的泛化性能值得进一步研究。