无人机遥感影像的YOLOv3鼠洞识别技术*

崔博超 郑江华 刘忠军 马 涛 沈江龙 赵雪迷

(1.新疆大学资源与环境科学学院 乌鲁木齐 830046；2.新疆大学绿洲生态教育部重点实验室 乌鲁木齐 830046； 3.新疆林业有害生物防治检疫局 乌鲁木齐830000)

生态环境是人类文明存在和发展的基础，新疆作为丝绸之路经济带核心区，生态环境保护在新疆的发展战略中占有重要的地位；古尔班通古特沙漠作为中国最大的固定半固定沙漠，其荒漠林作为沙漠边缘城市的前沿保护地带和天然生态屏障有着防风固沙、改良土壤的重要作用，是维系新疆北部城市整体生态环境安全的重要保障。然而近十几年来，作为三大林业生物灾害之一的鼠害，在新疆每年平均发生面积约为414.57万hm2(康淑红等，2015)，给林业资源和生态环境保护造成重大损失。古尔班通古特沙漠边缘的荒漠林长期受到鼠害的严重威胁，导致荒漠化加剧，畜牧业生产受到阻碍，生态环境持续恶化(冯文武等，2014；陈梦等，2014;梁倩玲等，2015)。大沙鼠(Rhombomysopimus) 是古尔班通古特沙漠边缘荒漠林中最主要的害鼠，其大面积的采食和掘洞行为造成荒漠林灌木植被枯死，土壤沙化，风沙四起，严重影响周围居民的日常生活。不仅如此，大沙鼠还易造成鼠疫等流行性传染病的大范围传播，威胁人类的生命安全(盛兆湖等，2015；Kausrudetal.，2007)。

新疆鼠害发生区多在人烟稀少、交通不便的荒漠林，危害面积大、鼠洞数量多，在统计调查鼠洞数量及分布情况时费时费力。因此，寻求一种自动、准确、高效的统计调查方法刻不容缓。与传统的人工地面调查相比，遥感是一种高效、准确的识别鼠洞技术。目前在国内外已有学者将遥感探测技术应用于鼠害监测，并取得了一定的成果。黄建文等(2004)基于TM卫星影像对比梭梭(Haloxylonammodendron)林区中荒漠大沙鼠鼠害防治前后的土壤调节植被指数变化为鼠害防治和监测提供科学依据；Addink等(2010)利用quickbird卫星建立了鼠洞监测系统；徐正刚(2013)运用MODIS 卫星影像提取湖南洞庭湖区绿色植被的植被指数，并根据年季间指数的变化预估洞庭湖区东方田鼠(Microtusfortis)的暴发情况；本研究团队自2013年开始低空遥感监测鼠洞和鼠害，并取得了一些成果：轩俊伟等(2015)运用动力三角翼飞行器对鼠害区进行航拍，在遥感目视解译的基础上获取试验区鼠害的空间分布及危害程度情况；温阿敏等(2018)运用UAV低空遥感对荒漠林大沙鼠鼠洞进行监测，探究大沙鼠低空遥感影像的最佳解译方法；马涛等(2018a；2018b)运用无人机(UAV)低空遥感，基于遥感目视解译对荒漠林大沙鼠洞群覆盖率及分布特征进行研究，同时还探究荒漠林大沙鼠鼠洞分布与地形的关系。周晓琳等(2018)运用UAV低空遥感结合面向对象的模板匹配法和支持向量机法对草原鼠洞进行识别定位，2种方法的准确度分别在89%和90%左右；孙迪等(2019)运用极大似然法和面向对象分类方法提取鼠洞，2种方法的准确度分别为69%和91%。上述研究体现了在利用低空遥感对鼠害进行监测研究时的实时性，灵活性，但在解译鼠洞时，大都使用目视及传统机器学习方法进行解译，目视解译虽然保证了准确率，但其需花费大量时间，对监测的实时性有较大影响。传统机器学习方法在一定程度上保证了监测的实时性，但在准确率方面仍有较大的改进空间。

将机器视觉与无人机遥感相结合运用于荒漠林大沙鼠鼠害调查与防治是一种新的研究思路。目前国内已有大量学者利用无人机作为遥感平台结合机器视觉进行科学研究。郑二功等(2018)运用无人机遥感结合FCN框架对玉米(Zeamays)倒伏区域进行影像提取；王术波等(2018)运用无人机遥感结合卷积神经网络对生态灌区内杂草进行检测分类；杨红艳等(2019)运用无人机遥感结合卷积神经网络对荒漠草原物种进行分类；孙钰等(2018)运用无人机遥感结合精简的SSD300框架对森林虫害进行实时监测。上述研究体现出无人机遥感结合机器视觉在生物监测方面的显著优势，无人机低空遥感弥补了卫星遥感在空间分辨率及时间分辨率上的不足，而机器视觉拥有自动、准确、高效等特点，两者的结合可以弥补传统调查监测的不足，更好地运用于新疆鼠害的调查研究中。

本文以新疆古尔班通古特沙漠南缘典型荒漠林大沙鼠鼠洞作为研究对象，基于无人机低空遥感对鼠害区域进行航拍，运用YOLOv3和YOLOv3-tiny目标检测框架对鼠害区域的鼠洞进行检测定位，高效监测荒漠林大沙鼠鼠洞的分布情况。

1 数据与方法

1.1 研究区概况 研究区位于新疆阜康市，如图1所示，2块试验样地均属于古尔班通古特沙漠南缘的荒漠林大沙鼠典型危害区。第1块试验样地为1 km×1 km，中心经纬度为44.583°N、88.160°E；第2块试验样地为2.4 km×1.5 km，中心纬度为44.413°N、87.857°E。研究区内多为固定沙丘与半固定沙丘，固定沙丘上植被覆盖度为40%～50%，半固定沙丘上植被覆盖度为15%～25%，植被多为梭梭、柽柳(Tamarixchinensis)、蛇麻黄(Ephedrasp.)、盐爪爪(Kalidiumfoliatum)等。

1.2 数据采集 以古尔班通古特沙漠南缘的荒漠林大沙鼠典型危害区鼠洞作为识别对象。第1块试验样地的数据采集时间为2015-10-12，无人机选择型号为DOPSV360的固定翼无人机，携带传感器为索尼NEX7相机，共拍摄空间分辨率为2.4 cm的航空正射影像1 632张；第2块试验样地的数据采集时间为2016-05-13，无人机同上，传感器为索尼ilce-7m相机，共拍摄空间分辨率为2 cm的航空正射影像1 079张。2次拍摄的航向重叠度设定为65%，旁向重叠度设定为35%。2次拍摄均为晴天，无风。无人机及搭载传感器详细参数见表1。

表1 航拍设备参数Tab.1 Aerial equipment parameters

1.3 数据集建立 2次航拍共获取2 711张航空正射影像，首先运用目视解译和ENVI5.3软件选取符合数据集要求的数据坐标点共1 011个，而后将航拍影像和1 011个坐标点以文本文档的形式输入至ExtractInterface软件中,裁剪出空间分辨率为416×416像素的1 011张影像作为样本集，最后运用编程语言python，随机挑选出其中811张作为训练集，剩余200张作为测试集。所有图像的标注工作通过图像标注工具Labelling完成，标注内容为大沙鼠鼠洞的矩形框坐标及分类信息，如图2所示。对于在标注过程中遇到一些混淆不清、无法判断是否为鼠洞的地物，经鼠害专家鉴定确认是否为鼠洞。

图2 数据集建立流程Fig.2 Data set establishment process

1.4 YOLOv3目标检测框架 YOLO系列算法是一种基于深度神经网络的对象识别和定位算法，因其快速、准确、灵活而受到广泛关注，目前已经发展了3代(v1、v2/9000和v3)。YOLOv1是YOLO系列算法的第1代版本，其最大的特点是采用直接预测目标对象边界框的方法替代滑动窗口，将候选区和对象识别2步工作合为1步，在保证准确率的情况下提高了运行速度，但由于其对边界框预测强加了空间约束，在针对多目标识别检测和小目标识别检测时不占优势(Redmonetal.,2016)；YOLOv2/9000相对于v1，在保证识别速度和准确率的基础上，增强了识别类别的能力，从v1只能识别20类目标增加到能够识别9 000类目标。V2/9000的另一个特点是借鉴faster rcnn，采用了先验框，并在此基础上，聚类提取先验框尺度，提升了整体框架的性能。但对于重叠分类问题，v2并没有给出好的解决方案(Redmonetal.,2017)；v3在之前2代的基础上，主要做了3方面的改进：1)调整了网络结构，由Darknet-19变更为Darknet-53，Darknet-53借鉴了ResNet的思想，在网络中加入了残差模块，保证了在网络加深的同时，梯度不会消失；2)采用多个尺度进行预测，YOLOv3采用了3个不同尺度的特征图对目标进行检测，增强了对小目标检测的识别能力；3)对象分类函数由softmax替换为logistic，支持一个对象有多个标签(Redmonetal.,2018)。

YOLOv3目标检测算法通过3个版本的迭代，借鉴融合多种先进算法，解决了前2个版本的遗留问题，已经成为了目标检测领域最优秀的算法之一，其主要结构如图3所示。

图3 YOLOv3结构Fig.3 YOLOv3 structure

YOLOv3的主体网络Darknet-53由5个残差块组成，每个残差块(Res×n)由多个残差单元组成，如图3c所示。通过输入与2个DBL单元进行残差操作构建了残差单元(Res unit)，如图3b所示。其中，基础组件(DBL)单元包含卷积层(conv)、批归一化(batch normalization，BN)和带泄露整流激活函数(leaky relu)，如图3a所示。通过引入残差单元使得网络深度可以更深，避免梯度消失。在本文中，其参数量为469 MB。

1.5 YOLOv3-tiny目标检测框架 相比于YOLOv3，YOLOv3-tiny版本将主体网络架构压缩了许多，主体网络采用7层conv+maxpool构成，没有使用残差层，特征金字塔网络也只有2层。在本文中，其参数量为33.7 MB。结构如图所示。YOLOv3-tiny网络简单，计算量小，检测速度快，可在移动端或设备端运行，但其缺点也较为明显，由于网络深度不够，无法提取更高层次的语义特征，从而会影响其检测精度。

1.6 数据集目标框聚类分析 本文的研究对象是大沙鼠鼠洞，鼠洞属于小目标，而原网络定义的先验框本文的研究对象并不适用。因此,本文利用 K-means 聚类算法对大沙鼠鼠洞数据集中的鼠洞目标进行聚类分析。

YOLOV3沿用了YOLOv2所引入的Faster R-CNN中所使用的先验框的思想(Renetal.,2017)，先验框是一组宽高固定的初始候选框，对初始先验框的选择会直接影响网络对目标的检测精度和速度。本文利用k-means 聚类算法对大沙鼠鼠洞数据集中的目标框的宽高进行聚类。聚类的自定义距离函数如下：

图4 YOLOv3-tiny结构Fig.4 YOLOv3-tiny structure

d(box,centroid)=1-IOU(box,centroid)。

(1)

式中，centroid表示以簇为中心的边框,box表示样本标注框,d表示两者间的距离,IOU(box，centroid)表示以簇为中心的边框与样本标注框的交并比。本文选取k=1～9，对数据集中目标框进行聚类分析，得到k与Avg IOU(平均交并比)之间的关系如图5所示。随着k值的增大，Avg IOU逐渐增大，当k=9 时，Avg IOU达到最大值且曲线变化趋于平稳，所以选取先验框的数量为9，既可以加快损失函数的收敛，又可以消除候选框带来的误差。对应的预测框的大小设置为9个聚类中心，在大沙鼠鼠洞数据集上对应聚类中心的宽和高分别为(5，5)，(19，18)，(7，7)，(15,13)，(13,12)，(9,10)，(11,11)，(11,9)，(11,14)。

图5 k-means聚类分析结果Fig.5 k-means clustering analysis result

YOLOv3-tiny是YOLOv3的轻量级解决方案，过多的先验框会影响其检测速度，综合考虑，所以本文按照其原本设计方案，取k=6，选取先验框数量为6。对于的预测框大小设置为6个聚类中心，在大沙鼠鼠洞数据集上对应聚类中心的宽和高分别为(11,10)，(4,4)，(6,6)，(15,14)，(8,7)，(5,5)。

1.7 评价指标 采用对大沙鼠鼠洞数据集目标检测的准确率(precision,P)、召回率(recall，R)和平均精确率(average precision，AP)作为目标检测算法的评价指标(Everinghametal.,2015)。AP为准确率和召回率曲线下的面积，是评价检测模型准确性的直观评价标准，可以用来分析单个类别的检测效果。准确率和召回率的定义为

(2)

(3)

式中：TP表示检测结果为正确，即检测框和标注框类别相同且 IoU >0.5。FP表示被错误识别出的目标，FN表示未被识别出的目标。

2 结果与分析

2.1 模型的训练与调整 用于训练与测试模型的电脑安装windows10系统，搭载 Intel Core(TM)i7-7700 CPU@3.60 GHz、6 GB NVIDIA GeForce GTX 1060 GPU和16 GB运存。训练期间参数设置如下：动量参数设置为 0.9，对随机梯度下降算法进行优化，权重衰减系数设为 0.000 4，初始学习率设置为 0.001，以 16 张图像为1个批次，共训练 500个周期，每迭代10 000次学习率下降为原来的1/10。同时，为避免全局最优点在网络初始位置附近而被错过，设置burn_in参数为1 000，当迭代次数小于1 000时，学习率按照此公式更新：学习率=学习率×(迭代次数/burn_in)。训练过程运用随机水平翻转、随机图像饱和度、曝光度、色调变化、和随机图像裁剪来进行数据扩增。

更新先验框的YOLOv3和YOLOv3-tiny网络训练过程中损失函数收敛图与平均交并比曲线如图6所示：大约经过500个epoch(25 000次迭代)之后，更新先验框的YOLOv3网络与YOLOv3-tiny网络各项参数变化基本趋于稳定，YOLOv3的loss值下降到0.07左右，Avg IOU稳定在0.96左右；YOLOv3-tiny的loss值下降到0.2左右，Avg IOU的值稳定在0.92左右。基于以上参数分析，2个模型的训练结果都较为理想。

图6 损失值函数曲线和Avg IOU曲线Fig.6 Loss curve and Avg IOU curve

2.2 网络测试与对比 测试的200幅图像中共有677个大沙鼠鼠洞，运用更新先验框后的YOLOv3与YOLOv3-tiny目标检测算法在测试集上进行测试，分别计算准确率和召回率，如表2所示。

表2 不同网络目标检测结果对比Fig.2 Comparison of target detection results of different networks

YOLOv3与YOLOv3-tiny相比，对大沙鼠鼠洞的检测准确率提高到91.3%，召回率提高到94.8%。在测试集上，YOLOv3检测单张图片的平均时间为0.83 s，YOLOv3-tiny检测单张图片的平均时间为0.22 s。

在大沙鼠鼠洞数据集上，分别运用2种目标检测算法对鼠洞检测的平均精确率进行计算，YOLOv3的AP=92.37%(图7a)，YOLOv3-tiny的AP=85.86%(图7b)，YOLOv3网络的AP高于YOLOv3-tiny。

图7 YOLOv3(a)和YOLOv3-tiny(b)目标检测框架AP曲线Fig.7 YOLOv3(a) and YOLOv3-tiny(b) target detection framework AP curve

2.3 检测结果与典型错误分析 对YOLOv3与YOLOv3-tiny2种网络进行对比时，设置检测阈值为0.5，在大沙鼠鼠洞数据集上的检测结果如图8所示。对比图8a与b，YOLOv3无漏检，而YOLOv3-tiny则出现了漏检，主要原因可能是YOLOv3比YOLOv3-tiny拥有层次更深的主体网络，能够学习鼠洞及其背景更深的语义特征，但整体来看，YOLOv3-tiny也有着不错的检测结果。对比图8c与d，YOLOv3网络与YOLOv3-tiny网络均出现了漏检的情况，结合鼠洞数据集与网络情况可知，出现漏检的原因主要是由于数据集鼠洞形状数量分布不均造成的。漏检的鼠洞呈斜条状，而在数据集中鼠洞的形状大都近似圆状，斜条状鼠洞数据数量的缺少导致网络缺乏对此类鼠洞的学习，从而使得漏检发生。

图8 鼠洞(Mousehole)典型测试样本检测结果示例Fig.8 Sample test results of typical test samples for mouseholea.YOLOv3检测大沙鼠鼠洞YOLOv3 detects mouseholes of gerbils；b.YOLOv3-tiny检测大沙鼠鼠洞YOLOv3-tiny detects mouseholes of gerbils；c.YOLOv3漏检Missing detection of YOLOv3；d.YOLOv3-tiny漏检Missing detection of YOLOv3-tiny.

3 讨论

本文所使用的YOLOv3与YOLOv3-tiny网络在识别鼠洞的平均精确率分别为92.37%和85.86%，但在模型架构、参数改进和数据选择上仍有较大的改进空间。在模型架构上，由于鼠洞属于小目标，可以在残差块中添加相应的残差单元，以求能够获取更多的小目标特征信息；在参数改进上，可以尝试多种参数组合求得更优解，从而提高模型的可用性；在数据选择上，可以尝试运用小样本数据模型，在不扩大人力成本的基础上，通过小样本数据模型来扩增数据集，以期提高模型的可用性。

传统的图像分类方法如周晓琳(2018)等运用UAV低空遥感结合面向对象的模板匹配法和支持向量机法对草原鼠洞进行识别定位，2种方法的准确度分别在89%和90%左右；本团队孙迪等(2019)运用极大似然法和面向对象分类方法提取鼠洞，2种方法的准确度分别为69%和91%。与本文的方法相比，传统的图像分类方法在准确度上已无较大的提升空间。另外从监测实时性和模型通用性方面考虑，无人机影像结合深度学习监测鼠洞分布要优于传统图像分类方法，能够更好地为新疆鼠害的调查研究提供技术服务。

本研究均在实验室环境下进行，并未在野外实地进行实时监测，但YOLOv3-tiny在实验室环境下的表现使得鼠害实地实时监测成为可能，这也将是本研究团队未来继续探索的方向之一。

4 结论

1) 针对荒漠林大沙鼠鼠洞为小目标的特点，运用k-means聚类算法对大沙鼠鼠洞数据集中的目标框进行聚类分析。通过对鼠洞数据集中的目标框进行聚类分析，在一定程度上提高了目标检测框架的速度与精度，为后续框架的训练提供了基础。

2) 基于卷积神经网络的YOLOv3模型和其轻量级YOLOv3-tiny模型，通过对网络参数的修改构建适合荒漠林大沙鼠鼠洞识别的网络框架，并建立数据集对2个模型进行训练和性能测试，最终YOLOv3模型输出的平均精确率为92.37%，YOLOv3-tiny模型为85.86%，两者相差6.51%。在检测对象为大沙鼠鼠洞时，在精确率方面2个模型的差距并不太大。

3) 在同一软硬件平台下，YOLOv3的参数量为469 MB，YOLOv3-tiny的参数量为33.7 MB，后者约为前者的1/13；前者网络在本文硬件环境中检测单张图像的平均时间为0.83 s，后者为0.22 s，后者的检测时间约为前者的1/4。YOLOv3在准确率方面占据着优势，而YOLOv3-tiny在检测速度方面占据着优势。

4) 漏检的主要原因是数据集中各形态鼠洞数量不均导致漏检的情况发生。针对这种情况，在今后的研究中应运用数据扩增等手段对形态较为特殊的鼠洞数据进行处理，从而避免漏检的情况发生。

5) 将机器视觉与无人机遥感相结合运用于荒漠林大沙鼠鼠害调查与防治能够在保证准确率的基础上提高效率，弥补传统调查方法的不足。