基于无人机遥感和深度学习的松材线虫病疫木自动提取方法研究*

时启龙,黄石明,张明霞,肖欣,喻俊,徐健，邱琳

(1.江西师范大学 鄱阳湖湿地与流域研究教育部重点实验室,江西 南昌 330022；2.江西省林业资源监测中心,江西 南昌 330046；3.江西师范大学 地理与环境学院，江西 南昌 330022)

松材线虫病(Bursaphelenchusxylophilus)是一种由松墨天牛(Monochamusalternatus)携带传播松材线虫而引起的一种毁灭性病害[1]，经过该病害侵染后的松树会因为维管系统失去水分输导功能而快速萎蔫死亡[2]。松材线虫病于1982年首次在我国南京市发现[3-4]，而后疫情不断扩展蔓延，造成松树大量死亡。据统计，自松材线虫病入侵以来已累计致死松树达数10×108株，造成的直接经济损失和间接经济损失上千亿元，松材线虫病已成为近40 a来我国发生最严重、最危险的重大林业病害[5]。

松材线虫病具有蔓延速度快、发病时间短、致死率高等特点，如不能及时对松材线虫病疫情进行有效防控，将会在短时间内造成林区内松树(Pinus)的大面积死亡[6]。感染松材线虫病的疫木最明显特征就是林木出现枯萎、色变等异常现象，一般可以通过目视进行判断。早期对松材线虫疫情的监测由于受技术水平的限制，外业调查主要依靠林业技术人员对发生疫情的区域进行野外勘察，不仅工作量巨大，而且数据失真，对指导松材线虫病防控收效甚微[7]。20世纪70年代末，很多研究机构和学者开始将卫星遥感技术应用于林业病虫害监测方面，如美国应用卫星遥感技术监测病虫害侵害阔叶林的面积和程度等[8]。Nelson等[9]、Rencz等[10]曾利用Landsat MSS数据监测舞毒蛾(Lymantriadispar)、山松甲虫(Dendroctonusponderosae)对森林的侵染，并分析不同波段间准确率的差异。日本1982年也开始研究应用美国资源卫星调查森林病虫害[11]。我国将遥感技术用于病虫害监测起步较晚，20世纪90年代初，戴昌达等[12]在安徽省应用TM图像进行了越冬代松毛虫(Dendrolimussp.)灾害的监测应用研究，并输出区分松毛虫危害的重害、轻害、无害、非林地四类分布图。武红敢等[13]、池天河等[14]、杨存建等[15]等也对松毛虫灾害的TM影像监测技术进行了深入研究。因受制于遥感影像分辨率的影响，基于卫星遥感开展松材线虫疫情监测的应用依然难以有效进行[16]。近几年来，无人机遥感监测技术因其具有机动灵活、实时性强等优势，作为卫星遥感技术的有力补充手段而得到广泛应用[17]。如：刘遐龄等[18]基于无人机拍摄的高分辨率遥感图像，采用目视判读、模版匹配2种方法分别对疫区松材线虫病危害木进行遥感识别，相较于目视解译的传统信息提取方式，模版匹配方法在精度和效率方面具有明显优势,能有效提高松材线虫病危害木的监测效率；武红敢等[19]利用无人机遥感技术分析了枯死松树的空间分布状况，总结了在地形复杂山区开展低空遥感监测的经验和对策；吕晓君等[20]、Hu等[21]、Iordache等[22]利用无人机遥感来高效监测松材线虫病害的发生。

虽然无人机遥感技术的发展有效地提高了遥感图像的分辨率和精度，但仍然未根本解决需要人工辅助而导致的工作强度大、效率低等问题。随着人工智能技术的出现，多种基于深度学习的目标检测算法逐步在森林病害识别领域得到应用[23]。黄华毅等[7]基于无人机遥感技术，利用Fast R-CNN深度学习模型提取了松材线虫病死木的分布位置。李浩等[24]和 Deng 等[25]均基于无人机遥感和深度学习框架对病枯死松树进行判别，取得了不错的效果。上述研究多是通过实例分割的方法对松材线虫疫木进行目标检测。本项目从语义分割的角度基于无人机遥感技术和深度学习框架，利用U-Net和SegNet模型算法对江西省赣州地区的马尾松(PinusmassonianaLamb.)松材线虫疫木进行自动识别提取，为松材线虫疫木监测提供了一种快捷有效的方法，能够较大程度减少人工识别和调查的工作量，具有较高的应用前景。

1 研究区域概况

研究区选择江西省南部赣州地区，其森林资源丰富、植被覆盖率高，尤其是马尾松林面积比较大，主要分布于赣州北部的兴国县、于都县、赣县区等地，多为20世纪七八十年代的马尾松飞播林，生长环境以土壤比较贫瘠的高山陡坡为主，其生态意义十分重要。根据2020年国家林业局公告，赣州地区除石城县外，其他各县市区均被列为松材线虫病疫区，按发生程度划分等级：兴国县、于都县、上犹县、南康区和信丰县为重度区，章贡区、瑞金市、会昌县、安远县、寻乌县、定南县和龙南市为中度区，崇义县、大余县、宁都县、赣县区和全南县则为轻度区。近年来，当地林业主管部门采取了多种防治措施，但由于马尾松林分布范围广、所处地理环境复杂，松材线虫病扩散蔓延的强劲势头并没有得到有效遏制。

2 数据和方法

2.1 航测摄影

本研究选取赣州地区松材线虫疫情比较严重的区域，分别于2020年10月、2021年5月和9月开展了50余架次航测，航测面积约20 km2，涵盖了马尾松纯林和混交林。在航测区选取有代表性和典型性的区域部署了6个野外采样点，其中马尾松纯林1个，混交林5个；每个采样点设置一个50 m×50 m的正方形样地，航测的同时，分别对样地内的林木进行调查记录。航测摄影选用精灵PHANTOM 4 RTK无人机，定位精度为垂直1.5 cm+1 ppm(1 ppm是指飞行器每移动1 km，误差增加1 mm)，水平1 cm+1 ppm，平均地面采样分辨率为0.1 m。航测摄影作业时间选在晴朗无风天气的10:00—11:30和14:30—16:00,以防止拍摄的影像出现变形和过度曝光。航测完成后，首先对影像进行质量检查，剔除质量较低的影像，然后经过影像拼接和正射校正等处理，形成无人机正射影像图，见图1。

2.2 构建样本数据库

基于深度学习的目标识别是计算机自动从大量图像样本数据库中去学习目标事物的内在特征，并进行特征提取，从而实现目标识别。构建训练样本数据库是进行深度学习目标识别的基础，样本数据库的质量直接关系到目标识别的准确程度。本研究以被松材线虫感染的疫木为目标，通过面向对象提取和人工校核的方式对图像进行标注，并以256×256像素大小对图像和标签进行裁剪，然后以8︰2的比例将图像随机分成训练集和验证集，从而构建出包括图像和相应标签的深度学习样本数据库，样本数据库共包括2000对图像和标签。

样本标注

2.3 构建深度学习模型

深度学习模型的构建是一个循环训练和不断进行参数调整及优化的过程，通过对所建立的庞大训练样本数据库进行循环迭代训练，计算机将根据训练样本数据库的图像特征构建深度学习图像识别函数，并通过大量的训练来不断计算和调整模型函数间的关系，从而构建出精度较高的深度学习模型。对于后期不断增加的训练样本数据库，计算机将通过迁移学习的方式来对已有的深度学习模型进行继续训练，从而不断提高模型精度。本研究基于Google公司发布的TensorFlow深度学习框架，构建了两种当前图像识别领域识别效果较好且模型结构相似的卷积神经网络，具体如下。

(1)U-Net神经网络 U-Net神经网络模型是一个有监督的端到端的图像分割网络，由弗莱堡大学Olaf在ISBI举办的细胞影像分割比赛中提出。其网络结构形式如字母U，故命名为U-Net，网络主要由两部分构成，编码层和解码层，前者主要用于提取图片的上下文信息，后者用于对图片中感兴趣区域进行精准定位。

(2)SegNet神经网络 SegNet神经网络是由剑桥大学团队开发的图像分割网络，也是一个对称性卷积神经网络，中间由pooling层与upsampling层作为分割，左边卷积层用于提取高维特征，并通过pooling层使图像变小，右边是反卷积与upsampling层，通过反卷积层使得图像分类后特征得以重现，并利用upsampling层使图像变大，最后通过Softmax分类器，输出不同分类的最大值。

本研究所构建深度学习模型初始学习率均设置为1e-5，损失函数采用“categorical_crossentropy”函数，批处理大小为50，训练迭代次数100次。

2.4 验证精度指标

本研究对深度学习模型所提取的结果采用的精度评价指标为精确率(P)、召回率(R)，以及二者之间的调和平均值(F),这3种指标在一定程度上可以客观反映所构建深度学习模型的精度，公式如下。

式中：TP表示正确检测为松材线虫疫木的像素数量，FP为实际不为松材线虫疫木但被检测为松材线虫疫木的像素数量，FN为实际为松材线虫疫木但未检测出的像素数量。

3 结果与分析

3.1 模型训练精度分析

本研究分别对所构建U-Net和SegNet神经网络模型进行了迭代训练，其训练精度如图2所示。U-Net神经网络模型总训练时间为23.5 h，训练精度为95.31%，训练损失为0.19，验证精度为94.52%，验证损失为0.27。SegNet神经网络模型总训练时间为68.3 h，训练精度为96.47%，训练损失为0.13，验证精度为88.93%，验证损失为0.53。通过训练数据对比，U-Net网络模型和SegNet网络模型训练精度均超过了95%，SegNet网络模型验证精度要低于U-Net网络模型，而且通过其训练损失和验证损失来看，SegNet网络模型在训练过程出现了过拟合现象。另外从模型训练时间来看，在相同训练样本和初始设置的情况下，SegNet网络模型训练时间比U-Net网络模型多了44.8 h，模型训练效率比较低。

图2 模型训练精度图Fig.2 Model training accuracy

3.2 模型验证精度分析

为验证上述两种神经网络模型对松材线虫疫木的识别能力，本研究选取于都县狮公岩约2 km2区域，开展了预测，其提取效果及验证精度指标如图3和表1所示，U-Net网络模型精确率为81.36%，召回率为83.12%,调和平均值为82.23%，SegNet网络模型精确率为75.21%，召回率为76.84%，调和平均值为76.01%，U-Net网络模型验证精度指标明显高于SegNet网络模型。从图上也可以直观看出，两种神经网络模型对松材线虫疫木均有一定的识别能力，所提取的松材线虫疫木图斑范围也基本与疫木树冠边缘吻合，但就整体情况而言，U-Net网络模型提取效果相比SegNet网络模型要更好一些。

图3 两种模型提取结果比Fig.3 Model extraction results

表1 两种模型的验证精度Tab.1 Model validation accuracy %

同时，从松材线虫疫木提取效果图上我们也看到，两种神经网络模型均存在疫木遗漏和误判的现象，这主要由于前期在训练样本标注的时候，疫木边界范围标注不准确，以及训练样本中存在漏标注疫木等原因造成的。另外，U-Net神经网络模型属于FCN的一种变体，采用图像patches进行训练，部分解决了样本数据不足的问题，而SegNet神经网络模型则需要基于更多的样本数据来减少网络过拟合现象的出现。在后期研究中我们将继续提升样本的数量和质量，并对模型结构和模型参数进行调整和优化，以提高模型的识别能力和泛化能力。通过本研究也充分说明，利用深度学习模型对松材线虫疫木开展识别是可行的，具有较高的应用潜力和推广价值，尤其对于大规模、大范围的松材线虫疫木调查，具有很强的辅助作用，可以大大减轻人工识别和外业调查的工作量。

4 讨论与结论

在林业日常管理中，对松材线虫病疫木的监测重点是发现疫木的位置和分布，进而对疫木进行采伐、掩埋或焚烧等处理。本研究通过语义分割的模式构建了U-Net和SegNet两种卷积神经网络模型，通过研究发现，U-Net网络模型和SegNet网络模型在训练过程中训练精度均超过了95%，但U-Net网络模型验证精度要高于SegNet网络模型，SegNet网络模型在训练过程中出现了过拟合现象，从而影响该模型的验证精度；通过对两个模型进行预测应用，结果显示，U-Net网络模型识别效果要优于SegNet网络模型；同时，U-Net网络模型可以基于少量的训练样本，构建出精度较高的预测模型，而SegNet网络模型则不能，这也是U-Net网络模型使用日益广泛的原因。但同时也不难发现，虽然基于语义分割的深度学习模型可以获取疫木的分布位置和面积，却无法对疫木个体进行识别，难以获得疫木的具体数量。今后，将结合实例分割深度学习模型对松材线虫疫木的分布和数量展开进一步研究，以期获得更好的结果。

此外，随着计算机和信息化技术的发展，人工智能技术在多个领域均取得了长足的进展，如在无人驾驶[26]、医疗诊断[27]、人脸识别[28]和语音识别[29]等方面均获得了不错的效果。近几年不少研究人员，如龚健雅等[30]、张翠军等[31]、黄华毅等[7]开始将人工智能引入遥感图像智能识别领域，包括遥感地物识别、遥感变化检测、植物病虫害检测等，均取得了一定的成绩。但由于遥感技术往往属于大尺度、大范围的监测技术，成像区域覆盖围广、覆盖环境复杂，且存在“同物异谱、异物同谱”现象，造成人工智能在遥感图像自动识别实际应用中精度还不是很高，需要配合后期的人工校核和处理。不过随着人工智能和高光谱遥感技术的不断发展，基于人工智能的遥感图像自动识别技术将会得到更加广泛的应用。