Fast R-CNN深度学习和无人机遥感相结合在松材线虫病监测中的初步应用研究

黄华毅，马晓航，扈丽丽，黄咏槐，黄焕华*

(1.广东省林业科学研究院，广州 510520；2.零晓(北京)科技有限公司，北京 100083)

松树是我国种植面积最大、分布最为广泛的树种之一。松材线虫病是松材线虫Bursaphelenchusxylophilus(Steiner & Buhere)Nickle侵染引起的松树毁灭性病害，具有破坏力强、传播迅速的特点。松材线虫病自然传播主要依赖媒介昆虫松褐天牛MonochamusalternatusHope的传播；远距离、跳跃式扩散主要通过疫木运输等人为因素(谢伟忠等, 2017)。根据国家林业与草原局2021年第5号松材线虫病疫区公告，松材线虫病目前已广泛传播至我国大陆的17个省(市、自治区)的721个县级疫区(较2020年度新增县级疫区63个)(国家林业与草原局, 2021)。松材线虫病的发生具有随机性和突发性，而其防控工作又具有长期性、艰巨性和复杂性的特点，因此第一时间发现疫情并了解其危害情况是松材线虫病防控的关键(马跃等, 2014)。

我国松林分布区大部分处在松材线虫病的适生区，面临着松材线虫病的潜在威胁，迫切需要能灵活、高效、大面积监测松材线虫病疫情的技术手段(冯益民等, 2009; 韩阳阳等, 2014)。以往松材线虫病监测主要以人工地面调查为主，但由于松林大多处于山高、路陡、林密的地区，导致人工地面调查成本高、效率低，在林间又难以覆盖所有病枯死松树，导致遗漏现象普遍，从而难以精确掌握疫情发生动态情况(张红梅等, 2017)。卫星遥感在森林病虫害监测上已有广泛的应用，如可用于森林病虫害定量检测的高分五号卫星数据(陶欢等, 2020)。但卫星遥感易受空间分辨率、大气影响和重访周期的限制，难以灵活获取松材线虫病监测的高精度影像，对于特定时间窗口单株树级别的变色松树监测难以准确定位(Xueetal., 2017)。无人机遥感作为一种快速、实时、可靠且便于大面积覆盖的监测技术，克服了地面调查和卫星遥感监测的不足，并可根据监测工作的技术要求灵活调整分辨率和采集数据种类，有针对性的获取不同的植被特征；伴随着无人机稳定技术和定位技术的发展，无人机遥感图像和定位技术也得到了显著的提升。目前，国内外已有大量研究和应用结果表明采用无人机遥感能够高效监测松材线虫病。吕晓君等(2016)利用无人机遥感分别对小蠹虫和松材线虫致死的变色枯死松树进行低空监测，通过人工判读定位标示出了大量疑似枯死松树。武红敢等(2019)利用无人机遥感分析了重庆市沙坪坝区松材线虫病发生情况。Hu等(2020)、Deng等(2020)和Iordache等(2020)均利用无人机遥感来高效监测松材线虫病的发生。

通过无人机遥感监测松材线虫病的过程中，早期普遍依靠人工目视法来寻找和定位病枯死松树。李卫正等(2014)利用小型无人机获得遥感影像，采取人工目视法并结合GeoLink软件寻找和定位出病枯死松树，基本满足人工现场采伐的精度要求。通过利用病枯死松树的一些植被特征，建立简单的机器学习算法进行特征筛选，从而实现对病枯死松树的检测和定位，有效提高了松材线虫病监测的效率，降低了成本。张学敏等(2014)利用3种支持向量数据描述的方法识别病枯死松树，可在无人机可见光和红外图像条件下对病枯死松树分类识别。刘遐龄等(2019)利用模板匹配法对无人机遥感影像中的病枯死松树进行识别。刘金沧等(2019)证明CRF方法能高效判别可见光遥感图像中的病枯死松树。陶欢等(2019)基于“色调-饱和度-明度”(HSV)的阈值分割法来识别病枯死松树。黄焕华等(2018)、都本绪等(2018)和曾全等(2019)通过归一化植被指数(NDVI)运算均高效识别和定位出了无人机遥感中的病枯死松树。随着深度学习的出现，多种基于深度学习手段的目标检测算法逐步在森林病害识别和目标分级分类等领域广泛应用，如YOLO、R-CNN、SDD等算法(刘嘉政等，2019)。李浩等(2020)和Deng等(2020)均利用Faster R-CNN深度学习框架对无人机可见光遥感影像中的病枯死松树进行判别，最终判别的正确率分别达到83.2%和90%。深度学习技术相比传统的机器学习能有效改善计算重复和效率低下的问题，与无人机遥感相结合检测和定位松材线虫病枯死松树的技术方法，是松材线虫病监测技术研究和应用的热点方向。

松材线虫病疫情的越早发现，有效防治措施实施的越快是阻止其传播和危害的重要策略，可大大减少其对生态环境的破坏和造成的经济损失。本研究利用小型固定翼无人机采集松材线虫病疫点可见光和多光谱的航摄影像，结合Fast R-CNN深度学习算法对无人机遥感影像中的病枯死松树进行检测和定位，获得病枯死松树的分布地图及坐标点位置，研究结果可为无人机大面积监测松材线虫病的发生现状和流行动态、评估防控效果和灾害损失提供技术支撑。

1 材料与方法

1.1 试验地点和航摄设备

1.1.1试验地点

位于广东省河源市新回龙镇松材线虫病发生区，松林面积为430.0 hm2，其四角经度、纬度分别为：西北角(114°30′24.63″，23°44′5.32″)、东北角(114°30′57.23″，23°44′22.64″)、东南角(114°30′35.83″，23°43′50.99″)和西南角(114°29′6.69″，23°43′19.70″)。

1.1.2航摄设备

航摄影像采集选用SFW-15型固定翼无人机，搭载索尼A6000相机作为拍摄可见光和多光谱影像的照相机，近红外波段为840 nm，相机效像元数高于2 430万像素，支持GPS功能，配置35 mm定焦镜头，在一定高度作业可以获取影像的地面分辨率0.1 m。

1.2 无人机航摄环境条件及实施情况

无人机航摄时间为2018年10月20日。在航摄过程中，天气条件为20～29℃，多云，微风，无持续风向，空气质量良好。航摄高度为450 m，航向重叠率在74.45%～76.90%之间，旁向重叠率在62.48%～63.64%之间；采用垂直摄影，往复直线飞行；速度是75 km/h，时长为15 min。

1.3 不同健康状态松树分类

根据松材线虫侵染危害松树后，松树针叶颜色变化情况，将被松材线虫病危害的松树分为病树和枯死树，其中病树是指针叶变成橙黄色至红褐色时期的松树(图1-B)；枯死树是指病树在林间未及时清理后，针叶变成灰白色时期的松树(图1-C)。而松树针叶呈现绿色的表示未受松材线虫危害的健康松树(图1-A)。

图1 不同健康状态松树

1.4 航摄影像的处理和分析

1.4.1航摄采集影像数据的处理

采集完航摄图像数据后，首先对航摄图片质量进行检查和处理，剔除质量较低的图片，同时对质量合格的照片进行预处理，包括自动校正照片的白平衡；降低航拍时太阳光照对地面的影响；修正镜头畸变造成的像素偏移等。随后采用拼图软件LAMapper对航摄影像进行全分辨率拼接，包括对可见光和多光谱的空中三角测量和像素匹配处理，获得正摄影像图。

1.4.2瓦片图的生成和筛选

对拼接形成的正摄影像图进行切割，生成20级的256×256像素的瓦片图，并在遥感软件ERDAS中生成瓦片图的归一化植被指数(Normalized difference vegetation index，NDVI)、加强型归一化植被指数(Enhanced normalized difference vegetation index，ENDVI)和植被异常指数(Ailingx vegetation anomaly index，AVAI)。将生成的瓦片图先分成3大类，分别为植被瓦片图、水域瓦片图和土地瓦片图，其中因为水泥地、房屋、道路等的指数特征和土地的指数特征相似，所以均将其列为土地瓦片图。通过统计和对比不同类型瓦片图的NDVI指数和ENDVI指数的特征值，剔除非植被瓦片图；再将植被瓦片图细分为不含病枯死松树的健康植被瓦片图和含病枯死松树的异常植被瓦片图，通过统计和对比不同类型瓦片图的AVAI指数的特征值，进一步剔除健康植被瓦片图，最终留下筛选后的瓦片图数据。

1.4.3病枯死松树的自动化识别和定位

利用筛选下来的瓦片图建立病树和枯死树的标准集，所建立的标准集包含了100株病树和100株枯死树的标准集样本，将标准集喂给Fast R-CNN框架进行训练，并获取输出，之后对参数进行调整，直到梯度不再下降变化，得到结果模型；将筛选下来的瓦片图数据输入模型进行运算，自动化识别出病枯死松树，并得到病枯死树的定位信息，最后将瓦片图和自动化识别结果加载至AilingxForest软件系统内，来进行数据可视化展现和交互。

1.5 识别的正确率及定位精度的验证

为验证自动化识别病枯死松树的正确率及定位的精度，在AilingxForest软件系统中对标记出的病枯死树的标记点进行检验，分别选择100个病树标记点和100个枯死树标记点，通过局部放大检验是否有病枯死松树存在，计算正确率；在正射影像图中分别选取面积大小为35.6 hm2的区域，该区域包含三个部分，分别分布在正射影像图的东部、西部和南部，通过局部放大后人工目视判读统计所选区域病枯死数量，与同一地区自动化识别的病枯死松树的数量进行对比，检查自动化识别的漏检率；在航摄区域内的林道两侧，采用GPS仪测定识别出的病枯死树的坐标点，与自动化提取的坐标点数据进行比对分析，检查自动化识别的定位精度。

2 结果与分析

2.1 航摄数据采集及拼接

本次航摄采集了航摄区域的可见光图像、近红外图像和NDVI图像，对航摄影像进行全分辨率拼接处理获得正摄影像图(图2)。对选取正摄影像图的可见光图像中的部分区域进行放大分析，检查其航拍质量和分辨率，能有效分辨出单株病枯死松树，表明数据采集质量精度达到后期分析要求(图3)。

图2 拼接获得的可见光图像(A)和NDVI图像(B)

图3 航摄精度效果图像

2.2 瓦片图的筛选

统计分析结果显示植被瓦片图的NDVI指数和ENDVI指数的特征均值分别为0.0056和0.0556，而水域瓦片图的NDVI指数和ENDVI指数的特征均值分别为-0.6722和-0.2231，土地瓦片图的NDVI指数和ENDVI指数的特征均值分别为-0.4678 和-0.1035(图4)。因此，结合NDVI指数和ENDVI指数的特征值，可从瓦片图中较好的剔除非植被瓦片图。统计分析健康植被瓦片图和异常植被瓦片图的AVAI指数的特征值，结果显示健康植被瓦片图的AVAI指数特征均值为0.1372，而含病枯死松树的异常瓦片图的AVAI指数特征均值为0.0858(图5)，因此，利用AVAI指数特征差异在一定范围内可剔除健康植被瓦片图。

图4 不同类型的瓦片图

图5 不同类型的植被瓦片图

2.3 病枯死松树的识别和定位

利用建立的Fast R-CNN模型，对本次航摄区域的病枯死树进行自动化识别和定位，共自动化识别出病枯死松树794株，其中病树有227株，枯死树有567株，同时获得其坐标点位置，航摄区域病枯死松树的分布标示如图6。

图6 病树和枯死树识别分布标示图

2.4 识别的正确率及定位精度的验证

选择的100个病树标记点和100个枯死树标记点，通过局部放大检验能发现有病树和枯死树的数量分别为90株和82株，识别的正确率达到90%和82%。通过人工目视判读检验发现所选的正摄影像局部区域共有病树和枯死树分别为86株和264株，其中自动化识别出病树和枯死树分别为66株和174株，漏检的病树和枯死树分别为20株和90株，自动化识别的病树的漏检率达到23%，枯死树的漏检率达到34%。根据50株病枯死松树自动化提取的位置信息与GPS实测位置信息比对，坐标点位置的平均水平误差为3.06 m，其中最大水平误差为7.07 m，最小为0.79 m，因此利用识别出的病枯死树的坐标信息能够准确找到对应的病枯死松树。

3 结论与讨论

本研究通过小型固定翼无人机采集低空遥感航摄影像并拼接形成正摄影像图，包括可见光和多光谱图像，将拼接形成的正摄影像图切割生成20级的瓦片图，利用NDVI、ENDVI和AVAI指数对瓦片图进行筛选，剔除非植被瓦片图和健康植被瓦片图，建立Fast R-CNN模型对筛选后的瓦片图进行运算，检测和定位病枯死松树，最终自动化识别出病枯死松树794株，其中病树有227株，枯死树有567株，并获得其坐标点位置。本研究是在2017年研究的基础上，对自动化识别技术的进一步改进而形成的新的技术手段。2017年的自动化识别技术是单纯使用NDVI指数进行枯死松树的筛选，主要包括NDVI阈值筛选、去噪声和对照RGB筛选三个主要步骤，枯死树的模式特征是人为筛选的，导致主观影响因素影响大，在缺少专业技术人员的情况下难以保证识别的准确性(黄焕华等, 2018)。而本研究是利用深度学习网络让计算机自动学习出病枯死松树的模式特征，并将特征学习融入到建立模型的过程中，从而减少了人为识别特征造成的不完备性，因此通过机器的不断学习，其识别的准确性也会逐步提高，同时也不受专业知识的限制，能够更好的推广应用。

本研究对松材线虫病危害的病树和枯死树自动化识别的正确率分别达到90%和82%，正确率很高但依然存在一定的误差，而导致的这些误差的原因主要是相似样本的干扰。对于病树来说主要是非松树的枯黄植物和部分变色植物的干扰，对于枯死树来说主要是其他枯死植物(丛竹、杉木等)的干扰较多(李卫正等, 2014; 吕晓君等, 2016)。虽然本次自动化识别的正确率较高，但识别的漏检率却不是很理想，病树和枯死树分别达到23%和34%，漏检率较高的原因主要有两方面：第一，是松材线虫病的发病是一个渐变的过程，不同时期的针叶变化差异较大。对于病树，早期针叶是微黄色，中期是黄褐色，后期就是红褐色；对于枯死树，早期针叶未脱落时呈现明显的灰白色，而后期针叶脱落后就呈现浅黑色且冠层不明显(王震等, 2007; 徐华潮等, 2011)。第二，前期瓦片图分割时不够精细，一个瓦片图包含多株松树，同时部分病树和枯死树是2株或多株连在一起，从而导致一个瓦片图中可能包含多株病树和枯死树，然而识别的时候一个瓦片图只输出一个数据和坐标点。因此，要提高自动化识别的正确率，应该积累更大范围的病枯死松树症状样本和变色树种及其他非松材线虫病枯死松树特征样本，分析变色树种的特征和其他非松材线虫病枯死松树特征与松材线虫病枯死松树症状的区别，寻找相关差异特征因子，排除非病枯死松树的干扰(梁益同等, 2003; Bernietal., 2009)。而要降低漏检率，首先需要增加病枯死松树的不同时期的标准集的样本量，对模型进行进一步优化和调整，使模型能全面覆盖病树和枯死树的不同时期的特征；另外对瓦片图进行进一步的细分，最大限度实现一个瓦片图中只包含一株病树或枯死树，但瓦片图越细分，出现一株树被分割在不同瓦片图上的概率越高，最终也会影响识别效果。通过多种措施的改进，理论上能够逐步提高识别的正确率，降低漏检率。

目前，使用无人机搭载多种类型的传感器(可见光、红外、多光谱和高光谱相机、激光扫描仪等)在森林资源调查和评估、荒漠化和沙化监测、森林巡护、林业执法、森林病虫害监测、森林火灾预警及现场指挥、自然灾害灾后评估等方面的应用越来越普遍(赵国帅, 2017)。利用无人机低空遥感和自动化识别技术检测和定位松材线虫病危害的病枯死松树，能显著提高松材线虫病监测的效率和客观性，能有效监测松材线虫病疫情的发展动态，为松材线虫病的应急除治提供依据；同时也为松材线虫病灾害损失和防治效果评价提供客观、准确的依据，为评价各级政府部门落实松材线虫病等重大林业有害生物防控目标责任、生态环境损害责任，以及森林自然灾害保险理赔等提供客观依据。本研究的结果表明Fast R-CNN深度学习和无人机遥感相结合能高效检测和定位松林中松材线虫病危害的病枯死松树，为大面积监测松材线虫病的发生现状和流行动态、评估防控效果和灾害损失提供技术支撑，具有重要意义。