基于无人机遥感的松材线虫病识别定位与视频会商系统开发研究

2021-02-24尤程潘洁刘运书

浙江林业科技 2021年1期

尤程，潘洁，刘运书

（南京林业大学林学院，江苏南京 210037）

传统的林业调查和监测方法费时费力，对可达性较差的区域无法做到全面、及时的监测，且受从业人员经验、知识水平和观测维度的制约较大，信息化建设滞后，作业效率低下。建立智能化和信息化监测预报机制势在必行。近年来，伴随着无人机的市场化、高光谱和多光谱监测设备的小型化、轻型化，林业遥感研究涌现了新的思路，利用无人机搭载专用设备和系统在大尺度范围内对森林病虫害进行实时监测和预报、自动提取感病植株、灾情自动评估上报已经成为可能[1-5]。建设数字化网络信息平台，构建快速响应技术体系，能够有效提升测报信息的传输速度和覆盖面，是森林病虫害防治乃至林业信息化的必然要求[6]。韩光辉[7]利用田间布置的无线传感器监测环境因子，具备数据实时显示和趋势分析等功能，实现了黄瓜Cucumis sativua病害的自动化监测；张谷丰[8]基于数据挖掘实现了农作物病虫害短期和中长期预警，并利用 MapServer等开源软件搭建了基于WebGIS的开放式网络信息平台，实现了田间灾情动态的自动化展示；廖振峰等[9]利用高光谱数据、基于ArcGIS和ENVI进行二次开发构建了森林病虫害监测系统，实现了对松材线虫病Bursaphelenchus xylophilus实时监测预测和决策处理；Joe-Air等[10]分析了果蝇Drosophila melanogaster种群动态和环境变化的关系，设计了基于无线通信技术的远程病虫害监测系统，有效地控制了病虫害，减少了农业损失。陈海中等[11]采用SOA架构和移动终端构建了农作物病虫害监测预警平台，具备数据上报和查询、病虫害预测预报、在线会诊等功能，实现计算机智能化预测病虫害；冷伟峰[12]探索了小麦条锈病的评估、监测和勘界定位等整个流程，开发了基于Web的监测预警平台，具备监测、预测预报和治理评估等功能，开发基于移动端的监测信息平台，实现了病情的查询、咨询和远程诊断。Bange等[13]开发了手持式决策支持系统，简化了与棉花Gossypiumspp.病虫害管理系统数据传输的流程；张卫丹等[14]设计了枣Zizyphus j ujuba病虫害短信诊断平台，促进了农业专家系统的普及和应用；黄冲等[15]借助微信公众号实现了病虫信息的发布，并应用于生产实践，具备使用门槛低、传播性强等特点。当今，松材线虫病是世界上最具危险性和毁灭性的森林病害，在适宜的气候条件下，可迅速杀灭感病松树Pinussp.，对森林资源和生态环境造成严重破坏，因此，高时效性的松材线虫病信息数据获取和共享网络信息系统具有广泛的应用前景[15-22]。

本研究在现有基于高光谱遥感松材线虫病识别监测研究的基础上，利用大疆无人机平台搭载定制的松材线虫病监测多光谱相机，其波段是松材线虫病识别监测的特征波段，并结合计算机图形图像识别技术，开发了具有松材线虫病识别定位和视频会商功能的系统，进而实现松材线虫病的即时识别定位，并建立专家视频会商平台，实现对无人机松材线虫病监测的及时性、科学性和准确性，更好地发挥病虫害监测网络信息系统的实用价值。

1 系统的功能模块设计

本系统基于Java、Html和C/C++ 编程语言，结合OpenCV计算机视觉库、Cloudroom SDK、MySQL数据库和GeoTools工具开发的松材线虫病定位识别和视频会商系统，具有病虫害识别定位功能和视频会商两个功能模块。

病虫害识别定位模块：该模块利用OpenCV的算法进行感病松树的识别，利用GeoTools工具和定位算法实现对感病松树进行定位。

视频会商模块：该模块利用视频编解码原理和Cloudroom SDK实现无人机视频的网络传输以及指挥员、操作人员和护林员之间的多方视频会商功能。

2 系统的实现

2.1 松材线虫病识别与定位功能实现

该功能主要包括感病松树识别、标绘和定位功能，目的是利用无人机遥感影像数据对感病松树进行识别和标绘，并结合无人机的位置姿态信息和当地的地形数据对感病松树进行定位。

2.1.1 松材线虫病识别和标绘功能本系统设计以固定的时间间隔从无人机遥感回传的实时视频流中抽取研究区域的影像进行分析，将无人机遥感回传的H.264视频流转换为YUV编码的数据，以固定的时间间隔抽取数据并保存为影像文件，同时将该时刻无人机的位置和姿态信息存储在本地的SQLite数据库中。为满足安卓系统的要求，在抽取图像前应先在回调函数中将视频流从NV12格式转化为NV21格式，再从中截取影像并保存在APP的影像文件目录下。用户也可以将已采集的影像文件从外部批量导入至APP影像文件目录下，作为数据源，进行处理和分析。在松材线虫病识别和定位模块激活后，将自动从影像文件目录下逐个读取影像文件、从SQLite中读取该影像文件对应的位置和姿态信息，并交付至病虫害识别和定位算法中进行处理和分析。

本系统利用专用多光谱相机采集感病松树的光谱影像数据，树冠特征能够直观地反映树木的健康状况。松树感染松材线虫病后，树冠颜色和形态将发生变化：在感病的前二周，冠层通常未出现肉眼可见的变化，为感病初期；从感病第四周开始，从枝梢到树干的针叶逐渐枯黄，属于感病中期；到了感病末期，针叶已经全部变黄褐色，感病松树逐渐干枯死亡。因此，感染松材线虫病的松树在多光谱影像上的树冠颜色和健康松树树冠颜色相比存在明显的差异，故选取了OpenCV中的Simple Blob Detector特征点检测方法检测感病松树的树冠。算法由阈值（包括最大阈值、最小阈值和步长）、斑点的限制条件（如颜色、面积和形状等）、斑点的最小距离和斑点的位置尺寸等参数控制。首先，依据颜色范围从光谱影像中剔除了非植被区域，从树冠的灰度值、树冠的面积和形状等参数对感病松树进行Simple B lob D etector检测，将二值图像斑点的边界作为感病松树的边界，灰度图像斑点的坐标作为感病松树的像素坐标，求取感病松树树冠的中心坐标和半径。然后，依据求得的坐标和半径等参数，调用边缘检测算法对检测出的感病松树进行勾勒，并将标注与原图像叠加显示，求得感病松树在图像上的位置，从而实现对感病松树的标绘。图1为无人机遥感影像下健康和感病松树的多光谱遥感影像。

图1 无人机遥感影像下健康和感病松树的多光谱遥感影像Figure 1 Multispectral remote sensing images of healthy and inflected trees from UAV remote sensing image

2.1.2 松材线虫病定位功能系统利用无人机在三维空间中的坐标和方向信息，结合谷歌地图获取全球高程数据或利用无人机平台获取的目标区域的 DEM 数据，通过算法进行解算，求得感病松树的真实坐标，并在地图上对感病松树位置进行标绘和标注，并利用MQTT将感病松树的坐标推送至信息管理后台，实现对感病松树的定位功能。

松材线虫病定位算法中设定无人机A在影像上投影的像素坐标即影像的中心点为(0,0)，像素大小a×b，感病松树B的像素坐标为(a1，b1)，无人机在空间中的位置A(x，y，z)（其中，x表示经度，y表示纬度，z表示无人机与起飞点的相对高度），松材线虫病定位算法计算步骤如下：

（1）计算无人机的航向与AB连线的夹角和AB连线与北方向的夹角，如计算公式（1）和公式（2）所示：

式中，β为计算无人机的航向与AB连线的夹角度数，α为无人机朝向与北方向的夹角度数。

（2）计算无人机与感病松树的距离和在经纬线上投影的长度，其计算公式为：

式中，l为无人机A与感病松树B之间距离，θ1为无人机水平方向的视场角，θ2为无人机垂直方向的视场角，l1为l在经线上投影的长度，l2为l在纬线上投影的长度。

（3）计算离无人机A点距离为l，方向角为α+β的B′(X，Y)点的经纬度，B′(X，Y)的经纬度是AB延长线与水平面的夹角，其计算公式为：

式中，X为 B′的经度，Y为 B′的纬度，x为无人机A的经度，y为无人机A的纬度，R为地球的半径，ω为无人机A的纬度。

（4）估算B点的真实坐标，将AB的长度l等分成若干份，沿用上述的通过A点经纬度坐标和方位角求解经纬度的方法，求得点的坐标，其计算公式为：

按顺序将各点海拔和通过HTTP接口获取的上述坐标的高程e1、e2……en做差，当差值等于0或者符号发生改变时，则AB'的连线穿过了地表，此时该区间内投影在水平面上的B′的坐标即视为感病松树B的真实坐标。

2.2 视频会商功能实现

视频会商功能是基于CloudRoom S DK开发的，目的是将无人机侦查图像传输至指挥中心，实现侦查图像在操作人员、指挥员和护林员之间的实时共享。

图2 感病松树坐标Figure 2 Positioning of infected trees

2.2.1 无人机侦察影像入会的实现视频会商功能的关键在于无人机视频流的注入。因为无人机影像数据支持NV12格式的YUV颜色编码输出，而CloudRoom S DK仅支持YUV420P（I420格式）和ARGB32的视频图像格式。因此，本系统将NV12与I420转换的问题分解为U分量和V分量的排列问题。创建虚拟摄像头后，将转换后的I420格式视频流注入虚拟摄像头，即可实现无人机遥感影像的实时共享。本系统中视频流每3帧影像仅抽取了1帧影像用于编解码和输出。

2.2.2 多人会商功能多人会商功能流程包括：初始化SDK、连接视频服务器、进入会话、配置会话、会话变动、退出会话和反始化SDK。

2.2.3 一键会商功能本系统中设计一键入会功能的目的是应对紧急情况下操作人员主动呼叫指挥员的问题，每名操作人员都对应有上级指挥员，发现病虫害后，操作人员可通过一键入会功能自动进入指挥中心的视频会议室，并默认将无人机侦查视频接入会议，无需输入会议号和密码。

2.3 系统适用用户对象

本系统目前仅提供南京地区马尾松Pinusmassoniana、黑松P.thunbergii多光谱数据进行松材线虫病的识别、标会和识别，但本系统对松材线虫病的监测不局限于南京地区的应用，可在全国范围内推广应用。系统设计的用户是面向林业防护人员，将在松材线虫病监测上有广阔的应用前景。

3 系统测试与分析

3.1 测试时间地点

南京林业大学溧水白马基地位于南京市东南部的溧水区白马镇附近，地理坐标为119°9′38″ E，31°36′47″ N，地形平坦，地表植被以人工林为主，种植有马尾松、黑松等不同树种，包含了幼龄林、中龄林、近熟林、成熟林等不同龄级，因此，在该地进行了松材线虫接种试验，并对松材线虫病识别和定位模块、视频会商模块进行了测试。南京市的梅雨季节通常在6月底至7月初，多阴雨天气，因此，系统测试时间选定为雨期之后的7月初和9月底，与松萎蔫病自然爆发期重合。

3.2 测试主要设备与软件

（1）大疆M600 P RO六旋翼无人机，标配三冗余度飞控，定位精度达到厘米级，P-GPS模式悬停精度为±50 cm，有效载荷6 kg，满载连续工作时间18 min；配备Ronin-MX云台，搭载松材线虫病监测定制多光谱相机（质量1 kg，水平视场角41.4°，影像分辨率2 048×1 536）。

（2）科力达K9差分GPS，拥有28～54个接收通道，带有S739手簿，RTK水平精度±1×10-6cm，高程精度±2×10-6cm。

（3）松材线虫病识别定位与专家视频会商APP，基于Java、Html和C/C++编程语言，结合OpenCV计算机视觉库、CloudRoom SDK、MySQL数据库和GeoTools工具开发的系统。

图3 白马实验基地研究区示意图Figure 3 Test area of Baima Experimental Base

3.3 病虫害识别模块测试

在无人机载飞行过程中，系统会对光谱相机的视频流进行病虫害分析识别。当识别出病虫害或疑似病虫害后，系统将标记当前位置，发出报警提示，对感病松树进行标绘和定位，并以图片的形式存储下来。出于监测效率考虑，检测到病虫害或疑似病虫害后，系统将不会立即控制悬停在当前位置。操作人员可以通过地图上的标记命令无人机暂停任务并悬停在标记位置。为了评估感病松树定位精度，携带差分 GPS在林区中实测了 34棵感病松树的经纬度坐标，并与系统感病松树定位功能获取的坐标作对比，用水平误差评价定位精度。感病松树识别结果如图4。

图4 感病松树识别结果Figure 4 Result of positioning of infected trees

通过差分GPS验证表明，34株感病松树的水平偏移最小值为0.09 m，最大值1.77 m，平均误差为0.64 m，均方根误差为0.492 8 m，与其他方法相比能显著提高定位精度。研究区内黑松和马尾松中龄林的株行距约为2 m×2 m，成熟林冠幅为4 m以上，感病松树定位水平误差基本能够满足人工现场采伐的精度要求。表1列举了其中12株感病松树的定位水平误差。

表1 感病松树的定位水平误差Table 1 Horizontal error of infected trees positioning

3.4 视频会商模块测试

操作人员可通过一键入会功能与指挥员和护林员进行视频会商。指挥员确认无误后，可以指挥护林员到记录的位置，由护林员对感病松树进行相应处理。指挥员也可以通过视频会商系统获取无人机的实时视频，对监测动态进行全面掌控。本研究在实验室条件下对视频会商模块进行了测试，视频延迟约0.5 s，一键入会功能正常，可按需求进入指挥中心视频会议室，影像清晰、无卡顿，语音清晰，多方通话正常，满足多方实时视频会商需求。

为了模拟实际应用场景，本研究在白马实验基地进行了视频会商模块的实地测试，测试时将无人机悬停在约500 m外，150 m高的位置，与城区的指挥中心以及林区的护林员进行了视频会商，如图5。操作人员可按实际需求选择联系人进行多人会商。

图5 视频会商模块测试Figure 5 Test for video meeting and multi-person meeting

4 系统的特点

本研究开发了一款可适用于松材线虫病识别定位的无人机遥感监测系统，该系统具有松材线虫病定位识别模块和视频会商模块两个模块，实现了松萎蔫病监测和会商处理的整个流程。该系统主要具有识别标绘感病松树、定位感病松树和多方视频连线等功能。该系统具有以下特点：

4.1 效率高

本系统结合无人机多光谱影像数据尝试进行感病松树单株定位，改变了以往漫无目的地查找感病松树的现状，使得对松材线虫病的调查更快速方便。运用本系统识别定位面积1 km2的马尾松和黑松林地时，当无人机飞行高度为150 m时，仅需要耗时12 h，和以往的人工实地巡查相比，效率提高了数十倍以上，能有效降低人力、物力和时间。

4.2 成本低且潜力高

系统基于Android操作系统开发，能兼容市场上82.3%的移动设备，硬件设备又有着价格低廉的优势，有利于日后的广泛推广应用，且得益于开源的特性，安卓开发有着丰富的学习资源和开发社区，开发难度相对较低。硬件上，多光谱相机的价格虽然比RGB相机高，但远低于高光谱相机。通过进一步优化多光谱波段的算法，甚至可以在松材线虫病感病早期其针叶颜色尚未发生肉眼可见的改变时，定位到感病植株，这是RGB相机无法具备的能力。