无人机自动巡检智慧监控系统研究与应用

赵 薛 强，凌 峻

(中水珠江规划勘测设计有限公司，广东 广州 510610)

0 引 言

大型水利工程建设周期长，工况复杂，为及时掌握其建设进度和实现实时动态监控，保障施工安全，需要开展定期或不定期巡检巡查。传统的人工巡检不仅存在诸多限制条件、效率低、成本高，且巡检数据停留在文件管理阶段，不能可视化、智能化地及时有效反馈巡检情况[1]。随着无人机技术的发展，其灵活性、经济性以及不受地形限制等特点使其成为水利工程巡检的首选[2]，但基于人工操控的无人机巡检对操控手专业要求相当高、难度较大，且巡检数据量较大，管理不方便[3]，亟需发展智能化的无人机自动巡检智慧监控系统，以实现自动化巡检和智慧化管理海量数据。

无人机自动巡检技术最早应用于电力行业，并获得了国内外学者的广泛关注，且技术较为成熟。Montambault等[4]论述了无人机在电力设备巡检中的应用，系统分析了无人机巡检过程中的诸多关键技术问题，并进一步展望了无人机自动巡检技术良好的发展前景。缪希仁等[5]系统研究了无人机输电线路智能巡检技术，并就巡检数据智能处理、无人机自主导航和无人机续航等的关键技术难题进行了阐述。杨成顺等[6]以四旋翼无人飞行器为多旋翼无人飞行器系统载体，配合地面站系统和高清相机构建了无人自动巡检系统，并将该系统成功应用于输电线路野外巡检工作，取得了较好的预期效果。但国内外投入运营的基于无人机技术的输电线路自动巡检系统并不多，且仅是针对电力系统，沿着电线的线状巡检，虽巡检技术较为成熟但是针对海量巡检数据尚未形成可视化、智能化的管理分析系统。

在水利工程领域，无人机巡检仅停留在人工操控无人机巡检阶段，智能化程度不高且对操控手要求极高，巡检数据采用文件管理和人工判别方式查找问题，效率不高[7-8]。为深入贯彻落实“水利工程补短板，水利行业强监管”的水利改革发展总基调，推动智慧水利建设，实现水利工程的自动化巡检和智能化数据管理，拟开展无人机自动巡检智慧监控系统平台构建研究。基于无人机技术、物联网技术、人工智能、4G/5G技术等构建无人机自动巡检巡查技术平台，基于5G技术、RTMP通信协议(Real Time Messaging Protocol实时消息传输协议)、微波通信等构建多路远程视频无损回传技术体系，通过引入注意力模块(Squeeze-and-Excitation(SE)-block)，优化Yolov3(You Only Look Once：Unified，Real-Time Objection Detection v3)目标检测算法，构建基于Yolov3-SE算法架构的高精度特征目标识别算法，通过引入网络地理信息处理服务(WPS)，构建了基于Mask R-CNN深度学习模型的远程在线和多人共享的遥感影像地物识别检测技术方法。同时，融合上述目标检测算法和正射影像识别技术，研发了无人机巡检大数据管理平台，为水利工程、防汛应急抢险、河道岸线违法等领域的动态监管提供技术保障。

1 系统设计

本文借鉴前人应用经验，开展基于无人机技术、物联网技术、4G/5G技术等的多旋翼无人机系统、高精度起降系统、远程控制系统和智能机巢的无人机自动巡检系统集成研究，构建基于GIS技术、人工智能技术、大数据技术等的无人机巡检数据管理平台，系统整体设计如图1所示。

图1 系统整体设计Fig.1 Overall design of the system

(1) 无人机自动巡检系统集成。集成多旋翼无人机系统、高精度起降系统、远程控制系统和智能机巢，基于无人机、4G/5G等技术，研发无人机自动巡检系统，实现无人机的自动巡检，进而对违法违规目标进行定点拍摄和空中喊话，获取照片、视频和正射影像等数据。基于移动App、无线传输和流媒体服务器技术构建多路远程无损视频回传技术，实现从无人机前端到远程终端(自动巡检系统WEB端)的多路视频实时回传。

(2) 巡检管理系统的设计。基于数据库技术，将照片、视频和正射影像等数据进行入库构建巡检数据库；基于计算机、GIS技术，设计照片、视频、影像批量化管理的巡检管理系统。

(3) 自动识别系统设计。基于照片、视频的图像异常特征物目标检测算法和无人机正射影像的深度学习算法，自动识别标注巡检区域的违法违规等异常情况。基于已规划设计的巡检报告模板，自动生成巡检报告。

2 算法设计

2.1 无人机自动巡检系统集成

系统硬件集成如图2所示。在固定沿线或区域布设该系统，可实现点、线、面的动态巡检。首先，基于TCP/IP协议[9]建立机巢与系统平台之间的通信联系，无人机操控平台依托4G/5G技术下发任务指令到智能机巢，智能机巢开启。随后，基于2.4GHZ/5.8GHZ微波信号建立无人机与机巢间的通信联系，机巢接到系统平台的下发任务指令通过微波通信传递给无人机，多旋翼无人机自主起飞，根据操控平台下发的任务指令开展基于高精度卫星导航定位技术(GNSS)的精准巡航作业。作业完成后，多旋翼无人机自主降落，智能机巢舱门关闭并开始对无人机自主充电。

图2 无人机自动巡检系统硬件集成Fig.2 Hardware integration of UAV automatic inspection system

2.2 基于5G的多路远程视频回传技术

市场上主流无人机远程视频回传技术主要依赖WiFi传输，因而易受传输距离的影响[9]。为克服该影响、突破无人机自带操控APP的局限，基于无人机SDK和移动操作系统，开发支持5G通信网络远程分享至流媒体服务器的无人机操控APP，打通无人机与机巢、机巢与客户端之间的通信通道，突破自建局域网[10]的技术限制，研究构建基于4G/5G/宽带通信的无人机拍摄视频实时传输和多人共享的多路远程视频回传技术。

具体实现方法：① 由无人机搭载高清摄像头实时采集视频，巡检视频流经H.264(一种数字视频压缩格式)编码解译后传输至无人机硬件系统(操控遥控器或智能机巢)，通过5G网络 RTMP协议传输至基于开源架构Nginx-rtmp-modul[11]搭建的流媒体服务器。② 通过流媒体服务器对视频流进行视频流转码。③ 利用自主研发的无人机自动巡检系统基于HTTP-FLV(一种将RTMP封装在HTTP协议上的直播协议)直播协议对流媒体服务器的视频流进行拉流，实现无人机多路远程视频回传的前端播放。关键技术流程如图3所示。

图3 多路无人机远程视频回传技术流程Fig.3 Remote video return technology of multi channel UAV

2.3 基于目标检测的图像异常特征物识别

当前主流的检测方法主要有双阶段的目标检测和单阶段目标检测2种。双阶段目标检测算法精度高、速度慢[12]，而单阶段目标检测算法对图像仅需处理一次就可获得异常目标的位置及分类信息，速度运行较快[13]，在实时性要求较高的场景中得到广泛应用，其代表算法为YOLO算法[13-19]。

由于无人机照片中特征物大小尺寸不同，直接采用YOLO算法难以满足工程应用中速度与精度需求[13]。因此，在Yolov3框架的基础上，引入可通过对各通道的依赖性进行建模以提高网络的表征能力，并且可以对特征进行逐通道调整的通道注意力模块[20]，构建Yolov3-SE算法以提高图像识别的速度与精度。具体实现方法为：首先通过squeeze操作，将各通道的全局空间特征作为该通道的表示，形成通道描述符；再经excitation操作，学习对各通道的依赖程度，并根据依赖程度的不同对特征图进行调整；最终输出。添加通道注意力模块后的Yolov3-SE算法网络结构如图4所示。

同时，针对标注数据集样本不均衡的情况，根据图片数据和目标物分布的实际情景进行相应的数据增强处理，以提高无人机特征物识别的成功率。关键技术流程分为3个步骤：① 根据要求将视频流进行解析，转换为图片；② 对图片中特征物体进行人工标注，制作用于模型训练的数据集；③ 根据检测的精度和速度的要求，选取现行精度和速度适宜的Yolov3框架，引入注意力模块，并优化相关算法，开展网络的训练工作以及图片的预测与测试。具体技术流程实现过程如图5所示。

2.4 多期影像检测识别对比分析算法设计

为实现多期无人机航摄遥感影像异常变化对比分析，在总结前人经验的基础上[21-22]，针对当前深度学习模型对CPU和GPU等硬件要求高，以及深度学习模型检测没有地理坐标等缺点，通过引入GIS技术，采用浅层机器学习模型Tensorflow和深度卷积神经网络模型Mask R-CNN，将无人机遥感影像地物检测识别设计为一种网络地理信息处理服务(WPS)的正射影像识别方法，实现深度学习模型下的遥感影像地物检测的远程在线和多人共享应用，降低对硬件设备的依赖。

图4 Yolov3-SE的算法架构Fig.4 Algorithm architecture of Yolov3-SE

图5 异常特征物自动识别技术流程Fig.5 Technical process of automatic recognition of abnormal features

具体实现技术方法为：① 利用机器学习框架Tensorflow实现Mask R-CNN模型结构，并通过基于TCP/IP协议的Socket网络通信实现对Mask R-CNN模型的远程调用；② 利用地理服务器提供的编程API，制作地理WPS服务，地理WPS服务可收受客户端的网络请求参数，然后向Mask R-CNN模型发出远程调用请求；③ 利用GDAL(Geospatial Data Abstraction Library)空间数据读取库，实现Mask R-CNN模型对遥感影像数据的自动化地物检测识别计算(见图6)；④ 利用GIS空间处理和空间数据库，将Mask R-CNN模型遥感影像地物检测的输出结果自动转换为空间矢量多边形数据并进行存储(见图7)；⑤ 将地物检测的空间矢量结果转换为能进行网络传输的地理编码格式，通过地理WPS服务返回至请求服务的客户端；⑥ 将不同期的地物检测结果采用GIS叠加分析，进而分析多期正射影像变化情况；也可针对特定检测物如建筑物，在识别结果的基础上，叠加水利工程管理范围线，通过矢量逻辑运算，筛选出管理范围线内的建筑物，实现违建信息提取的目的。

图6 自动化地物检测识别示意Fig.6 Schematic diagram of ground object automatic detection and recognition

图7 地物检测结果自动转换为矢量数据并存储在空间数据库Fig.7 Ground object detection results are automatically converted into vector data and stored in the spatial database

3 实例应用

3.1 工程概况

大藤峡水利枢纽工程(110°2′E，23°27′N)位于珠江流域西江水系黔江河段大藤峡峡谷出口处，下距广西桂平市6 km，属于亚热带季风气候区，多年平均风速为1.2 m/s，多年平均气温为 21.5 ℃，流域多年平均降雨量为1 400～1 800 mm，雨水充沛[23]。区域水文地质条件复杂，处于大瑶山向溶蚀平原过渡地带和宽缓的河流阶地部位，属于低平原覆盖型岩溶[24]。为了在工程建设、运营期，实时全方位地监控坝址重点施工区的变化，基于无人机自动巡检智慧监控系统开展了针对重点施工区施工和异常变化等重要场景智能化、智慧化的巡检、巡查应用研究。

3.2 应用与结果分析

3.2.1应用成果

为实现大藤峡水利枢纽工程建设期、运行期的全方位、智能化、智慧化监控和监管，研发了集成无人机自动巡检系统和无人机自动巡检管理系统的无人机自动巡检智慧监控系统。

(1) 大藤峡水利枢纽无人机自动巡检系统。大藤峡无人机自动巡检系统主要包括：基于大疆精灵4RTK无人机系统SDK和安卓操作系统研发的无人机操控APP，它支持将巡检视频一键分享至无人机远程控制系统；基于物联网技术、二维码识别技术、无人机自带的高精度RTK起降系统搭建的无人机起降智能机巢；基于Web服务器、流媒体服务器、GIS技术的无人机远程控制系统。大藤峡自动巡检系统实现了远程操控无人机自主起降和充电，并可根据固定航线巡航、巡检。该系统通过自主搭建流媒体服务器，将无人机多路航摄视频远程实时传送至Web端无人机远程控制系统，实现了随时、随地浏览、巡查施工现场的目的。

(2) 大藤峡水利枢纽无人机自动巡检管理系统。采用Java、Javascript等编程语言，利用Yolov3-SE算法和多期影像检测识别对比分析算法，基于ArcGIS平台开发了实现海量无人机巡检照片、视频和正射影像数据展示、管理、异常变化分析的大藤峡无人机自动巡检管理系统。系统主要包括用户登录模块、巡检成果入库模块、巡检成果管理模块、巡检成果自动分析检测模块、巡检报告自动生成模块、多期巡检成果对比模块。

巡检成果入库模块：无人机自动巡检系统获取的照片、视频导入系统时，支持自动识别时间、位置、轨迹等信息，并进行统一入库管理，便于随时提取查看。

巡检成果管理模块：对巡检的照片、视频和影像进行管理。

巡检成果自动分析检测模块：利用YoLov3-SE算法实现对海量巡检照片和视频中的水利枢纽工程附近水中漂浮物、弃渣、塌方、运输船等异常特征物体高精度识别；利用基于网络地理信息处理服务(WPS)的正射影像识别方法进行正射影像中的违章建筑物识别和对比分析，然后将其存入异常数据库，供Web前端调用。

巡检报告自动生成模块：调用自动识别的异常照片和影像，根据预设的模板自动生成巡检报告。

多期巡检成果对比模块：选择调用数据库的照片、视频进行分屏对比显示。

3.2.2结果分析

(1) 巡检效率及结果分析。大藤峡重点施工区6 km2的巡检区域，同等条件下，传统的人工巡检方式至少需12 h巡检完毕，而该系统通过预设巡检任务，无需作业人员到达现场手动操控飞行即可实现自动巡检和自动更换电池，完成全程飞行仅需4 h。与传统的人工手动操控巡检方式相比，解放了生产力，巡检效率提升3倍以上，尤其是应急救援等特殊情况下的巡检，可快速到达现场作业，具有传统无人机巡检无法比拟的优势。

(2) 多路远程视频回传效果分析。为了验证多路远程视频回传的效果，在自制的实际应用场景上进行了有效验证，将无人机自带的视频回传功能(即利用自带的操控App将视频流推流分享至第三方流媒体服务器)与基于5G的多路远程视频回传技术进行回传效果比较分析。

实验环境为大疆系列无人机、第三方流媒体服务器和无人机自动巡检系统。实验方法为：① 采用同架无人机分别近距离拍摄移动物体，根据移动物体的动作变化对两种视频回传技术进行延迟分析；② 采用同架无人机，分别远距离开展无人机视频回传，对比分析两种方法的最大回传距离。

结果表明：① 自主研发的多路远程视频回传技术的视频回传延迟时间在0.8 s以内，远小于无人机自带的视频回传功能中5.0 s左右的回传延迟时间；② 在同等画质清晰度方面，该回传技术同类型的视频回传距离比无人机系统自带的视频回传距离远30%；③ 通过实验对比发现，多路远程视频回传技术最大可支持8路视频无损、无延迟高清实时回传，而无人机自带的视频回传功能仅支持单路且视频不流畅。

(3) 图像识别效率及精度分析。为了评估本文所提出的Yolov3-SE算法的检测性能，选取了各类别精度AP(Average Precision)和平均精度mAP(mean Average Precision)作为评价指标，在真实图片数据集上进行测试，开展了大藤峡重点施工区4 a共150万张巡检照片和视频中的聚集型垃圾(g_garbage指建筑处、坝址设置的拦网所形成的水面上聚集型漂浮物)、分散型垃圾(d_garbage指水面上漂浮的零散的、不成堆的漂浮物)、施工弃渣(spoil)、塌方(collapse)、运输船(trans_boat)、工地积水(stag_water)等6种异常特征物的自动识别及变化对比。本文算法总共进行80轮迭代训练，每轮训练的批大小(batchsize)设为8，前50轮学习率为le-4，后30轮为le-5，采用Adam(Adam optimization algorithm)优化策略，学习率衰减为0.95。实验环境为Ubuntu18.04系统，配备2张显存大小为11 GB的NVIDIA GPU GTX-1080Ti显卡、64 GB内存和Intel Xeon Gold 5122 CPU，采用Pytorch 1.2.0深度学习框架，编程语言及其版本为Python 3.6.12。结果表明：改进算法的mAP达到了90.17%，比基础算法的59.83%提高了30个百分点，统计结果如表1所列。综合以上结果可知，本文算法相较于Yolov3基础算法在单个目标物的检测精度及总体平均检测精度都有明显提升。

表1 识别精度统计Tab.1 Recognition accuracy statistics %

(4) 影像识别对比效率及精度分析。为了评估本文所提出的影像检测识别方法的精度和效果，采用以联合交集IoU(Intersection-over-Union)为主要指标的基于像素的评价方法[21-22]，在自制的实际应用场景数据集上进行了有效验证。选取大藤峡重点施工区域无人机航拍巡检数据库中2 cm分辨率的正射影像图，并针对实际应用场景中的违章建筑物，制作了实际应用场景下的数据集。实验环境为Ubuntu18.04系统，配备两张显存大小为11 GB的NVIDIA GPU GTX-1080Ti显卡、64 GB内存和Intel Xeon Gold 5122 CPU，利用机器学习框架Tensorflow进行100轮次训练，使用Microsoft COCO数据集预训练权重，再进行fine-tuning，对6 km2的巡检区域进行训练，训练总时长约20 h，训练效率大幅提升。自动化样本制作工具，并将样本存储于空间数据库。

为防止在训练过程中出现过拟合现象，采用2种方法对训练样本进行增强：① 根据该数据集的建立规则，选取形状各异、不同季节、不同尺度、不同光照条件下的高分辨率遥感影像数据作为训练数据的扩充；② 打乱训练样本数据，再进行随机排序，从而达到提升模型检测性能的效果。经过深度学习识别后的建筑物情况如图8所示。

图8 建筑物自动识别提取结果Fig.8 Extraction results of automatic building recognition

采用基于像素的评价方法量化建筑物检测识别的效果，其主要指标为IoU：

(1)

式中：FP代表错误分类为建筑物实例的像素数；TP代表正确分类为建筑物实例的像素数；FN代表错误分类为背景的像素数。

结果表明：本文提出的基于网络共享遥感影像建筑物检测模型的多期影像分类识别对比算法，极大降低了影像识别对计算机硬件的要求，节约了成本。通过计算，建筑物实例整体的置信度为0.938，可为海量影像的自动识别和多期对比分析提供技术支持。

4 结 论

通过深入研究无人机、人工智能、GIS等技术，设计研发了无人机自动巡检智慧监控系统，主要工作如下。

(1) 基于无人机、人工智能、AI算法等多种技术研发的无人机自动巡检智慧监控系统，实现了大型水利枢纽工程——大藤峡水利枢纽工程重点施工区全天候24 h不间断巡检、巡查，以及对巡检照片、视频和正射影像等建设期历史珍贵资料的存档管理和异常特征自动识别分析，为大藤峡水利枢纽工程博物馆的建设提供了珍贵的历史资料。

(2) 无人机自动巡检智慧监控系统解放了生产力，规避和降低了人工巡检的安全风险，将巡检效率提升了3倍以上。海量巡检照片、视频的自动异常识别算法，将判别效率和识别成功率提升了30个百分点，具有传统人工判别无法比拟的优势。

(3) 无人机自动巡检智慧监控系统目前主要是针对巡检后的照片、视频和影像进行入库、异常识别和管理，而对于应急救援等特殊情况，仍需进一步研究基于无人机航摄视频的前端异常特征实时识别。

本文设计的无人机自动巡检智慧监控系统，不仅适用于大型水利枢纽工程建设期、运营期的自动巡检、巡查等，也可应用于河道岸线、库区、应急救援、输变线电站、交通执法等多行业多领域，具有广阔的应用前景。