基于卷积神经网络的无人机油气管线巡检监察系统①

刘松林,朱永丰,,张 哲,牛俊伟

1(信息工程大学,郑州 450001)

2(河南浩宇空间数据科技有限责任公司,郑州 450001)

3(郑州信大先进技术研究院,郑州 450001)

在当今许多领域,如石油、天然气、水务、采暖、综合管廊、电力等,巡检工作已成为事关人员生命和财产安全的重要保障,客观、准确地记录和考核一线巡检人员的执行情况因而变得极为重要[1–3].巡检工作一般具有地域广、作业面分散、人员众多等特点,其工作落实的好坏、巡检质量的高低很大程度上取决于巡检人员的工作责任心和各级管理者现场监督的力度,其管理工作更是由于以上特点而难以落实,迫切需要更先进的电子化监督管理工具[4–7].基于无人机(直升机)的管线巡检平台刚好可以弥补这些缺点.

目前,管线巡检工作已经成为油气企业日常运作过程中不可或缺的一环,因此降低巡检工作的资源投入以及最大限度地提升巡检工作的效率和质量,就显得尤为重要[3,8].为避免人工巡检工作中出现漏报、缓报、错报等问题,保证管线巡检工作科学、规范、有效地进行,方便巡检工人及时、准确、便捷地上报相关信息的同时减轻其工作复杂度,我们与郑州信大先进技术研究院和河南浩宇空间数据科技有限责任公司联合开发并设计一套与当前实际情况相结合的管线巡检信息平台.该系统和强大的遥感技术紧密结合,无需组织人工巡检,依靠无人机在管线上方拍摄的照片就能准确的对可能破坏输送管线的疑似物进行经纬定位,这种新的作业模式在提高巡检工作效率和质量的同时,极大地减少了人力投入,能够帮助企业更好的管控成本.

1 系统总体设计方案

1.1 系统功能目标

1)系统利用无人机快速响应、空中机动灵活及不受地理环境影响等优势,搭载高清摄像机、及图传数传模块,实现基于深度学习的油气管线快速巡检监察功能.为油气管线管理部门提供巡检路段的遥感航拍影像,为管道管理、资产管理提供基础数据支撑.

2)系统核心(无人机遥感影像数据处理系统)通过接收无人机采集的航拍遥感影像,采用基于深度学习的特定目标检测算法,结合BP神经网络样本训练架构,建立完整的训练、检测、识别、结果推送的完整体系,方便管线管理部门实时掌握管线运行状况及完善的历史数据库.

3)系统中的信息发布、推送、管理子系统运用中原云大数据管理架构,将目标检测结果信息及时推送至巡检执法终端中,并对管道、隐患、违法、人员等信息进行有效管理和处理.

1.2 系统流程设计

基于深度学习的无人机油气管线巡检监察系统是通过无人机在管道上空沿线飞行,精确采集管道表面遥感影像;然后通过图像处理和模型分析提取疑似物,再经过解析数字摄影测量技术转换得到目标点的位置信息,管理人员审查确认后,通过网络平台将图像及位置信息推送给线路管理人员(手持终端设备);最后经线路管理人员现场查看后,在线反馈巡检情况.详细流程如(图1).

1)无人机飞行平台由无人机本体、高清遥感影像采集模块、图传数传模块组成,实现巡检监察作业、管线数据采集回传;

2)神经网络目标检测系统实时接收无人机遥感影像,并对影像中是否含特定目标进行快速搜索检测,识别出安全隐患、预警等目标物后,直接将目标坐标、信息推送至无人机巡检监察管理系统,并且进行数据库入库.

3)无人机巡检监察管理系统及时将神经网络目标检测系统推送的安全隐患、预警信息再次进行类型分析,并推送至无人机巡检执法终端,通知巡检执法人员执法;此外,无人机巡检监察管理系统实现对管线、人员、无人机、设备、安全隐患等信息进行统一数据展示和管理,做到无纸化管理、历史记录可查及快速编辑等其他巡检监察功能.

4)无人机巡检执法终端通过4G或互联网接收无人机巡检监察管理系统推送的信息,并根据当前路径快速前往现场进行违法行为的制止和处理,并对现场情况进行确认并上报处理结果,即将处理结果通过无人机巡检执法终端回传至无人机巡检监察管理系统,完成闭合处理流程,做到及时发现,及时处理,及时反馈.

图1 系统作业流程示意图

2 系统组成

基于深度学习的无人机油气管线巡检监察系统由四大子系统组成:无人机飞行平台、神经网络目标检测系统、无人机巡检监察管理系统以及无人机巡检执法终端.下面对四大子系统进行详细介绍.

2.1 无人机飞行平台

河南浩宇空间数据科技有限责任公司和郑州信大先进技术研究院组成的研究团队,在调研油气管线长距离日间巡检需求的基础上,设计并采用了一款油动固定翼无人机巡检平台,详见图2.其飞行器采用固定翼机构设计,野外环境中可通过弹射架直接起飞,降落时可通过自带降落伞进行迫降,机身采用以碳纤维为主、多种复合材料,具有易携带、易操控、效率高、易维护等优点.该款新型航测无人机机身全长2米,翼展2.68米,任务载荷达6千克,最大起飞重量22千克,最大飞行距离 300 公里,巡检飞行高度 100–200 米,该飞机采用模块化设计,便于运输及外场高效作业.

图2 固定翼油动飞行器和地面飞行工作站

2.2 卷积神经网络目标检测系统

本文提出的卷积神经网络算法是基于“YOLO(You Only Look Once)”[9]项目进行卷积层重新组合设计,使用单个神经网络将图像分成区域,同时预测每个区域的边界框和概率,并且对这些边界框进行预测概率加权,这样可以将整个图像由神经网络进行评估,提高检测准确率及效率.

首先向卷积神经网络输入无人机遥感影像,第一层卷积运算影像大小设置为 448×448×3,其中“3”表示3个颜色通道;然后根据实际图像的大小将整幅航拍遥感影像进行(S×S)格网划分,将相等大小的网格叠加在图像上,有效地将其分成N个单元格.图3展示了原始航拍影像,等分成了 7×7 的格网,即N=49.

本文所设计的卷积神经网络架构包括24层卷积神经网络层和2个完全连接层,实验表明改法最大程度地缩短检测时间,但是检测的精度稍微下降,但在可接受范围之内.图4展示26层神经网络层卷积分布情况,每层交替使用1×1的卷积层参与卷积计算,可以最大程度地减少当前层与前一层的特征空间之间的过度连接计算.

图3 影像格网划分示意图

图4 卷积神经网络架构示意图

根据计算机图像识别需要,目前已采集10万多张图形样本,图5展示了样本标注及训练.并且随着巡检工作推进,图形样本数量持续增加并优化计算机识别能力.前期根据所设计的神经网络,共训练了6类特征目标(见图5),分别为:工程车辆、地表破坏、非法占压、沟槽开挖、土地塌陷、水土流失.针对该6类目标,采用的参数分别为BatchSize=64,Momentum =0.5,Decay =0.000 05,Learning rate =0.0001,Iteration number =45 000,检测阈值Threshold=0.2.

为了对算法进行更好地测试,搭载佳能(Canon)EOS 5D Mark IV 相机进行拍摄,无人机行高为 100～120 米,时速 100～120 km/小时,采集的数据图像分辨率为 5760×3860,地面分辨率为 0.5～0.3 米.对检测结果进行对比分析(表1),正样本检测识别准确率高达96.6%,其中误检率为0.8%.

图5 样本标注及训练

表1 测试数据集检测结果对比分析

2.3 无人机巡检监察管理系统

无人机巡检监察管理系统采用C/S与B/S结合的模式进行设计开发,实现对巡检任务、巡检目标、巡检记录以及巡检结果评估等功能.

基于无人机的管线巡检平台包括权限系统和无人机巡检业务系统两部分.业务系统主要负责基于无人机遥感的管线巡检平台业务处理;权限系统主要是权限管理,包括机构部门科室创建管理、角色创建管理、职员管理、账号管理及账号映射管理等.图6展示了无人机巡检监察管理系统部分页面.

2.4 无人机巡检执法终端

为实现管线巡检工人的便捷安全执法和无纸化作业,为管线巡检上报及处理全流程提供整体解决方案,使得外勤巡检和内勤统计工作变得高效和准确,设计并开发了无人机巡检执法终端(图7),主要功能包括:管线的平面图和卫星图的分段展示、疑似点GIS展示和图像信息展示及疑似点的上报反馈等.

图6 无人机巡检监察管理系统部分页面展示

针对巡检执法人员的工作任务,APP设计结合GIS地图为执法人员提供站点位置信息,使其快速赶赴现场进行执法,同时针对现场情况,填写现场情况以及现场实景照片的采集和上传.

图7 无人机巡检执法终端及页面展示

3 成果应用

基于卷积神经网络的无人机油气管线巡检监察系统主要应用于大范围的油气管线日常巡检监察,充分利用固定翼油动无人机出色的续航能力和稳定的操作性,对油气管线进行安全巡护监察,实时影像检测效果如图8、图9所示,前期针对非法占压(图8(a))、工程车辆(图8(b))、沟槽开挖(图8(c))、动土痕迹(图8(d))、钩机(图9(a))、铲机(图9(b))、非法占压(图9(c))、地表破坏(图9(d))、沟槽(图9(e))、水土流失(图9(f))等特征进行自动识别检测,并自动出具报表,统计分析.

图8 部分特定目标检测效果示意图Part1

及时发现和定位违法及安全隐患点,并及时处理推送执法信息,进行现场执法,做到防范于未然,从而实现采用自主航迹规划巡视的巡检方式,高效安全地执行巡检任务.本巡检系统目前已成功应用于河南省、甘肃省若干中石油天然气公司的线路巡检工作.

4 结论与展望

利用固定翼油动无人机搭载高清影像设备进行油气管线的巡检监察,替代人工沿线徒步排查等传统巡检手段,不仅减轻了人员工作强度、保证工人人身安全,而且能够快速高效地执行巡检任务,并且实现无人机飞行作业队、后台管理部门及外业执法巡检人员三者的快速联动,做到隐患和违法现象“及时发现,及时处理”,准确定位隐患源头,快速出击,实现无纸化高效管线监察管理,无人机巡检监察系统的成功应用,实现了无人机技防、系统化现场高效管理、大数据处理三者的有效结合,提升管线状态管理、应急指挥的便利性,大大节约了巡检成本,防患于未然,为油气管线的正常运作、事故预警和管道管理提供了全方位的信息支持,实现油气管线的科学化防护.接下来工作是对巡检作业过程中采集的大量数据,形成大数据分析,实现预警等级分层、实时图传、可视化指挥调度等方向.

图9 部分特定目标检测效果示意图Part2