水下机器人视频智能识别分析系统

王国强

（上海市城市排水有限公司，上海 200000）

地下管道作为城市发展的命脉，是城市的重要基础设施，是城市生存和发展的动脉，被喻为城市的“生命线”。科学、准确及完整的城市地下管道信息以及管道健康管理与维护是城市地下管道安全、高效运行的必须保障。目前相对于城市地下管道建设的飞速发展，国家对已有管道的养护管理比较忽视，养护工作水平落后，缺乏必要的检测手段，尚未形成科学、系统、稳定的管理及修复机制，管道养护技术十分落后。由于管道病害的存在，以及缺乏地下管道数字数据导致的工程项目挖断管道的事件频频发生，不仅给行人带来危险，给广大居民造成不便，相应造成较大的经济损失。基于现有人工方式对水下机器人所拍摄视频信息进行缺陷提取的如下弊端，必须构建水下机器人视频智能识别分析系统以为排水管网的运行养护管理提供有效数据支撑：

（1）水下机器人所拍摄视频数据量极大，造成人工缺陷提取劳动强度大，且易因人员读取过程中的疏漏而造成缺陷，导致无法及时被获悉。

（2）管道缺陷识别对于人员经验要求极高，读取人员需具备足够的管道内部知识以及对缺陷的判定能力，如人员经验不足，易造成缺陷提取的遗漏。

（3）相关人工所读取缺陷无法集中化、数据化进行管理，造成相关历史数据应用、查询及分析手段缺失。

故所构建的水下机器人视频智能识别分析系统在具备管道视频缺陷自动提取的基础上，需具备管线管理、缺陷管理、缺陷查询和统计分析等各类应用功能。

1 技术背景

1.1 图像预处理

结合水下机器人拍摄视频的特点，固定时间间隔提取帧图片，调用算法保留相对清晰的图片，利用训练的模型去除没有管道的图片，按照图片所在的时间点进行命名保存。

1.2 特征值提取

图像目标区域的特征提取，是整个算法的核心，关系到算法的最终结果好坏。从图像中提取出目标区域，并得到目标区域的特征参数，作为该图像的特征参数向量。本项目拟定采用Roberts、Sobel和Prewitt等算子先对目标区域的边缘进行检测，而后在此基础上提取管道缺陷的几何特征。

1.3 深度学习

根据管道内部图片的复杂度情况，采用神经网络YOLO V5模型技术对图片进行目标检测方式识别，从图片中抽取统计特征或结构信息，再与训练的模型进行模式识别，进而达到对各缺陷的分类。

2 系统构成

水下机器人视频智能识别分析系统应用架构设计，如图1所示。

图1 软件总体架构图

系统业务层主要包括基础信息管理、工作平台、缺陷智能分析管理、查询统计分析功能。

2.1 基础信息管理

基本信息管理功能主要包括干线/区域管理、管线管理、日志管理及用户管理。

2.1.1 干线/区域管理

干线/区域管理可维护信息包括名称、类型（干线、区），此信息将作为后续管线维护的一个字段。

2.1.2 管线管理

管线管理用于对管线信息新增、修改和删除，管线信息包括名称、所属干线/区、起始路名、终止路名以及备注等等信息内容。

2.1.3 日志管理

可对本系统相关日志进行查询、管理和分析。

2.1.4 用户管理

可根据不同的组织架构设定、管理不同的系统登录账号，信息维护包括姓名、联系方式、所属部门、所属角色、登录名、登录密码以及是否允许登录等。

2.2 工作平台功能

工作平台功能主要包括视频资源管理、缺陷分类管理、缺陷管理、疑似缺陷管理和人工缺陷排查等。

2.2.1 视频资源管理

（1）视频资源上载

对需分析的视频资源进行上传，上传视频同时可维护视频的基本信息，包括所属干线/区、所属管线、所属分段、视频长度、拍摄管线长度（视频长度与拍摄管线长度进行结合，可为后续桢图片提取提供时间间隔基础计算）和备注等各类信息，如图2所示。

图2 资源管理图

（2）视频分析

上载视频后，系统自动生成视频图片的保存路径、缺陷图片路径和疑似缺陷图片路径，生成视频分析任务记录，记录包括视频路径、图片文件夹路径、缺陷图片文件夹路径、疑似缺陷图片文件夹路径、状态（待分析、分析中、分析完成）、创建时间、开始分析时间以及结束分析时间等各类信息。

2.2.2 缺陷分类管理

缺陷分类管理包括分类及等级管理，分类包括名称、代码、所属类型、是否有效和备注等信息，通过分类管理功能模块可为后续对分类增减及名称的调整提供支撑。

2.2.3 缺陷管理

缺陷图片来源于人工智能分析程序所输出的缺陷图片、人工排查并确认缺陷图片后，疑似缺陷图片将正式转换为缺陷图片。

（1）缺陷查询

经由分类、所属干线/区、所属管线、所属分段、视频时间及类型等条件进行组合查询，可筛选满足条件的缺陷记录。

（2）缺陷分类变更

可由人工对人工智能分析程序所输出缺陷图片的分类进行调整，并且增加一条分类修改过程日志，便于后续的统计和分析（用于分析系统识别准确率）。

（3）缺陷移除

人工智能分析程序将正常图片识别为缺陷图片后，由人工进行核实转为正常图片，系统将记录相关信息用于识别准确率分析，并为后续人工智能算法优化提供基础支撑。

2.2.4 疑似缺陷管理

人工智能分析程序除了对已定义缺陷分类进行识别外，分析过程中将对疑似缺陷图片进行识别（即目前尚未定义故障缺陷，因相关故障样本缺失），并独立存储于一个文件夹内。

通过人工对此图片辨别后进行相应故障去除或类别设定，并为后续故障识别算法提升提供基础支撑。

2.2.5 人工缺陷排查

人工智能分析程序除了缺陷图片和疑似缺陷图片外，针对正常的图片显示在队列中，可由人工对其二次进行核实，避免缺陷的遗漏，如图3所示。

图3 人工缺陷排查图

2.3 缺陷智能分析管理

人工智能分析程序可根据视频资源管理模块所提交视频素材执行相关的分析任务，分析程序对分析的任务进行图片提取，并保存至指定目录，后续根据序号顺序命名图片。

对各张图片与模型进行匹配、比对和分析，存在缺陷则对缺陷位置进行标记及分类，并存储至相应的缺陷表单中，具体流程如图4所示。

图4 缺陷分析流程图

2.3.1 帧图片提取功能

视频上载后可对视频中的图片进行提取，因水下机器人移动速度比较慢，为提高分析程序效率，可以每间隔1 s提取一张图片。

一个视频任务存储到一个文件夹内，文件夹细分为图片文件夹、缺陷文件夹、疑似文件夹以及正常图片文件夹，提取图片程序提取的图片将默认存储至图片文件夹中。

2.3.2 特征匹配功能

特征匹配程序为基于深度学习的卷积神经网络进行构建，采用迁移学习的技术，可以更高效地使用训练样本，达到更好的缺陷识别效果。

人工智能算法模型根据不同缺陷分类进行分开训练，并分别保存为不同的算法模型，为后续根据识别准确率对各算法模型进行独立优化提供基础支撑，避免各算法模型间互相干扰，图片打标后如图5所示。

图5 缺陷图片打标图

2.3.3 缺陷深度学习功能

缺陷深度学习程序可基于管理人员所反馈的管道缺陷类型信息（即根据人工判断与系统判断样本差异性分析）对后端算法进行修正及优化，以不断提升缺陷分类准确性，并实现人工经验的有效积累，如图6所示。

图6 缺陷深度学习流程图

2.4 统计查询功能

2.4.1 分析准确性统计

通过所属干线、管线和统计类型（年、月）时间范围对识别准确率进行统计分析，如图7所示。

图7 分析准确统计图

2.4.2 缺陷分类统计

通过所属干线、所属管线及时间范围统计各类型缺陷的数量，用柱状图方式呈现，用于对管道质量进行有效性评价。

3 结束语

水下机器人视频智能识别分析技术可提高水下机器人所拍摄视频的处理能力，有效提升管道缺陷信息获取效率，实现人工管线缺陷识别经验的系统化积累，为排水管线的日常养护提供有效数据支撑，提高管线管理质量和提升运行效率。