基于视频识别的路侧堆积物检测方法研究

薛红军 陈 瑜 ＊ 林海鹏 谢 斌

（1.南通市公路事业发展中心，江苏南通 226000；2.华设设计集团股份有限公司，江苏南京 210000）

当前我国公路交通信息化建设逐步向智能化转型升级，公路交通作为江苏公路交通运输体系的重要组成部分。公路养护是保障公路运输正常化的重要一环，改变公路养护巡查的技术手段、开展公路智能养护巡查智能终端示范应用显得格外重要。《“十三五”国家战略性新兴产业发展规划》中指出，加快视频、地图及行业应用数据等人工智能海量训练资源库和基础资源服务公共平台建设，建设支撑大规模深度学习的新型计算集群。公路路侧堆积物是国省干线上较为常见的一种路面异常事件，经常出现在集镇、厂矿工地等附近的公路上，主要包括农作物、建筑材料、生活垃圾等，不仅产生公路交通安全隐患，还会严重影响公路卫生环境。及时发现和清理公路路侧堆积物污染，对于提高公路通行能力、保障公路通行安全、改善公路通行环境具有重要意义。

1 现状分析

本文以南通市公路养护巡查业务为案例进行研究。南通市路网目前已形成以“八横十纵”为主、总里程约1 800 km的普通干线公路网。截至2019年末，南通市建成视频监控设施189套，密度为2 km/套，之前建设的97路摄像机清晰度为200 万pix，现在建设的为400 万pix。未来，南通市将会继续在国省干线沿线布设大量视频监控设施。

目前对这类公路污染物的发现主要依靠各级公路网管理部门通过人工的方式进行巡查，即路网管理人员在公路监控中心对接入的公路监控视频画面进行人工轮巡，通过人眼观察的方式发现视频中发生的公路路面异常，或派遣巡查车辆上路进行巡查，现场查验沿途的路侧堆积物事件。人工巡查的方式效率低、人力成本投入大、轮巡时间间隔长，事件漏检风险高，难以及时发现并处置公路污染物。

存在不足：

（1）人工巡检人员不足。

通过调研发现，目前南通市国省干线里程长、覆盖范围广，路网巡检包括路基路面状态、沿线设施状态、绿化修剪、桥梁健康状态等较多内容，造成一线养护巡检任务重。

（2）人工巡检实时性不足。

目前，公路分中心逐步完善视频轮巡系统，依靠人工值班、人工视频轮巡进行事件检测，难以实现对公路突发事件的及时发现和快速处置。

（3）人工巡检成本高。

目前，通过人工或巡查车辆上路巡查的方式进行日常路面的巡检工作，会造成人工成本和车辆使用成本。

（4）智能化程度不足。

目前，路面事件检测主要通过人工的方式发现，先进的互联网、人工智能等技术没有得到充分充分利用，智能化程度有待提升。

2 算法流程设计

本方法主要流程包括视频图像采集、预处理、图像检测算法处理、事件检测结果输出等部分，分别承担公路监控视频数据的采集、视频图像的帧提取、事件检测和事件判别输出等功能。

算法流程设计如图1所示。

图1 算法流程设计

3 算法实现

3.1 数据输入

接入满足实时信息传输协议的公路网监控视频，对视频流解码。考虑路侧堆积物将在较长时间保持静止，按1 帧/s循环读取视频图像，对视频图像进行预处理，将视频帧图像尺寸缩减为1 280 pix×720 pix，令k时刻输出图像帧表示为fk(x,y)，k∈Z+，x∈[0,127 9]，y∈[0,719]，x,y∈Z，分别为图像宽度轴和高度轴上的坐标。

3.2 算法处理

算法处理由视频读取与预处理、目标提取、目标过滤、目标输出组成。视频读取与预处理主要对初始视频进行读取，并进行预处理和路面区域获取；目标提取主要通过Yolov3的目标检测获取堆积物相关的目标集；目标过滤主要进行道路区域外目标过滤；目标输出主要是输出检测目标结果。

算法处理流程如图2所示。

图2 算法处理流程

视频读取与预处理：接入公路网监控视频流，对视频流进行解码，每秒循环读取1帧视频图像，并对视频图像进行预处理，将输入图像转换为灰度图再进行形态学滤波，降低噪声干扰。使用ViBe方法检测图像中的运动前景图像，检测到有运动目标时，提取运动目标的轮廓，得到运动目标的轮廓集合[cnti]，计算所有运动目标轮廓的总面积，运动目标的总面积小于阈值thcnts时，认为这一帧图像fx(x,y)包含的运动目标所占区域较小，利用这一帧图像进行分割可以获得较完整的路面区域，这一帧图像fk(x,y)标示为fB(x,y)。

目标提取：利用基于深度学习的Deeplabv3+图像语义分割方法，对的图像fB(x,y)进行分割。利用基于深度学习的Yolov3图像检测算法，对每一帧视频图像进行目标识别，提取公路视频巡查场景下图像中与路侧堆积物事件相关性较高的目标。

目标过滤：利用视频预处理提取的道路区域对提取的目标集T进行过滤。基于组成路侧堆积物的目标会在图像中的固定位置持续出现的特点，重复前面视频处理并记录输出的每一个目标在图像中相同位置出现的次数lopi。

输出在固定位置重复出现次数超过预设阈值th0的目标集合Ts：

对目标的聚集性进行鉴别，本研究借鉴密度聚类算法的思想，遍历搜索目标集合Ts中相交或相距较近且呈现聚集性的目标子集使输出的每个元素满足完成搜索后，输出所有目标子集的集合

目标输出：根据应用场景的特点，从TCAND中比对挑选包含路侧堆积物关键目标类别的元素输出。

3.3 算法输出

为保证事件时效性，达到事件即时发现即时处理，去除公路安全隐患，本实例通过调用应用端的API接口进行主动推送方式事件信息。消息内容主要包括事件编号、事件截图图片、事件视频、事件类型、事件时间。消息格式为JSON。

3.4 系统应用

通过对本文的算法思路进行设与实现，以南通路面事件养护巡查检测业务为案例进行研究，算法与公路养护业务系统进行对接，实现算法应用与业务系统的闭环。

算法运行环境：I7-8700处理器；32 GB内存：512SSD硬盘；GTX2080 8G显卡；Ubuntu16.04操作系统。

其他模块运行环境：IntelXeon3106（8核-1.7 GHz）处理器；内存配置≥32 GB；配置3块600 GB10KrpmSAS2.5硬盘；CentOS7操作系统。

4 结语

本文设计并实现了一种基于视频识别路测堆积物检测方法，该方法实现了公路路侧堆积物检测的信息化、智能化，大幅降低人力成本投入、减少经济成本，提高了事件检测实时性、节约了巡检时间、优化了业务流程等。本算法可为交通运输部门路面养护业务向非现场化、信息化、智能化方向发展和完善提供参考，符合《“十三五”交通领域科技创新专项规划》中对路网基础设施“交通重大基础设施智能联网监测与预警”的要求，实现基于人工智能的交通重大基础设施智能化养护，促进公路养护行业的发展。