基于无人机视频的公路交通标志缺失检测技术研究及应用

刘 坤,孙 满,王 乐,谢 斌,党 倩,高 婵

（1.徐州市公路事业发展中心,江苏 徐州 221018; 2.华设设计集团股份有限公司,江苏 南京 210000）

0 引言

近年来，交通运输部发布了一系列政策针对新技术的应用进行了指导。无人机作为一种新型设备，通过5G、物联网、AI 技术等技术的融合，能够在很多不同行业中起到良好应用效果。目前，无人机逐步在交通行业中开展应用研究[1]。利用无人机应急调度系统开展公路巡查，可以第一时间到达现场了解情况，及时执行应急调度[2]。目前公路管理部门已经将无人机应用到公路行业管理方面，但是主要依赖人工操作、人眼判断，较少运用人工智能算法识别技术[3]。

交通标志识别[4]指利用机器视觉技术进行标志识别，其应用领域广泛，如自动驾驶辅助系统、自主驾驶、交通控制、公路网维护等[5]。交通标志是行车过程中的重要指示标志，是保障行车有序和道路交通安全的重要成分，因此对交通标志的识别具备很高的研究意义和实际价值。随着深度学习的兴起，目标检测和识别任务[6-7]得到了极大发展，但目前尚无可用的交通标志检测数据库或分析系统。由于交通标志易受采集条件影响，往往目标小且容易受到环境中天气、光照度、障碍物遮挡等影响，不易被正确识别，因此交通标志识别是一项具有挑战性的任务。

1 现状分析

该文以徐州市交通标志缺失事件为例开展研究。目前，徐州市基本实现了重要国省干线外场视频监控全覆盖（平均布设密度3～4 km/处），接入徐州公路视频监控平台固定视频553 路（睢宁县公路网管理与应急指挥中心接入视频60 余路，徐州市三环路网指挥中心接入视频74 路）。另外，徐州市现有移动视频车共计50 辆，可通过3G、4G 方式向路网中心实时传输视频。

目前对于这种缺失事件的发现主要依靠对徐州公路监控视频进行人工巡查，即：公路中心管理人员在公路中心对公路视频监控系统的视频界面进行人工轮巡，通过人眼观察的方式发现视频中发生的交通标志缺失事件，或者派遣巡查车辆上路进行巡查，现场检查交通标志牌的状态。根据目前公路巡查现状，主要存在以下不足之处：

1.1 人工巡检人员不足

经过调研发现，目前徐州市道路里程长、覆盖范围广，由于路网巡检包括路基路面状态、沿线设施状态、绿化修剪、桥梁健康状态等较多内容，造成一线养护巡检任务重。

1.2 人工巡检实时性不足

目前公路中心逐步完善视频轮巡系统，依靠人工值班、人工视频轮巡进行事件检测，难以实现对交通标志缺失的及时发现和快速维护。

1.3 人工巡检成本高

目前通过人工轮巡或巡查车辆上路巡查的方式进行交通标志状态检测，会造成人工成本、车辆使用成本和燃油能源等的损耗。

1.4 智能化程度不足

目前路侧摄像机仍有覆盖不到的视频监控盲点，存在视角范围难以覆盖整个控制区等问题。由于无人机具备视角灵活、远距离、高空、快速作业能力，因此亟须采用无人机进行智能巡查工作。

采用基于无人机影像的图像识别手段来检测公路异常事件，是目前升级现有人工监控方法广泛接受的方案之一。随着续航能力提升，以人工智能赋能无人机机载视频，为大范围路网运行监测提供智能化手段，解决传统“车载人走”巡查方式的检测视野不足、存在安全隐患、能耗较高等问题。

2 算法流程设计

该算法主要流程包括视频图像采集、预处理、图像检测算法处理、事件结果输出等部分，分别承担公路监控视频数据的采集、视频图像的帧提取、事件检测和事件判别输出功能。算法流程设计图如图1 所示。

图1 交通标志缺失检测方法流程图

3 算法实现

3.1 交通标志目标检测

交通标志的识别是公路养护巡查与智能驾驶的关键领域，这与视频及图像中物体目标的检测技术是分不开的。室外环境复杂多变，交通标志的明亮程度、损坏形变、尺寸变化都对目标检测系统提出了很高的要求。针对这些特点，我们提出采用YOLO 框架进行交通标志的检测，检测速度非常快，可以满足移动式视频检测器的要求。目标检测方案采用YOLO 和级联分类器结合的方式进行检测，框架流程图如图2。

图2 交通标志目标检测流程图

YOLO 目标检测方法的特点是实现快速检测的同时还具有较高的准确率。该方法将目标检测任务看作目标区域预测和类别预测的回归问题。该方法采用单个神经网络直接预测目标边界和类别概率，实现端到端的目标检测。

Adaboost 是一种迭代算法，其核心思想是针对同一个训练集训练不同的分类器（弱分类器），然后把这些弱分类器集合起来，构成一个更强的最终分类器（强分类器）。通过对图片特征分析，采用不同特征完成分类器，可以得到二分类器，再利用筛选式将分类器级联起来，形成级联分类器，提高目标检测的准确度。级联分类器示意图如图3 所示。

图3 级联分类器示意图

3.2 交通标志缺失状态检测

我国各地的公路交通建设日趋完善，公路基础设施及其附属设施发生着日新月异的变化。交通标志由于地物遮挡、标志破损及标志被盗等原因，引起了交通标志缺失的问题。在对交通标志缺失状态识别前首先需要采用交通标志目标检测算法进行交通标志的识别。

交通标志缺失状态识别一般是通过人工手段进行识别，这种手段效率低、作业量大且准确度差，限制了道路交通附属设施维护的及时性，不利于数据信息的及时更新。针对以上问题，该项目提出了一种基于机器视觉的交通标志缺失检测方法，可对交通标志的缺失问题进行自动化检测，有效解决了现有人工手段效率低、作业量大且准确度差的问题，大大提高了巡查效率和准确率。

识别模块检测利用改进的YOLO 神经网络结构模型进行图像特征提取，该方法结构模型具体为：基于交通标志尺度较小的特点，删除YOLO 预测层中52*52*255的大尺度预测层，同时，对13*13*255 的小尺度预测层进行上采样，与26*26*255的中尺度预测层进行累加融合，重组成新的26*26*255 的预测层，然后以13*13*255 的小尺度预测层和重组后26*26*255 的中尺度预测层分别预测不同尺度的目标，从而完成对所有目标的预测；其中，预测层是指原始YOLOv3 神经网络结构中的输出层。改进后的YOLO 神经网络模型结构示意图如图4 所示。

图4 改进的YOLO 神经网络模型结构示意图

4 总结

该文设计并实现了一种基于无人机影像的交通标志状态缺失状态监测方法，该方法实现了公路交通标志检测的信息化、智能化，大幅降低人力成本投入、减少养护巡查经济成本。同时，提高了事件检测实时性，节约了巡检时间，优化了业务流程。该算法可为交通运输部门公路巡查向非现场化、信息化、智能化方向发展和完善提供参考，符合探索先进装备在公路行业应用的相关国家行业规划政策要求。