针对电瓶车骑手头盔佩戴情况的无人机巡检方法研究

王晗鹏 平 鹏 杲先锋 刘伟浦

（1、南通大学 交通与土木工程学院，江苏 南通 226019 2、江苏鸿鹄电子科技有限公司，江苏 南通 226019）

1 概述

在实际道路行驶中，为获取有限路权，电动自行车与其他交通参与物需频繁进行博弈交互，其间极易产生相互碰撞，形成交通事故。相关研究表明，电动车事故所造成的颅脑损伤是导致电动车骑手重伤或者死亡的第一大因素。安全头盔作为保护骑手头部的防护设备，可以有效的降低交通事故中电动车骑手的头部受创程度，从而保障骑手的生命安全。为此，国家相关部门和地方政府相继出台了相关法律条例，实施引导或规范骑手佩戴安全头盔的行为，但是当前对电动自行车骑行者头盔佩戴、执法成本高、存在漏检等情况的检查，主要是依靠人工。对于电动车骑手的头盔佩戴识别难以进行持续的执法监督，不依法依规佩戴安全头盔的现象往往呈现出一段时期严厉监管后迅速反弹。因此急需推进一种智能识别骑手头盔佩戴情况的技术，以便为交管部门准确、灵活、全天候掌握重点路段电动车骑手头盔情况提供技术支撑。

近年来，机器视觉在深度学习的驱动下得到了长足发展，相关研究表明，YOLOv3 在维持不错准确度的基础上，其速度已超越其他同类目标检测方法的三倍之多，其对于图像数据中特定目标的检测精度进一步提升，为安全头盔佩戴识别提供了新的技术手段[1-2]。另外无人机等新型观测主体的出现，为基于机器视觉技术实现骑手头盔佩戴情况的自动化识别提供了可能。鉴于电瓶车骑手头盔外观不统一，同时不戴头盔骑手的外观特征区分度较低，本文设计了一种面向无人机巡检的电瓶车骑手头盔佩戴情况识别方法，拟通过该方法提升对于危险骑行行为的识别准确度，为交通安全管理部门的管理效能提升提供重要技术手段[3]。

2 电瓶车骑手头盔佩戴特征识别方法

2.1 识别模型

YOLOV3 于2018 年正式提出，相较于YOLO 算法之前的两个版本，主要在特征提取网络和对区域的预测两个方面进行了改进[4-5]。在继承了之前版本的优点的前提下，使用了新的特征提取网络和采用不同尺度对目标进行检测，提高了目标的检测准确率。

YOLO 模型的特点是把目标图像视为一个整体，用N*N 的网格对图片做分割处理，然后基于各个网格的位置和相应的内容，预测地点、类别、可信度等信息。预测位置是利用网格方框以网格中心点处的对象为目标，利用不同识别对象与相应类型的分数比例进行置信度表征，从而使YOLO 算法在实施方法上有着快速、有效的优势。为了减少目标的漏标，算法会产生更多数量的候选框，但这些候选框并不都是我们想要的结果，甚至很多候选框的重合面积都比较大，为了得到准确的检测结果，需要先去掉一个置信度分数低于某一标准的候选框，对于剩余的候选框，则结合置信度和IOU 值进行排序，通过去掉多余的备选框，得出最终的预测框架。YOLOV3 算法通过对各区域概率分别检测，然后加权计算得出整块区域概率的方法，完善了原有的网络检测方法，改善了检测速度和整体搜索能力。

利用Dark.net53 网络结构进行特征的提取，在每一位隐藏层间的残差结构设定短路链接，增强了低级和高级特征的融合，提高了系统的识别精度[6]。该算法打破了常见的池化层和全连接层，通过改变卷积核步长的方法来控制张量维度，从而实现尺寸递减维度和通道升维维度的目标。该算法不仅加大了模型的特征提取能力，而且可以让Darknet-53 对整个图像进行更敏感、更精确的搜索。在这种模型中，一共有5 次尺寸降维，每个高度和宽度都降低了输入大小，5 层的深度，残差结构可以增强网络的特征提取能力，并且在每个维度上维持了传入和传出张量的一致性。该方法以通道维度增加为主要目标，以保证图像特征在不.增加通道维度的情况下得到较好的抽取，同时，利用输入张量和变换张量相加的方法，对梯度进行有效的控制，从而有效地避免了梯度消失或梯度爆发等问题。在采用5 次残差层时，将后3 次输出的张量y1、y2 和y3 作为输入变量，以实现随后的特征图预测。就拿416*416 的像素而言，第一个张特征图的张.量维度是y1.shape=[52、52、256]，第二张是y2.shape=[26、26、512]，第三张是y3.shape=[13、13、1024]，对越小的特征图，其特征维度就越高。YOLOV3 模型的最终预测结果包括多个方面，即：不同的对象的概率和这些对象在图象中的矩形坐标信息，因此，利用YOLOV3 的结构特征，可以发现，在预测框坐标固定的前提下，预测对象的数目和最终输出的张量参数必须与固定输出有关，同时，与卷积神经网络的计算复杂性正相关，与完整的预测模型进行计算复杂性正相关。要求所识别的对象类型要比普通对象类型少，例如在自动驾驶领域中的车辆定位等情况下，需要对某一特定对象进行预测。所以，要合理地调整车型的特征，针对电瓶车骑手提高目标识别的准确性。

2.2 检测环境噪声抑制与采集优化方法

为抑制目标图像受外界光线的干扰，本文对电瓶车骑手图像分别进行灰度化、灰度变换、平滑处理，来减小噪声影响。为减轻计算机识别的工作量，可以采用灰度化处理所获得的彩色图像，即用单通道的灰度图像取代RGB 彩色图像。目前常用的灰度法有平均法、加权平均法、分量法和最大值法，采用设定不同的颜色权重取值加权平均法。在现实生活中，人类对绿色、红色、蓝色的敏感性从高到低，为了客观地反映人眼所见的实际情况，取绿色权重的数值最大，取红色、蓝色权重的数值较小，即取绿色、红色、蓝色权重从大到小的顺序。其公式表达式为：

光照条件的好坏可以用灰度值的分布来判断，当光线的较暗时，大部分的灰度会向数值较小的地方集聚，而在较强的时候，大部分会向数值较大的区域集聚。累计灰度直方图可对于图像的灰度情况进行整体对比，是突出图像中的有用特征的一种方法。通过非线性拉伸直方图，重新分配集中在某一范围内的像素值，使灰度值的分布近似平均分布，从而使图像的对比度更强，便于后续处理过程的处理。需要对经过直方图均衡化处理的图像进行平滑处理，器件和环境的噪声影响都会影响图像信号的传输质量。平滑处理是为了过滤图像，由于噪声常呈高斯分布而使用高斯滤波器，而高斯滤波器对于噪声的过滤效果更佳。在研究中使用高斯核赋值图像中各像素点的权重，然后用所赋值的权重与图像中的像素点相乘，得到中间像素值在使用的时候，可以通过适当增大高斯滤波算子的尺寸来增强图像的平滑效果，文中采用的一维和二维高斯函数的公式为：

3 数据采集与模型性能验证

3.1 数据采集。本文使用的无人机是一款通过手持遥控器进行操控的四旋翼无人机。其中，飞控系统、摄录系统、图传系统等无人机均有搭载。无人机可以通过计划路径进行飞行，也可以通过遥控进行操控。视频采集系统可以将采集的视频实时反馈到遥控器的显示屏上以便确认样本的采集情况。在执行样本采集任务时，根据手持遥控器的操控，可以实现偏航、俯仰与横滚等飞行动作，来满足高度、视角等要求[7]。样本除了要有足够的数量，还要具有多样性。本文的样本考察维度包括地点、时间(早中晚)、天气、道路类型、飞行高度、正负样本等来确保训练的有效性。

为分析拍摄参数对于骑手特征识别的影响，研究中使用无人机搭载摄像机，在5 米、7 米和9 米的高度拍摄了不同路口或道路上行驶的电瓶车，视频分辨率为1080×720，使用OpenCV 分割视频读取图像，将未戴头盔的电瓶车骑手在图片中手动框出，通过程序对其所占用的象素进行计算，并对象素大小的变化进行分析。通过对航拍无人机不同高度下的电瓶车像素值的变化，无人机的飞行高度在5 到9 米之间时，电瓶车与骑行者的占用象素值随着无人机的接近二增大，即便在7 米的高度，目标所占用像素值的大小仍然大约是612×382，所以无人机在飞行过程中能够获得足以进行电瓶车骑手识别。本文采用1000 张图片作为训练集，500 张图片作为验证集以及700 张图片用于模型测试。

图1 初步处理的样本示例

3.2 模型的性能验证

3.2.1 验证环境。 本文采用深度学习架构YOLO-Darknet53 搭建实验运行环境，计算机显卡为NVIDIA GTX1050Ti，搭载CPU 为Intel i7-8750H 并采用CUDA 环境进行GPU 并行加速计算，采用Python 进行编程。

3.2.2 评价指标。评价深度学习模型的指标较多，比如用精确率(Precision)来评价分类器预测的准确性，平均正确率(AP)是评估模型的重要指标；交并比(IoU)来反映预测框与真实框的占比关系等[8]。本文拟解决的问题属于二分类问题,研究目的就是检测出所有的戴头盔以及未带头盔的骑手，因此为验证分类方法的性能，本文采用精确度来衡量模型标准。精确度Precision 指的是所有被识别出来的样本中，真实的样本所占的比例，公式如下：

3.2.3 验证结果。飞行器飞行的高度不同，会对目标的探测和识别造成一定的影响，从而导致不同的视角拍摄视频。考虑到城市道路监控立杆一般高度为6 米横臂1 米，对室外离地有不应低于3.5 米的安装高度要求。于是初步设计检测识别无人机拍摄5 米、7 米、9 米高的测试序列。从每个高度拍摄的视频取300 张图，结果如下表：

表1 电瓶车骑手头盔佩戴情况识别结果

从表中可以看出，YOLOV3 目标探测受无人飞行高度逐渐升高的影响较小。但飞行高度对电瓶车骑手的影响较大，通过对验证失败的数据分析和进一步测试发现，目标在5 米高处拍摄的影像中所占的比例是比较恰当的。识别成功率也较高。而3 米的成功率随着水平距离的调整成功率逐渐升高。本文采取了3～10 米高的范围进行实验，每个高度再选取4 个不同道路或路口在光照良好的条件下各100张图片，模型识别结果如下图：

图2 不同高度目标识别成功率

目标识别的成功率随着无人机飞行高度的提高而逐渐提高，但目标俯视角度过近有会使成功率开始降低，而超过一定高度后目标所占像素比例减小不便识别。所以最佳识别距离在5-6 米。除了高度和光照的变化，水平方向的不同偏移角度也会影响目标特征的提取效果。我们以笔直的车道线为基准，分别偏移0°、15°、30°、45°、60°后采样并进行目标识别，统一在光照条件良好的5m 高度进行样本采集，得出的识别准确度如下图：

图3 不同角度目标识别成功率

随着无人机飞行水平旋转角的增加，相交于正对车道，骑手头盔的特征更加明显，识别成功率有提升。角度超过30 度后识别的准确率并没有明显提升。而且无论是停止线线前的闯红灯拍照还是路口信号灯旁的监控摄像头，可视角一般在40°～50°以确保足够的覆盖面积，对于无人机搭载的小型摄像头则在30°左右可以取得较好的识别效果。

4 结论

为了解决电瓶车骑手头盔佩戴识别问题，采用航拍视频首先获得YOLOv3 网络所需要的大量不同高度的样本，然后对其进行训练；再通过对分类模型进行权重、分割数据集中的图像，并对模型的准确性和通用性进行不同检测条件下的训练。如何进一步简化网络计算量，增加模型鲁棒性，适应复杂背景变化，提高识别准确度是下一步的研究重点。