基于YOLO v3的交通标志牌检测识别*

潘卫国, 刘 博, 陈英昊, 石洪丽

(1.北京联合大学 北京市信息服务工程重点实验室,北京 100101;2.北京联合大学 机器人学院，北京 100027; 3.北京联合大学 应用科技学院,北京 100101)

0 引 言

交通标志牌检测是无人驾驶和辅助驾驶的重要组成部分，也是实现安全驾驶的一个重要环节，车辆需要检测到前方道路的交通标志才能获取路况信息，这样才能增加自动驾驶的安全性和减少事故发生的可能性。

目前已有的相关研究包括Xiong C Z[1]提出的一种基于Faster R-CNN检测交通标志牌的方法。 Guo J K[2]提出的算法不仅可以识别出交通标志牌，还可以识别道路信息、设施服务和交通信号灯标识。Lee H S等人[3]提出了一种基于SSD实时的交通标志牌识别方法，同时可以提供精确的位置估计及标志牌精确的边界信息。Li C P[4]提出了基于channel-wise显著图和深度学习的端到端的交通标志检测方法，基于channel-wise的特征提取、层次性细化和特征融合等方法。Rehman Y W等人[5]提出了一种基于d-patches的方法解决交通标志牌检测过程中遮挡的问题。Wang D D等人[6]提出了一种基于级联的方法检测交通标志，同时使用了基于中层语义特征的显著图提升检测的速度。Yuan Y等人[7]提出了一种针对视频中交通标志检测、追踪和识别的增量式的框架。Zhu Z等人[8]提出了一种改进的交通标志定位方法，通过交通标志牌的颜色形状信息，使交通标志牌的边界框更加紧致。Zhu Y G等人[9]利用级联网络实现了一种针对文本类标志牌的检测方法。Liu Z G等人[10]提出了一种基于区域的多尺度卷积神经网络方法，能够检测识别出交通场景中较小的交通标志牌。目前的交通标志牌检测算法以深度学习为主，但是如何快速准确的检测出交通场景中的交通标志牌是一个难题。

在交通信号识别的过程中，交通信号的检测是关键的一步，直接决定了后续分类的效果，近几年，涌现出的基于深度卷积网络的目标检测可以分为single-stage[11,12]和two-stage[13～15]两种，在目标检测方面展现了显著的优势；基于single-stage的方法具有较快的检测速度，而基于two-stage的方法需要产生许多候选区域，检测速度较慢，但具有很高的准确率。目前研究的难点是如何达到这两类算法之间的平衡，既能够达到高的准确度又具有实时的检测效果。

1 交通标志牌检测

根据国家交管部门的规定，交通标志分为警告标志、禁令标志、指示标志、指路标志、旅游区标志和其他标志。本文的方法主要检测警告、禁令和指示三类交通标志牌，如图1所示。

图1 交通标志牌类别

本文提出的交通标志牌检测流程：

首先将图像进行颜色空间的转换，根据交通标志牌的颜色特性提取出ROI，再基于YOLO v3实现对场景中交通标志牌的检测。

ROI获取：将输入图像的颜色空间由RGB转换为HSV

V=Cmax

式中R'=R/255，G'=G/255，B'=B/255，Cmax=max(R',G',B'),Cmin=min(R',G',B'),Δ=Cmax-Cmin。

在HSV颜色空间提取指示、警示、禁止类交通标志牌的主颜色，分别是蓝色、黄色和红色，色彩的范围如下所示：H，S，V三分量都归一化到[0,1] 范围,具体地

在提取完三大类标志牌主颜色后，对获得的图像进行二值化处理，通过计算二值图像中连通区域(8连通)，去除掉连通区域较小的区域(350～550)，获得图像Image，同时考虑图像中目标由远及近的规律，对整幅图像的底边部分(w×h/5)不处理。

更重要的是，人们关注这个问题，不仅是担心新生代外部审美的娘性倾向，更担心新生代内部精神失去阳刚之气。孟子曰：“我善养吾浩然之气。”这种浩然之气，就是阳刚之气，既有“天行健，君子以自强不息”的自立，也有“不阿权不阿世”的刚正，还有“咬定青山不放松，立根原在破岩中”的坚毅，以及“长风破浪会有时，直挂云帆济沧海”的自信乐观。如果我们的民族失去了这样的精神品质，如果我们的男孩子失去了这样的价值导向，很可能就是一个悲剧的开始。

式中xmin为Image中所有像素x方向上最小值，ymin为Image中所有像素y方向上最小值；xmax为Image中所有像素x方向的最大值，ymax为Image中所有像素y方向上最大值。h为图像x方向的长度，最后获得的ROI。

边界框预测调整：(tx,ty,tw,th)是网络预测的边界框的4个坐标，如果网格偏离图像左上角的量为(cx,cy)，pw,py是先前边界框的宽度和高度，对应的预测框调整如下

bx=σ(tx)+cx,by=σ(ty)=cy,bω=pwetw,bh=pheth

类别预测：在分类阶段，soft-max有类间互斥的表现，不利于有包含属性关系的数据分类，因此使用多标签分类方法，取而代之的是多个独立的逻辑分类器，在训练阶段对于类别的预测采用的是二元交叉熵函数

特征提取：YOLO v3使用Darknet—53网络实现特征提取，相比较Darknet—19网络添加了残差单元，使用连续的3×3和1×1卷基层，该网络结果包括53个卷积层以及5个最大池化层，同时在每个卷积层后增加了批量归一化操作和去除dropout操作，防止过拟合现象。训练过程损失函数为

2 实 验

本文实验的计算机配置为:CPU E5—2670v2，显卡Gtx1080Ti，内存32G，操作系统为Ubuntu16.04。为了验证本文提出的方法，同时也在智能车实验平台上进行了实验，智能车实验平台如图2所示，车辆配有：GPS，16线激光雷达，前视摄像头和惯性导航等设备。

目前公开的交通标志牌数据集由于存在国内外的差异，所以标志牌数据不能直接使用，国内的数据集如CCTSDB只暂时公布了一部分数据，TSD-max数据集也由于举办“中国智能车未来挑战赛离线比赛”的需要只开放了很少一部分数据；TT100k是清华和腾讯合作标注的交通标志牌数据，可以公开下载使用，但是该数据也存在着标注样本数量不平衡的问题。目前还没有一个能够完全涵盖所有标志牌类型且每一类数量平衡的数据集，本文实验的数据来源包括CCTSDB、TSD-max、TT100k和自采数据标注4部分共计29 000张标注图像，其中自行标注的数据9 000张，采集的地点城市包括；北京、天津、上海、苏州、常熟、深圳、重庆等地；包含不同天气、不同时间、不同季节的交通场景数据，标注的类别如图1所示分为三类，标注过程中对于图像中信号灯目标区域小于的不予标注。随机抽取23 000张图像作为训练集，余下的6 000张图像作为测试集。

本文所提出方法的效果图如图2所示。

图2 测试平台与识别效果

用来衡量二分类模型精确度的一种指标，值越大说明模型越好。实验效果对比如表1所示。

表1 实验效果对比

从表1中前两行可以看出，本文的方法在上述各方面都得到了提升，主要得益于所提方法过滤了大部分的干扰(如汽车尾灯等)，在帧率方面也得到了提升，但是提升的幅度不大，原因主要是由于在确定ROI方面，存在一定的经验因素的影响，同时由于在处理过程中默认将图像底部1/5高度的区域去除掉，并且根据ROI选择的策略，如果ROI的点坐标落在底部区域，将在原始图像大小上进行交通标志牌的检测，所以提升幅度不大，本文提出的算法已经可以满足在日程行驶速度下智能车辆对交通标志牌的实时处理。表中的第3～5行，分别是基于Faster RCNN的方法对交通标志牌的检测结果，分别对应于使用VGG16、Res50和Res101三种不同的特征提取网络实现的效果，整体上召回率和查准率要优于基于YOLO的方法，但在处理的实时性上却远不如基于YOLO的方法。

本文中检测的对象为交通标志牌，分布于全路段中，为了保证能够在智能车辆正常行驶的过程中实时检测交通标志牌，从本文的实验结果中可以看出，本文所提出的方法在准确率和实时性能上都得到了一定程度的提升，并且在实际的无人驾驶车辆平台上得到了验证，能够满足在全路段下实时的处理。

3 结束语

通过实验对比验证了所提方法的有效性，并根据交通标志牌数据集的现状，标注了9 000张交通场景图像，扩充了现有的数据集。下一步将在数据的多样性和平衡性方面扩充数据，同时由于光照等因素交通标志牌的颜色也会有所差异，颜色的提取也需要进一步的完善。