基于神经网络的交通标志检测方法

陈新宇 金艳梅

摘要：交通标志识别系统是高级驾驶员辅助系统的重要组成部分，在许多实际应用中至关重要，介绍了常见的检测和分类算法，并且将不同的检测和分类方法结合用于交通标志的实时检测，对比分析了实验结果。对ssd_mobilenet_v2，faster_rcnn_inception_v2，ssd_mobilenet_v1，ssd_inception_v2實时识别交通标志的效果进行了分析与评估。实验表明，faster_rcnn_inception_v2获得最佳的检测性能，而ssd_mobilenet_v2则在准确性和执行时间上都取得了较好的效果，可考虑将其应用于实时的交通标志检测系统。

关键词：交通标志检测；图片识别；神经网络；智能驾驶；实时检测

中图分类号：TP391文献标志码：A文章编号：1008-1739（2020）06-66-4

0引言

交通标志识别系统（TSRS）构成高级驾驶员辅助系统的重要组成部分，在许多实际应用中至关重要，例如自动驾驶、交通监控及驾驶员安全和辅助，道路网络维护以及道路交通场景的分析。TSRS通常涉及交通标志检测（TSD）和交通标志识别（TSR）2个相关主题，前者专注于目标在帧中的定位，而后者则执行细粒度分类以识别所检测目标的类型[1-2]。

通过开源模型，分析并比较了4种CNN模型用于交通标志的识别，评估后的检测模型是检测模型（Faster R-CNN，SSD）和分类模型（mobilenet_v2，inception_v2，mobilenet_v1）。同时评估多个重要因素，例如mAP，推理执行时间和内存消耗。本文概述了基于CNN的现代对象检测算法，即Faster R-CNN，SSD，分析和评估专门针对交通标志检测任务而调整的几个最新对象检测器，模型的评估包括关键指标，例如mAP等。

1交通标志检测方法

近些年，深度卷积神经网络被成功地应用于物体识别与目标检测，其中以AlexNet为代表[3]。2012年，Krizhevsky等人在ImageNet大规模视觉识别的挑战赛中展现了CNN显著提高图像分类精确度的能力。受到AlexNet在图像处理领域的显著效果的启发，Ross Girshick[4]等人提出一种深度学习模型，命名为R-CNN，将CNN运用于目标检测问题，该模型首先使用选择性搜索算法来计算图像的候选区域，然后将所有的候选区域输入到R-CNN模型中提取特征，最后在SVM中完成分类。虽然R-CNN的正确率有了很大提升，但也存在着缺点，由于每张图像有大约2 000个候选区域，导致计算量很大。微软亚洲研究院工作者SPPnet[5]的思想运用于目标检测中，其过程和R-CNN一样，在PASCAL VOC测试，准确率和R-CNN相近，但运行时间大大减少。2015年，Ross Girshick进一步将SPPnet的思想和R-CNN结合提出卷积神经网络模型Faster R-CNN[6]，再用Softmax[7]回归替代SVM分类器降低空间和时间的开销。整个训练过程不需要分级进行，检测过程更加高效，准确度更高。2016年，Liu Wei[8]等人将YOLO网络[9]的结构与Girshick的Faster R-CNN[6]相结合，提出了SSD目标检测算法，SSD网络的速度比Faster R-CNN要快很多，但其工作方式却和Faster R-CNN存在显著不同。SSD算法直接在整幅图像上生成各种大大小小的目标边界框，然后使用非极大值抑制技术将高度重叠的边界框整合成一个。将处理候选区域的问题转化为线性回归的问题，利用线性回归思想找出与目标最为接近的预测框，该算法提高了计算速度，准确率也有一定的保证。采用这种方式的优点是极大提升了运算速度，适用于计算力较低的硬件环境。

1.1 Faster R-CNN

Faster R-CNN[6]引入了区域提案网络，是完全卷积神经网络，可同时预测对象边界框和对象度得分。由于全图像卷积特征图与检测网络共享，模型完全可以从端到端训练。区域提议以滑动窗口的方式生成，在最新卷积层的输出特征图上滑动一个小型网络，区域提案网络会在每个滑动窗口位置预测多个区域提议，其中是每个位置的最大提议数目。个提议相对于个参考框（称为锚点）进行参数化，这些锚框中的每一个都与纵横比和比例相关联，并以滑动窗口位置为中心。为了减少重叠区域提案网络的冗余，对提议区域进行非最大抑制（NMS）算法，NMS算法负责合并属于同一对象的多个检测。将排序后的提案区域转发到检测网络，检测网络最终将边界框回归，并在确定的对象类别中对每个边界框进行分类。

1.2 SSD

SSD[8]将所有计算封装在单个前馈卷积神经网络中，直接推断出框偏移量和对象类别分数。因此，不需要边界框提议生成和随后的特征或像素重采样的阶段。SSD使用一组默认框（定位框），这些默认框由开发人员手动选择，这些开发人员必须事先观察要检测的对象的大小。这些默认框的目的是使每个要素图位置的缩放框的输出空间离散化为不同的比例和纵横比。也就是说，在每个特征图单元中，SSD会预测相对于该单元中锚点形状的偏移量，以及指示每个锚点中存在对象类实例的类别分数。

此外，为处理多种尺寸的对象，SSD结合了来自不同分辨率特征图的预测。SSD模型的早期网络层基于高质量图像分类的标准体系结构，然后将辅助结构添加到网络，以生成用于检测目的的多尺度特征图。这种结构由卷积特征层组成，其目的是逐步减小这些特征图的大小，并允许在多个尺度上预测检测。

2交通标志特征提取方法

2.1 Mobilenet_v1

Mobilenet_v1[10]的创新点在于用深度可分离卷积代替传统的卷积操作，这样可以减少参数的数量和操作，但同时会使特征丢失导致精度下降。为了解决上述问题，mobilenet_v1在深度可分離卷积的基础上，使用倒残差（Inverted Residual）和线性瓶颈（Linear Bottleneck）技术来保持模型的表征能力。

2.2 Mobilenet_v2

Mobilenet_v2的基础结构中增加的升维PW卷积，可以将通道数扩大到较高的维度。mobilenet_v2的改进是纺锤形Block，将一个卷积操作继续分解为3个乘法的和，这样使得每个Block之间可以以较小的通道数[24 32 64-96 160-320]进行传递，在Block中升维[144 192 384-576 960-1920]可以得到更多特征。将CONV1x1层的参数数量和计算量直接减小若干倍（文中6倍），轻微增加DWCONV3x3的通道数以保证网络容量[11]。

2.3 Inception_v2

Inception_v2[12]设置了ILSVRC2014检测和分类挑战中的最新技术。Inception网络使用Inception单元，这些单元可以增加网络的深度和宽度而不会增加其计算成本。当将SSD用作元体系结构时，SSD中不需要区域提议的特征提取，因此inception_v2不会拆分，而是整个网络模型被用作主要特征提取器。但是需要多个尺度的辅助卷积特征图。选择最顶层的卷积特征图和较低级别的高分辨率特征图，然后将具有批处理归一化和深度512，256，256，128的4个卷积层序列添加到先前选择的层以执行预测任务，这些附加层中的每一个都会使特征图的空间分辨率降低2倍。

3实验仿真

3.1数据集

本文采用德国交通标志识别基准（GTSDB），在比较文献中被广泛应用于交通标志检测方法。GTSRB包括各种类型的道路（道路、村庄、城市）在白天和黄昏期间记录的自然交通场景，以及许多天气条件。数据集由900幅包含1 206个交通标志的完整图像组成，分为600个训练集（846个交通标志）和300个测试集（360个交通标志）。目前共标记43个种类，含有43个类别，如图1所示。每个图像包含0个或1个或多个交通标志，如图2所示。为了更好地测试每种类方法对小、中、大目标的识别效果，按照目标范围的大小将图片分为小背景图片（0～32像素）、中级背景图片（32～64像素）和大背景图片（64～96像素）。

3.2实验结果对比

实验在Intel Core i5-8400 CPU 8 G内存和GeForce GTX1060GPU上运行。表1提供了4种方法在不同背景图片的检测指标。不同天气条件下测试数据集的部分可视化结果如图3所示，可以看出，每个交通标志实例都很小，占整个场景的比例不到1%。但是faster_rcnn_inception_v2仍然可以识别到目标区域。

由表1可以看出，其中faster_rcnn_inception_v2检测小尺寸交通标志图片的precision测量值为24.8%，中尺寸的precision测量值为65.7%。大尺寸的precision测量值为80.0%。而ssd_mobilenet_v2检测小尺寸交通标志图片的precision测量值为24.6%，中尺寸的precision测量值为64.8%，大尺寸的precision测量值为86.4%。可见，虽然faster_rcnn_inception_v2小目标、中目标和大目标均获得最佳的检测性能，但是其检测时间远高于ssd_mobilenet_v2，因此不能作为实时交通标志的方法，而ssd_mobilenet_v2检测性能与检测时间都取得比较好的效果，可考虑将其应用于实时的交通标志检测系统。

4结束语

交通标志的识别是无人驾驶中的重要组成部分，神经网络识别方法被广泛应用于交通标志检测方法，而不同的方法有其优劣性。研究表明，faster_rcnn_inception_v2获得最佳的检测性能，而ssd_mobilenet_v2则在准确性和执行时间之间取得了最佳效果，可考虑将其应用于实时的交通标志检测系统。

在未来的工作中，计划研究其他神经网络架构，这些架构已被证明可以很好地检测或分类通用对象，并使它们适应于真实背景下交通标志识别领域。并且实现真实背景的交通标志应用。

参考文献

[1] LAESCALERA A D，MORENO L E，SALICHS M A，et al. Road Traffic Sign Detection and Classification[J]. IEEE Transactions on Industrial Electronics，1997，44（6）：848-859.

[2] ARCOS-GARCIA A， ALVAREZ-GARCI A J A， SORIA-MORILLO L M. Deep Neural Network for Traffic Sign Recognition Systems： An Analysis of Spatial Transformers and Stochastic Optimisation Methods[J].Neural Netw，2018（99）：158-165.

[3] ALEX K， LLYA S， GEOFFREY H. Image Net Classification with Deep Convolutional Neural Networks[J].Commun ACM，2017，60（6）：84-90.

[4] GIRSHICK R， DONAHUE J， DARRELL T. Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation[C]//2014 IEEE Conference on Computer Vision and Pattern Recognition，Ohio，USA：2014：580-587.

[5] SATURNINO M B， SERGIO L A，PEDRO G J. Road-Sign Detection and Recognition Based on Support Vector Machines[J]. IEEE Transactions on Intelligent Transportation Systems，2007， 8（2）：264-278.

[6] HE K M，ZHANG X.Y， REN S Q，et al. Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition[J].IEEE Trans. Pattern Anal. Mach. Intell， 2015，37（9）：1904-1916.

[7] BOUCHARD G. Clustering and Classification Employing Softmax Function Including Efficient Bounds[J].U.S. Patent 8， 2011：246.

[8] REDMON J， DIVVALA S，GIRSHICK R. You Only Look Once： Unified， Real-Time Object Detection[C]//InIEEE Conference on Computer Vision and Pattern Recognition， NV， USA，2016：779-788.

[9] LIU W， ANGUELOV D， ERHAN D.SSD： Single Shot Multibox Detector[J].Proc. Eur. Conf. Comput.Vis.，2016： 21-37.

[10] HOWARD A G，ZHU M，CHEN B，et al.Mobilenets： Efficient Convolutional Neural Networks for Mobile Vision Applications[J].arXiv preprint arXiv：1704.04861，2017.

[11] SIMONYAN K，ZISSERMAN A. Very Deep Convolutional Networks for Large-Scale Image Recognition[J].arXiv preprint arXiv：1409.1556，2014.

[12] IOFFE S，SZEGEDY C. Batch Normalization： Accelerating Deep Network Training by Reducing Internal Covariate Shift[J].arXiv preprint arXiv：1502.03167，2015.