基于卷积神经网络的交通标志实时检测与识别

李晨 汪杨

摘要：在真实的驾驶场景中，由于光照变化、拍照角度等因素，所采集的图片质量往往不高，这就对交通标志识别的准确性提出很高要求。针对这种问题，我们提出一种基于卷积神经网络的交通标志识别方法。该方法采用两步骤方案，在检测步骤中，目标是提出图片中交通标志的边界框。在识别步骤中，是识别裁剪图像的标签。实验结果表明，我们提出的方案能够有效解决光照变化、各种天气等实际驾驶环境中的问题。

关键词：深度学习；卷积神经网络；交通标志

中图分类号：TP391.41 文献标识码：A 文章编号：1007-9416（2018）06-0096-02

智能汽车是未来汽车行业的发展趋势，道路交通标志的检测与识别作为自动驾驶的基本技术之一，受到人们的日益重视。道路交通标志检测与识别分为两个基本环节：先是检测交通标志，包括交通标志的定位、提取。然后是交通标志的识别，包括交通标志的特征提取与分类。

近年来，深度学习方法对许多任务（例如图像分类和语音识别）表现出优越的性能，显示出它们在图像分类，定位和检测等任务中的优势。在这篇文章中，我们提出一个基于卷积神经网络的两步骤方案进行交通标志的检测与识别。在检测步骤，采用级联卷积网络快速定位并裁剪图像中的交通标志；在识别步骤，用Inception-ResNet-v2网络提取裁剪标志的特征并通过SVM或者计算距离进行识别。

1 基于级联卷积神经网络的交通标志检测

1.1 TsingHua-Tencent 100k数据集

广泛用于评估检测性能的两个数据集是PASCAL VOC和ImageNet ILSVRC。在这些数据集中，目标对象通常占据每个图像的很大比例。然而，一个典型的交通标志可能会是80*80像素，在2000*2000像素的图像，或只有图像的0.2%。因此，我们采用TsingHua-Tencent 100k数据集训练检测网络。此数据集具有如下特征：

（1）数据集具有很高的分辨率，每张图片的分辨率都接近2000*2000。

（2）数据集覆盖了实际交通环境中的各种情况，在光照和天气条件等方面有很大的变化，还包括遮挡的例子。

（3）数据集包含的交通标志类别多样，覆盖了当前中国三大类交通标志。

（4）交通标志占据图片的比例很小，或只有图像的0.2%。

1.2 级联卷积网络

联卷积网络结构在人脸检测的精度与速度上具有有较好的效果。我们借鉴此人脸检测网络设计我们的交通标志检测网络。检测过程可以分为三个步骤：

（1） PNET找到图像中可能存在的交通标志候选区域并进行二分类，丢弃90%的不包含交通标志的候选区域，保留的候选区域作为SNET的输入图像；

（2） RNET完成与PNET相同的任务，RNET网络较PNET深提升对候选区域的分類能力，此步骤再次减少90%候选区域；

（3） RNET网络保留的候选区域作为ONET输入图像进行最后二分类并确定交通标志的坐标。

多尺度训练有利于小目标检测，关键点检测有助于检测遮挡、模糊的目标。我们的交通标志检测网络同时采用多尺度训练与关键点检测，对于运动模糊导致的图像质量不高、仅占图像比例很小一部分的交通标志具有很好的检测效果并且级联卷积网络检测交通标志能够达到实时的性能，对于复杂环境、天气状况具有很好的鲁棒性。

2 基于卷积神经网络的交通标志识别

交通标志是人为设计的具有规定颜色和固定形状或图形的公共标志。我国的交通标志主要有警告、禁令、指示和指路等类型，通常使用颜色来区分类型，用形状或图形表示具体内容。在交通标志设计上，不同类型的交通标志在形状或图形上差异较大；相同类型的标志在形状或图形上差异较小，如禁令标志中的禁止直行、禁止掉头等。所以，卷积神经网络在场景理解上会出现同类指示信息的标志之间比不同类型的标志之间更容易引起误识别。

2.1 Inception-ResNet-v2网络

inception-resnet-v2把残差网络融入inception v4，使用了比之前网络更廉价的Inception块。每个Inception块之后是滤波器扩展层（1×1卷积，无激活函数），用于放大滤波器组的维数添加以匹配输入的深度。inception-resnet-v2具有与inception v4原始版本相当的计算成本但有着更高的准确度。在ILSVRC 2012识别任务上取得很好的效果。我们基于Inception-ResNet-v2设计交通标志识别网络，主要有两点变化：1）除网络最后的分类层（softmax层）进行训练；2）采用softmax loss结合 center loss作为损失函数。

与大多数深度卷积网络作为中间瓶颈不同，我们去除卷积网络最后的softmax层进行训练，直接优化特征向量本身。去除softmax层基于深度卷积网络学习每个图像的欧式距离，训练网络使得特征空间中的L2距离的平方直接对应于交通标志的相似性：同一个交通标志的距离很近，而不同交通标志的距离很远。因此，交通标志的识别任务就可以转化为计算特征之间的距离。

基于深度网络的多数的交通标志识别方法使用分类层在一组已知类别的数据集上进行训练，然后采用中间瓶颈层提取特征提交给网络最后一层（softmax层）进行分类（识别）。与这些方法不同，我们使用基于softmax loss结合center loss函数直接训练其输出为紧致的128维特征向量。我们识别网络对于光照变化、运动模糊具有很好的鲁棒性。

2.2 center loss损失函数

由于不同类型的交通标志在形状或图形上差异较大；而相同类型的标志在形状或图形上差异较小。相比不同类型标志的识别，相同类型标志的识别更容易引起误识别。所以，对于交通标志识别任务，深度学习的特征不仅需要可分离，而且还需要具有区分性。

center loss同时学习每个类别深层特征的中心，并惩罚深层特征与其相应类别中心之间的距离。Centloss的公式如下：

表示深层特征的类中心。该公式有效地表征了类内变化。 理想情况下，i应该随着深层特征的变化而更新。

softmax loss迫使不同类别的深层特征保持分离。center loss有效地将同一类别的深层特征拉到它们的中心。通过softmaxloss和center loss的联合监督训练一个卷积网络，以获得具有两个关键学习目标的深层特征即类别间的差异和类别内的紧凑性。不仅增加了组间特征差异，而且减少了组内特征变化。因此，卷积网络的判别能力进一步提升。

3 实验结果与分析

TsingHua-Tencent 100k数据集提供了训练集包括图像、坐标以及关键点，采用类似MTCNN的训练方法训练我们的级联卷积网络—检测网络。接着，训练Inception-ResNet-v2网络--特征提取网络。我们首先把数据集中的交通标志裁剪出来，尺寸设置为160*160并保留了数量较多的45个类别。由于TsingHua-Tencent 100k数据集不同类别间数据的不平衡，我们采用数据增广策略。对于数量超过1000的类别，剔除多余的图像；对于数量少于1000的类别进行图像增广。具体的做法是，对数据较少类别中的图像进行旋转[-10°； 10°]，水平偏移0.2，竖直偏移0.2，剪切强度0.2，随机缩放0.2。经过数据筛选与增广，我们得到45个类别交通标志，每个类别约有1000张尺寸为160*160的交通标志。

在交通标志的测试实验中，我们采用TsingHua-Tencent 100k数据集中的测试集先对检测与识别网络进行分别测试，然后进行交通标志联合检测与识别。我们的检测网络可以达到87%准确率与96%的召回率，在所有测试集中我们的检测网络都能准确地检测出交通标志，也包含少量的背景即误检测。识别网络的测试采用准备训练数据集的方法即从TsingHua-Tencent 100k測试集中把目标裁剪出来并设置尺寸为160*160。测试的识别率达到98.7%。最后，进行交通标志联合检测与识别的实验。由实验结果可知，我们提出的交通标志检测与识别网络对于实际场景中的交通标志具有较好的检测效果。

4 结语

本文将深层卷积神经网络应用于道路交通标志的检测识别，使用两步骤方案。检测步骤，采用级联卷积网络检测图像中的交通标志并裁剪出目标物体送入识别网络；识别步骤，采用Inception-ResNet-v2网络对检测结果进行识别。实验表明，应用深层卷积神经网络检测与识别交通标志取得了良好的检测与识别效果。

参考文献

[1]中国计算机学会.深度学习：推进人工智能梦想[EB/OL].http：//www.ccg.org.cn.2013-06-10.

Abstract：In real driving scenes， due to factors such as light changes and camera angles， the quality of the collected images is often not high， which puts high demands on the accuracy of traffic sign recognition. To solve this problem， we propose a traffic sign recognition method based on convolutional neural network. The method uses a two-step approach. In the detection step， the goal is to propose a bounding box of traffic signs in the picture. In the recognition step， it is a tag that recognizes the cropped image. The experimental results show that the proposed solution can effectively solve the problems in the actual driving environment such as illumination changes and various weather conditions.

Key words：deep learning； convolutional neural network； traffic sign