基于深度学习的交通标志识别算法

徐仙伟 曹霁

摘  要： 智能车在移动时需要对周围环境进行快速有效的认知，文章在规则环境下对视觉中所包含的信息理解标志牌等进行研究，提出了一种基于深度学习的交通标志识别算法。该算法先进行边缘检测，提取出图像中交通标志所在的兴趣区域;再利用LeNet-5深度学习算法，对已提取出来的兴趣区域进行识别。以德国标准交通标志图数据库为实验数据的结果表明，该方法能有效理解交通标志信息，具有识别效率高、使用简单等特点。

关键词： 交通标志; 环境理解; 边缘检测; 深度学习

中图分类号：TP301          文献标志码：A     文章编号：1006-8228（2019）06-67-04

Abstract： Smart cars need fast and effective recognition of the surrounding environment when moving. This paper studies the information understanding signs contained in the vision of rule environment， and proposes a traffic sign recognition algorithm with deep learning. Firstly， edges in image are detected to get the interesting area which includes the traffic sign; then， a trained LeNet-5 deep learning algorithm is used to recognize it. The experiment results on benchmark images of German traffic sign database show that this method can effectively understand traffic sign information， and has the characteristics of high recognition efficiency and easy to use.

Key words： traffic sign; environment perception; edge detection; deep learning

0 引言

對交通标志牌的认知，不仅涉及到机器本身的安全，也涉及到对周围正常交通的安全，已成为当前图像识别研究领域的一个重要方向。其中应用最广的是基于视觉的方案，对交通标志信息进行深度识别。该方案的优点是信息量大、成本低，容易普及。具体包括交通标识检测和交通标识识别两部分工作。由于交通标示牌与周围环境相比包含特殊的颜色和形状，这些信息将成为在视频中识别交通标志的主要区别所在[1-2]。目前可利用的有颜色信息，例如RGB模型、HSI模型和其他颜色模型;还有形状、大小和边缘角度信息等[1-2]。为此很多学者提出了很多基于颜色和外形信息的识别交通标志的算法。例如基于图像分割和边缘分析的方法，基于模板匹配的方法，这类方法可以解决一定的识别问题。通常情况下，基于颜色特征的检测方法能够取得良好效果，但是这类方法受到自然条件和光照影响较大，仅仅依靠颜色信息还是不能很精确的检测交通标识的区域。由于交通标识一般都具有特定的几何形状，最常见的是三角形和圆形，并且几何形状不受光照和天气变化的影响，因此又有学者利用交通标识的形状作为特征进行交通标识的检测。目前，基于形状的图像检测的方法主要有边缘分析法、轮廓分析法、模板匹配法。而交通标识识别目前一般采用以下几种方法进行分类：最近邻方法、神经网络、模板匹配、支持向量机、模糊C均值方法[1-2]。

深度学习作为一种无特征提取的机器学习的方法，由于其无需特征提取、无监督学习，而获得了很多学者的认可，成为研究的热点[3-7]。

基于以上的研究基础，结合以上算法和算子的优缺点，本文提出了一种新的基于稀疏表达的交通标志识别算法。该算法主要研究的是交通标志识别中的两个方面，一个是交通标志区域的快速检测;另一个是候选区域的交通图像的精确识别。其主要步骤如下。

第一步，在交通标志的区域检测中，采用基于像素颜色、边缘等特征的快速粗糙的识别方法，寻找纹理单调、颜色单一、轮廓为三角形、圆形等标准形式的交通标识区域，一种速度快、精确度差的图像模式检测方法。

第二步，在交通图像的精确识别中，采用基于LeNet-5的深度学习算法进行交通道路标志的识别。

1 交通标志检测

本文在交通标志检测时，采用Laplace算子提取特征，然后在圆形度、三角形等外观特征、以及最小内部像素和等参数下提取出交通标志部分。

具体流程如图1所示，首先对把图像从RGB空间转化为HSV空间;再转化为灰度图;然后进行边缘检测;在检测到边缘的基础上，计算联通区域的面积，选择出像素值大于100个的区域，然后对比颜色特征，在符合颜色特征要求下，计算联通区域的圆形度、三角形度特征，在颜色空间范围内，选择圆形度大于80%，三角形度大于80%，然后输出交通标志的兴趣区域。

⑴ 圆形度的计算方法为

e=（周长*周长）/4π*面积。e为1时，图形即为圆形;e越大，图形越不规律，与圆形的差距越大。

⑵ 三角形度的计算方法为

步骤1 选择适当大小的窗口在图像中滑动;

步骤2 在窗口的中心点为原点对窗口进行Hough变换，若窗口中有若干线段，那么计算这些线段到原点的距离以及与x轴的夹角;

步骤3 使这些线段的长度及夹角满足文献[8]中的五个条件。

运用上述方法和步骤检测，效果如图2，其中图2（a）是原图，图2（b）是边缘图，图2（c）是检测结果图。结果表明，该方法可有效的检测出交通标志，即兴趣区域。

2 交通标志识别

Geoffrey Hinton在2006年提出深度学习（Deep Learning，DB）的概念[3-7]。特点是使用人脑的多层抽象的概念来对目标进行抽象表达，把整个特征和分类器在一起。具体实现方式是通过大量的神经元，组成多层的神经网络，首先在训练样本中，每一层的神经元接收低一层神经元的数据，用非线性的方法把低层数据表达层更高层的抽象数据，在计算出数据的分布特征后，使用自下而上的学习方法形成的整体的抽象表达。在识别检验样本时，采用该学习好的神經网络，将需要识别的目标映射成各种层次的特征，最后再对输出的数据进行分类和识别。

对于有n层系统， 输入为I，输出为O，其任务就是不断的逼近，即，逼近的过程是不断调整系统中参数的过程，最终就得到输入I的系列层次特征，这样，对输入数据的一层层的分层表达，一层层的逼近目标，就是深度学习的基本思想。当然，最终的结果O不是绝对意义上的完全与O一致，只是使得这两个的差别尽量地小即可。

在深度学习的众多方法里面，卷积神经网络（Convolutional Neural Networks，CNN）是一种比较著名的一种。1962年Hubel和Wiesel通过对猫视觉皮层细胞的研究，提出了感受野（receptive field）的概念，在1984年Fukushima基于感受野概念提出的神经认知机（neocognitron）可以看作是卷积神经网络的第一个实现网络，也是感受野概念在人工神经网络领域的首次应用。

这里神经元有两种，一种是用于特征提取的S神经元，一种是用于抗变形的C神经元。其中，S神经元有两个重要的参数，分别称为感受野和阈值参数，感受野用于确定上级输入连接的数据，阈值参数用于对特定子模式的反应。

如图3所示，卷积神经网络可以理解为一个立体架构，它由多层网络组成，每层网络再由多个二维平面的网络组成，每个平面网络又由很多的独立神经元所组成。

如图3所示，卷积神经网络中，输入图像通过和三个滤波器以及可加偏置进行卷积，卷积后在C1层产生三个特征映射图，然后特征映射图中每组的四个像素再进行求和，加权值，加偏置，通过一个Sigmoid函数得到三个S2层的特征映射图。这些映射图再进过滤波得到C3层。这个层级结构再和S2一样产生S4。最后，这些像素值被光栅化，并连接成一个向量输入到传统的神经网络，得到输出。

卷积神经网络主要具有以下优点：

一是避免了以前的特征提取，而隐藏的直接地从训练数据中进行自主学习;二是因为同一个特征映射面上的神经元的各项权值一样，所以整体网络可以并行学习，从而提高学习速度;三是多维的数据可以直接输入到网络，从而减少了工程人员的开发量。

3 实验分析

结合文献[1]的验证方法，本文实验对象采用德国标准交通标志图数据库[9]，该数据拥有30000多张训练图像，10000多张测试图像，其部分数据如图4所示。

在使用本算法对德国交通标准库的数据进行反复实验，文中用了30个类，每类100个样本作为训练样本，20个样本作为测试样本，在进行了100次的训练和200次的训练次数下，统计实验结果的数据的训练次数、训练样本的识别率，得出如表1所示的实验结果。

通过表1可见，该算法在100次和200次的训练下，已经没有太多的提高。其结果识别率极高，可以用于交通标志的识别工作。

4 结论

机器人在移动时，需要对周围环境进行快速有效的认知。本文研究了在规则环境下，对视觉中所包含信息理解标志牌等信息，提出了一种基于深度学习的交通标志识别算法。该算法首先采用边缘、颜色、形状等特征提取出交通标志的区域，然后通过深度学习的算法，对数据库进行识别。通过对德国标准交通标志图数据库的实验，结果表明该方法能有效理解交通标志信息，能充分利用神经网络强大的跟踪和非线性学习能力的优点，使交通标志的识别算法具有更高的识别精度和鲁棒性特点。此外，由于文中采用的是标准数据库，与实际环境中交通标志图像信息还存在一定的差异性，对其数据的采集与预处理还有待进一步学习与研究，同时针对数据量的增加，对识别算法的实时性效果有待进一步分析与研究。

参考文献（References）：

[1] 王铿.基于稀疏表示的交通标识识别[D].南京理工大学硕士学位论文，2013.

[2] Gangadhar H， Srinivasan E. Performance Comparison ofROAD Statistic Based Nonlinear Filters for Image Denoising[C]//Industrial and Information Systems， 2008. ICIIS 2008. IEEE Region 10 and the Third international Conference on. IEEE，2008：1-5

[3] Tivive， Fok Hing Chi. Bouzerdoum， Abdesselam.  An eyefeature detector based on convolutional neural network [C]// Proc. 8th Int. Symp. Signal Process. Applic. Sydney， New South Wales， Australia. USA： IEEE，2005：90-93

[4] Szarvas  Mate，  Yoshizawa  Akira，  Yamamoto Munetaka， Ogata Jun. Pedestrian detection with convolutional neural networks[C]//IEEE Intelligent Vehicles Symposium Proceedings. USA：IEEE，2005：224-229

[5] J Wright， A Yang ， Arvind  Ganesh， Shankar Shastry， YiMa. Robust face recognition via sparse representation[J].IEEE Transactions on Pattern Analysis and Machine Intelligence，2009.31（2）： 210-227

[6] M Elad. Optimized projections for compressed sensing[J].IEEE Transaction on Signal Processing，2007.55（12）：5695-5702

[7] Garnett R， Huegerich T， Chui C， et al. A universal noise removal algorithm with an impulse detector[J]. Image Processing，IEEE Transactions on，2005.14（11）：1747-1754

[8] 何江萍.图像中任意三角形检测方法.计算机应用，2009.29（4）：1022-1025

[9] 德国交通标识数据库（German Traffic Sign Recognition Benchmark）[EB/OL].http：//benchmark.ini.rub.de/？section=home&subsection=news.