实时交通禁止标志探测应用的研究

罗雨欣　韩忠愿

摘要：交通标志的检测在智能汽车驾驶的系统中是一个十分重要的环节。在该文中，介绍一种有效的方法，在视频或图像中检测到交通禁止标志的存在，提取出确定包括标志的图像区域，为进一步的分类识别算法提供可靠的数据源。由于交通标志通常在各地都拥有醒目的图形和颜色，该文中首先利用颜色和形状的经验模型对一帧图像进行预处理，分析出可能存在交通标志的感兴趣区域，作为候选（Candidate）。再对这一候选区域进行判断是否是交通标志，此处利用了图像的HOG特征，和SVM分类器。实验结果表明，这一方法有效地避免了光照条件、轻微遮挡等因素的干扰，准确的检测到图像中的交通标志所处的位置。

关键词： 检测；感兴趣区域；特征提取；机器学习

中图分类号：TP18 文献标识码：A 文章编号：1009-3044（2014）32-7777-06

Abstract：Detection of Traffic Signs plays one of the most important roles in Intelligent Driving Systems. In this article， we introduce an efficient method to detect prohibitive traffic signs in images or videos. We extract convincing regions of the signs， providing reliable resources for further classification Algorithm. Traffic Signs usually possess regular shapes and eye-catching colors， which gives us strong hints on the establishment of experienced models in the previous stages of detection. We analyze every single frame of the video to find out the possible regions of interests as candidates， and decide whether the contents are traffic signs or not with features of HOG and tools of SVM. The results turn out to be accurate despite of various illumination and slight obstruction.

Key words： detection； region of interests； feature extraction； machine learning

1 概述

提高驾驶的安全性是汽车电子系统发展的一个重要方向，重要交通标志的检测和识别系统可以帮助驾驶员及时地对路况做出反应，规避了潜在风险，甚至可以在将来无人驾驶系统中发挥很大的作用。交通標志被设计的醒目易懂，在道路环境中，可以较为清晰地出现在驾驶者的视野中，提供有用的信息。比如说禁止标识，通常使用边缘为红色圆环的圆形标识，告诉我们此路段的限速信息、禁停信息、禁鸣信息等等。然而，不同的光照，朝向，观察（摄像机拍摄）的角度，甚至部分的遮挡都给交通标志的检测问题带来了很大的挑战。

本文使用的是GTSDB（德国交通标志检测数据库），此数据库收集了42种交通标志的1213个实例，是在不同天气，时段，光照，方位，角度使用同一车载摄像头在道路驾驶时实时记录中截取的视频帧。该数据库收集的图片比较全面而且十分符合现实中遇到的实际情况，具有很强的研究价值和实际指导意义。

在本方法中，利用计算机对图像中交通标志的检测，主要有3个需要解决的方向。一是对图像中特定颜色的分析和提取；二是对特定形状的识别和定位；三是对区域图像的训练和判断。下文大致就按照这样的顺序介绍和研究，提出相应的算法，来解决这一系列的问题，并且需要兼顾到实时计算的要求，即对每一幅图像的处理速度不应过长。这样，为下一步的具体分类识别提供了准确性和稳定性的保证，同样也提供了一定的实际应用价值。

2 基于颜色的分析

2.1 不同解决方案的比较与分析

对于颜色的预处理，研究者们也提出了很多针对性很强的算法，试图在提取颜色区域的准确性和时间复杂度之间寻求平衡（包括之后的图形识别也是如此）。区域的提取，并不像其他有针对性的应用中，比如交通灯、车牌的识别，可以在一个图像特定的区域做筛选。交通标志的安放位置更为灵活，不能对图像做随意的分割，对于感兴趣区域的提取就显得尤为重要和有意义，也是影响系统性能的关键一步。

HSI颜色空间反映了人们视觉系统感知彩色的方式，以色调、饱和度和强度这3种基本特征量来描述一种颜色。由于图像在HSI空间有出色的抗光照特性，我们可以利用其中的色度来提取交通标志的颜色信息，特别是在光照条件很差的情况下，此方法有一定的针对性。

但是，在这一空间中，我们不能对其中的红色色调做精确的量化，当交通标志处于图像中阴暗区域时，与其之后的暗色背景在色度空间上还是会有所重合，而且难以通过量化区分。这样交通标志还是易与背景混淆，在初始的预处理阶段就导致了感兴趣区域成为了一般区域，会对交通标志的提取造成了遗漏。利用HSI空间另一缺点就是，对于图像中的每一个像素点，都要做非线性的变换，无疑是较为耗时的。在最初的阶段，耗费一定的时空代价，且不能精确的解决光照的问题和重要区域的划分，并不能成为一个首要的选择。

对于以上的困扰，有人利用人类观察的感官作为启发提出了基于醒目区域的提取方法。在彩色通道、灰色图像和纹理图像（灰度图像经Gabor滤波器卷积而得）上建立高斯金字塔，计算金字塔间的差值，再经DoG滤波器滤波，按一定的权值叠加，得到视觉上显著的区域。这里，高斯金字塔的差值得到了在不同通道上的显著性的量化值，DoG滤波器是一个抑制局部极大值，放大全局最大值的滤波器，Winner-take-all的特性决定了我们可以将区域锁定在最为显著的候选区域。但是，交通标志虽为显著，可是并不一定是在一定特征上，最为显著地区域，例如，在红色通道上，我们并不是要比哪一片区域在图像中是最红的，况且正如上文所说的，标志牌上的红色在很多情况下，并不是在图像中最为鲜艳的红，其他如汽车尾灯，晚霞等都会在图像最大值的竞争中胜出，也造成了判断的错误和漏检。而对于智能搜索算法，也并没有什么很好的启发式目标，或者说优化函数，可以对二位离散的数字图像搜索到一个符合期望的数值较为平稳的区域（感兴趣区域）。

有的研究者想出了使用AdaBoost的强化学习方法来识别图像中交通标志上的红色。其思想是收集交通标志在不同天气光照下的特定颜色，进行分类和训练。但是即使将颜色转换成了其他空间，所能描述一个颜色的特征数实在是较少，而且交通标志上的颜色与其他的近似颜色区别度并不大，在计算机中由于摄像和存储精度的原因，也并不能作出很好的分类，所以说对于背景复杂的视频或者图像来说，也并不是一个精炼的方法。

在得到的二值图像上，仍然存在一些零星的散点，肯定不失我们希望重点关心和研究的像素，不希望让这些点占用之后的算法空间和时间。这些噪声最符合的噪声模型即为椒盐噪声，使用中值滤波，能很有效的滤除这些点。但这里需要注意的是，尤其是在禁止标志的检测中，红色区域只占了交通标志较小的一部分，是一个较窄的圆环，如果交通标志在图像中所占的区域十分小的情况下，例如14*15个像素，在增强过后的红色通道中，其红色的边缘像素点往往呈现为链式的连接，而不是聚集的点，如果过大边长的中值滤波掩膜算子，很可能就会将这些点也同时滤除了，造成了性能的下降。所以这里取中值滤波的掩膜边长为3。

3 图形识别算法

因为区域的轮廓信息往往即可以表达一个区域的覆盖，所以在霍夫变换之前，需要对中值滤波之后的图像做一次边缘检测，使用边缘点来判断图像中存在的形状。再一次减少图中的有效像素个数，而同时又不失含有重要信息的有效像素点，因为边缘检测仍然保留了区域的形状信息。

3.1霍夫变换检圆

利用霍夫变换在数字图像的图形提取中，其实是一个离散化的搜索（[a0，b0，r0]）的过程，令r按一定的步长增加，在a-b平面对应的每个像素点设立计数器，在图像区域内搜索有效像素点的圆心（在一定半径下，像素点在参数空间水平面上的聚集点）。因为我们希望在车辆行驶的过程中，一旦摄像头捕捉到可以分辨的交通标志时，就识别出其位置信息，尽早地给予交通驾驶员提醒，所以在本例中，在1380*800的分辨率下，半径的搜索起点以10个像素起；如果交通标志的径长达到较大长度时，系统才能检测出交通标志的位置，对于以较快速度通过的车辆中的人员来说，没有很大的提醒意义了，所以r的搜索上限在本例中设为100个像素长。在一定半径的情况下，我们搜索圆心，采用极坐标更为方便。半径的搜索步长为1，在已知半径下，圆心的偏转角度的步长为[π18]。

每按半径r搜索完一次，就需要统计一次a-b平面上的计数器，当某一些点上的计数大于某一阈值时，则可以认为是一个半径为r的圆形的圆心。经过大量的实验，发现在滤波过后剩下的n个像素点时，计数器的阈值设为[countthresh=lnn*2]，拥有最佳的检测性能。当然，由于步长较小，实际图像中的一个圆形可能会对应到a-b-r参数空间上不同但是十分相近的点上，所以计算统计出的点之间的欧式距离，如果小于30，就把它们归为同一个圆形的实例，也避免了检测的重合。

3.2 性能优化

Hough变换应用广泛，但其效率不高是需要注意的，特别是在这样一个实时性较高的系统中。这样对于一个有效的像素点，需要搜索的次数为91*36，则全局搜索的次数，设有n个需要验证的像素点，则约需要3200*n次。在本次试验中，n一般的数量级在[103]，则大约做了[106]数量级次的搜索。在计算a，b时，计算三角函数的非线性运算是十分耗时的，但我们注意到这些角度，因为步长恒定，都是固定的值，所以可以列出一个三角函数表，在实际运行时，程序计算三角函数，只需查表即可，缩减了时间复杂度。而一幅图像的所有像素点也是[106]，所以说相当于对图像全局做了几次线性的运算，其计算复杂度是可以承受的。

但通过实验发现，上述的算法需耗时500ms左右，处理速度仍跟不上实时处理的要求，需要进一步的减少搜索空间。我们发现圆心一定是落于边缘点的法线方向上的，这样利用边缘点的梯度信息，就可以控制参数空间的扩張方向。在一个二维空间中标记出法线上的点，同样采取统计方法选取出法线的交叉点作为圆心的候选，在其周边的图像空间中统计半径为10-100像素的直方图，即可以得出该圆心的半径，从而检测出一个圆形。通过如此算法的改进，使得搜索空间大大降低，减小了存储空间，也使得在时间复杂度上满足实时处理的要求，在VS2010的release编译环境下，平均一帧图像可以达到80ms的处理时间。（CPU：AMD A4-3400， 2.7GHz）

4 机器学习

通过之前的颜色和形状的启发式信息，可以提取出图像中感兴趣的区域。但是这些区域不一定就是交通标志所在的区域，比如说车的尾灯或者一些其他的干扰物体也会有同样的颜色、形状特性。这里，我们希望的是可以通过一个分类器，先判断这个提取的区域是不是交通标志，如果是肯定的，可以做进一步分类，为今后的识别提供准确的数据源；如果不是，则可以降低误检率。

4.1 HOG特征

在提取了我们关心的区域后，对于图像的颜色和图形信息不再感兴趣，这就需要对于局部图像提取可以描述其特征的算子（向量）。我们更关心的是图像的纹理特征，结构特征，通过这些特征向量可以区分内容不同的图像也可以识别出内容相似的图像。

HOG特征就是这样一个针对图像内容的描述算子，它的提取需要把训练图像和测试图像统一到一个尺度下，这里都将它们重新调整到32*32个像素大小（pitch）的灰度图像。以8*8个像素作为一个单元（cell），计算每个单元中的梯度方向直方图，一般设为9个方向，凡是4个单元组成一个正方形16*16的块（block）。这样，一幅样本图像可以容纳9个块，每个块中有4个单元，每个单元有9维特征，串联在一起可以提取出一个324维的特征向量。

4.3 数据组织和参数寻优

在使用SVM时，需要对数据归一化处理，才能将数据统一到一定的范围内分类。值得注意的是，不同于一般的应用在每一维度上归一化，这里将每一个向量归一化处理。因为其他的一般应用中，每一个维度代表着物体的某一属性，是相互独立的；而本例中，我们关心的是图像的结构，HOG特征正是描述这样结构的算子，对每一个HOG向量而不是维度做归一化处理，就不会破坏原有的结构描述。

在程序上，SVM算法分为离线训练和在线识别2个部分。为了可以最大程度的规避误检，离线训练数据配比需要做到合理。因为在实际应用中，非交通标志的局部图像千差万别，所以在训练时，数据库中有1213幅交通标志样本作为true数据（标签为1），而需要尽可能多的false数据（标签为-1），实际上，false的数据量越大，系统的性能就越优秀，误检率越低，此次试验的true，false数据比为1：100。

当然，之前介绍的SVM支持向量[xi]是在高维空间中的，提取出的HOG特征需要经历向高维转换并且内积计算的过程，尤其是从低维到高维空间的转换，是原始空间1-324阶的所有组合，这一计算量是巨大的。支持向量机算法中核函数的作用就是计算两个向量在隐式映射过后的空间中的内积，先通过内积，再进行核函数变换，不仅节省了相当的计算量，也能达到相同的效果。

通常情况下，比较方便也运用最为广泛的是径向基核函数：[kx1，x2= e-x1-x222σ2]。这里将[12σ2]看做参数g，此外还有一个惩罚因子参数c，为了有更精确的分类准确度，需要设置合理的g和c的值。另外采用交叉认证的方法，可以进一步地提高分类的精确度，即将训练数据分成k份，k-1份数据作为训练数据训练，而剩下的一份用来检验精确度。所以利用网格化搜索，同时结合交叉认证的方法， 能得到使分类系统效果最好的参数值。在每一个g和c的取值下，计算和评价交叉认证中的精确度，选取平均准确度高，且方差小的一组参数。如图6，显示了参数关于分类的平均准确率的等高线和增长趋势。

4.4 综合测试

参考文献：

[1] Stallkamp J，Schlipsing M，almen J S.The German Traffic Sign Recognition Benchmark：A multi-class classification competition[C].Proceedings of the IEEE International Joint Conference on Neural Networks，2011：1453-1460.

[2] Fatin Zaklouta，Bogdan Stanciulescu.Real-time traffic sign recognition in three stages[J].Robotics and Autonomous Systems，2014（62）：16-24.

[3] Yuan Xie.Unifying Visual Saliency with HOG Feature Learning for Traffic Sign Detection[R].Fujian：XiaMen University，2008.

[4] Nello Christianini，John Shawe-Taylor.An Introduction to Support Vector Machine and Other Kernel-based Learning Methods[M].London：Cambridge University Press，2000.

[5] Karla Brki'c.An overview of traffic sign detection methods.Zagreb， Croatia： Department of Electronics， Microelectronics， Computer and Intelligent Systems.

[6] Hasan Fleyeh.Road and Traffic Sign Color Detection and Segmentation[C]. IAPR Conference on Machine VIsion Applications，2005.

[7] Gary Overett and Lars Petersson.Large Scale Sign Detection using HOG Feature Variants[R].Baden-Baden， Germany，2011.

[8] 王剛毅. 交通标志检测与分类算法研究[D].哈尔滨：哈尔滨工业大学，2013：1-109.

[9] Laurent Itti，Christof Koch.A saliency-based search mechanism for overt and covert shifts of visual attention.Vision Research，2000（40）：1489—1506.

[10] Tao Zhang，Jingqin Lv，Jie Yang.Road Sign Detection Based on Visual Saliency and Shape Analysis.Institute of Image Processing and Pattern Recognition，Shanghai Jiaotong University.

[11] L.-W.Tsai.Road sign detection using eigen colour[J].IET Computer Vision，2008，2（3）：164-177.

[12] Yuen H K，Princen J，Illingworth J.A Comparative Study of Hough Transform Methods for Circle Finding.Department of Electronics and Electrical Engineering， University of Surrey， Guildford， U.K.