基于特征匹配算法的交通标志牌检测与识别

秦松　陈小玉　韩鹏　贾小林

摘要：随着社会经济发展，机动车数量增加，智能交通系统将成为时代发展的必然要求。而交通标志识别是智能交通系统的重要环节，更是车辆自动导航的前提，具有重要的研究意义和应用价值。针对4类交通标志，即禁止掉头、禁止前行、禁止左转、禁止右转，从以下几个方面进行研究：（1）基于RGB颜色空间进行阙值分割；（2）通过标志连通域比例进行提取；（3）基于现实情况，构造多场景下的训练集，进行训练识别。实验结果显示，该算法可有效的识别出不同光照条件下发生变形、缩放及旋转后的交通标志牌，交通标志牌识别准确率达到了92%。

关键词：交通标识； 标识提取； 标识分割； SVM

中图分类号：TP302 文献标识码：A 文章编号：1009-3044（2018）11-0192-04

Traffic Signboard Detection and Recognition Based on Feature Matching Algorithm

QIN Song， CHEN Xiao-yu ，HAN Peng ，JIA Xia-Lin*

（College of Computer Science and Technology，SouthWest University of Science and Technology，Mianyang 621000，China）

Abstract：With the development of society and economy， the increase in the number of motor vehicles， the intelligent transportation system will become an inevitable requirement for the development of the times. Traffic sign recognition is an important part of ITS， and it is also a precondition in vehicle automatic navigation. So it has important research significance and application value. This article aims at four types of traffic signs，namely， prohibiting U-turn， prohibiting forward turn， no left turn， no right turn， and the following aspects are studied： （1） Threshold segmentation based on RGB color space （2）Extraction based on the proportion of connectivity domain（3）Based on the actual situation， the training set under multi-scene is constructed and trained.The experimental results show that the algorithm can effectively identify the traffic signs with deformation， scaling and rotation under different light conditions，and t the traffic sign recognition accuracy reaches 92%.

Key words： traffic identification； dentification extraction； identification segmentation； SVM

1引言

智能交通系統（Intelligent Traffic System，简称ITS），是将先进的科学技术有效地集成运用于整个交通运输管理体系，而建立起来的一种在大范围内发挥作用的，高效的综合运输管理系统。在智能交通系统中，如何识别交通标识是非常重要的。交通标识的识别要求分类正确，速度快，对图像的平移、旋转变换，光照强度，天气因素不敏感。

近几年来，基于视频交通标志牌的研究有了很大进展，各种算法被相继提出。文献[1]提出了一种通过特征互补方式来提高标志图像的识别方法，但是在干扰情况下，准确率会降低。文献[2]采用模块匹配的方法可以识别出不同类型的交通标志，但是由于模板数量之多，在识别时不具有实时性。文献[3]基于不变矩和SVM方法对原形标志图像进行识别，具有良好的分类能力，具有较好的识别率，但仅对圆形交通交通标志有效，不具有实用性。

本文首先对图像分析进行RIO（region of interest）提取，接着对提取出来的图像进行训练集构造[4]，最后对图像进行训练和交通标识符识别。实验表明，当拍摄点距离交通标识牌2.5米-3.5米，交通标识牌呈像长宽比在0.9-1.1、且光照正常时，该方法的识别正确率可达92%，能够在车辆导航中对交通标识进行实时的识别。

2 RIO提取

2.1颜色特征分析

本文中要识别的交通标志形状主色为红色，但在自然场景中由于光照情况的不同，比如在不同天气，位置下拍摄的交通标志颜色上会出现明显的色差和色散。特别在夜间行驶时，汽车灯光的照射是从下到上，使得拍摄的交通标志下半部分颜色比较鲜艳明亮，而上半部分的颜色却比较暗。在白天行驶时，太阳光从上方、侧方照射下来或者路边树木枝叶的遮挡，可能会导致拍摄照片出现部分区域颜色较暗，部分区域亮度过高甚至反光等问题。在雨天、阴天等光线不良的天气下行驶时，拍摄的图片整体会偏暗。为了避免以上自然条件下对目标区域颜色的影响导致ROI区域识别错误，实验在识别的时候是通过计算图片上该像素点的rgb颜色的r值的比例来提取的，若颜色值r的比例超过设置的阈值就将其颜色设置为255，否则设为0，此方法避免了光照影响结果。

2.2 形状特征分析

本文中要识别的交通标志形状为标准圆形，那么如果是从正前方拍摄，将得到一个圆形的交通标志，但如果道路上的交通标志没有受到很好的维护，就可能已经发生了倾倒，歪斜，或者我们拍摄交通标志时与交通标志的角度变化，导致拍摄到的交通标志并不是标准的，而是有一定的形变，在自然场景中，我们拍摄的交通标志往往是有一定形变的椭圆形。比如在本文中识别的交通标志的外边线是红色的标准圆，但在拍摄图片中往往是以椭圆形呈现，如图1所示，那么根据颜色特征变换后的图像中目标区域就是椭圆形。所以在实验中，识别目标区域时也采用了设置阈值的方法，从而识别出正确的ROI区域。

2.3 提取方案

本次实验中根据交通标志的颜色特征[5]将图片中与标志无关的背景和杂质去除，将图片变换成只含红色和黑色的区域（如图2中a所示）。然后将图片二值化（如图二中b所示），求出图片中的连通域，保存连通域的Bounding Box 。标准的交通标志区域的Bounding Box将会是个正方形，但考虑到自然场景下拍摄图片的角度等问题使圆产生的形变而导致连通域也有一定程度的形变，所以本实验中根据形变程度设置Bounding Box长宽比例阈值，过滤出阈值范围内的Bounding Box（如图2中c所示），选择面积最大的那个联通域即为交通标志目标区域（如图2中d所示）。

3 训练集构造

3.1特定光线角度分析

在自然场景中由于天气原因导致了光照强度，光源位置，反射强度的不同，其中白天太阳照射导致的反光、夜间车辆的车灯导致的反光以及下雨情况下导致的光照反射强度减弱是典型代表。

在白天，反光的光源来自于太阳，处于交通标志牌的上方，当从交通标识符的下方，也就是车里面进行观察时就会看到标识符的上半部分亮度更高，而下半部分亮度角度较低。效果如图3所示：

在夜间，反光的光源来自于车灯，处于交通标志牌的下方，当从交通标识符的下方，也就是车里面进行观察时就会看到标识符的下半部分亮度更高，而上半部分亮度角度较低。效果如图4所示：

在雨天，交通标识符上会有雨水，雨水的存在会导致折射的光线减弱。但是由于雨水会受到重力的作用，所以雨水的分布只会在竖直方向上呈现递增分布；在水平方向上则会表现为均匀分布，这样就使得反射光线在竖直方向上有变化，在水平方向上不会受到太大的影响。

综上三点所述，在制作训练集的时候就只需要考虑在竖直方向上引起的亮度变化，而且这个变化应该是非线性的梯度变化。

3.2視觉角度分析

当用户看交通标识牌时会有不同的视角，而在不同的视角下看到的交通标识牌会有不一样的情况，这些都会对交通标识牌的识别产生影响，因此要训练在同一光照条件下多个角度下的交通标识牌，来消除视觉角度对识别的影响。如图5中的a，b，c，d就分别是在同一光照条件下，训练出来的几个不同视角的交通标识牌。

3.3训练集生成

根据前面对于光照和图像扭曲的分析，可以得到与之对应的训练集。主要包括两个方面：一是按照其亮度变化的规律，改变标准交通标识符的亮度；二是根据视觉角度分析进行标准图片的扭曲和倾斜，模拟现实中因为角度不同造成的图像变化情况。具体做法如下：

采用竖直区域上的分段方法，对于交通标识符的进行亮度调整。这里需要根据具体的图片进行参数调整。

采用数学中的透视变换[6]来对图像进行图像形变，变化的函数原理如下：

透视变换（Perspective Transformation）是将图片投影到一个新的视平面（Viewing Plane），也称作投影映射（Projective Mapping）。通用的变换公式为：

[x'，y'，w'=u，v，wa11a12a13a21a22a23a31a32a33] （1）

对于原始图片的左边u，v，经过矩阵变换之后得到对应的图片坐标x，y其中[x=x'/w'，y=y'/w']。

变换矩阵[a11a12a13a21a22a23a31a32a33]是由4个部分组成：第一部分是表示线性变换的[a11a12a21a22]；第二部分是表示平移的[a31，a32]；第三部分是表示透视变换的[a13，a23T]。

重写公式（1）可以得到：

[x=x'w'=a11u+a21v+a31a13u+a23v+a33y=y'w'=a12u+a22v+a32a13u+a23v+a33] （2）

根据上面的公式，就可以通过矩阵的参数来得到仿真的变形效果。

有了这两步之后，就可以把图像的亮度变化和形变进行排列组合，得到训练集。本次实验训练是四种交通标识符，训练集包括139968张图片，每种交通标识符34992张图片，里面包括9种光照梯度，3888种角度变化。

4 训练和交通标识匹配

采用opencv中的SVM[7]进行训练，其中负训练集是其他标识符图片，每种交通标识符在训练后生成一个XML文件。在运行时读入这些XML文件，然后将前面在现实图片中提取的ROI区域进行模式匹配，得到答案。识别结果如图6所示：

5 实验结果分析

实验采用控制变量法，对每个因素的影响采用100个样例进行识别并统计识别的正确率，对比分析每个自然因素对结果的影响。

5.1距离对识别正确率的影响

本实验测试了2到10米范围内，每个距离下对100个该距离上拍摄的样例进行识别，实验结果如图7所示：

5.2光照对识别正确率的影响

本实验测试了10种光照强度，光照由弱到强过渡，每个光照强度下对100张样例进行识别并统计出其识别正确率，实验结果如图8所示：

5.3拍摄角度（图像扭曲程度）对识别正确率的影响

由于自然场景下不同拍摄角度会导致的拍摄图像形成不同扭曲程度，导致在提取时目标区域长宽比例不同，本实验即根据对不同的长宽比例的目标区域进行识别，每一比例下对100张样例进行识别并统计其识别正确率，实验结果如图9所示：

6 结论

本文针对交通标志牌特点，利用颜色来对交通标识牌进行特征提取，通过判断连通域来对交通标志牌区域提取，然后利用分类器[8]，实现交通标志牌识别。实验结果表明，该算法可以有效的识别出不同光照条件下发生变形、缩放或者旋转后的交通标志牌，准确率达92%。但本文的研究还是存在着不足之处，当环境中同时出现2个以上交通标识中，无法对2个都进行识别，只能识别其中面积最大的一个交通标识。只能对带有红色的禁止标识进行识别。后续将对其进一步改善。

参考文献：

[1] 戈侠. 基于分块自适应融合特征的交通标志识别[J]. 计算机工程与应用，2017，53（3）：188-192.

[2] 郝博闻. 基于颜色空间和模板匹配的交通标志检测方法[J]. 智能计算机与应用，2016，6（4）：20-22.

[3] 张震等. 基于不变矩和SVM的圆形交通标志识别方法研究[J]. 电子测量与仪器学报，2017，31（5）：773-779.

[4] 江春宇. 交通标志的自动检测和识别[D]. 苏州大学， 2015.

[5] 金旭晖. 基于区域颜色分割的交通标志检测和识别[J].电气自动化， 2016， 38（3）：14-16.

[6] 郭晓冉， 崔少辉. 透视变换模型的Harris图像配准[J].微电子学与计算机，2014（4）：18-22.

[7] 唐银凤. 基于多特征提取和SVM分类器的纹理图像分类[J].计算机应用与软件，2011，28（6）：22-25.

[8] 叶阳阳. 交通标志检测和识别算法研究[D]. 北京交通大学，2015.