基于先验信息的交通标志检测

潘铭星,孙 涵

(南京航空航天大学 计算机科学与技术学院，江苏 南京 211106)

基于先验信息的交通标志检测

潘铭星,孙 涵

(南京航空航天大学 计算机科学与技术学院，江苏 南京 211106)

道路交通标志的自动识别通常应用于车辆的自动或半自动辅助驾驶系统中，为车辆驾驶提供对周围环境的理解。然而现有的交通标志检测与识别算法针对对象比较单一，多以某一类中的若干个标志为检测对象，当检测对象的样本数较多时，检测正确率明显下降。此外，该类方法虽然考虑了交通标志的颜色和形状等信息，但却忽略了颜色、几何形状与标志之间的确定性关系。提出了一种快速有效的交通标志检测算法，根据标志的形状及颜色等先验信息，建立一棵交通标志决策树，逐层筛选兴趣区域，并根据交通标志的轮廓信息将交通标志检测结果分为十个子类，通过子类结果及交通标志的先验信息进行交通标志检测。实验结果表明，当交通标志被遮挡时，该方法降低了交通标志检测的漏检率以及误检率。所提出的方法降低了TSR(Traffic Sign Recognition)系统的复杂性，提高了系统的实时性和鲁棒性。

交通标志；遮挡；颜色；轮廓

0 引 言

交通标志识别是现代智能交通系统[1-2]的重要组成部分之一，其有效运用将有利于提高交通管理的智能化、自动化水平，是智能交通研究的一个重要内容。道路交通标志识别[3-5]主要包括两个基本技术环节：首先是交通标志的检测，包括交通标志的定位及必要的预处理；其次是交通标志的识别，包括交通标志的特征提取与分类。

交通标志一般都具有固定的颜色及特定的形状，因此根据该类信息，通常可将交通标志分为以下几类：

(1)利用交通标志的颜色信息、交通标志的大小以及在图像中的位置等检测出交通标志[6-7]。该类方法可以快速检测出交通标志，同时也会得到较多的非兴趣区域。

(2)结合颜色和形状信息直接检测出交通标志[8]，但会漏检形状缺失的标志。

(3)利用颜色空间对图像进行分割后，再采用Adaboost方法进一步检测出交通标志[9-10]。该类方法有很好的检测效果，但是运行速度较慢，无法满足实时系统的需求。

上述算法只适用于某一类标志，当用于检测所有交通标志时，其检测率会很低。此外，该类方法虽然利用了颜色和形状的特性，但忽略了交通标志的颜色、几何形状与标志之间的一一对应关系。例如：49种警告标志中有48种是黄底黑边，顶朝上的等边三角形。如果充分利用这一重要信息，那么不仅能有效地检测出交通标志，而且根据标志与其先验信息间的确定关系可以对标志进行粗分类。因此，文中在结合了道路交通标志的颜色和形状这两种特征的基础上，提出一种快速有效的道路交通标志检测方法并通过实验进行了验证。

1 先验信息

国内直接与道路交通安全有关的交通标志分为3大类，共有120种。其中，含有42个禁令标志、29个指示标志以及49个警告标志。3大类交通标志具有突出特征的是颜色属性和几何属性。

1.1 颜色信息

分析上述120种交通标志可知，它们主要由3种基本颜色构成：红色、蓝色及黄色。其中，警告标志主要以黄色为基本颜色，边框及内图案颜色均为黑色，其含有1种特例(见图1(a))：叉形符号，红色边框，内部全为白色。指示标志的基本颜色为蓝色，内部图案主要以白色为主，其含2种特例(见图1(c))，内部含有红色和白色图案及黑色和白色图案。禁令标志以白色为基本颜色，边框及内部图案以黑色为主，其含4种特

殊标志(见图1(b))，白底黑框和蓝底红框。

图1 特例标志

1.2 形状信息

120种交通标志[11]共有5种基本形状：圆形、矩形、正三角形、倒三角形、八边形(叉形符号作为特例分析)。其中，大部分为圆形、四边形和正三角形，它们是交通标志的主要形状。禁令标志中，有一个正八边形和一个倒三角形，其余40个均为圆形。指示标志中只有两种形状即矩形和圆形。48个警告标志(除去特例)的基本形状为正三角形。

2 基于先验信息逐层过滤检测交通标志技术

由交通标志的先验信息，可得到颜色和形状与标志的确定关系，并根据其颜色和形状逐层过滤噪声区域，并创建一棵兴趣区域判别树，如图2所示。树的非叶子节点均有判别条件，删除不满足条件的候选区域，大量减少检测区域。

图2 逐层过滤将120种标志分10个子类

由图3可以看出，含有黑色轮廓、正三角形、内部颜色为黄色和黑色的兴趣区域为子类一。依次类推，每一个交通标志子类，都有与其确定的唯一的特征属性，即特定兴趣区域的轮廓颜色、轮廓形状以及兴趣区域内部颜色。依据特征属性与标志的确定关系可将标志分为10个子类(见表1)。

图3 标志部分缺失检测过程

类型标志数量颜色外轮廓形状子类一警告标志48外轮廓：黑色内部颜色：黄色和黑色顶角朝上的等边三角形子类二警告标志(特例：叉形符号)1外轮廓：红色内部颜色：白色“X”形子类三禁令标志36外轮廓：红色内部颜色：白色、红色和黑色圆形子类四禁令标志(特例：停车让行)1外轮廓：红色内部颜色：白色和红色八边形子类五禁令标志(减速让行)1外轮廓：红色内部颜色：白色和黑色倒三角子类六禁令标志(特例：禁止临时停车和禁止车辆长时停放)2外轮廓：红色内部颜色：蓝色和红色圆形子类七禁令标志(特例：限速和解除限速)2外轮廓：黑色内部颜色：白色和黑色圆形子类八指示标志27外轮廓：蓝色内部颜色：白色和蓝色圆形或矩形子类九指示标志1外轮廓：蓝色内部颜色：白色、蓝色和红色矩形子类十指示标志1外轮廓：蓝色内部颜色：白色、蓝色和黑色矩形

2.1 基于颜色的兴趣区域提取

交通标志主要以红色、黄色和蓝色三种颜色为主，利用这一特性，可以删除其他颜色部分，得到兴趣区域。HSI颜色模型对颜色的描述符合人类对颜色的视觉理解，亮度和色度的分离也更有利于图像处理，同时对光照较为鲁棒，因而在光照变化大的场合内被广泛使用[7,12-13]。根据道路标志的颜色在HSI颜色空间中的分布，可快速地提取黑、白、红、黄、蓝5种颜色，并将该类区域作为兴趣区域。

RGB颜色模型转换到HSI颜色模型可定义为：

(1)

(2)

(3)

其中：

(4)

2.2 基于轮廓的形状分析与筛选

形状角是所有轮廓上的点与轮廓质心的连线构成的向量与该点的法向量之间的夹角的均值Dα。不同的形状有不同的形状角，故可根据形状角对图形进行粗分类。形状角与轮廓上的点的向量有关，轮廓的旋转、放大、缩小等均不影响该值，因此具有尺度和旋转不变性。然而部分形状的形状角值比较接近，阈值不好确定。

文中检测的标志形状类别主要有圆形、三角形、四边形和八边形。其中三角形[14]、四边形及八边形具有很明显的直线属性，并且含有固定的直线数量和顶点。根据兴趣区域轮廓是否含有直线，可区分圆(椭圆)和八边形；兴趣区域的外接矩形面积与其轮廓所围的面积比值可以区分四边形与椭圆，此外直线的数量以及顶点数量也可很好地将轮廓进行分类。

在现实场景中，交通标志牌被遮挡或腐蚀等情形，导致兴趣区域的轮廓缺失或变形,直接根据形状角会将很多形状误分类。对于圆形交通标志[15-16]，轮廓上任意点与轮廓质心的连线构成的向量，与该点的法向量之间的夹角很接近0，即使轮廓部分缺失，最终的形状角值也为0，基本不影响检测结果。对于四边形(八边形、三角形)，若缺失很容易造成误分类。故在计算形状角前，需先判断轮廓是否闭合，并且检测兴趣区域的直线信息，将缺失部分补全。若标志的顶点被遮挡导致拐角缺失，可根据直线的延长线即可得到缺失的顶点；若缺失的是标志边缘即轮廓直线内部有中断，可根据Hough变换检测的直线原理，对直线中间有部分缺失，亦可检测出同一条直线，不影响检测效果。故改进后的算法对交通标志的轮廓部分缺失情况有一定的鲁棒性。当交通标志边缘大部分被遮挡时，已经看不出形状，基本不可识别。

3 实验结果

实验以普通PC机作为测试环境，在VisualStudio上实现了文中算法。

为了检测算法的鲁棒性，测试图片分为两类，共300张，370个交通标志，含有校园、公路、小区等不同场景。第一类：正常未缺失的交通标志图片，共200张，265个交通标志，验证算法的有效性。第二类图片中，主要采集了交通标志图像缺失或被遮挡等情况下的图片，验证算法的鲁棒性，共100张，105个交通标志。

如图3所示，先根据HSI颜色模型，提取兴趣区域。再根据兴趣区域获取外轮廓信息，并且检测轮廓直线属性，若含有直线则将直线补全并找出交点(圆形标志除外，其形状角值变化不大)。最后根据轮廓颜色、轮廓形状及区域颜色与交通标志的唯一确定关系将标志分为10个子类。

表2是算法对第一类标志的检测结果，除了相机与标志距离太远导致漏检外，算法对未缺失标志具有很好的检测效果。

表2 第一类数据检测结果

表3是算法对第二类标志的检测结果。对于圆形标志，部分缺失对检测效果影响很小；三角形和四边形标志，其轮廓中含有的直线信息较明显，故检测效果也很好；八边形标志，由于轮廓中含有的直线数量较多，并且直线的长度较短，部分缺失后直线信息很不明显，导致漏检的概率较大，若缺失的较少，直线保存较好，也有很好的检测效果。总体上算法对于部分缺失标志也有很好的鲁棒性。与此同时，不论环境多复杂，算法实时性好，均在120ms内完成检测并进行粗分类。

表3 第二类数据检测结果

4 结束语

提出的方法适用于国内所有警告标志、禁令标志和指示标志共120种交通标志，并且在实现标志检测的同时将交通标志分为10个子类，从而降低了TSR系统的复杂性，提高了系统的实用性。该方法根据先验信息创建了一棵交通标志决策树，逐层筛选兴趣区域，去除非兴趣区域，减少了算法运行时间。采用改进的形状角算法检测兴趣区域，解决了部分标志被遮挡、缺失等问题。

[1]KhanJ,BhuiyanS,AdhamiR.Imagesegmentationandshapeanalysisforroad-signdetection[J].IEEETransactionsonIntelligentTransportationSystems,2011,12(1):83-96.

[2]KastnerR,MichalkeT,BurbachT,etal.Attention-basedtrafficsignrecognitionwithanarrayofweakclassifiers[C]//IEEEintelligentvehiclessymposium.[s.l.]:IEEE,2010:333-339.

[3] 周 勇.智能车辆中的几个关键技术研究[D].上海:上海交通大学,2007.

[4] 张 航.自然场景下的交通标志识别算法研究[D].长沙:中南大学，2006.

[5] 叶阳阳.交通标志检测和识别算法研究[D].北京:北京交通大学,2015.

[6]Bui-MinhT,GhitaO,WhelanPF.Twoalgorithmsfordetectionofmutuallyoccludingtrafficsigns[C]//IEEEinternationalconferenceoncontrol,automationandinformationsciences.[s.l.]:IEEE,2012:120-125.

[7]Maldonado-BasconS,Lafuente-ArroyoS,Gil-JimenezP.Road-signdetectionandrecognitionbasedonsupportvectormachines[J].IEEETransactionsonIntelligentTransportationSystems,2007,8(2):264-278.

[8]OhJT,KwakHW,SohnYH.Segmentationandrecognitionoftrafficsignsusingshapeinformation[M]//Advancesinvisualcomputing.Berlin:Springer,2005:519-526.

[9]BahlmannC,ZhuY,RameshV.Asystemfortrafficsigndetection,tracking,andrecognitionusingcolor,shape,andmotioninformation[C]//IEEEintelligentvehiclessymposium.[s.l.]:IEEE,2005:255-260.

[10]OverettG,PeterssonL,AnderssonL.Boostingaheterogeneouspooloffasthogfeaturesforpedestrianandsigndetection[C]//IEEEintelligentvehiclessymposium.[s.l.]:IEEE,2009:584-590.

[11] 杨久龄,刘会学.GB5768-1999《道路交通标志和标线》应用指南[S].北京:中国标准出版社,2000.

[12]FangSC,XinL,ChenYZ.Trafficsigndetectionbasedonco-trainingmethod[C]//Proceedingsofthe33rdChinesecontrolconference.[s.l.]:[s.n.],2014:4893-4898.

[13]LvJR,LuoXG.Anapproachfortriangletrafficsigndetectionbasedonimprovedradontransform[C]//Internationalconferenceoncomputationalandinformationsciences.[s.l.]:[s.n.],2012:176-178.

[14] 朱双东,张 懿,陆晓峰.三角形交通标志的智能检测方法[J].中国图象图形学报,2006,11(8):1127-1131.

[15] 张 静,何明一，戴玉超，等.综合颜色和形状的圆形交通标志检测方法[J].计算机工程与应用，2011,47(2):233-236.

[16] 吴 刚,杨敬安,李道伦，等.平面图像的对称性检测方法研究[J].计算机科学,2011,28(5):101-103.

Traffic Sign Detection Based on Prior Information

PAN Ming-xing,SUN Han

(College of Computer Science and Technology,Nanjing University of Aeronautics and Astronautics, Nanjing 211106,China)

The automatic recognition of traffic signs can be applied to the automatic or semi-automatic auxiliary driving system to provide the information of surrounding road conditions.However the existing algorithms are relatively unitary for detection object and mostly only detect several signs in a certain class.With the increasing of traffic signs,the correct rate of detection is decreased obviously.In addition,these methods consider the color and shape,but ignore the deterministic relation between shape and geometric with traffic signs.A fast and efficient algorithm of traffic sign detection is proposed.According to the prior information of the shape and color of traffic signs,it establishes a decision tree of traffic signs,which can filter out interesting regions and divide traffic signs into 10 sub classes,detecting traffic signs by sub-classes results and the prior information of traffic sign.The experimental results show that when the traffic signs obscured,this method reduces the residual rate and false detection rate in traffic sign detection.The algorithm can reduce the complexity and improve the real-time performance and efficiency of the TSR system.

traffic signs;shelter;color;contour

2015-11-18

2016-04-06

时间：2017-01-10

国家自然科学基金资助项目(61203246，61375021)

潘铭星(1991-),男,硕士研究生,研究方向为计算机视觉；孙 涵,博士,副教授,研究方向为计算机视觉、数字图像处理。

http://www.cnki.net/kcms/detail/61.1450.TP.20170110.1010.039.html

TP391.4

A

1673-629X(2017)02-0096-04

10.3969/j.issn.1673-629X.2017.02.022