形状标记图和Gabor小波的交通标志识别

谷明琴，蔡自兴，何芬芬

(中南大学信息科学与工程学院，湖南长沙 410083)

形状标记图和Gabor小波的交通标志识别

谷明琴，蔡自兴，何芬芬

(中南大学信息科学与工程学院，湖南长沙 410083)

交通标志识别为智能车辆行驶提供了有价值的道路环境信息.提出一种结合形状标记图和Gabor波的交通标志识别方法，交通标志识别过程如下:1)变换图像的RGB像素值来增强交通标志主特征颜色(红，蓝，黄)区域并进行分割，用形态学操作消除噪声点的影响;2)提取感兴趣区域的标记图作为其形状特征，用Euclidean距离来对其进行初分类;3)对交通标志感兴趣区域的灰度图像进行Gabor小波变换，获得其不同角度和尺度的小波图像，用二维独立分量分析法提取其主特征，并送入线性支持向量机来判断感兴趣区域所属的交通标志类型.实验结果表明，提出的算法能够稳定、有效地检测和识别智能车辆行驶环境中的多类交通标志.

交通标志识别;标记图;Gabor小波;支持向量机

近年来，智能车辆研究受到越来越多的重视.2007年美国国防部高级计划研究署(Defense Advanced Research Projects Agency，DARPA)举办了智能车辆城市挑战赛，期间智能车辆仅依靠传感和视觉系统成功完成了道路环境的感知.在我国，2009和2010年由国家自然科学基金委组织的未来挑战智能车比赛在西安成功举行，比赛包括静态和动态交通标志的检测与识别.可见交通标志的检测与识别是智能车辆研究的一个重要研究方向.

从20世纪80年代开始，国内外研究人员提出了多种交通标志检测和识别算法.检测算法通常在不同的颜色空间中对交通标志图像进行分割，获得感兴趣区域，然后用形状特征对其进行检测.所用到的颜色空间主要有 RGB、HSV、HIS、YCbCr、CIECAM97、IHLS等.而对交通标志感兴趣区域形状判别的方法有:利用图像边缘信息进行Hough变换［1］能够较精确地获得交通标志区域，但该方法计算复杂度较高且占用较大的内存资源，实时性较差.文献［2－4］使用快速径向对称检测算子，对光照变化和遮挡具有一定的鲁棒性，但只能对圆形交通标志进行检测.文献［5］利用自组织映射算法，以及文献［6］用感兴趣区域的边缘到边界距离作为形状识别的特征，分别检测交通标志.文献［7］用快速傅里叶变换的绝对值作为形状识别特征，对旋转、缩放、遮挡、投影形变和噪声等有较好的鲁棒性，但计算复杂度高;文献［8］用扩展的 FOSTS(foveal system for traffic signs)模型、人类视觉行为模型来提取形状特征.文献［9］使用模糊推理方法生成检测窗口来检测交通标志，时间复杂度较高.Qin等［10］利用边缘到边界的分割块特征获取候选区域的形状信息，通过颜色几何模型和基于径向基函数核的支持向量机分别进行粗分类和细分类.Xie等［11］利用方向梯度特征直方图和支持向量机算法搜索交通标志显著性区域内的交通标志目标.

在交通标志识别方面，A.Ruta等［12］利用关键局部特征和颜色距离变换来进行交通标志识别.J.F.Khan等［13］用Gabor滤波提取与亮度和颜色相关的稳定局部特征点与模板库进行匹配.Bahlmann等［14］针对几种简单的圆形标志采用Harr小波特征和 AdaBoost分类器进行识别.M.Meuter等［3］用粒子滤波器来跟踪多目标，融合每一帧的分类结果，最终由推理系统选择给驾驶员提供哪个标志的信息.K.H.Lim等［9］用基于李雅普诺夫稳定性理论的径向基函数神经网络进行分类.

本文提出在原始图像上进行颜色分割，获取交通标志感兴趣区域，以形状标记图作为交通标志的形状分类特征，对交通标志进行初分类.识别算法则选择了Gabor小波、二维独立分量分析(2DICA)、线性支持向量机(SVM)的综合处理技术，实验结果表明该算法能够稳定、有效地检测和识别智能车辆行驶环境中存在的多类交通标志.

1 交通标志检测

我国的交通标志一般如图1所示［15］.

图1 交通标志的分层递阶结构Fig.1 Hierarchical structure of traffic signs

1.1 交通标志颜色分割

图像RGB颜色空间的颜色值随亮度和饱和度变化较大，很难直接对其应用阈值选择算法分割出期望的图像区域.因此，本文对RGB空间的每个像素v=［vR，vG，vB］进行如下变换:

式中:S=vR+vG+vB为RGB通道颜色值之和.通过该变换，每种交通标志的特征颜色只用一个阈值便可将其与周围环境分开，即:

式中:c∈{red，blue，yellow}，(x，y)为像素点坐标，阈值thresholdc随交通标志的不同颜色而定.分割后，可得对应交通标志的3种特征颜色(如图2所示的3幅二值图像).从图2中可以看出，颜色分割后的二值图像会有较多的噪声点，将影响后续的交通标志形状分类和识别.因此采用二值图像的腐蚀及膨胀形态学操作，消除干扰的噪声点，并恢复交通标志区域的大小.

图2 颜色分割图Fig.2 Color-based segmentation image

对3种不同特征颜色分割后的二值图像，标记面积大于Tarea的小区域 Regioni，c，i∈{1，2，…，N}，送入感兴趣区域形状分类处理中，判断形状是否符合交通标志.

1.2 兴趣区域形状分类

为了能对获得的感兴趣区域进行形状分类，首先要建立交通标志的形状:圆形、倒等边三角形、八角形、矩形、正等边三角形的模板数据库.

本文选用标记图作为交通标志形状分类特征.标记图是形状边界的一维表达，以重心到边界的距离作为角度的函数来描述形状的特征，不同形状的标记图如图3所示.

图3 形状的标记图Fig.3 Signature of sharp

为了获得形状的标记图特征，首先提取形状的顺时针边界，记为(xi，yi)，i=1，2，…，Num.求取其重心:

然后把边界序列(xi，yi)转换到以重心为原点的坐标系中，得到新边界序列:

将边界序列点到重心原点的半径作为其与正向水平轴夹角的函数，进而获得一个半径随角度变化的序列 ri(θ)，θ∈［0，2π］.对其进行归一化处理:

式(1)即可以度量向量v1、v2之间的差异程度.向量间的相似性随Euclidean距离的增大而降低.

为了获得形状的特征库，把形状模板库中的二值图像用双线性插值算法归一化为30×30的图像，然后用上述形状标记图特征提取算法提取其特征.考虑到形状的边界点数量不同，各模板的特征数也不一致.因此需用插值算法把每个模板的特征序列长度变为360，可进而得到不同形状类的特征集合¯ris(θ)，i=1，2，…，SampleNums，其中 SampleNums是形状类中模板个数，s∈{圆形、倒等边三角形、八角形、矩形、正等边三角形}，用于不同颜色通道中的感兴趣区域形状的分类.

图4 2个交通标志形状的标记图Fig.4 Signature of two traffic signs shapes

对不同颜色通道中感兴趣区域重构后的二值图像，查找其连通区域，记为 ConnRegionj，c，j=1，2，…，RegionNum，c∈{red，blue，yellow}.并用提取形状特征数据库中特征相同的方法提取ComRegionj，c的形状标记图，记特征为(θ).由图1的分层递阶结构可知，红色通道中的感兴趣区域形状特征(θ)只需与(θ)(s∈{圆形，倒等边三角形，八角形})进行比较;黄色通道中的感兴趣区域形状特征(θ)只需与(θ)，s∈{正等边三角形，矩形}进行比较;而蓝色通道中的感兴趣区域形状特征(θ)只需与(θ)，s∈{圆形，矩形}进行比较.进而通过式(2)求取感兴趣区域形状特征(θ) 与对应样本库特征(θ) 之间的最小Euclidean距离:

完成上述操作后，对形状类别进行判断:

式中:s是EDmin值对应的标志形状类别.若EDmin大于距离阈值DisTheshold，则判断此区域为非交通标志区域，可以过滤掉该区域;反之认为其形状属于s类.

2 交通标志识别

由图1的分层递阶结构，建立红色圆形、红色倒等边三角形、红色八边形、蓝色圆形、蓝色矩形、黄色矩形、黄色正等边三角形7类32种交通标志的模板库.

对获得的感兴趣区域和模板库中的交通标志图像用二维Gabor小波变换，获得其不同方向和尺度的小波图像，然后用二维独立分量分析(2DICA)［16］提取其小波图像的主特征，用线性支持向量机离线训练各类特征库，在线分类感兴趣区域的交通标志.

2.1 交通标志特征提取

二维Gabor小波核函数定义为

式中:i为复数算子;σ为小波滤波器的带宽，一般取σ=2π;kj为小波矢量，其不同取值构成了小波簇中不同的小波函数，kj=kv(cosj，sinj)T，表示小波的不同核频率，在本文中取v=0，1，…，5;φ表示小波方向，每种核频率的小波可进一步衍生出6个不同方向的小波，其中

这样定义了一个6×6的Gabor小波簇与交通标志灰度图像进行卷积，可获得6个方向，6个尺度共36幅小波图像.

首先把获取的彩色图像转换为灰度图像，并用双线性插值法把灰度图像归一化为30×30大小.然后用二维Gabor小波变换，获取6个方向6个尺度的36幅Gabor小波图像.由于这些图像较多，冗余信息量大，为了降低计算的复杂度，用降采样方法采集Gabor小波图像的主要信息，作为二维独立分量分析算法的输入信息.

对每类交通标志，用二维独立分量分析(2DICA)离线提取其小波图像主特征作为特征库.在交通标志实时识别中，对检测到的交通标志感兴趣区域的小波图像提取其主特征.

2.2 交通标志分类

在交通标志实时识别时，把提取的交通标志感兴趣区域特征送入对应的支持向量机中进行分类，得到感兴趣区域的交通标志类别.

支持向量机首先要对特征库2类之间进行分离，训练数据集记为{xi，yi}，其中，i=1，2，…，l，yi∈{ －1，1}，xi∈Rd.向量xi是2DICA 算法提取的图像特征，yi对一类为1，另一类为－1，d是向量xi的维数，l是训练样本数量.如果用超平面(w，b)来分离2类，超平面上的点满足〈x·w〉+b=0，b/‖w‖ 是从原点到超平面的垂直距离，‖w‖是欧式空间的2－范数.在可分的2类中，对任意的i，均满足约束条件:

满足式(1)的点可求得w、b的尺度因子.这些落点在2个超平面H1∶＜xi·w＞+b=1和H2∶＜xi·w＞+b=－1.2个数据集的间隔可简化为2/‖w‖，2个数据集最大间隔可由‖w‖2/2的最小化获得.引入正拉格朗日乘子ai，i=1，2，…，l.目标函数的最小化值为

得到了优化函数，就可确定测试向量在超平面的哪一边.系统的判别函数为

3 实验结果与分析

试验选择在校内一条带转弯的路上，每隔30 m摆放一个交通标志.车速为30 km/h，用车载摄像机以15帧/s的速率，采集包括禁令、警告、指示和限速的32种交通标志在不同天气和光照条件下的视频图像.对交通标志进行检测和识别，结果如表1所示，本文算法可以有效地检测和识别交通标志，检测率和检测率均达到95%以上，明显地优于文献［6］的算法.

图5为试验中3段视频的交通标志的识别结果.每行图像对应不同的视频序列，识别结果显示在图像的左上角.从中可以看出，本文算法能够有效地识别出多种交通标志.

图5 3段视频中交通标志的识别结果Fig.5 Recognition results of traffic signs in 3 videos

表1 交通标志实时检测率和识别率Table 1 Detection and recognition rate of traffic signs %

4 结束语

本文提出一种用于智能车辆行驶中感知交通标志信息的算法.首先对获取的图像用颜色分割和形态学操作获得交通标志的感兴趣区域，并提取其标记图作为形状特征，用Euclidean距离来对候选交通标志进行初分类.在交通标志识别中，结合Gabor小波和二维独立分量分析法提取交通标志感兴趣区域的主特征，用线性支持向量机来分类交通标志.在不同天气、光照等情况下，采集了包括禁令、警告、指示和限速等32种交通标志视频图像，并用本文算法来检测和识别交通标志，检测率和识别率均在95%以上，说明该算法能够有效地检测和识别交通标志.

［1］GARC I A，GARRIDO M，SOTELO M.Fast road sign detection using Hough transform for assisted driving of road vehicles［C］//Computer Aided Systems Theory—EUROCAST 2005.Las Paimas de Gran Canaria，Spain，2005:543－548.

［2］BARNES N，ZELINSKY A，FLETCHER L S.Real－time speed sign detection using the radial symmetry detector［J］.IEEE Transactions on Intelligent Transportation Systems，2008，9(2):322－332.

［3］MEUTER M，MULLER S S，NUNNY C，et al.Decision fusion and reasoning for traffic sign recognition［C］//The International IEEE Conference on Intelligent Transportation Systems，Funchal，Portugal，2010:324 －329.

［4］LIU Wei，LIU Yujie，YU Hongfei，et al.Real－time speed limit sign detection and recognition from image sequences［C］//Artificial Intelligence and Computational Intelligence(AICI).Sanya，China，2010，1:262－267.

［5］PRIETO M S，ALLEN A R.Using self－organising maps in the detection and recognition of road signs［J］.Image and Vision Computing，2009，27(6):673－683.

［6］MALDONADO－BASCON S，LAFUENTE－ARROYO S，GILJIMENEZ P，et al.Road－sign detection and recognition based on support vector machines［J］.IEEE Transactions on Intelligent Transportation Systems，2007，8(2):264－278.

［7］GIL J E，NEZ P，BASC O N S M，et al.Traffic sign shape classification and localization based on the normalized FFT of the signature of blobs and 2－D homographies［J］.Signal Processing，2008，88(12):2943－2955.

［8］GAO X W，PODLADCHIKOVA L，SHAPOSHNIKOV D，et al.Recognition of traffic signs based on their colour and shape features extracted using human vision models［J］.Journal of Visual Communication and Image Representation，2006，17(4):675－685.

［9］LIM K H，SENG K P，ANG L M.Intra color－shape classification for traffic sign recognition［C］//2010 International Computer Symposium(ICS).Tainan，China，2010:642－647.

［10］QIN Fei，FANG Bin，ZHAO Hengjun.Traffic sign segmentation and recognition in scene images［C］//2010 International Conference on Artificial Intelligence and Computational Intelligence(AICI).Chongqing，China，2010:262－267.

［11］XIE Yuan，LIU Lifeng，LI Cuihua，et al.Unifying visual saliency with HOG feature learning for traffic sign detection［C］//IntelligentVehiclesSymposium，2009 IEEE.Xi’an，China，2009:24－29.

［12］RUTA A，LI Y，LIU X.Robust class similarity measure for traffic sign recognition［J］.IEEE Transactions on Intelligent Transportation Systems，2010，11(4):846－855.

［13］KONCAR A，JANBN H，HALGAMUGE S.Gabor wavelet similarity maps for optimising hierarchical road sign classifiers［J］.Pattern Recognition Letters，2007，28(2):260－267.

［14］BAHLMANN C，ZHU Y，RAMESH V，et al.A system for traffic sign detection，tracking，and recognition using color，shape，and motion information［C］//Proceedings on Intelligent Vehicles Symposium 2005.Las Vegas，USA，2005:255－260.

［15］GB 5768.2.道路交通标志和标线［S］.北京:中国国家标准化管理员会，2009.

［16］杨福生，洪波著.独立分量分析的原理与应用［M］.北京:清华大学出版社，2006:33－46.

谷明琴，女，1981年生，博士研究生，主要研究方向为图像处理、模式识别.

蔡自兴，男，1938年生，教授，博士生导师，国际导航与运动控制科学院院士、中国自动化学会理事.主要研究方向为人工智能、机器人、智能控制，发表学术论文500余篇.

何芬芬，女，1987年生，硕士研究生，主要研究方向为图像处理、模式识别.

Traffic sign recognition based on shape signature and Gabor wavelets

GU Mingqin，CAI Zixing，HE Fenfen
(School of Information Science and Engineering，Central South University，Changsha 410083，China)

Traffic sign recognition provides valuable information on road conditions for intelligent vehicles.The traffic sign recognition process was outlined as follows:1)The main colors of traffic signs were enhanced by transforming the RGB pixel values of the image and then segmented by a threshold.Noise points of the binary image were filtered by morphological image processing.2)The signature of the region of interest(RoI)was extracted as a shape feature，and the shape of the RoI was primarily classified by Euclidean distance.3)The gray images of traffic signs was transformed into various orientations and scale wavelet images by the Gabor wavelet，and the main features were extracted by a 2－dimensional independent component analysis(2DICA)algorithm while the linear support vector machine was applied to judge the type of traffic signs.Experimental results show that the proposed algorithm may stably and effectively detect and identify the roadside traffic signs.

traffic sign recognition;signature;Gabor wavelet;support vector machine

TP391

A

1673－4785(2011)06－0526－05

10.3969/j.issn.1673－4785.2011.06.008

2011－08－15.

国家自然科学基金资助项目(90820302，60805027);国家博士点基金资助项目(200805330005);湖南省院士基金资助项目(20010FJ4030).

谷明琴.E－mail:gu_mingqin@hotmail.com.