基于改进Shape Context的分层交通标志识别系统

秦 瑾，张新峰

（复旦大学 计算机科学技术学院，上海201203）

0 引 言

复杂背景中交通标志的识别可以为智能车辆行驶提供很有价值的道路环境信息。智能交通标志识别系统包括两个基本步骤，即检测与识别。通过颜色分割等技术可以检测到交通标志所在的区域，我们称之为ROI（region of interest）。在交通标志检测方法中，可以通过颜色分割直接检测出交通标志［1］，也可以利用边缘信息进行形状的检测，通过离散曲线演变方法［2］检测出交通标志的形状，该方法有较强的鲁棒性，但计算过程比较繁琐；还有利用Hough变换［3］及傅利叶变换［4］等方法确定形状，但计算过程都比较复杂，时间复杂度较高。

对于交通标志的识别技术，可以分为基于学习训练分类和基于模板分类两种方法。基于学习训练对交通标志进行分类的方法中，常见的有利用神经网络［5］进行分类，通过SVM［6］分类器进行分类等。另一种方法是直接利用模板进行匹配分类，在与模板匹配的过程中有很多不同的方法。如用SURF技术［7］，利用角点或某些特征点建立描述子，进行模板匹配。此外，J.F.Khan等［8］用Gabor滤波提取与亮度和颜色相关的局部稳定特征点作为特征表述，与模板进行匹配。对于模板匹配分类的方法，需要特征描述进行模板匹配。

本文采用基于模板的识别方法，充分利用交通标志的颜色形状信息，提出了一种分层交通标志识别系统。首先通过RGB空间的颜色分割，得到交通标志的ROI，利用交通标志的外轮廓信息实现形状粗分类；然后采用文中提出的改进Shape Context描述子对其内部图像进行特征描述，与模板匹配，完成细分类，识别出交通标志。通过粗分类到细分类两层操作，可以快速准确地识别出自然场景中的交通标志。

1 分层交通标志识别系统的设计

1.1 系统设计流程图

交通标志可以看作是图形、符号和颜色的结合，充分利用交通标志的这一特征，将其形状和颜色结合起来进行交通标志的检测与识别，可以达到较好的效果。本文提出了一种基于改进Shape Context算法的快速分层交通标志识别系统，系统的流程图如图1所示。整个识别系统分为三层，包括预处理层、粗分类层和细分类层。预处理层对输入的测试图像进行处理后，可以突出目标区域。

图1 分层交通识别系统流程

1.2 预处理层

1.2.1 RGB空间颜色分割

交通标志主要起提示、指示和警示作用，为了引起人们足够的注意及判断，日常生活中交通标志通常采用一些比较固定特殊的颜色。我们可以看到，世界各国的交通标志彼此间存在一定的差异，但几乎都采用红、蓝、黄等颜色。因为在自然场景中，这些颜色比较突出，和背景颜色有着明显的差异，我们的感官可以快速地区分出它们。

根据这样一个经验，我们利用交通标志的颜色特征在RGB空间进行颜色分割，将交通标志区域与背景区域分开。这样可以缩小目标范围，减少计算量，更快速地定位识别出交通标志。

交通标志的识别通常是在自然场景中进行，光照的影响无法避免。研究发现，在各个季节中白天不同时刻光照虽然不同，但是在一天中从早上到晚上，交通标志区域特定的颜色，在RGB空间，与其它颜色的值有较大的差距［9］。以红色交通标志为例，在一天中不同光照强度下，交通标志处R值与G值、B值间差值仍然比较明显。据此，可以利用它们之间的差值作为颜色分割的标准。

在本文中，通过RGB空间颜色分割，足以为后继的各层处理提供足够的信息。以R、G、B为轴建立空间直角坐标系，将每个轴量化为0－255之间的值，用3个通道来表示图像中的每个像素点。我们令ΔRG、ΔRB分别表示在RGB空间中红色通道和绿色与蓝色通道之间的差值。同理，用ΔGR和ΔGB作为绿色通道的阈值，ΔBG和ΔBR则代表蓝色通道的阈值。本文中采用算法1作为图像分割算法。

算法1：RGB 图像分割算法输入：测试图像输出：分割结果对图像中每一个像素点Pi，用 （Ri，Gi，Bi）来表示。（1）FOR每一个像素点Pi（2） IF Ri＞Gi ＆ ＆ Ri－Gi≥ΔRG ＆ ＆ Ri－Bi≥ΔRB则Pi为红色（3） ELSE IF Gi＞Ri ＆ ＆ Gi－Ri≥ΔGR ＆ ＆ Gi－Bi≥ΔGB则Pi为绿色（4） ELSE IF Bi＞Gi ＆ ＆ Bi－Gi≥ΔBG ＆ ＆ Bi－Ri≥ΔBR则Pi为蓝色（5） ELSE Pi为白色或黑色（6） ENDIF（7）END

在算法1中，由于用颜色通道之间的差值来分割，考虑了各颜色通道之间的相互关系。所以对各阈值的取值要求并不高。我们根据经验数据确定阈值参数ΔRG＝30、ΔRB＝20、ΔBG＝30、ΔBR＝50。为方便后面各层的进一步处理，将分割结果以 （0，1）二值图形式保存。对自然场景图2（a）采用颜色分割后，图中红色交通标志的分割结果如图2（b）所示。图2中，通过分割后，可以得到交通标志的外部轮廓区域，将目标的范围大大缩小。

图2 RGB空间颜色分割

1.2.2 确定感兴趣区域 （ROI）

通过前面RGB空间的颜色分割，得到的分割区域通常不止一块，我们感兴趣的交通标志区域包含在分割图像中。需要将干扰部分去掉，得到交通标志的候选区域。在自然场景图像中，交通标志所占的比例很小，所以检测到交通标志ROI，缩小目标区域，可以使整个识别系统的处理速度大大提高。

很多文章中利用膨胀及腐蚀的方法来去除干扰。在本文中，我们利用颜色分割后得到的连通区域的大小特征来去除干扰。为了提取到尽可能紧密的连通区域，但又可以把一些不是同一块目标的区域区分开，文中选择4连通原则来确定连通区域。得到各个连通区域后，统计连通区域的面积 （即连通域中的像素点个数），根据面积大小去除干扰。通常干扰部分的面积比交通标志的面积要小得多，如图2（b）中结果所示。本文中采用算法2中所示的步骤得到交通标志的候选ROI。

算法2：确定候选ROI算法输入：RGB空间颜色分割二值图像输出：候选ROI的连通域（1）用4连通原则对颜色分割得到的二值图像提取连通域；（2）计算各个连通域的面积，统计各连通域中的像素点个数，找出面积最大的两个区域，依次记为S1，S2；（3）若面积S2与S1之间相差很大，即S1－S2＞TS（TS为面积阈值，实验中取TS＝0.5S1）则直接舍去S2，将S1作为候选ROI连通域输出，否则将S1，S2都作为候选ROI连通域输出。

用算法2对图2（b）中分割图像确定候选ROI，得到的结果如图3所示，背景中的干扰被消除掉了。在文中提出的分层识别系统中，得到交通标志ROI后，对其进行交通标志的形状粗细分类完成识别功能。

1.3 粗分类层

对形状分类的方法有很多，文中我们采用标记 （signature）实现交通标志外轮廓的形状粗分类。由于直接对颜色分割后的ROI区域 （图3）进行边缘提取，得到的形状轮廓不一定是单一像素的边缘，如图4所示。

图4 中的边界有两层，如果直接进行ROI边界标记图描述，不利于准确进行形状分类，需要对图像进行一些处理消除这种干扰。可以在形状粗分类前，先采用孔洞填充技术，得到单一像素边缘后再作进一步处理。

图5 （a）中是对ROI进行孔洞填充后的结果，此时再对ROI进行边缘提取，得到图5（b）中所示的单一像素边缘。得到单一像素边缘后，采用标记图 （signature）作为形状特征对ROI进行形状粗分类。

图5 孔洞填充实现单一像素边缘

标记 （signature）作为一种图像边界表示方法，将最初的二维边界简化为一个一维函数，于是更容易描述边界形状［10］。标记可以通过多种方法产生，文献 ［11］中采用（r，θ）标记来表示边界，本文中我们采用一种简单的生成方法，利用质心到边界上各点i的距离Dis（i）作为边界的标记。

将待确定形状的图像边界点集用集合E＝｛（xi，yi）｝来表示，其中i＝1，2，...，N表示第i个边界点，N表示边界点的个数。该形状的质心 （x0，y0）用式 （1）表示

则图像边界的标记可以表示为式 （2）

日常生活中常见的交通标志主要有圆形、三角形和矩形等形状。文中采用标记法主要对这3种常见形状进行粗分类。图6中给出了圆形、三角形和矩形这3种形状的标记图曲线。图6中上面表示3种形状，下面的波形分别对应其标记图曲线。标记图曲线中，坐标横轴每一刻度对应一个边界点，表示从水平夹角开始，逆时针遍历各个边界点；纵轴表示边界点到质心点的距离，图6中将所有距离都作了归一化处理，幅值范围为（0，1］。

图6 形状标记曲线

从图6所示的曲线中我们可以看出，这3种形状标记图的均值和方差都有各自的特点。据此，可以对ROI进行形状粗分类。定义Dis（i）的均值Meand和标准差Vard为

计算出目标图像中候选ROI的标记图均值和方差，并根据式 （5）的标准对其进行形状粗分类。若都不满足，则说明该候选ROI不属于交通标志，将其排除

为了确保真实性，式 （5）中的阈值根据交通标志模板中形状的标记特征确定。对模板中交通标志形状进行边界标记描述，并统计标记的均值和方差特征，结果见表1。

表1 形状特征参数

用上述的标记特征描述形状并用其对形状进行分类，其中一个优点是具有旋转不变性，对形状的分类有较高的准确率，并且可以去掉伪候选ROI。此外，由于只需对图像中交通标志所在的ROI进行处理，边界点的数量并不大，分类速度比较快。

1.4 细分类层

交通标志可以视为由两个部分构成的图形，如图7中所示，包括交通标志的外部形状及内部内容。

图7 交通标志的结构

经过前面的粗分类后，交通标志内部图形的识别可以看作是和模板内部图形的匹配问题。对于同一外轮廓形状的交通标志，通过对其内部内容与模板进行匹配实现细分类，即可完成整个交通标志识别系统的功能。文中利用改进的Shape Context实现细分类，识别交通标志。

在本文中改进的算法中，并不像传统的Shape Context那样，需要对所有采样点都统计直方图，而是用粗分类步骤中的质心 （x0，y0）（见式 （1））为中心点，计算质心和内部图形边界点之间形成的直方图。与具有相同外部轮廓形状的交通标志模板计算cost值，cost值最小的模板即为识别结果。

由于交通标志的内部图像占相对面积不大，当光照条件影响较大时，利用颜色信息效果不理想。同时，轮廓信息对于人类的感知而言同样重要，即使是在一些复杂的环境中，轮廓也是一种比较突出且稳定的信息。于是我们针对不同的交通标志内容，通过目标与模板的内部图形形状相似度比较，找到匹配的模板。本文中将采用一种改进的Shape Context描述子来描述两幅图像的相似度。

Shape Context描述子［12］利用轮廓上点与点之间的关系判断两者相似性。对一幅图中的N个点，任意一个点p，它与其它的N－1个点之间的位置关系可以形成N－1维向量。利用极坐标图对点p周围的点进行统计。通过式 （6）统计点p的对数极坐标直方图，k表示第k个统计区间，统计过程如图8所示。对于字符A中标记的点，利用对数极坐标系统对其进行直方图统计。图8（b）中，将对数极坐标按长度分为5个区间，按角度分为12个区间，则总共得到60个区间。图8（c）中，对每个区间的边界点个数进行统计，颜色越深，表示该区间的点个数越多

图8 Shape Context描述子

文中的改进主要体现在两个方面：

（1）采用外部形状质心与内部图形边界点的相互关系计算相似度

在传统的Shape Context中，对于图像中的所有形状边界点，都会进行直方图统计，然后进行匹配度的计算。采用外部形状的质心为中心点，而不是所有边界点，更有利于去掉冗余计算，提高识别系统的识别速度。

（2）利用边缘点总数进行归一化统计

Shape Context需要匹配的边缘点个数一致。为了保留内部图形的完整性，当被识别的标志与模板中的边界点个数不一样时，不需要进行稀疏采样或插入点使其点个数一致，而是采用对点总数进行归一化来统计直方图。

得到直方统计图后，通过计算需匹配的两边界点pi和qi直方图的χ2距离［12］来判断其是否匹配。匹配标准cost值定义为式 （7）。cost的值在0～1之间，其值越小形状越匹配

与传统的Shape Context相比较，本文中的算法大大减少了计算时间，不需要进行重复的匹配计算。在测试图像与模板图像匹配过程中，取cost值最小的为识别结果。实验表明，当与模板匹时，cost值介于0.1～0.3之间。

2 实验结果与分析

本文提出的分层交通标志识别系统使用文献 ［13］中的数据集进行实验。该数据集中的模板如图9所示。数据集中分别有三角形、圆形和矩形三类交通标志。

图9 交通标志模板

实验中分别对圆形、三角形、矩形交通标志进行识别，利用本文中提出的分层识别系统，先进行形状细分类，再对内部图像用改进后的Shape Context计算与模板的相似度，得出最终的分类。本文与另一种直接分割用Shape Context描述子进行匹配的识别系统［14］进行了对比。实验结果见表2。

表2 实验结果

从表2的实验结果中可以看出，通过分层后，总体而言，可以实现更高的准确率，准确率基本达到90%以上。此外，实验中采用改进Shape Context描述子，把质心作为中心点，并通过归一化的方法求相似度，减少了很多冗余的计算，提高了交通标志识别系统的速度。

3 结束语

本文中提出的分层交通识别系统，包括图像预处理层、粗分类层和细分类层。图像经过预处理后，进行外部形状的粗分类，再对内部图像利用改进的Shape Context与模板中的标志进行匹配细分类。实验表明，本文中的方法可以快速并准确地对交通标志进行识别。本文只针对三角形、矩形和圆形3种形状的交通标志进行识别，在今后的工作中可以考虑更多形状类型的交通标志，使文中的分层识别系统性能更加完善。

［1］Eom Tae Jung，Kalyan Goswami.Hybrid color space based road sign detection technique［C］／／Berlin：ICCE，2012：81－83.

［2］XU Shaoqiu.Traffic sign detection and shape recognition in outdoor environments［J］.Journal of Image and Graphics，2009，14 （4）：707－711（in Chinese）.［许少秋.户外交通标志检测与形状识别［J］.中国图象图形学报，2009，14 （4）：707－711.］

［3］ZHU Guiying，ZHANG Ruilin.Circle detection using Hough transform ［J］.Computer Engineering and Design，2008，29（6）：1462－1464 （in Chinese）.［朱 桂英，张瑞林.基 于Hough变换的圆检测方法 ［J］.计算机工程与设计，2008，29（6）：1462－1464.］

［4］Pedro Jimenez，Saturnino Maldonado.Traffic sign shape classification and localization based on the normalized FFT of the signature of blobs and 2－D homographies ［J］.Signal Processing，2008，88 （12）：2943－2955.

［5］Ciresan D，Meier U，Masci J.A committee of neural networks for traffic sign classification ［C］／／CA：The International Joint Conference on Neural Networks，2011：1918－1921.

［6］Saturnino Maldonado－Bascón.Road－sign detection and recognition based on support vector machines［J］.IEEE Transactions on Intelligent Transportation Systems，2007，8 （2）：264－278.

［7］Erdal Oruklu，Damien Pesty.Real－time traffic sign detection and recognition for in－car driver assistance systems ［C］／／USA：MWSCAS，2012：976－979.

［8］Konchar A，Janbn H，Halgamuge S.Gabor wavelet similarity maps for optimising hierarchical road sign classifiers ［J］.Pattern Recognition Letters，2007，28 （2）：260－267.

［9］Yang Siyan，Wu Xiaoying，Miao Qiguang.Road－sign segmentation and recognition in natural scenes ［C］／／Xi’an：ICSPCC，2011：1－4.

［10］Rafael C Gonzale，Woods R E，Eddins S L.Digital image processing using MATLA ［M］.RUAN Qiuqi，transl.Beijing：Publishing House of Electronics Industry，2009：337－340 （in Chinese）.［冈萨雷斯，Woods R E，Eddins S L.数字图像处理 （MATLAB版）［M］.阮秋琦，译.北京：电子工业出版社，2009：337－340.］

［11］GU Mingqin，CAI Zixing，HE Fenfen.Traffic sign recognition based on shape signature and Gabor wavelets ［J］.CAAI Transactions on Intelligent Systems，2011，6 （6）：526－530 （in Chinese）.［谷明琴，蔡自兴，何芬芬.形状标记图和Gabor小波的交通标志识别 ［J］.智能系统学报，2011，6 （6）：526－530.］

［12］Kai Li，Weiyao Lan.Traffic indication symbols recognition with shape context［C］／／Singapore：ICCSE，2011：852－855.

［13］Grigorescu C，Petkov N.Traffic sign image database ［DB］.［2013－03－17］.http：／／www.cs.rug.nl／～imaging／databases／traffic＿sign＿database／traffic＿sign＿database.html.

［14］Guan Ruimin，Yang Su，Wang Yuanyuan.Symbol recognition in natural scenes by shape matching across multi－scale segmentations［G］.Lecture Notes in Computer Science 7423：New Trends and Challenges，2011：59－68.