雾霾天气下交通标志的检测与识别

张国山，刘 振

（天津大学 电气与自动化工程学院，天津 300072）

雾霾天气下交通标志的检测与识别

张国山，刘 振

（天津大学 电气与自动化工程学院，天津 300072）

针对我国当前交通环境的多变性，尤其是雾霾天气的出现，提出了一种在雾霾天气下快速实现交通标志分类识别的算法.首先，将图像从RGB颜色空间转换到HSV空间，对S通道图像边缘检测，计算标志牌的圆形度、矩形度等，判定标志牌的形状，定位提取标志牌所在的区域，根据标志牌的颜色和形状的匹配唯一性，对标志牌进行初步分类，然后提取标志牌所在的区域进行模板匹配，读取标志牌的具体含义.实验结果表明：该算法能有效地提高雾霾等恶劣天气下交通标志的检测率，并能满足实时性需求.

交通标志；检测识别；图像去雾；HSV；边缘检测；模板匹配；雾霾天气

近年来，智能交通系统（intelligent transport system，ITS）逐渐成为国内外专家研究的热点，而交通标志作为智能交通系统的重要组成部分，也受到各国政府和学术界的重视.交通标志提供指示、警告等信息，它的自动检测和识别，对汽车安全驾驶起到至关重要的作用[1-2].然而，由于交通环境的复杂多变性，基于单一环境研究状态下的交通标志检测算法鲁棒性很差，识别率低，尤其是雾霾天气下，大气中充斥着大量悬浮微粒，比如尘埃、薄雾、烟等，光线在传播中受到悬浮颗粒的吸收和散射，使获取的图像可视性差、色彩失真、质量下降，给后续的图像处理带来大量问题[3].雾霾天气下的交通标志牌识别，首先图像去雾，然后检测识别标志.

在图像去雾方面，Narasimhan等[4]提出一种基于物理模型的去雾算法，该算法从同一场景在不同天气条件下的多幅图像中获取景物的结构信息；Tan[5]提出了一种以增强图像对比度为目的，适用于灰度和彩色图像的去雾算法；He等[6]基于暗原色先验求取透射率，利用软抠算法进行修正，恢复无雾图像；Tarel等[7]分析环境光取值范围，提出一种快速去雾算法，在图像白平衡后，利用多次中值滤波估计环境光，恢复无雾图像.以上去雾算法，在处理速度和处理效果上难以达成一致.本文提出了一种去雾图像算法，仅利用一次简单的均值滤波来估计环境光和全局大气光，运行速度快，效果良好.

标志牌图像去雾处理后，图像清晰、色彩饱和度高，有利于交通标志的定位检测和识别.交通标志识别主要包括2个基本技术环节：标志检测和标志判别.首先是如何快速有效地从复杂的交通场景图像中获取交通标志边缘区域ROI，然后定位出交通标志具体位置，也即标志检测.ROI获取通常是利用交通标志的颜色和几何形状信息来实现的.在RGB空间设定阈值滤除不需要的信息，利用标志形状、边角特征检测交通标志位置.文献[8]提出一种基于颜色指示的标志检测与提取的快速方法.以上算法，实现标志定位检测中存在很大干扰信息，效果一般.其次是如何判别标志牌的分类，主要有基于神经网络、基于形状（模板匹配）和基于颜色等方法，文献[9]将判别问题化简，采用神经网络组成两级智能分类器，实现了交通标志的粗分类（按大类判别）和细分类（判定是哪种具体标志）.文献[10]运用数学形态学方法提取交通标志的形态骨架函数，根据形态骨架进行分类.针对以上问题，本文在标志定位检测中，首先将图像从RGB空间转换到HSV空间，对S通道图像进行边缘检测[11]，检测形状特征实现标志牌的准确定位；在标志识别中，鉴于标志牌的颜色和形状的唯一性，利用颜色特征初步分类，模板匹配准确识别标志.

1 图像去雾处理

本文设计的雾霾天气交通标志牌识别检测系统，首先需要检测图像是否含有雾霾，即能简单有效地判断出当前图像中是否含有雾霾，如果图像中存在雾霾，则需进行去雾处理；如果图像中不含有雾霾，则直接跳过这一步，直接进行标志牌的识别与检测.

1.1 图像雾霾检测

当拍摄设备获得的图像数量过大时，仅靠人工判断图像状态是否含有雾霾，具有局限性，而且困难很大.所以，关键问题在于如何快速智能化判别待检测图像是雾霾图像还是非雾霾图像.

通过深入研究雾霾图像和清晰无雾图像的区别，提取以下相关特征：图像清晰能见度、图像强度、图像对比度和有雾区域单一性.其中，图像清晰能见度测量主要集中于图像边缘和亮度信息；图像强度主要指的是物体成像像素的亮度值，物体表面发射光直接到达成像设备，则图像强度大，反之，在传输过程中发生散射等现象致使图像强度降低；图像对比度指的是一幅图像中明暗区域最亮的白和最暗的黑之间不同亮度层次级的测量，雾霾图像整体发灰白色，图像对比度降低；关于有雾区域单一性，该部分采用Ancuti提出的构造半逆图像来检测图像中的有雾区域算法，检测相关特征，判断当前图像是否有雾[12].

1.2 图像去雾

若图像被判别为雾霾图像，则需对其进行去雾处理.启发于文献[7]中分析环境光取值范围，提出了一种简单快速有效的去雾算法.该算法与文献 [7]相比在处理速度方面有极为显著提高，同时，去雾效果与文献[7]的去雾效果相当，甚至更优于文献[7]的去雾效果.

在计算机视觉领域，通常用下述物理模型来描述雾霾等恶劣天气条件对图像造成的影响.该模型包括衰减模型和环境光模型两部分，模型表达式为：

式中：x为图像像素的空间坐标；H是待处理的含有交通标志的雾霾图像；F是带恢复的图像；r表示大气散射系数；d代表景物深度；A为全局大气光，通常情况下设为全局常量，与空间坐标无关.

式（1）中，F（x）e-rd(x)被称为直接衰减，表示景物表面的反射光在介质中传播时因散射等作用而衰减；A（1-e-rd(x)）被称为环境光或大气光幕，它导致图像色彩和亮度的偏移.

对于式（1），用L（x）代替A（1-e-rd(x)），则式（1）被改写为

由此可见，需要从图像H（x）中估计出环境光L（x）和全局大气光A，以恢复清晰无雾图像.

本文在文献[7]的基础上，对于环境光L（x）和全局大气光A的估算做出如下改进：首先文献[7]在大气光的估算上，直接采用出入图像中最亮点的灰度值作为大气光A的估算值，本文针对A的估算值采用其暗原色通道中最亮的0.1%比例的像素值中最大灰度值作为大气光A的估算值，这种处理方式更为合理有效，使得A值的取值有了可选范围，避免了因为大气光A值的取值造成图像去雾效果不明显.而对于环境光L（x）的估算，文献[7]首先分析环境光的取值范围，将图像分成R、G、B三颜色通道，对每一通道图像进行白平衡化处理，然后进行中值滤波，滤除图像不必要的纹理信息及图像中的噪声，在过滤后的三通道图像中抽取最小值作为景深V通道图像，而L（x）=A（1-e-rd(x)），其中L（x）表示图像的深度信息，则可由上式得到.而本文针对L（x）的估算，未对图像进行白平衡处理，直接对图像进行双边滤波处理，过滤掉图像噪声，并由公式（1）、（2）以及公式t（x）=e-rd(x)，在图像三通道中去像素最小值，作为图像深度信息的预选值，同时取三通道图像像素的平均值组成单通道图像，然后设置比例调节参数，取两者之中较小值，作为图像深度信息，进而估算出环境光L（x）.

图1所示为图像处理效果展示图比较，图像从左至右分别为：原图、文献[7]效果图、本文算法效果图.表1为文章去雾算法与文献[7]算法在图像去雾处理上的时间比较.

图1 去雾效果图比较Fig.1 Haze removal images

表1 图像去雾算法时间比较Tab.1 Result of comparation

由图1和表1可知，本文提出的图像去雾算法与文献[7]相比，未对图像做白平衡化处理，因为图像白平衡化处理耗时长，算法复杂，在针对重雾图像处理时，效果不明显；而是采用双边滤波直接过滤图像中噪声，在轻、重雾图像处理中，效果明显，算法速度快.

2 交通标志的检测

2.1 交通标志检测类流程

我国道路交通标志的颜色和形状特征显著，以圆形、三角形和矩形为基本形状，以红色、黄色和蓝色为基本颜色，其类别与形状及颜色之间具有唯一确定性关系.本文提出了一种简单实用的交通标志颜色特征提取方法，用于交通标志的定位.图2所示为交通标志检测分类的流程图.

2.2 HSV颜色空间

HSV颜色空间从人的视觉系统出发，用色调（Hue）、饱和度（Saturation）和亮度（Value）来描述色彩.其中，饱和度是指色彩的纯度（鲜艳程度），饱和度越高色彩越纯，饱和度低则逐渐变灰.交通标志图像的基本颜色由红、黄、蓝3种饱和度偏高的色彩组成，去雾处理后，色彩饱和度增强，对比度变大，质量提高，亮度稍暗.所以，采取HSV颜色空间代替RGB空间，能更好地利用H通道和S通道.图3所示为HSV颜色空间图像.

图2 程序框图Fig.2 System programming block diagram

图3 HSV颜色空间图像Fig.3 HSV color space images

由图3可以看出，S通道图像中标志牌边框明亮和背景完全区分开，而灰度图像左侧标志边框与背景区分不开，相比之下，S通道图像更有利于边缘检测.

2.3 Canny算子边缘检测

常用的边缘检测算法有：Canny算子、Sobel、Robert、Prewitt算子等.Canny算子的边缘检测效果相比其他的边缘检测算法，检测效果最好，但缺点是其实现速度慢.

图4为Canny边缘检测算法的效果图.

2.4 交通标志形状的判别及定位

交通标志的基本形状为圆形、矩形和三角形，图像边缘检测处理后，需要从各边缘中，判别出边缘的形状. 形状判别常用方法有很多，主要有：边界跟踪提取拐角点的方法、图像做掩模运算搜索拐角、计算圆形度、矩形度和伸长度的判别法来判别形状等.本文采用计算圆形度、矩形度和三角形度来判别交通标志的几何形状.

图4 Canny边缘检测Fig.4 Canny edge detection

圆形度计算公式为：

式中：S为边缘所包围住的面积；L为边缘周长，当边缘的几何形状为圆形形状时，P1=1.

矩形度计算公式为：

式中：H为图像的高度；W为图像的宽度，当边缘的几何形状为矩形形状时，P2=1.

三角形度计算公式为：

由于实际图像拍摄中角度和距离等因素的影响，交通标志的形状接近圆形或三角形或矩形，所以需设定一个误差值ε，用其来表示因为以上因素造成的误差，取两者的绝对差，和ε比较大小，设定一个固定的值，当两者的绝对差大于这个值时，认为当前边缘不是交通标志；当两者之差小于ε时，认为该边缘是某种基本形状，根据圆形度、矩形度、三角形度的计算公式判别出相应的形状.然后返回原图，并将标志取出来，图5所示为本文交通标志定位效果图.

图5 交通标志定位Fig.5 Traffic signs positioning

3 交通标志的识别

交通标志主要包括主标志和辅助标志.主标志由禁令标志（红色圆形）、警告标志（黄色三角形）和指示标志（蓝色圆形或者蓝色矩形）组成.本文针对交通标志的分类识别提出了颜色分类和模板匹配两者相结合的算法.首先，借助上一步标志形状的确定，可以确定警告标志和部分指示标志，也即黄色三角形的警告标志和蓝色矩形的指示标志.

3.1 交通标志的颜色分类识别

交通标志形状确定后，可根据形状确定一部分标志的粗分类，但圆形标志中，有一部分是红色警告标志，另一部分是蓝色指示标志.所以，在判别出圆形形状后，还需要对其进行颜色判别.首先，将定位的交通标志从原图像中提出来，将其转换到HSV颜色空间，由H通道可得，当前标志的颜色为蓝色或者是红色，从而将标志的类别识别出.为确定该标志的分类，就必须对标志进行颜色分类识别.

在HSV颜色空间中，H代表色调，用角度度量，取值范围为0°～360°，从红色开始按照逆时针方向计算，红色为0°，绿色为120°，蓝色为240°.由RGB颜色空间转换到HSV空间，H通道的转换函数为：

式中：r、g、b分别为图像像素中R、G、B三通道的值；max为RGB三颜色通道中像素的最大值；min则为相应的最小值.

3.2 模板匹配精确识别

目前交通标志识别算法，只能识别出交通标志的大分类，即对一副输入的待识别的图像，只能识别出该标志是禁令标志或者指示标志或者警告标志，但不能准确地识别出该标志所代表的具体含义.对此问题，文章提出模板匹配实现交通标志准确识别，即能识别交通标志具体含义.

模板匹配在图像处理中是一种常见的图像处理手段，用于在一幅大图像中搜寻目标，已知该图中有要找的目标，且该目标同模板有相同的尺寸、方向和图像，通过一定的算法可以在图中找到目标，确定其坐标位置.本文的模板匹配算法优势之处主要体现在，已经寻找到目标（交通标志）所在的位置，并且将交通标志所在的区域从原图像中提取出来，计算两者的相识度.

首先建立模板库.将指示标志、警示标志和禁令标志分别建立相应的模板库，并标记上数字代码，每一种代码表示不同的标志牌，其含义也是不一样，针对数字代码建立相应的字符库，当明确为某一交通标志后，将相应的数字代码读出，并从字符库中调取相应的字符，该字符即为当前的标志牌的含义，图6为部分标志牌的模板库.

图6 标志牌模板库Fig.6 Template library of traffic sign

4 识别结果分析

4.1 识别系统

论文针对雾霾恶劣天气下交通标志的识别检测，设计了一套程序，主要包括4个模块：图像获取模块、去雾模块、检测定位模块、识别模块.图7为整个系统的界面图.

图7 系统界面图Fig.7 System interface

4.2 识别结果分析

该系统能识别出当前标志牌的大类别，而且能读出具体含义.系统运行速度快，能满足实时性的要求.

表2为本文和传统经典颜色识别检测标志牌算法[9]在识别准确率和识别速度上的比较结果，图8为相应的识别效果图.

表2 本文算法与传统颜色识别检测算法比较Tab.2 Comparison of two algorithms

图8 识别效果图Fig.8 Picture of recognition effect

从分析结果来看，本文在标志牌识别检测算法模块的识别速度相比于传统经典的颜色识别算法仍有需要改进的地方，但识别准确率相比之，有较大提升.

5 结 语

本文提出了一种在雾霾天气下快速实现交通标志分类识别的算法.经实验结果表明：本文算法运行速度快，消耗时间短，在标志牌检测中，取得较高检测率和较低的误检率.本文提出的图像检测算法可以应用于其他图像检测问题.

[1]朱双东，陆晓峰.道路交通标志识别的研究现状及展望[J].计算机工程与科学，2006，28（12）：50-53.

[2]沙莎，肖学钢.一种多通道融合的交通标志检测方法[J].计算机工程，2009，35（6）：202-205.

[3]XU Haoran，GUO Jianming，LIU Qing，et al.Fast image dehazing using improved dark channel prior[C]//Information Science and Technology.Shenzhen：Chinese Academy of Sciences，2012：663-667.

[4]NARASIMHAN S G，NAYAR S K.Contrast restoration of weatherdegradedimages[J].IEEETransonPatternAnalysisand Machine Intelligence，2003，25（8）：713-724.

[5]TAN R T.Visibility in bad weather from a single image[C]// Computer Vision and Pattern Recognition.Portland OR：IEEE Computer Society，2008：1-8.

[6]HE Kaiming，SUN Jian，TANG Xiaoou.Single image haze removal using dark channel Prior[C]//Computer Vision and Pattern Recognition.Columbus Ohio：IEEE Computer Society，2009：1956-1963.

[7]TAREL J P，HAUTIÈRE N.Fast visibility restoration from a single color or gray level image[C]//Computer Vision.Kyoto：Institute of Electrical and Electronics Engineers（IEEE），2009：2201-2208.

[8]CARSON Mark，SANTAY Darrin.NIST Net：A linux-based net work emulation tool[J].ACM SI GCOMM Computer Communications Review，2003，33（3）：111-126.

[9]ZHU Shuangdong.Two hierarchy classifier for recognition of traffic signs based on neural net work[C]//5th World Congress on Intelligent Control and Automation.Beijing：Chinese A-cademy of Sciences，2004：5302-5306.

[10]蒋刚毅，郑义.基于数学形态学的交通标志自动识别[J].汕头大学学报：自然科学版，1998，13（1）：90-96.

[11]常发亮，黄翠，刘成云，等.基于高斯颜色模型和SVM的交通标志检测[J].仪器仪表学报，2014，35（1）：43-49.

[12]ANCUTI Cosmin.Codruta orniana ancuti and philippe bekaert deblurring by matching[J].Computer Graphics Forum，2009，28（2）：619-628.

Traffic sign detection and recognition under haze weather

ZHANG Guo-shan，LIU Zhen
（School of Electrical Engineering and Automation，Tianjin University，Tianjin 300072，China）

A fast traffic sign detection algorithm under haze environment is proposed for the characteristics of Chinese traffic environment variability，especially haze weather.First，transfer the image from RGB color space to HSV color space，edge detection with the S channel image，calculate signs of circle and rectangle，judging the shape of traffic signs and positioning its area.According to the sign of color and shape matching and uniqueness，preliminary classification is carried out on the sign，and then the sign area is extracted to template matching，read out the specific meaning of the sign.The experimental results show that the algorithm can effectively improve the rates of detection of traffic signs under haze weather，it also can satisfy the real-time requirements.

traffic sign；detection and recognition；haze removal；HSV；edge detection；template matching；haze weather

TP391.41

A

1671-024X（2015）05-0071-05

10.3969/j.issn.1671-024x.2015.05.015

2015-05-29

国家自然科学基金资助项目（61473202）

张国山（1961—），男，教授，博士生导师，主要研究方向为线性与非线性系统控制、智能控制等.E-mail：zhanggs@tju.edu.cn