基于车尾检测和语言学颜色空间的车牌定位*

王　拴

(南京理工大学计算机科学与工程学院　南京　210094)



基于车尾检测和语言学颜色空间的车牌定位*

王拴

(南京理工大学计算机科学与工程学院南京210094)

摘要车牌定位是从拍摄的含有车牌的图像中定位出车牌的准确位置，是智能交通系统中车牌识别的首要任务。论文提出一种基于车尾检测的车牌定位方法，首先利用车底阴影来得到车尾的候选区域，再采用SVM分类器验证这些候选区域是否车尾，将非车尾剔除，最后利用基于语言学颜色空间的方法得到最终的车牌区域。实验结果表明，上述方法在白天能有效检测车尾，定位车牌区域，并且对光强变化，周围干扰阴影具有很好的鲁棒性。

关键词车尾检测; SVM分类器; 车牌定位; 颜色空间

Class NumberTP391.41

1引言

智能交通系统已经应用到生活中的各个领域，对于减少交通违章，追踪肇事逃逸车辆，高效合理地解决交通问题有着非常重要的意义，车牌识别是其中的关键技术之一，而车牌定位则是车牌识别的首要任务，车牌能否准确定位关系到整个车牌识别系统的性能。国内外学者在这个领域做了大量的研究，目前车牌定位的主要方法有：基于颜色信息的车牌定位方法[2,9]、基于边缘的车牌定位方法[1]、基于混合特征的车牌定位方法[6]以及基于神经网络[7]等机器学习的定位方法。

基于颜色的车牌定位方法利用颜色特征，文献[9]将RGB色彩空间转换到LAB色彩空间进行车牌定位，当车身或者周围环境颜色和车牌区域颜色接近，或者车牌颜色褪色时，该方法很难定位，而且该方法只能区分黄色和蓝色车牌，并且对阈值的选取要求较高；基于边缘的车牌定位方法利用车牌区域边缘特征明显的特点，通常先提取图像的垂直边缘，经形态学处理，再利用连通域、宽高比等限制确定车牌区域，该方法对车牌的对比度、边缘要求较高，文献[1]采用了Krisch边缘检测来增强边缘，该方法也很容易被其他边缘特征明显的非车牌区域影响，从而产生虚假目标；基于混合特征的定位方法综合边缘和颜色信息，结合了两种方法的优点，但并不能完全克服彼此的缺点，需要研究如何有效利用多种信息；基于神经网络的定位方法利用了机器学习的优势，该方法一般需要预先准备大量的训练样本，文献[7]利用滑动窗口得到每个候选区域作为神经网络的输入，检索整幅图像非常耗时，无法满足实时性要求。

本文基于以上分析，提出一种基于车尾检测的车牌定位方法，在白天情况下，利用车底阴影找到车尾候选区域，采用SVM分类器[5]识别车尾候选区域，对识别为车尾的区域，采用基于语言学颜色空间的方法在车尾区域内车牌进行定位。

图1　车牌定位算法流程

2车牌定位流程

本文车牌定位的算法流程如图1，首先将原始图像转换为灰度图像，通过车底阴影分割、阴影线的提取、合并得到车尾候选区域。使用SVM分类器结合车尾图像的HOG特征[5]对候选区域进行分类验证，剔除非车尾区域，得到所有场景中包含车牌的车尾图像，最后将车尾图像转换到语言学颜色空间中，提取其中的蓝色通道，经阈值分割后寻找连通区域，对车牌宽高比和位置加以限制，得到车牌图像。

3车尾检测原理

在白天条件下，车底阴影是车辆的一个明显特征，如何有效地提取车底阴影是能否准确检测车尾的关键，车尾检测过程分两步：第一步提取车尾候选区域，3.1节采用图像阈值分割方法分割出车底阴影；3.2节提取合并车底阴影线，从而确定车尾的位置；第二步验证候选车尾区域，3.3节采用SVM分类器对候选区域识别，剔除非车尾区域。

3.1车底阴影分割

阈值分割的方法有许多，全局阈值分割中的最大类间方差OTSU[4]是较为常用的阴影分割方法，OTSU是一种全局自适应阈值分割算法，由日本学者大津于1979年提出，当目标和背景之间差距越明显，类间方差越大，OTSU对目标和背景区分度较高的图像能够有效分割，对于目标与背景对比度不明显的图像分割效果差。本文采用文献[3]中提出的改进的阴影分割方法，采用两次阈值分割方法提取车底阴影，能抑制周围阴影干扰，分割效果较好。

图像的均值μ和方差σ定义为

(1)

(2)

其中g(x,y)表示图像的某点的灰度值，M、N表示图像的宽和高。根据图像的均值μ1和方差σ1，按照式(3)得到第一次分割的阈值T1。

T1=μ1-σ1/a

(3)

T1排除了图像中亮度较高区域的干扰，然后找出图像中灰度值低于T1的像素点，统计它们的均值μ2和方差σ2：

T2=μ2-σ2/b

(4)

T2的目的在于进一步抑制周围环境的干扰，参数a和b取a=μ1/σ1，b=μ2/σ2可以更好地适应各种环境。

本文在不同光照条件下用两种分割方法进行了实验，图2和图3分别是在弱光和强光条件下的原图；图4和图5是OTSU方法在两种光照条件下的分割结果；图6和图7是本文方法在两种光照条件下的分割结果。

图2　弱光下原图

图3　强光下原图

结果表明本文所采用的方法相比OTSU方法在弱光条件和强光条件下都能够极大地抑制图像中的干扰信息，分割效果较好，能够满足后续提取车尾的条件。

图4　弱光下OTSU方法

图5　强光下OTSU方法

图6　弱光下本文方法

图7　强光下本文方法

3.2提取并合并车底阴影线

从图6和图7可以看出，分割后的图像中除了车底阴影外，还有一些周围环境形成的干扰阴影，本文采用三次阴影线合并的方法，第一次根据车辆在图像中的所在行的不同导致车辆宽度不同这一点，根据车辆实际宽度(本文只针对小轿车)、路口摄像机高度，结合式(5)可以将大部分水平线段剔除。

Wi=Wr/Hcam*Y

(5)

其中Wi表示车辆在图像中某一行应有的宽度，Wr表示车辆实际宽度，Hcam表示路口摄像机架设高度，本文中所使用的图像均由架设高度为7m的摄像机拍摄，Y表示阴影线在图像中所在的行。满足式(6)的线段均可保留。

Wi*0.8

(6)

对于某辆车提取到的阴影线会有多条，我们只需要保留能够标注这辆车的最合适的那一条阴影线，因此第二次合并根据阴影线上下关系，首先对于满足|Line1y-Line2y|<20pixel的线段结合图8四种不同情况进行合并。

图8　阴影线上下关系

合并时左端点取最左边的点，右端点取最右边的点，由于一些黑色车辆后车窗也会产生阴影线，形成干扰区域，因此再对阴影线进行第三次合并，由于原始图像尺寸较大(2448×2048)，根据实验分析，针对本文中所使用的数据集，可以合并的阴影线条件需满足上下距离|Line1y-Line2y|<250pixel。

最后根据实际车辆宽高比，可以得到车尾候选区域。图9是场景原图；图10是阈值分割结果；图11是未合并阴影线前；图12是第一次水平方向合并结果；图13是第二次垂直方向合并结果；图14是第三次合并结果；图15用矩形框标注出了最终得到的车尾候选区域。

图9　原图

图10　阈值分割结果

图11　阴影线合并前

图12　第一次合并结果

图13　第二次合并结果

图14　第三次合并结果

图15　车尾候选区域

3.3车尾验证

图15场景中周围的树木、房屋、行人、对面驶来的汽车也被标记出来，这些区域并不是车尾，需要剔除。本文采用支持向量机(Support Vector Machine,SVM)分类器[5]对车尾进行分类验证，目前的实验仅针对白天情况下小轿车车尾进行分类验证。针对其它不同车型的车尾，也可以通过同样的方法训练得到不同的分类器，识别不同类型的车尾。

本文在现有的图像数据集上收集了包含有500幅正样本和700幅负样本的训练样本，部分正样本如图16，负样本如图17。

图16　小轿车正样本

图17　负样本

本文提取了车尾图像的HOG(Histogram of Oriented Gradient)特征[5]，即方向梯度直方图，是一种特征描述子，通过计算和统计图像局部区域的梯度方向直方图来构成特征。

图像中某个像素点(x,y)的梯度为

Gx(x,y)=H(x+1,y)-H(x-1,y)

(7)

Gy(x,y)=H(x,y+1)-H(x,y-1)

(8)

式中Gx(x,y)，Gy(x,y)，H(x,y)分别表示图像中像素点(x,y)处的水平、垂直方向梯度和该点像素值。该点的梯度值和梯度方向为：

(9)

(10)

提取特征的过程是将图像划分成小cells，统计每个cell梯度直方图，作为该cell的描述子，将若干个cell组合成一个block，一个block内所有cell的描述子连接起来就是该block的描述子，将图像内所有block块的描述子连接起来就是整幅图像的HOG特征。

本文中的样本在训练时统一调整大小为(200×125)，每幅图像最终得到12096维的HOG特征。分类器采用SVM分类器，本文经过多次训练识别，目前对于小轿车车尾的识别准确率平均可以达到96.68%，精度为98.24%，召回率为97.09%，F值为97.45%，实验结果满足后续车牌定位需求。

4车牌定位原理

4.1语言学颜色空间

常见的颜色空间有RGB、YUV、HSV、LAB、CMY等，文献[2]和文献[9]分别在RGB和LAB颜色空间进行车牌定位。学者Berlin和Kay[10]认为在语言学里有11种基本颜色(黑、蓝、棕、绿、灰、橙、粉、紫、红、白、黄)，文献[8]从Google已经标注的图像数据集中收集了这11种颜色的样本(如图18)，其中用矩形框标注的图像是一些负样本。

图18　Google已标注的11种颜色样本

基于Berlin和Kay的理论[10]，采用PLSA-bg[8]模型可以学习出一种基于语言学的颜色命名方法，该方法是对概率潜在语义分析模型(Probability Latent Semantic Analysis,PLSA)[12]方法的改进，PLSA最初用于文档的潜在语义主题分析。

在PLSA模型中，给定一组文档D={d1,…,dN}，每个文档可以用一个词汇表W={w1,…,wM}描述，这些词汇是由一组潜在的主题Z={z1,…,zk}生成的，对于词汇w在文档d中的概率为

(11)

式(11)中P(w|z)和P(z|d)都是离散的，能用最大期望算法(Expectation Maximization,EM)[12]来估计。PLSA的标准模型不能利用图像的标注信息，因此作者提出了改进的PLSA-bg模型，将图像d分为前景和背景，前景由该图像的颜色标记ld决定，背景由所有图像共享。

P(w|d,ld=z)=αdP(w|ld=z)

+(1-αd)P(w|bg)

(12)

式(12)中P(w|ld=z)是单词w由主题ld生成的概率，记P(w|d,ld=z)=pwd、P(w|z)=βwz、P(w|bg)=θw。为了学习模型，需要估计前景和背景的混合比率α、颜色名称分布β以及背景模型θ。对于每个在文档中的单词用一个隐含变量的两种状态来关联，表示这个单词是在前景主题还是背景主题中，状态的后验概率为

(13)

(14)

通过最大化式(15)中所有数据的对数最大似然估计，得到其中q的值，就可以用式(16)重新估计参数αd。

(15)

(16)

用新的α更新pwd后可以得到：

(17)

(18)

其中Dt是标注ld等于t的一组文档，cwd是每个文档归一化后的单词数量。我们用生成的单词主题分布来将颜色名称的概率对应到图像中的每个像素值。第一种方法是仅基于像素值的一一对应，用PLSA-bg表示，第二种方法是将像素点所在区域考虑进来，用PLSA-bg*表示。

给定一个像素，它对应的颜色名称的概率是：

PLSA-bg:P(z|w)∝P(z)P(w|z)

(19)

给定一个区域，它对应的颜色名称的概率是：

PLSA-bg*:P(z|w,d)∝P(w|z)P(z|d)

(20)

采用上述方法结合图像样本，可以学习得到一个颜色命名方法，称之为Color Name。它将RGB颜色空间映射到包含11个通道的颜色空间，该颜色空间称为语言学颜色空间。对任意一个像素，每个通道的值表示它取该通道对应的颜色值(11种)的概率。图19(b)是用Color Name对图19(a)标注的结果，车身被标记为黄色，天空为蓝色，地面为白色；图19(c)是Benavente用基于颜色块方法[11]标注的结果，车身被标记成了灰色和黄色，地面被标注成了粉色和绿色，可以看出Benavente标注的效果并不理想。

图19　场景、Color Name标注结果以及Benavente色块标注结果

4.2基于语言学颜色空间的车牌定位

基于上述颜色命名理论得到了语言学颜色空间，本文尝试将该颜色空间应用于车牌定位中，如果我们将检测到的车尾彩色图像依据Color Name颜色表转换到含有11个通道的颜色空间下，取每个像素点11个通道中的最大值对应的颜色作为该像素点的颜色，得到的标注结果如图21，可以看出原图(图20)车牌区域被标记为蓝色，后警示灯被标记为红色，车身部分被标记为灰色和黑色。

图20　车尾原图

图21　颜色标注结果

本文采取的方法具体的过程是先通过Color Name对车尾进行颜色空间转换，提取其中的蓝色通道(图22)，然后对原图进行窗口大小为3×3的高斯滤波进行去噪，再对该灰度图进行阈值分割，分割采用OTSU方法，结果如图23。在分割后的图像中寻找所有的连通区域，根据实际车牌宽高比、车牌大小、车牌在图像中的位置(本文车牌定位是在车尾区域内，车牌在图像中位置水平方向居中)等条件加以限制，就可以准确定位车牌，定位结果如图24。图25是提取的车牌图像。

图22　RGB蓝色通道图

图23　Color Name蓝色通道

图24　OTSU分割结果

图25　车牌定位结果

图26　提取出的车牌区域

本文用在语言学颜色空间下所提取的蓝色通道图(图23)和在RGB颜色空间下提取的蓝色通道图(图22)相比，车牌在图像中是一个显著区域，可以采用合适的阈值分割方法将车牌准确的提取出来。

实际场景存在蓝色车辆，车身和车牌颜色接近，一些白色车身受光照影响也会成为干扰信息。本文依据蓝色成分占原图大小的比例判断原图是否包含较多蓝色分量，该比例如果超过设定值r，则认为该图像为包含蓝色信息较多的车尾。对这类车尾采取的方法是在OTSU方法的结果上增加t作为阈值进行分割，可以将大部分干扰区域剔除，r和t为在本实验数据集上经过多次实验得到的阈值。

分割之后再对二值图像在水平方向进行膨胀运算，找到所有的连通区域后，对大小、位置加以限制就可以得到车牌位置。图27(a)是蓝色车尾原图；图27(b)是车尾在语言学颜色空间下的蓝色通道图；图27(c)是阈值分割之后的结果；图27(d)是水平膨胀运算结果；图27(e)红色矩形框是检测到的车牌候选区域；图27(f)是最终确定的车牌位置；图28是提取的车牌图像。

图27　蓝色车辆车牌定位结果

图28　提取出的车牌区域

5实验结果分析

本文实验环境为VS2010和Matlab2013，实验中用到的图像分辨率大小均为(2448×2048)，是在原始图像上经过截取的结果，为了对本文提出的方法进行有效地评估，选取了500幅白天路口图像，其中包含不同类型的车辆，不同颜色的车辆，不同光照条件下的车辆。

本文统计了文献[1]和文献[9]以及本文方法在同一图像数据集上的实验结果，如表1。实验结果表明本文的方法能够有效地检测出车尾中的车牌，在500幅含有车牌的车尾图像中成功检测出494张车牌，漏检6张，检测率达到98.80%，漏检率1.20%，车牌定位部分结果如图29。文献[9]将原图从RGB空间转换到LAB空间下，根据B通道中像素值区分车牌是黄色还是蓝色，利用阈值分割定位车牌，能够较好地抑制光照影响，但该方法易受车身周围颜色的干扰，对阈值的选取要求较高，需要根据实际场景而定，该方法在本文的数据集上达到91.80%的检测率。文献[1]利用纹理特征检测车牌，采用了Krisch算法，对8方向的边缘信息统计，能够取得较好的边缘图像，但是该方法在车牌边缘不清晰、背景复杂时会产生漏检，且易受车身文字和车身标志的干扰，检测到虚假目标，在本文数据集上达到了96.20%的检测率。

表1　不同车牌定位方法结果对比

图29　车牌定位结果

6结语

本文针对车牌识别系统中车牌定位这一关键环节，提出了一种基于车尾检测结合语言学颜色空间的车牌定位方法，采用车辆检测的思路提取车尾，缩小了车牌检测的范围，减少了周围环境带来的影响，再将车尾图像转换到本文的颜色空间下结合车牌的颜色信息进行车牌定位。实验结果表明本文提出的方法能够有效地检测车辆位置，对光照影响和周围环境的干扰有较好的鲁棒性，同时能准确定位出车牌位置。

参 考 文 献

[1] 刘广起,郑晓势,张晓波.基于图像纹理特征提取的车牌定位算法[J].中国图象图形学报,2005,10(11):1419-1422.

LIU Guangqi, ZHENG Xiaoshi, ZHANG Xiaobo. License Plate Location Based on Texture Characteristic of Image[J]. Journal of Image and Graphics,2005,10(11):1419-1422.

[2] 郑成勇.一种RGB颜色空间中的车牌定位新方法[J].中国图象图形学报,2010,15(11):1623-1628.

ZHENG Chengyong. A novel license plate location method on RGB color space[J]. Journal of Image and Graphics,2010,15(11):1623-1628.

[3] 齐美彬,潘燕,张银霞.基于车底阴影的前方运动车辆检测[J].电子测量与仪器学报,2012,26(1):54-59.

QI Meibing, PAN Yan, ZHANG Yinxia. Preceding moving vehicle detection based on shadow of chassis[J]. Journal of Electronic Measurement and Instrument,2012,26(1):54-59.

[4] Otsu N. A threshold selection method from gray-level histograms[J]. Automatica,1975,11(285-296):23-27.

[5] Cao X, Wu C, Yan P, et al. Linear SVM classification using boosting HOG features for vehicle detection in low-altitude airborne videos[C]//2011 18th IEEE International Conference on Image Processing,2011:2421-2424.

[6] 赵兵,鲁敏,匡纲要,等.基于混合特征的车牌定位算法[J].计算机工程与设计,2007,28(23):5668-5670.

ZHAO Bing, LU Ming, KUANG Gangyao, et al. License plate location based on mixed characteristics[J]. Computer Engineering and Design,2007,28(23):5668-5670.

[7] 陈建坤,范春年.一种基于神经网络的车牌定位方法[J].辽宁工程技术大学学报(自然科学版),2005,24(1):97-100.

CHEN Jiankun, FAN Chunnian. Neural network based vehicle license plate location[J]. Journal of Liaoning Technical University,2005,24(01):97-100.

[8] Joost V D W, Schmid C, Verbeek J. Learning Color Names from Real-World Images[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2007:1-8.

[9] Chen C, Ren M. The significance of license plate location based on Lab color space[C]//International Conference on Information, Electronics and Computer,2014:78-81.

[10] B. Berlin, P. Kay. Basic color terms: their universality and evolution[M]. Colifornia: University of California Press,1969.

[11] R. Benavente, M. Vanrell, R. Bladrich. A data set for fuzzy colour naming[J]. COLOR research and application,2006,31(1):48-56.

[12] T. Hofmann. Probabilistic latent semantic indexing[C]//22nd annual international ACM SIGIR conference on Research and development in information retrieval,1999:50-57.

收稿日期:2016年1月6日,修回日期:2016年2月26日

作者简介:王拴,男,硕士研究生,研究方向：数字图像处理，模式识别。

中图分类号TP391.41

DOI:10.3969/j.issn.1672-9722.2016.07.034

License Plate Location Based on Detection of Vehicle Rear and Linguistic Color Space

WANG Shuan

(School of Computer Science and Engineering, Nanjing University of Science and Technology, Nanjing210094)

AbstractLicense plate location is to find the exact location in an image which contains license plates, which is the primary mission in license plate recognition(LPR) for intelligent transport system. A method based on the detection of vehicle rear to locate license plate is proposed in this paper. First the shadow of vehicle is used to get the candidates of vehicle rear. Then the areas which are not recognized as vehicle rear we need by means of a SVM classifier. To get the final location of license plate, the method based on linguistic color space is used. The experimental results show that the proposed method can detect the vehicle rear and locate license plate effectively, and demonstrate the robustness on the change of light and the shadow around.

Key Wordsvehicle rear detection, SVM classifier, license plate location, color space