APP下载

基于文字定位和颜色检测的多车牌定位方法研究

2018-04-16葛艳陈晨

计算机与数字工程 2018年3期
关键词:号牌车牌极值

葛艳陈晨

(青岛科技大学信息科学技术学院 青岛 266061)

1 引言

随着人工智能技术的飞速发展,人们将人工智能应用在各个行业中。在智能交通领域,车牌识别成为当前争相研究的热门方向。车牌定位是车牌识别的重要前提和关键步骤。在复杂的背景中准确定位到车牌位置,是成功识别车牌的重要前提,对最终车牌识别的效果有着至关重要的影响。

在车牌定位方面,已经有很多学者都做了相关方向的研究,并提出了一些算法。基于边缘检测的方法[1~2],通过检测车牌的边缘特征定位车牌,但由于有些汽车前脸栅栏有很多垂直或水平边缘,因此会影响定位成功率。基于神经网络的方法[3~4],需要选取训练样本,对图像采用BP算法进行训练,获得有效的网络权值。再用BP神经网络对图像进行感知,该方法能够取得较好定位效果,但耗费的时间较长。基于纹理的分割方法[5~6],这种方法主要利用车牌区域水平方向的纹理特征进行分割,包括小波纹理、水平梯度差分纹理等。此种方法定位成功率不高,因为车牌图像中很可能不止一个区域具有车牌区域的纹理特征,难以准确找到车牌位置,而且对车牌倾斜度有要求,倾斜度过大时,车牌定位效果明显下降。

根据我国发布的《中华人民共和国公共安全行业标准》(GA36-2007),我国的机动车号牌分为大型汽车号牌、小型汽车号牌、警用汽车号牌、使馆汽车号牌等19种。大型汽车号牌前车牌是黄底黑字黑框线的车牌;小型汽车号牌是蓝底白字白框线的车牌;警用汽车车牌是白底黑字,红“警”字黑框线车牌。它们的尺寸大小都是440mm×140mm。本文采用的方法可以对大型汽车号牌、小型汽车号牌、警用汽车号牌及使馆汽车号牌进行定位。

基于以上分析,为了能识别不同颜色的车牌,本文提出了一种基于最大极值稳定区域的车牌文字定位和颜色检测的车牌区域粗选方法,并与支持向量机算法相结合实现车牌精确定位方法。通过文字定位结果、颜色与宽高比来选取车牌候选区域,最后使用支持向量机完成车牌的精确定位。通过对不同颜色的多车牌图片的车牌定位,验证算法的有效性。

2 基于文字定位和颜色检测的车牌候选区域定位方法

本文使用多种算法融合的方法来选取车牌候选区域,首先使用基于最大极值稳定区域的文字定位方法来粗选车牌,在此基础上采用颜色检测方法进一步实现车牌粗选。

2.1 基于文字定位的车牌粗选方法

最大极值稳定区域(maximally stable extremal regions,MSER)是一种仿射特征区域提取算法。首先将彩色图像转换为灰度图像,然后对灰度图像采用不同的阈值进行二值化操作,将灰度值大于或等于阈值的像素点置为白色,将小于阈值的像素点置为黑色。随着阈值从0~255不断增大,图像会形成闭合区域,区域面积变化不超过一定的阈值,则认为该区域是最大极值稳定区域[7]。

MSER的数学定义如下:

1)图像I是一个映射,I:D⊂Z2→S,且满足以下条件:

(1)S是全序的,S={0,1,2,…,255}。

2)区域Q是D的一个连续子集,对于任意的p,q∈Q,都存在一个连通路径 p,a1,a2,a3…an,q,使得 pAa1…aiAai+1…anAq。

3)区域 q的边界∂Q:Q={q|q∈DQ,∃p∈Q,qAp},∂Q是与Q内至少一个像素相邻,但不属于Q的像素集合。

4)极值区域Q⊂D:对于所有p∈Q,q∈∂Q,满足 I(p)>I(q)(最大极值区域)或者 I(p)<I(q)(最小极值区域)的区域。

5)最大极值稳定区域MSER:设Q1,…,Qi-1,Qi,…为嵌套极值区域(Qi⊂Qi+1)的一个序列。如果稳定性方程 q(i)=|Qi+ΔQi-Δ|/|Qi|在 i*出存在局部最小值,那么极值区域Qi*就是极值区域,i*为极值区域的某一层,|.|为集合的势,Δ∈S为参数。

最大极值稳定区域提取步骤如下:(1)将彩色图片转换为灰度图片;(2)使用0~255之间的每一个灰度阈值对图像进行二值化处理;(3)检测每个灰度阈值获取的二值图像,将灰度值大于等于阈值的点标记为白色,小于阈值的点置为黑色,得到图像的白色连通区域;(4)当灰度阈值不断变化的过程中,白色连通区域变化小于Δ的区域就是MSER[8]。

图1(b)是经过算法提取后的MSER区域。首先求这些提取区域的最小外接矩形,并计算这些外接矩形的尺寸,去除与车牌文字尺寸不符的区域。然后寻找尺寸相差不大并且相邻的矩形,如果能找到七个这样的矩形,那么这七个矩形组成的区域就是车牌的区域。

2.2 基于颜色检测的车牌粗选方法

在数字图像处理中经常会使用RGB颜色模型和HSV颜色模型。在RGB颜色模型中,红色、绿色和蓝色三种颜色分量的亮度值叠加表示一个像素值,环境的光照强度会直接影响这三种颜色的亮度值,这三种亮度值会随着光照强度变化而发生改变。所以,基于颜色的车牌定位很难在RGB颜色模型下完成。而在HSV颜色模型中,用色度、饱和度和亮度三个分量来表示一个像素的颜色特征。亮度分量仅含有亮度信息,没有颜色信息。因此,可以排除亮度对颜色的影响,只使用色度和饱和度两个分量来检测颜色,以查找车牌区域。因此,使用HSV模型可以在不同的光照条件下完成对车牌的定位。

设r,g,b分别是一个像素的红、绿、蓝三个分量的值,它们的值是在0~1之间的实数,max为r,g,b中的最大值,min为这些值中的最小值[9]。则从RGB到HSV的转换公式可以用以下公式表示:

在我国,常见的车牌底色有蓝色、黄色、白色、黑色四种,不同颜色的HSV阈值范围如表1所示。在HSV颜色空间中使用S和V两个分量能匹配出白色区域,可以用来识别警用汽车号牌;使用V分量能匹配出黑色区域,可以匹配使领馆汽车号牌;使用H和S两个分量可以匹配出蓝色和黄色区域,来识别大型汽车号牌、小型汽车号牌。例如,通过黄色模板来对图片中的像素进行逐个匹配,当颜色模板的数值能匹配图片中的像素时,则将该像素值设为1,将不匹配的像素值设为0。匹配完成后,能得到一张包含多个车牌信息的二值图。

表1 HSV阈值范围

2.3 车牌候选区的形态学和矫正操作

形态学运算包括二值腐蚀和膨胀、二值开闭运算等。腐蚀操作可以消除物体边界点,使边界向内部收缩。膨胀是将与物体接触的所有背景点合并到该物体中,使边界向外部扩张。开运算是先腐蚀后膨胀的过程,用来消除细小的噪声、平滑较大物体的边界,同时其面积并不明显改变。闭运算是先膨胀后腐蚀的过程,用来填充物体内细小空洞、平滑边界,同时其面积并不明显改变。

为了使车牌定位更加准确,本文对基于文字定位和颜色定位检测出的车牌候选区域做闭运算处理,使原本不连续的车牌区域变成一块连同区域。

闭运算处理具体算法如下:设有图像A,B是一个合适的结构元素,先让A被结构元素B膨胀,再利用A对B进行腐蚀操作,这两步的目的是将目标周围的噪声去除;然后继续利用B对A进行腐蚀操作,最后利用B对A进行膨胀操作,这两步的目的是将目标内部的噪声去除[6]。

闭运算处理具体算法如下:

1)设有图像A,B是一个合适的结构元素,先利用式(4)实现A被结构元素B膨胀,再利用式(5)实现A对B进行腐蚀操作,这两步的目的是将目标周围的噪声去除。

2)为了将目标内部的噪声去除继续,利用B对A进行腐蚀操作,最后利用B对A进行膨胀操作[10]。

经过闭运算处理后,可以从图片中定位出候选车牌区域,但是候选车牌区域可能存在有较大的倾角,所以需要对候选车牌区域角度进行矫正,以便获取角度正常的字符来进行字符的识别处理。

候选车牌区域倾斜矫正步骤如下:

1)首先,通过闭运算处理之后的二值图,逐个求出图中连通区域最小外接矩形,并计算最小外接矩形的倾斜角度。

2)如果倾斜角度在-5°~5°之间的图片,则直接输出图片。

3)对于角度在 5°~50°和-5°~-50°的车牌,先调整图片角度。

4)调整角度后,将图片二值化,获取二值化后区域三个顶点的坐标,通过仿射变换将该区域矫正成一个矩形,再将结果输出。

在输出结果时,将图片进行归一化处理,变成宽150像素,高40像素的图片。

3 基于SVM的车牌精确定位方法

由于基于颜色的定位会受到与车牌颜色相近的物体的干扰(如图2(a)所示),基于边缘检测的定位会受到汽车车灯等一些边缘信息与车牌相近的物体干扰(如图2(b)所示),影响最终的定位效果。所以引入支持向量机(SVM)来对上面粗选出的候选车牌区域进行判别。

支持向量机是一种基于统计学习理论的机器学习算法,其采用结构风险最小(SructuralRisk Min-imization,简称SRM)原则替代传统的经验风险最小(EmpiricalRiskMinimization,简称ERM)原则进行分类,从而保证了算法具有较强的泛化能力。SVM的训练过程实际上等价于求解一个线性约束的二次规划问题,其目标是在训练样本集中寻找一个最优的超平面,将样本数据最大限度地分开,使两类数据之间的边界最大且分类误差最小,且能保证得到的解为全局最优解。

图2 干扰车牌定位的因素

在本文中使用图像的直方图特征作为支持向量机的输入特征,输入的特征维度是190。直方图特征的特征量丰富,适用于支持向量机分类,有利于车牌的准确定位。

1)首先,将输入的图像进行二值化处理。

2)统计图像中一行元素中为1的数目,输入的图像共40行,得到40个数据。

3)再统计图像中一列元素中为1的数目,输入图像有150列,得到150个数据。

4)将第二步与第三步得到的这些数据作为SVM的输入特征,输入特征维度为190。

本文使用1000个车牌图像及500个非车牌图像对支持向量机进行训练。

4 实验结果

为了检测本文方法的有效性,本文分别选取了含有两个车牌和三个车牌的图像进行了多车牌定位测试,以及警用汽车号牌及使馆汽车号牌进行了白色及黑色车牌定位测试。通过本文提出的方法,对含有三个车牌的图像(图3)定位出车牌图片如图4所示。对两个车牌的图像(图5)定位出车牌图片如图6所示。对白色车牌图像(图7)定位出车牌图片如图8所示。对黑色车牌图像(图9)定位出车牌图片如图10所示。

图3 测试图片

图4 三个车牌定位结果

图5 测试图片

图6 两个车牌定位结果

图7 测试图片

图8 白色车牌定位结果

图9 测试图片

图10 黑色车牌定位结果

实验表明,本文算法能对黄色、蓝色、白色、黑色车牌进行识别,对于多车牌图像中车牌的定位的准确率能达到97%以上。

5 结语

本文提出基于文字定位、颜色检测和支持向量机的多车牌定位方法,能从复杂背景中将待识别的多个车牌较准确的定位和截取。该方法首先使用文字定位和颜色检测两种方法粗选车牌候选区域,其次对车牌候选区域进行形态学和倾斜矫正处理,最后提取车牌候选区域特征信息利用SVM精确定位车牌区域。实验结果表明,本文所用综合方法能排除背景干扰,对不同颜色车牌定位效果和成功率较高。

[1]李文举,梁德群,张旗,等.基于边缘颜色对的车牌定位新方法[J].计算机学报,2004,27(2):204-208.LIWenju,LIANG Dequn,ZHANG Qi,etal.A Novel Approach for Vehicle License Plate Location Based on Edge-Color Pair[J].Chinese Journal of Computers,2004,27(2):204-208.

[2]郭延祥,陈耀武.基于边缘检测和颜色纹理直方图的车牌定位方法[J].计算机科学与探索,2014,8(6):719-726.GUO Yanxiang,CHEN Yaowu.Vehicle License Plate Location Method Based on Edge Detection and Color-Texture Histogram[J].Journal of Frontiers of Computer Science&Technology,2014,8(6):719-726.

[3]张燕,任安虎.多特征与BP神经网络车牌识别系统研究[J].科学技术与工程,2012,12(22):5644-5648.ZHANG Yan,REN Anhu.Research on Multiple Feature and BPNeural Network Licence Plate Recognition System[J].Science Technology and Engineering,2012,12(22):5644-5648.

[4]张冠华.一种基于神经网络的车牌识别方法的实现[D].长春:吉林大学,2016.ZHANG Guanhua.An Implementation of License Plate Recognition Method Based On Neural Network[D].Changchun:Jilin University,2016.

[5]郭捷,施鹏飞.基于颜色和纹理分析的车牌定位方法[J].中国图象图形学报,2002,7(5):472-476.GUO Jie,SHIPengfei.Color and Texture Analysis Based Vehicle License Plate Location[J].Journal of Image And Graphics,2002,7(5):472-476.

[6]王琳.基于模糊聚类汽车牌照分割算法的设计与实现[D].济:山东大学,2015.WANG Lin.The Design and Accomplishment of Segementation Algorithm of Car License Plate based on Fuzzy ClusteringMethod[D].Jinan:Shandong University,2015.

[7]戴津.基于MSER的文本检测方法研究[D].天津:天津师范大学,2014.DAIJin.The Text Detction Research Based on Maximally Stable Extremal Region[D].Tianjin:Tianjin Normal University,2014.

[8]高士林,吉立新,李绍梅,等.基于MSER拟合椭圆的快速场景文本定位算法[J].计算机工程与设计,2015,36(3):693-698,720.GAO Shilin,JILixin,LIShaomei,etal.Fast scene-text localization algorithm based on MESR's fitting ellipse[J].Computer Engineering and Design, 2015,36(3):693-698,720.

[9]谭同德,王三刚.基于OpenCV的车牌定位方法[J].计算机工程与设计,2013,8(34):2816-2820.TAN Tongde,WANG Sangang.Mothed of vehicle license plate location based on OpenCV[J].Computer Engineering and Design,2013,8(34):2816-2820.

[10]王慧锋,战桂礼,罗晓明.基于数学形态学的边缘检测算法研究及应用[J].计算机工程与应用,2009,45(9):223-225.WANG Huifeng,ZHAN Guili,LUO Xiaoming.Research and application of edge detection operator based onmathematicalmorphology[J].Computer Engineering and Applications,2009,45(9):223-225.

猜你喜欢

号牌车牌极值
车牌颜色里的秘密
通过函数构造解决极值点偏移问题
例谈解答极值点偏移问题的方法
极值点偏移问题的解法
拷问 涂改号牌扣12分,重吗? 它可能是违章、违法的前提!
全面推广应用新能源汽车号牌
第一张车牌
一种侧向插装型车牌架
也谈谈极值点偏移问题
夏邑:查获收缴38副虚假临时号牌