复杂背景下车牌定位方法的研究*

白猛猛，赵　莉

(西安工业大学 计算机科学与工程学院,西安 710021)



复杂背景下车牌定位方法的研究*

白猛猛，赵莉

(西安工业大学 计算机科学与工程学院,西安 710021)

摘要：为了提高复杂背景下车牌定位的准确性，在分析各类车牌定位算法的基础上，提出了一种结合纹理特征和视觉词包模型的多信息定位方法.对二值化后的图像中的纵向纹理横向膨胀，生成车牌候选区域，根据车牌的长宽比对车牌进行粗定位.利用视觉词包表示粗定位后的矩形轮廓，使用支持向量机分类确认车牌矩形区域，精确定位出车牌位置.该方法对140张测试样本定位的准确率为96.4%，抗干扰性强.

关键词：车牌定位；复杂背景；视觉词包；支持向量机；车牌纵向纹理

support sector machine(SVM);license plate vertical texture

随着车辆的数量呈几何增长[1]，车辆能否有效地、可靠地管理已成为每个城市都要面对的重大挑战.车牌识别技术已经成为智能交通的管理的核心技术之一，并已应用于车辆监控和电子计费等方面[2].车牌定位作为车牌识别技术的首要及关键环节，其准确性直接影响到整个系统的健壮性[3].

目前对于车牌定位问题主要的研究算法有基于形态学特征的算法[4]，该类算法主要利用汽车车牌的纹理特征，对其进行形态学处理后，排除车牌图片中背景的一部分干扰噪音，再根据车牌的几何特征，如长宽比等条件定位出车牌位置.由于该算法只单一的利用车牌纹理特征，忽略了车牌的其他特征信息，因此当图片背景中存在与车牌区域有同样纹理特征的物体时，仅仅依靠长宽比等几何特征判定条件难以判定是否是车牌，从而导致错误定位；基于彩色图像的定位算法[5]，该算法充分利用车牌图像中的颜色信息在不同颜色空间里的特征来定位车牌，但彩色模型是在图像的多通道上进行运算，运算量大实时性差，当车牌区域颜色和周围颜色比较相似时，该算法定位错误率增加，且车牌图像的颜色信息易受光照变化的影响，影响对车牌特征的提取导致错误的定位或无法定位；基于BP神经网络的算法[6]，该算法是将经过预处理后的图像网格式的分成多了块区，利用神经网络对每个块区中提取出来的特征描述子进行分类，定位出车牌，但是抽取车牌图像特征的图像块区大小与实际的车牌图像大小无关，所获得的全局特征并不能真实地反映车牌的全局特性，且BP算法收敛时间长，容易陷入局部最小过拟合.

目前各类车牌定位算法，在复杂背景下均存在着难以识别或者误识别的问题.经分析各类算法的原理，研究其错误定位的原因，针对复杂背景下多车牌定位的问题，文中采用纹理特征及视觉词包模型的多信息车牌定位方法.图像经形态学处理，利用车牌长宽比条件筛选形成车牌候选区域，使用视觉词包表示候选区域，通过支持向量机分类出矩形区域中车牌部分.

1视觉词包模型的车牌定位算法

分析以往的基于纹理特征的车牌定位算法，在车牌图片经形态学处理后能有效地使车牌区域成为矩形连通区域，但该方法的准确率难以进一步提高的瓶颈在于图片中的干扰项若与车牌有相似的纹理特征，也会出现矩形连通区域，仅依靠车牌的长宽比等判定条件难以区分车牌区域和非车牌区域，使得其抗干扰性差误判率高.文中在矩形区域筛选环节采用了视觉词包和支持向量机对其进行进一步的筛选.视觉词包基本原理是用特征描述子表示图片后，将图片看做不同特征点的集合，通过统计每个特征点在单张照片中出现的频率来对照片进行向量表示，即以直方图的形式来表示一张照片[7]，如图1所示为视觉词包基本流程.由于不同类型的照片其用视觉词包得出的向量表示不同，故可选择适当的分类器利用样本集对其进行训练，最后用训练过的分类器对测试图片进行分类.

图1　视觉词基本处理流程

考虑到车牌照片获取时，会受角度、光照等其他因素的影响，为了减少这类因素对特征描述子描述车牌区域的影响，并能达到快速定位的目标，文中采用了surf特征描述子.该描述子计算速度快，具有局部不变性特征，即对一定范围内的尺度缩放、图像旋转、视角变化、光照变化和图像模糊具有鲁棒性，因此对车牌区域的描述能有效地排除来自光照、角度等因素的影响.提取surf特征描述子的算法是利用Hessian矩阵确定候选点，然后进行非极大抑制从而实现特征点的检测.图像中的像素点的H矩阵定义为

(1)

Hessian矩阵判别式如式(1)～(2)，判别式的值是H矩阵的特征值，可以利用判定结构的符号将所有点分类，根据判别式取值的正负判别改点是否是极点的值.

(2)

用图像像素L(x,y)取代函数值f(x,y)，利用式(1)通过特定核间的卷积计算二阶偏导数，得出H矩阵的三个矩阵元素Lxx、Lxy、Lxy，再根据式(1)～(2)进行判别，得到一张近似的Hessian行列式图.将经过H矩阵处理过的每个像素点与其金字塔图像中3维领域的26个点进行大小比较，其中的最大值作为初步的特征点，如图2所示，其中X的地方特征值大于周围像素，故为该区域的特征点.

图2　定位特征点

为了保证旋转不变性，需统计以特征点为中心，60度扇形内所有点在x和y方向的Harr小波相应总和，靠近特征点的权重大，远离的权重小，从而得到每个特征点的主方向，该过程如图3所示.

图3　确定主方向

surf特征能描述一副图像，但一幅图像中会包含大量的surf特征点，直接用于分类训练计算量大，故需通过聚类算法对这些矢量数据进行聚类，用聚类中的一个簇代表视觉词包中的一个视觉词，再将surf矢量映射到视觉词包生成码本.文中在构造视觉词包时采用K-means聚类算法，计算公式如式(3).其中E表示所有聚类对象的平方误差的和，p是聚类对象，|Ci|表示类Ci的聚类对象的数目.

(3)

针对车牌定位问题只需要分类出车牌轮廓和非车牌轮廓两类图片，故选择二分类器SVM.SVM是一种基于VC维理论以及结构风险最小化理论及上的机器学习方法，其最初设计为解决二分类问题[8].SVM原理是将数据映射到高维空间，在高维空间找出分类间隔最大的超平面，用此超平面进行分类，计算公式如式(4).其中(xi,yi)为训练样本，l为样本数，n为输入的维数，C为惩罚参数，k(xi,xj)为Lagrange系数， 为选取的核函数.

(4)

2算法的实现

2.1图像纵向纹理检测

车牌中存在着丰富的纵向纹理信息，可通过该特征进行车牌的粗定位.图像的纹理检测在灰度图即可进行，为减小运算量，先将采集来的RBG彩色图像转换为8位灰度图，利用式(5)转换，其中R、B、G为对应三个通道的像素值，Y为转化后灰度图像的灰度值.

Y=0.299*R+0.587*G+0.114*B

(5)

由于采样设备原因及图像的传输过程受干扰等原因，图像存在一定的噪声，导致图像质量退化，影响对图像的纹理检测.文中采用高斯滤波抑制离散的高斯噪声.高斯滤波是利用高斯滤波函数，根据像素点附近邻域像素的灰度值进行相应的加权平均，从而达到滤波的效果，高斯滤波函数为

(6)

采用中值滤波抑制椒盐噪声.即采用含有奇数个点的滑动窗口，用窗口中各点灰度值的中值来替代指定点的灰度值.如图4所示，经过滤波后对比图4中(a)～(b)可以看出噪音得到了抑制，同时也很好地保留了纹理的信息.

图4　滤波效果图

对于图像中的边缘检测，由于Sobel算子的优势在关键的两项指标“漏检边缘”、“假检边缘”方面表现的尤为突出[9]，故文中采用基于sobel算子的边缘检测方法，对图像进行纵向的纹理检测.该算子包含两组3*3的矩阵，分别为横向及纵向，将之与图像做平面卷积，即可分别得出横向及纵向的亮度查分近似值，如果以A代表原始图像，Gx及Gy分别代表经横向及纵向边缘检测的图像，其公式为

(7)

利用式(8)计算图像中的每一个像素的横向及纵向梯度近似值，用式(9)计算其梯度方向.

(8)

(9)

由于只需检测图像的纵向纹理，当角度等于零，代表图像在该处拥有纵向边缘。检测结果如图5所示.

图5　Sobel纹理检测

2.2图像纹理横向膨胀

为了对图像进行形态学变换需对图像进行二值化处理，即将图像上所有像素点的灰度置为0或255.通过选择适当的阈值将8位灰度图转化为仍可反映图像整体和局部特征的二值化图像.计算公式如式(10)，其中T为选取的阈值，经多次试验文中的阈值T取值为110，实验结果如图6所示.

(10)

图6　二值化图像

分析图6车牌部位有丰富纵向纹理，利用形态学的横向膨胀运算使其形成连通域，结合腐蚀运算，消除图像中的边界点，最终形成矩形连通域，运算结果如图7所示.

图7　形态学运算

2.3车牌定位

经过形态学处理后，扫描图像中的所有矩形轮廓可知，图像中不只有车牌区域形成矩形轮廓，干扰部分也生成了矩形轮廓，需对轮廓进行筛选.鉴于我国的车牌的长宽比是固定的4.5∶1，根据该条件进行车牌粗定位，结果如图8所示.

图8　膨胀运算

分析粗定位后的非车牌矩形轮廓区域，若只依靠其纹理特征已很难区别，必须加入其他特征进行筛选，因此在精确定位环节中，文中采用了视觉词包模型来最终定位车牌区域.第一步提取粗定位后所有矩形区域的surf特征点，提取过程如下：

① 将图像中的像素点输入式(1)，得到在尺度σ上的H矩阵如式(11)，其中Lxx是高斯滤波二阶导数I=(x,y)卷积结果，Lxy，Lyy含义同上，高斯滤波函数如式(12)

(11)

(12)

② 在原始图像上，通过扩大方框的大小形成不同尺度的图像金字塔，例如9*9的方框滤波模板值如图9所示，其中灰色部分模板值为0，对应二阶高斯滤波σ=1.2，相应的尺度值s=σ=1.2，卷积后的值为Dxx、Dxy、Dyy，得到H矩阵的Δ表达式为

Δ=DxxDxy-(0.9Dxy)2

(13)

图9　9*9滤波模板

③ 构建尺度图像金字塔，在每一阶中，选择4层的尺度图像，4阶的构建参数如图10所示.灰色底的数字表示方框滤波模板的大小，如果图像尺寸远大于模板大小，需继续增加阶数.如滤波模板大小为N*N，对应的尺度s=1.2*N/9；用Hessian矩阵求出极值后，在3*3*3的立体领域内进行非极大值抑制，只有比上一尺度、下一尺度及本尺度周围的26个领域值都大或者都小的极值点，为候选特征点，然后在尺度空间和图像空间中进行插值运算，得到稳定的特征点位置及所在的尺度值.

④ 以特征点为中心，s为特征点所在的尺度值，计算半径为6s的领域内的点在x，y方向的Harr小波响应，并给这些响应值赋高斯权重系数，使得靠近特征点的响应贡献大，远离的贡献小.图3中将60度范围内的响应相加以形成新的矢量，遍历整个圆形区域，选择最长矢量的方向为特征点主方向.

图10　尺度空间金字塔滤波大小

⑤ 将坐标轴旋转到主方向，按照主方向选取边长为20s的正方形区域，将该窗口区域划分成4*4的子区域，在每个子区域内计算5s*5s范围内的小波响应，记为dx、dy.然后将每个子区域的响应及响应绝对值相加形成∑dx、∑dy、∑|dx|、∑|dy|，再在每个子区域形成4维分量的矢量Vsub=(∑dx、∑dy、∑|dx|、∑|dy|)，因此每个特征点为4*4*4=64维的描述向量，再进行向量归一化.过程如图11所示，提取结果如图12所示.

图11　构造surf特征点

图12　surf特征点

提取出surf特征点后，利用k-means聚类算法生成视觉词包[10]，训练库中提取出的所有surf特征点样本为{x(1),…,x(n)}，每一个x(x)∈R64，该生成过程如下：

① 随即选取1 000个聚类质心点为μ1,μ2,…,μk∈R64;

分类器的训练，将训练集中的图片用视觉词包表示，即提取图片中的surf特征点，将其映射到对应的词包中，生成图片的码本.输入到SVM中进行训练，过程如下：

① 为每个样本x(i)∈R1 000标记，车牌样本标记值为1，非车牌标记值为-1；

② 选取高斯核函数作为投影到n维向量的转换函数并选取其σ值控制投影的维度，选取惩罚系数C优化决策面；

③ 将所有样本代入式(4)计算，得到的分类决策函数其形式为

yiω·xi-b≥1-ξ1,ξ1≥0

(14)

在识别阶段，图片经视觉词包表示成向量形式，利用训练好的SVM分类器，对其进行分类得出车牌图像，定位出车牌位置.

3结 论

利用车牌部位纵向纹理丰富的特点，扫描图像的纵向纹理后，对其进行横向膨胀，使车牌部位及某些背景干扰部分生成矩形连通域，并通过车牌的长宽比进行车牌的粗定位.对粗定位的矩形轮廓区域提取其surf特征点，根据训练时生成的视觉词包将其表示成码本.通过SVM训练得到的决策分类函数对矩形区域进行分类，确定出车牌位置.该方法不但可以适合单张图片单车牌的定位，而且能适合单张图片多车牌的定位，在复杂背景下仍能有较高识别率，抗干扰性强.经采集的140张照片实验结果，其正确率为135张，准确率为96.4%，有较强的鲁棒性.

参 考 文 献：

[1]李志强,李永斌.车牌识别技术的发展及研究现状[J].科技信息,2012(5):110.

LI Zhiqiang,LI Yongbin.The Development and Research Status of License Plate Recognition Technology[J].Science & Technology Information,2012,(5):110.(in Chinese)

[2]耿庆田,赵宏伟.基于分形维数和隐马尔科夫特征的车牌识别[J].光学精密工程,2013,21(12):3198.

GENG Qingtian,ZHAO Hongwei.License Plate Recognition Based on Fractal and Hidden Markov Feature[J].Optics and Precision Engineering,2013,21(12):3198.(in Chinese)

[3]QIN Zhong,SHI Shengli,XU Jianmin,et al.Method of License Plate Location on Comer Feature[C]//Proceeding of the 6th World Congress on Intelligent Control and Automation Piscataway,NJ,USA: IEEE,Press,2006:8645.

[4]郭志强,王永杰,董震,等.基于成对形态学算子的车牌定位方法[C]//第十六届全国图像图形学学术会议论文集.北京:清华大学,2011:292.

GUO Zhiqing,WANG Yongjie,DONG Zhen,et al.License Plate Detection Method Based on Paired Morphological operator[C]//Proceeding of the 16th National Conference on Image and Graphics.Beijing:Tsinghua University Press,2011:292.(in Chinese)

[5]张引,潘云鹤.彩色汽车图像拍照定位新方法[J].中国图象图形学报,2001,6(4):374.

ZHANG Yin,PAN Yunhe.A New Approach for Vehicle License Plate Locating from Color Image[J].Journal of Image and Graphics,2001,6(4):374.

(in Chinese)

[6]ZHENG L H,HE X J,SAMALI B,et al.An Algorithm for Accuracy Enhancement of License Plate Recognition[J].Journal of Computer and System Sciences,2013,79(2):245.

[7]WANG Q W,WAN S H,YUE L H,et al.Visual Attention Based Bag-of-Words Model for Image Classification[J].Proceedings of SPIE-The Internotional Society,2014,9159(3):91591P.[8]CORINNA C,VLADIMIR V.Support-Vector Networks.Machine Learning,1995,20(3):273.

[9]何春华,张雪飞,胡迎春.基于改进Sobel算子的边缘检测算法的研究[J].光学技术,2012,38(3):324.

HE Chunhua,ZHANG Xuefei,HU Yingchun.A Study on the Improved Algorithm for Sobel on Image Edge Detection[J].Optical Tecnique,2013,38(3):324.

(in Chinese)

[10]BOLOVINOU A,PRATIKAKIS I,PERANTONIS A.Bag of Spatio-visual Words for Context Inference in Scene Classification[J].Pattern Recognition,2013(3):1039.

(责任编辑、校对张立新)

Multiple Vehicle License Plate Location in Complex Background

BAI Mengmeng，ZHAO Li

(School of Computer Science and Engineering,Xi’an Technological University,Xi’an 710021,China)

Abstract:In order to increase the accuracy of license plate location in a complex background,the paper presents a multi information locating method with morphological processing and bag of visual words model based on the analysis of all kinds of a license plate location algorithms.Then the rectangular regions that match the aspect ratio of a license plate are represented by a histogram over visual words based on the bag of visual words.The method can locate the license plate clearly and accurately in the rectangular region by the classifying function that Support Vector Machine resolves.The method has high identification accuracy strong anti-interference performance 140 samples were tested by this method,and the accuracy rate is 96.4%.

Key words:multiple license plate position;complex background;bag of visual words;

DOI:10.16185/j.jxatu.edu.cn.2016.05.007

收稿日期：2015-09-17

作者简介：白猛猛(1987-),男,西安工业大学硕士研究生. 通讯作者：赵莉(1972-),女,西安工业大学教授,主要研究方向为智能信息处理.E-mail:3320997322@qq.com.

文献标志码:中图号：TH12A

文章编号：1673-9965(2016)05-0382-06