局部HOG和分层LBP特征融合的车牌字符识别①

高 聪, 王福龙(广东工业大学 应用数学学院, 广州 510520)

局部HOG和分层LBP特征融合的车牌字符识别①

高 聪, 王福龙
(广东工业大学 应用数学学院, 广州 510520)

针对车牌字符识别中模板匹配法识别率低, 尤其是无法准确识别相似字符的不足, 提出了一种局部HOG和分层LBP特征融合的车牌字符识别方法. 首先利用模板匹配法对车牌所有字符进行初步识别, 然后利用HOG算子提取车牌和模板相似字符中最具区分度的一小块边缘特征, 接着利用LBP算子提取原始车牌和模板相似字符中相同区域块的分层纹理特征, 将两种特征串行融合构建串行特征向量, 最后根据特征向量之间的卡方距离来度量车牌字符和模板字符的相似性, 进而完成二次识别. 通过实验比较了11种算法的识别性能, 结果表明本文方法有效地解决了相似字符误识别的问题, 在保证识别速率的同时识别率显著提高, 达到99.52%.

车牌识别; 模板匹配; 局部HOG特征; 分层LBP特征; 特征向量

1 引言

车牌识别系统在停车场车辆管理、监控违章车辆、高速公路收费管理系统等领域都有十分广泛的应用.车牌识别是指利用车牌的特征从具有复杂背景的车辆图像中提取出车牌区域,并对该车牌区域进行字符分割, 提取每个字符的特征后再进行识别的过程. 在一般情况下, 完整的车牌识别系统包括图像采集, 车牌定位, 车牌字符分割和字符识别四个部分.

目前国内外有很多车牌定位算法, 如: 纹理特征法[1]、颜色特征法[2]、字符特征法[3]、边缘检测法[4]和灰度跳变法[5]. 字符分割算法主要有: 投影法[6]、连通性法[7]和字符的先验知识法[8].字符识别是车牌自动识别技术的最后一步, 也是关键一步, 主要任务是对字符分割出的单个字符进行自动识别.根据我国车牌字符的结构和特点, 目前常见的车牌字符识别方法主要有模板匹配法[9]、神经网络法[10]和特征提取法[11,12]. 模板匹配法是一种经典的模式识别方法, 是最直接的字符识别方法, 主要是通过判定测试字符与模板字符间的相似度, 将相似性最大的样本作为输入字符的所属类别. 模板匹配法原理简单, 比较直观,计算方便,因此得到了普遍的应用; 但不能适应于各种字符变化、角度变化,鲁棒性较差. 神经网络法是先对待识别字符进行特征提取, 然后用所获得的特征向量来训练神经网络分类器, 通过训练好的分类器将字符识别出来. 神经网络法具有较强的容错能力, 识别效率较高, 但是该方法需要大量的训练样本, 训练样本运算复杂度高, 耗时长,难以满足实时性要求. 特征提取法是先提取测试字符和模板字符的统计特征, 再按照一定准则所确定的决策函数进行分类判决, 经过大量的统计得到测试字符和模板字符的特征向量, 再通过比较测试字符与模板字符特征向量的相似性得到输入字符的识别结果. 特征提取法可以提取显著的特征, 对于失真的图像具有一定的鲁棒性,但是提取特征的时候会消耗大量时间[13,14]. 本文首先利用模板匹配法对相似字符进行初步识别, 然后利用局部HOG特征和分层LBP特征进行二次识别, 实验结果表明识别率明显提高.

2 LBP特征

LBP(local binary pattern)是一种用来描述图像局部纹理特征的算子. 原始LBP[15]首先由Ojala等人在1996年提出, 它主要反映每个像素与周围像素的关系.后来相关研究人员不断对其提出了各种改进和优化,分别提出了旋转不变LBP模式[16]、均匀LBP模式[17].

2.1 原始LBP

原始LBP算子主要思想是在3*3的窗口内, 以窗口中心像素为阈值, 将相邻的8个像素的灰度值与其进行比较, 若周围像素值大于中心像素值, 则该像素点的位置被标记为1, 否则为0, 然后将求得的二进制数按逆时针方向串起得到一个二进制编码, 其对应的十进制数作为中心像素的新值, 并用这个值来反映该区域的纹理信息. 一种常用的3×3邻域LBP模式如图l所示, 其二进制编码为11100001, LBP值=1+32+64+128=225.

图1 3×3邻域LBP算子及计算过程

原始LBP计算公式如下:

其中pi为周围像素灰度值;ci为中心灰度值.

2.2 旋转不变LBP

原始LBP算子具有灰度不变性, 但不是旋转不变的, 图像的旋转就会得到不同的 LBP值. Ojala等人将LBP算子进行了扩展, 提出了具有旋转不变性的 LBP算子, 即不断旋转圆形邻域得到一系列初始定义的LBP值, 取其最小值作为该邻域的LBP值.

2.3 均匀LBP

旋转不变LBP模式也存在不足之处, 大量的实验结果表明旋转不变LBP模式的36种情况在一幅图像中的分布有较大的频率差异, 得到的效果并不是很好.因此Ojala等人又提出了均匀LBP模式即uniform LBP.

均匀LBP定义为0—1变换的次数不超过2次的编码. 所有的8位二进制数中均匀LBP共有58种, 经研究发现大部分值都在其中, 达到90%以上; 另外将非均匀模式归为一类, 所有的LBP值被分为59类, 这样特征向量维数从原来的256维变成59维, 起到了降维的作用, 又可以尽可能不损失原始信息.

3 HOG特征

方向梯度直方图[18](Histogram of Oriented Gradient, HOG)是一种用来描述边缘和形状信息的特征描述子. 它主要是通过计算和统计图像局部区域的方向梯度直方图来构成特征. 通过将整幅图像分割成小的连接区域(即为细胞单元), 每个cell生成一个方向梯度直方图, 这些直方图的组合可表示所检测目标的特征.

HOG实现详细过程如下:

1) 计算图像梯度

计算图像像素点),(yx水平方向和垂直方向的梯度, 公式如下:

式中),(yxGx, ),(yxGy, ),(yxf分别表示输入图像中像素点),(yx处的水平方向梯度、垂直方向梯度和像素值. 像素点),(yx处的梯度幅值和梯度方向分别为:

2) 为每个细胞单元构建梯度方向直方图

我们将图像分成若干个cell, 每个cell为8*8个像素, 用9个bin的直方图来统计这8*8个像素的梯度信息,也就是将cell的梯度方向360°分成9个方向块, 梯度大小作为投影的权值. 如图2所示: 如果这个像素的梯度方向是20°-40°且梯度大小是2, 直方图第2个bin的计数就加2, 得到此cell的方向梯度直方图, 即该cell对应的9维特征向量.

图2 方向梯度直方图的构建图

3) 把细胞单元组合成大的块, 块内归一化梯度直方图

把各个细胞单元组合成大的、空间上连通的区间,每个块内所有cell的特征向量串联起来并将其归一化后得到该块的HOG特征. 归一化公式如下:

其中v表示包含给定块统计直方图信息的未归一化向量; δ是一个很小的常数, 作用是为了避免分母为0;是v的k阶范数.

4) 收集HOG特征

最后一步就是将检测窗口中所有块的特征向量串联起来得到整体的HOG特征向量, 将它们结合成最终的特征向量供分类使用.

4 局部HOG和分层LBP特征融合的车牌字符识别

LBP算子计算简单、准确率较高,广泛应用于局部特征提取; 但是对于复杂图像提取的准确率较低, 为了得到更加详细完整的纹理特征, 卢建云等人提出了多级 CS-LBP特征融合的人脸识别方法[19], 利用原始图像的多级特征的融合来进行人脸的分类识别;考虑到多级 CS-LBP特征融合的方法只能提取图像的纹理特征,并不能有效地进行边缘和方向特征的提取, 万源等人提出了LBP和HOG的分层特征融合的人脸识别方法[20].

前文提到的模板匹配法误识别率太高, 主要是针对相似字符, 通过实验统计得到模板匹配法一般会出现误识别的相似字符: Q—＞ 0、C—＞D、O—＞D、S—＞8、B—＞8、L—＞ E、F—＞ E 、P—＞R、粤—＞闽、粤—＞青、等.

针对此问题, 相关学者提出了一种提取字符跃变特征进行二次识别的方法[21]. 结合跃变特征法实际上就是从左到右逐列扫描字符像素点时, 会出现“黑—＞白”或“白—＞黑”这两种跃变情况, 统计好每列的跃变次数作为字符的跃变特征, 最后将待识别字符跃变次数最相近的模板字符作为识别结果. 通过实验统计得到结合跃变特征法一般会出现误识别的相似字符: S＜—＞8.

针对上述车牌字符识别问题, 为了进一步提高车牌识别率, 本文在上述人脸识别方法的启发之下, 提出了一种局部HOG和分层LBP特征融合的车牌字符识别方法, 该方法主要是首先利用模板匹配法进行车牌字符初步识别, 然后提取相似字符相同区域的局部HOG特征和局部分层LBP特征进行车牌字符的二次识别, 最后达到更高的识别率.

4.1 局部特征

目前, HOG特征和LBP特征在车牌识别算法中已经表现出很好的识别性能, 但经过相关学者研究发现,这两种算法在特征表达上存在数据冗余, 使得特征提取及分类器的训练计算量很大,严重影响了识别速度.为了充分利用字符图像的特征,减少数据冗余,本文只提取相似字符的局部HOG和局部LBP特征, 而且本文采用均匀LBP模式以减少计算复杂度. 根据每类相似字符的特点, 只选择整个字符(本文归一化字符大小为20*40)中最具有区分度的一小块进行特征提取. 如图3所示: (a)为右下角区域、(b)左中间区域、(c)左下角区域.

图3 本文算法的典型示例

4.2 分层特征

LBP特征是对灰度图像的像素值进行操作, 所以灰度图像经过LBP算子提取特征后仍然得到一幅具有灰度大小变化的图像. 为提取图像更丰富的纹理特征,间接得到原始图像的灰度变化情况, 可以对一幅车牌字符图像进行分层LBP特征的提取. 模板字符“8”、“B”和“S”(本文模板字符大小为20*40)的LBP分层特征以及HOG特征提取效果图如图4所示.

图4 LBP分层特征和HOG特征提取效果图

4.3 局部HOG和分层LBP特征的融合

其主要思想是先提取原始图像中最具区分度的一小块HOG特征, 得到边缘轮廓特征; 然后对原始图像中最具区分度的一小块进行多次LBP特征的提取, 得到分层LBP特征; 将两种特征进行融合, 得到图像的最终特征.

算法具体流程如下:

Step1. 对车牌字符图像中最具区分度的一小块进行HOG特征提取, 得到车牌字符图像的局部边缘轮廓特征.

Step2. 对车牌字符图像中最具区分度的一小块进行m次LBP特征提取, 得到m幅特征提取的局部字符图像, 即LBP(m),(m=1,2,3, 4).

Step3. 采用均匀LBP模式统计每幅特征提取的局部车牌字符图像, 进而构建特征向量, 得到分层LBP特征, 即LBPi(i=1,2,3,4).

Step4. 将局部分层LBP特征与局部原始HOG特征进行融合, 得到LBPiHOG(i=1,2,3,4).

如: LBP2HOG表示第二层LBP特征与HOG特征的融合, 即{LBP2, HOG}.

算法流程图如图5所示(以左下角区域为例).

图5 算法流程图

5 实验结果及分析

本文使用Visual Studio 2012进行编程实现, 计算机系统是Windows 7 [Intel(R) Core(TM) i5-4590 CPU 3.30GHZ, 8G内存].

本文中如图3所示, 块的起始位置和大小的选取至关重要, 若没选好, 根本达不到正确识别相似字符(本文归一化字符大小为20*40)的效果, 通过实验得到块的最佳起始位置和大小的参数, 如表1.

表1 块的起始位置和大小设置

通过大量实验数据统计得到11种算法识别率和时间对比情况如表2和表3, 不同倾斜角度影响下字符“B”的实验效果对比情况如表4, 部分车牌实验效果对比情况如表5. 由表2我们可以看出在模板匹配的基础之上结合跃变特征、结合局部分层LBP特征与结合局部HOG特征算法识别率远远超过了单一的模板匹配法, 而且结合局部HOG特征法明显优于结合跃变特征法. 其原因主要有三个:

其一, 结合跃变特征法无法真正区分相似字符8和S. 如图6所示, 模板字符“8”和“S”左侧、中间、右侧的跃变次数几乎都为4, 不同之处就在于第5列和第15列(大概黄线位置)左右处的跃变次数由于字符的笔画粗细不均匀等因素而无法真正的确定, 然而车牌字符“8”和“S”经过前期的车牌定位和字符分割环节之后,统计得到的第5列和第15列(大概黄线位置)左右处的跃变次数就不一定可以跟模板字符的跃变次数完全正确匹配, 最终导致字符“8”和“S”识别的随机性.

图6 模板字符“8”和“S”

其二, 结合跃变特征法抗字符分割影响能力相对较差. 如图7所示, (c), (d)和(e)是部分归一化后车牌字符,由于受字符分割影响, (c)和(d)与模板字符a)最大的区别就在于字符(c)和(d)最下边没有和边界贴紧, 这样就会导致字符(c)和(d)跃变次数都会加1, 跃变次数几乎全部出错, 无法跟模板(a)匹配成功; 但由于模板字符“E”中间的一横要比“F”短一点, 在第17列(大概黄线位置)左右处(c)和(d)的跃变次数跟b)是一样的, 都是3, 所以会出现(c)、(d)跟(b)有相对较高的相似度, 导致误识别; 同理可以分析(e)的情况. 通过实验得知, (c)和(d)误识别成了(b), (e)误识别成了(a)(即E—＞ F、F—＞E).

图7 模板和车牌字符“E”和“F”

其三, 结合跃变特征法抗光照影响能力相对较差.如图8所示, 车牌字符(b)是车牌(a)的最后一个字符“0”,经二值化、字符分割以及归一化后得到字符(c), 由于受光照影响, 车牌字符(c)与模板字符“0”最明显的区别就是右下角区域车牌字符(c)多了一条白色弧线, 这样会导致(c)右半边的跃变次数都加2, 无法跟模板字符“0”的跃变次数成功匹配; 但是模板字符“Q”右半边的跃变次数有些和(c)是一样的, 这样会出现(c)和“Q”的相似度较高, 导致误识别(即0—＞Q); 同理可以分析车牌(a)其他字符的情况, 车牌(a)的其他字符识别效果对比情况如表5所示.

图8 模板和车牌字符“0”和“Q”

考虑到倾斜角度过大会影响车牌定位和字符分割环节, 进而可能会导致字符识别环节无法进行, 所以本文采集的图片倾斜角度范围大概在-11°～11°之间,确保可行的车牌识别系统. 由表4可以看出, 结合局部HOG特征法抗倾斜影响能力相对结合局部分层LBP特征法较差. 结合局部HOG特征法只能在较小角度范围(-3°～3°)内正确识别字符, 角度稍大就会识别出错; 结合局部分层LBP特征在较大角度范围(-11°～11°)内任然可以正确识别, 其中LBP3识别性能最佳.如图9所示, 车牌(-1°～1°)经过仿射变换进行倾斜校正之后字符“B”有轻微的形变, 结合局部HOG特征法可以正确识别; 但是车牌(7°～9°)经过仿射变换进行倾斜校正之后字符“B”有很大的形变, 主要是字符笔画粗细不均匀. 归一化字符b)和模板字符“B”(如图4)左中间区域(如图3(b))有明显的不同; 模板字符“B”最左侧像素点的值全部是255, 没有梯度方向和梯度幅值, 而(b)最左侧出现了一些像素点的值为0, 这样就会造成一些像素点出现了梯度方向和梯度幅值, 所以其左中间区域梯度方向直方图与模板字符“8” 有较高的相似度, 导致误识别(即B—＞8).

图9 不同倾斜角度车牌识别过程

表2 算法识别率对比情况(%)

表3 算法时间对比情况(ms)

由表2可看出, 对于所有的相似字符的识别, 结合局部HOG特征法优于结合局部分层LBP特征法.虽然结合局部分层LBP特征法对倾斜字符具有鲁棒性,尤其是字符“B”和“8”; 但是对于其他的相似字符, 利用其纹理信息进行识别的准确度不如利用其边缘轮廓信息. 针对LBP特征和HOG特征算法的不足, 结合两种算法的优点, 本文提出一种局部HOG和分层LBP特征融合的车牌字符识别方法. 本文通过实验比较了11种算法的识别性能, 结果表明, 单一的LBP特征和HOG特征远不如本文方法, 本文方法具有明显的优越性, 其中LBP3HOG识别率最高, 车牌字符识别率达到99.52%.

由表3可知二次识别的方法相对模板匹配法较慢一点, 实际上这11种方法时间都差不多, 相差2ms左右; 由实验可知, 算法时间会随着图像像素点个数的增多而增加, 主要原因是车牌定位和字符分割环节要多次扫描图像像素点来进行定位和分割, 本文大部分输入的图片大小是900*505, 算法时间约24ms.

表4 不同倾斜角度影响下字符“B”的实验效果对比

表5 部分车牌实验效果对比情况

车牌图像 HOG LBP1HOG LBP2HOG LBP3HOG LBP4HOG

6 结论

本文从车牌字符的结构特点出发, 针对模板匹配法无法准确识别相似字符的不足, 结合LBP和HOG特征各自的优点, 提出了一种局部HOG和分层LBP特征融合的车牌字符识别方法. LBP特征主要提取图像的纹理信息, 对旋转具有很好的鲁棒性; HOG特征主要提取图像的边缘轮廓信息, 在质量较好的图片中, HOG特征对相似字符表现出良好的识别性能; 另外, HOG特征对光照和字符分割影响具有一定的鲁棒性.本文通过实验比较了11种算法的识别性能, 结果表明,单一的LBP特征和HOG特征远不如本文方法, 本文方法具有明显的优越性, 在保证车牌识别速率的同时识别率得到进一步的提高.

1 Xu HK, Yu FH, Jiao JH, Song HS. A new approach of the vehicle license plate location. Proc. International Conference Parallels Distribution Computation Application Technology. Dec., 2005. 1055–1057.

2 Shi X, Zhao W, Shen Y. Automatic license plate recognition system based on color image processing. Lecture Notes Computation Science, 2005, (3483): 1159–1168.

3 Matas J, Zimmermann K. Unconstrained license plate and text localization and recognition. Proc. IEEE Conference Intelligent Transportation System. Sep., 2005. 572–577.

4 Bai H, Liu C. A hybrid license plate extraction method based on edge statistics and morphology. Proc. International Conference Pattern Recognition. 2004, 2. 831–834.

5付炜,赵正则,王大江.基于水平灰度跳边和垂直投影的车牌定位方法.电子测量技术,2008,31(3):61–65.

6 迟晓君,孟庆春.基于投影特征值的车牌字符分割算法.计算机应用研究,2006,23(7):256–257.

7 Miyamoto K, Nagano K, Tamagawa M, Fujita I, Yamamoto M. Vehicle license-plate recognition by image analysis. Proc. International Conference Industrial Electronics Control Instrumentation. 1991,3. 1734–1738.

8 Gao Q, Wang X, Xie G. License plate recognition based on prior knowledge. Proc. IEEE International Conference Automation Logistics. Aug., 2007. 2964–2968.

9陈玮,曹志广,李剑平.改进的模板匹配方法在车牌识别中的应用.计算机工程与设计,2013,34(5):1808–1811.

10 Chen N, Xing L. Research of license plate recognition based on improved BP neural network. Computer Application and System Modeling, 2010, (11): 482–485.

11 Juntanasub R, Sureerattanan N. A simple OCR method from strong perspective view. Proc. Applied Imagery Pattern Recognition Workshop. 2004. 235–240.

12罗辉武,唐远炎,王翊,蓝利君.基于结构特征和灰度特征的车牌字符识别方法.计算机科学,2011,38(11):267–270,302.

13 Du S, Ibrahim M, Shehata M, Badawy W. Automatic License Plate Recognition(ALPR): A state-of-the-art review. IEEE Trans. on circuits and systems for video technology, 2013, 23(2): 311–325.

14 方兴林.基于字符笔画斜率特征的车牌识别算法研究.重庆工商大学学报(自然科学版),2014,(9):72–76.

15 Ojala T, Pietikäinen M, Harwood D. A comparative study of texture measures with classification based on feature distributions. Pattern Recognition, 1996, (29): 51–59.

16 Pietikäinen M, Ojala T, Xu Z. Rotation-invariant texture classification using feature distributions. Pattern Recognition, 2000, (33):43–52.

17 Ojala T, Pietikäinen M, Maenpaa T. Multiresolution gray-scale and rotation invariant texture classification with local binary patterns. IEEE Trans. on Pattern Analysis and Machine Intelligence, 2002, 24(7): 971–987.

18 殷羽,郑宏,高婷婷,刘操.基于联合HOG特征的车牌识别算法.计算机工程与设计,2015,36(2):476–481.

19卢建云,何中市,余磊.基于多级 CS-LBP 特征融合的人脸识别方法.计算机工程与学习,2010,32(6):48–51.

20万源,李欢欢,吴克风,等.LBP和HOG的分层特征融合的人脸识别.计算机辅助设计与图形学学报,2015, (4):640–650. 21王锋,王福龙.基于跃变特征的车牌字符识别.计算机应用研究,2015,32(12):398–400.

Fusion with Local HOG and Layered LBP Feature for License Plate Character Recognition

GAO Cong, WANG Fu-Long
(School of Applied Mathematics, Guangdong University of Technology, Guangzhou 510520, China)

In order to solve the low recognition rate of template matching method in license plate character recognition, especially the problem that the similar characters cannot be identified accurately, this paper proposes a method of license plate character recognition based on the fusion of local HOG and layered LBP feature. Firstly, we use the template matching method for preliminary identification of all the characters of license plate. Then, a small edge feature of the biggest difference in the similar characters of the license plate and the template is extracted by using HOG operator, and then the layered texture feature of the same area block of HOG in the similar characters of the original license plate and the template is extracted by using LBP operator. Next, serial feature vectors are constructed with serial fusion of the edge feature and the layered texture feature. Finally, according to the Chi square distance between the feature vectors, we measure the similarity of the license plate characters and the template characters, and then complete the second recognition. The recognition performances of the 11 algorithms are compared through experiments. The results show that this method is very effective to solve the problem of false recognition of similar characters and the recognition rate is improved significantly at the same time, which is as high as 99.52%.

license plate recognition; template matching; local HOG feature; layered LBP feature; feature vector

广东省自然科学基金(S2011040004273)

2016-07-11;收到修改稿时间:2016-09-02

10.15888/j.cnki.csa.005682