基于Gabor特征和协同神经网络的车牌识别方法

石贵民,余文森 ,肖钟捷

(武夷学院 数学与计算机学院,福建 武夷山　354300)



基于Gabor特征和协同神经网络的车牌识别方法

石贵民,余文森 ,肖钟捷

(武夷学院 数学与计算机学院,福建 武夷山354300)

研究了车牌字符识别问题，针对车牌识别系统易受天气及光照变化影响的实际应用，将Gabor特征和协同神经网络应用在车牌字符识别中，提高了识别率.首先对车牌字符进行二值化和切分，然后利用Gabor滤波器提取车牌字符的特征参数；再利用协同模式训练特征参数，进而得出训练样本；最后根据协同神经网络进一步识别车牌字符.通过大量仿真实验表明，该方法在不同场景、光照条件下，与传统方法相比，识别率有了较大改进，该方法在车牌识别领域有较强的实用性.

特征提取；神经网络；车牌识别；字符分割；Gabor变换

汽车牌照识别LPR(license plate recognition)是智能交通领域中的重要研究课题，随着中国经济和汽车数量的迅速增长，LPR成为交通管理智能化的迫切需求.车牌识别综合了计算机视觉、数字图像处理、人工智能、模式识别、自动控制等多个学科，主要分牌照定位和字符识别2个阶段.传统的字符识别方法有模板匹配[1-2]、神经网络[3-5]、支持向量机[6]等.模板匹配的准确率偏低，神经网络存在伪状态也降低了识别率，支持向量机则更适合2类问题的分类.针对车牌识别易受天气状况以及光线变化等环境因素的影响，识别准确率和效率低的问题，本文采用扫描线、区域生长及投影相结合的方法定位车牌区域[7]，然后利用Gabor滤波器提取方向特征，应用协同神经网络对特征分类，进而识别出车牌字符.

由于存在光照变化、污损等因素，首先利用直方图规格化、滤波等对图像进行预处理.车牌识别系统主要包括图像预处理、车牌定位、倾斜校正、字符分割及识别这几个部分.车牌定位是车牌识别系统的主要部分，基于扫描线的车牌定位方法[8]能最终精确定位车牌；在此基础上采用传统的Hough变换来校正倾斜车牌，然后通过水平投影分割出每个字符；最后对分割后的字符规格化后提取Gabor方向特征参数，利用协同神经网络识别出字符.

1　车牌二值化及字符切分

字符分割和字符识别部分，如图1所示.

图1　系统流程Fig.1　Flow chart of the system

1.1二值化

目前中国的汽车牌照有黄底黑字、蓝底白字、黑底白字、白底黑字红字、黑底红字等5种车牌，常见民用的有黄底黑字和蓝底白字2种车牌，大型汽车前后均为黄底黑字的车牌，小型汽车前后均为蓝底白字的车牌.

在车牌二值化中，使用改进的Otsu算法.假设车牌字符灰度为g1，背景灰度为g2，车牌图像中字符所占比例为r1，背景像素所占比例为r2，则车牌图像的均值为

M=r1g1+r2g2.

(1)

车牌灰度图像的方差为

(2)

根据式(1)得字符及背景灰度为

(3)

对于白底黑字车牌，提取黑字，取域值

(4)

对于黑底白字车牌，提取白字，取域值

(5)

字符与背景的比值一般为0.3～0.4，这样就可以实现车牌区域二值化.但是该方法也存在不足，针对不同类型的车牌有不同的规则，不能统一实现5种车牌的二值化.

本文采用一种简单的方法，实现车牌区域的二值化，取得了较好的效果.根据车牌区域的特点，字符之间为背景，可以通过边缘图像来定位字符之间的背景区域.车牌为了醒目，不管哪种类型的车牌背景跟字符在色调上都是较大的差别，这样通过判断像素点与背景的差异来决定是前景还是背景.

具体步骤如下：

1)车牌区域边缘图像水平投影；

2)计算前10条边缘点最少的列；

3)用遮罩技术[9]增强车牌区域；

3)对这些列中不是边缘点的像素点统计其RGB均值；

4)将均值RGB转化为HSL；

5)车牌区域内的每个像素点先转化为HSL，然后将其H分量与均值的H分量比较，如果大于一定域值，就表示前景，如图2所示.

图2　二值化结果示意Fig.2　Schematic diagram of the two values

1.2字符切分

目前最常见的是92式车牌，一般牌照总长为440 mm,单字宽44 mm左右，高90 mm左右；第2和第3个字符的间距34 mm左右，其余字符间距约为12 mm，因此字符宽度在总宽度的1/10～1/7.

新疆大学的万金娥等[10]提出双投影互相关性匹配识别来进行字符切分，西南民族大学的黑光月[11]提出多方向文本行完成字符切分.

投影法较简单且实用，该方法将车牌图像作垂直方向投影，基于车牌字符的本身特点，字符区域的目标点多并且集中，字符之间有固定空隙，因此投影下来必有7个相对集中的峰值群，接着根据峰值群的特征进行分割可得车牌字符.如此，可以定位出每个字符的左右边界，然后进行水平方向的投影，即可确定上下边界,如图3所示.

图3　字符切分效果示意Fig.3　Schematic diagram of character segmentation effect

2　字符特征提取

要识别不同种类的对象，首先必须确定被测量对象的特征，并用某些描述参数去度量这些对象的特征.假设不同种类的分类问题是在特征空间中进行的，则可以数字化识别对象的某些特征，并按一定的规则进行选择，进而形成特征空间里的一个向量，用这些向量代表所要识别的对象.

字符识别的特征包括：直方图、轮廓、分块、几何不变矩、Zernike矩、Fourier变换，分形特征等等.Gabor变换能够兼顾信号在时域和频域中的分辨能力，利用Gabor 变换提取的特征具有较强的鲁棒性，因此广泛应用与汉字识别领域.

在特征提取之前，需要对每个字符图像进行归一化处理，本文将分割得到的每个字符归一化为24×24的字符图像.样本图像也使用24×24的规格.

2.1Gabor变换

Gabor 函数[12]是由Gabor 首先定义，其后Daugman[13]将其扩展成二维结构.它能兼顾信号在时域和频域中的分辨能力，是能够达到时频测不准关系下界的函数.利用2D Gabor函数形成的Gabor滤波器有着较好的滤波器性能，并且与生物视觉系统相似，近年来在指纹识别、人脸检测、纹理分割等领域应用广泛.

二维Gabor滤波器的冲激响应函数一般取如下形式：

(6)

其中G(x,y)为高斯函数

(7)

Gabor滤波器的冲激响应函数可分解为实滤波器hr(x,y,θ,λ)和虚滤波器hi(x,y,θ,λ)，在σx=σy=σ时可简化为

(8)

(9)

2.2基于Gabor的特征提取

本文利用采样点与Gabor核卷积得到特征参数，组成特征向量.样本图像I(X,Y)抽取采样点(X,Y)，则在该点处提取的特征为

(10)

式(10)主要解决参数的选择问题，包括方向θ，方差σ，波长λ，Gabor核的大小w，抽样点的间隔.

方向选取越多，特征的表达能力越强，但是计算量也越大，综合考虑2方面的因素，θ取0、π/4、-π/4、-π/2 4个方向.根据实验效果取σx=σy=σ=5.6，λ=10.核大小w=7时与w=13时识别率相近，而在小于7时显著下降，因此本文取w=7，如表1所示.谢劲芳等[14]实验表明抽样间隔在小于等于4时，识别率稳定在最优值附近，当大于4时，识别率急剧下降，因此本文取抽样点间隔为4.

对于24×24的样本，抽样点为25个，每个抽样点分4个方向，因此每个样本可以得到100维的特征向量.

表1　7×7 Gabor核，θ=0

3　基于协同的字符识别

3.1协同模式识别

协同学是一门横跨自然科学和社会科学的横断学科，是一门研究系统从无序到有序转变的规律和特征的学科.以复杂系统宏观特征的质变为研究焦点，Haken教授[15]将协同学原理运用于模式识别，并提出了协同模式识别(synergetic pattern recognition)的方法.

将协同模式识别的过程对应于某一动力学的过程.假设有一虚拟粒子，在某有势地形上移动，并且该粒子能被某一模式描述；当它被吸引进入某个地形谷底时，就可以识别该粒子所对应的某个模式.把部分有序化的子系统设置为初始状态，模式识别系统则可被认为是协同系统.当模式确定后，最后具有最强初始支撑的序参量将获得胜利，并且让协同系统呈现原来缺少的特征[16].

在识别中，对于模式q，使q经过某个中间状态q(t)进入所有原型模式中的某一个原型模式vk，则vk与q(0)最近，即可表示为q处于vk的吸引谷底，构造一个类动力学的过程，描述如下[17]：

(11)

设原型模式数为M，状态向量维数为N，要满足原型向量间的线性无关条件，必有M≤N.动力学方程描述如下：

(12)

(13)

(14)

(15)

式(12)可以描述为一有势动力学，忽略F(t)和暂态量，势函数为

(16)

相应的动力学方程为

(17)

式(16)每项的含义：第1项描述在势能面上各原型模式的极小值，每一个极小值的深度由注意参数λk决定；第2项描述各原型模式之间的竞争，并决定各原型模式吸引域之间的边界，由参数Bkk′来定义；第3项是由常数C来定义限制项[18-19].

为了减少维数，哈肯引入序参量来重新表达公式(12)和(16).q在最小二乘意义下在Vk上的投影，可用系统的序参量ξk进一步表示为[19-20]

(18)

显然

(19)

根据式(19)，式(16)可被重写成

(20)

而

(21)

因此可以得到序参量的动力学方程为

(22)

其中ξk满足初始化条件

(23)

通过分析网络势函数方程，Haken证明了：当λk=C>0时，V的稳定不动点按正负对称分布在各原型模式上，用ξk=1描述，其他用ξ=0，唯一的不稳定不动点在q=0处.系统的终态取决于原始输入向量的序参量值，其对应的序参量ξk趋向于1，而其他序参量趋向于0，只有一个序参量获胜，即系统只识别出一个模式[20].

3.2基于协同模式的字符识别

Gabor 特征能最好地兼顾信号在时域和频域中的分辨能力，协同神经网络在不变性图像识别中具有较大优势，因此两者的结合得到了理想的效果.

人工神经网络模型——协同神经网络(SNN)，构造了自上而下的识别过程，有较强的抗噪声能力和抗缺损能力，没有伪状态，对车牌字符的识别具有独到的优势.

协同神经网络模式识别的过程如下[20]：

1)选择原型；

2)预处理原型样本，即计算出满足零均值和归一化条件的原型模式向量；

3)求出原型模式向量的伴随矩阵；

4)求出初始序参量；

5)进行动力学演化.

由于车牌字符都是统一的标准字符，因此原型模式的选择比较简单，直接利用标准的字符样本即可.样本包括0～9 10个阿拉伯数字，A-Z除I，O外24个大写英文字母及相关汉字60多个，样本大小为24×24.

原型样本的预处理包括特征提取及标准化.利用特征作为原型模式可以更好地描述样本的内在特性，加上 Gabor变换的优势，本文利用的Gabor变换提取特征作为原型模式的向量，并将其零均值和归一化.一般车牌第1个字符为汉字，第2个为英文字母，接下来5个字符为阿拉伯数字或英文字母，因此求得阿拉伯数字，阿拉伯数字和英文字母，汉字3个特征矩阵，并各自求出其伴随矩阵.

利用式(19)求出初始序参量.平衡型神经网络中，所有注意参数都等于1，当初始序参量大于其他原型初始序参量时，则它在竞争中必定胜利，可直接选择序参量最大的原型模式作为分类结果，而不需要进行动力学演化，进而可大大节省时间.由于本系统实时性要求比较高，因此采用平衡型神经网络进行识别.

在车牌定位阶段，由于本文是针对不同大小、数量、场景、光照条件下的车牌进行识别，相对其他特定场合的车牌定位来说难度要大得多.尽管如此，本文给出的方法，能够达到较高的定位率，定位不准确的情况主要是图像质量过差造成，或者是由于车牌太大，占据了整张图片的1/3以上.

3.3仿真实验结果

综合车牌定位、字符识别，本文在CPU3.1 GHz、内存4 GB的PC机上，利用Win7+Matlab7.0作为集成开发仿真实验环境，对近300张不同条件下的车牌图片分别采用模板匹配算法、传统的神经网络算法和形态学算法作为对比模型.用车牌识别的定位率、字母识别率和汉字识别率作为评价指标，几种算法的识别结果如表2所示，实验结果表明本文算法的识别正确率较高.

表2　不同方法识别率比较

4　结束语

识别不同大小、数量、场景、光照条件下的车牌图像是研究的难点.首先概述了车牌识别的相关技术，提出系统的总体结构.本文在定位车牌的基础上，重点对车牌识别系统的识别部分进行了研究.提出了结合Gabor特征和协同神经网络的方法进行字符识别，Gabor特征兼顾信号在时域和频域中的分辨能力，在文本识别领域有较广泛的应用，而协同神经网络没有伪状态，而且有较强的抗噪声能力和抗缺损能力,对不变性图像的识别有独到的优势，因此两者的结合很适合车牌字符的识别，实验取得了较理想的结果，表明该方法是有效性.本文提出的方法，还有一些待改进的地方，比如对质量过差图像识别率较低，预处理过程也有待进一步的改进.

[1]王敏,黄心汉,魏武,等.一种模板匹配和神经网络的车牌字符识别方法[J].华中科技大学学报(自然科学版),2001,29(03):48-50.DOI:10.3321/j.issn:1671-4512.2001.03.017.

WANG Min,HUANG Xinhan,WEI Wu,et al.A vehicle license character recognition method based on module matching and neural network [J].Journal of Huazhong University of Science and Technology,2001,29(3):48-50.DOI:10.3321/j.issn:1671-4512.2001.03.017.

[2]任柯昱,唐丹,尹显东.基于字符结构知识的车牌汉字快速识别技术[J].计算机测量与控制,2005,13(6):592-594.DOI:10.3321/j.issn:1671-4598.2005.06.031.

REN Keyu,TANG Dan,YIN Xiandong.Fast recognition method of license plate character based on image structure feature analysis [J].Computer Measurement & Control,2005，13(6):592-594.DOI:10.3321/j.issn:1671-4598.2005.06.031.

[3]郭荣艳.BP神经网络在车牌字符识别中的应用研究[J].计算机仿真,2010,27(9):299-301,350.DOI:10.3969/j.issn.1006-9348.2010.09.076.

GUO Rongyan.The study of the application of neural network in the vehicle license character recognition [J].Computer Simulation，2010,27(9):299-301,350.DOI:10.3969/j.issn.1006-9348.2010.09.076.

[4]ANAGNOSTOPOULOS C,ANAGNOSTOPOULOS I,LOUMOS V,et al.License plate recognition from still images and video sequences:A survey[J].IEEE Transactions on Intelligent Transportation Systems,2008,9(3):377-391.

[5]权金娟,温显斌,王春东,等.基于两种神经网络的SAR图像多尺度分割与分析[J].光电子·激光,2008,19(4):542-545.DOI:10.3321/j.issn:1005-0086.2008.04.031.

QUAN Jinjuan,WEN Xianbin,WANG Chundong.et al.Multiscale segmetation of SAR images via two neural networks[J].Journal of Optoelectronics·Laser,2008,19(4)：542-545.DOI:10.3321/j.issn:1005-0086.2008.04.031.

[6]杨晓敏.基于Gabor变换和支持向量机的车牌字符识别算法[J].四川大学学报(工程科学版),2005,37(5):130-134,138.DOI:10.3969/j.issn.1009-3087.2005.05.026.

YANG Xiaomin.The vehicle license character recognition method based on Gabor transformation and support vector machine[J].Journal of Sichuan University (Engineering science version),2005,37(5):130-134,138.DOI:10.3969/j.issn.1009-3087.2005.05.026.

[7]吕秀丽,谷立冬,祝立群,等.基于数学形态学和垂直投影的车牌定位[J].科学技术与工程,2012,12(10):2465-2467.DOI:10.3969/j.issn.1671-1815.2012.10.051.

LÜ Xiuli,GU Lidong,ZHU Liqun,et al.The vehicle license location based on mathematical morphology and vertical projection [J].Scientific technology and engineering，2012,12(10):2465-2467.DOI:10.3969/j.issn.1671-1815.2012.10.051.

[8]石贵民.基于扫描线的新型车牌定位方法研究[J].科学技术与工程,2014,14(8):218-221.DOI:10.3969/j.issn.1671-1815.2014.08.042.

SHI Guimin.Research of a new vehicle license plate location method based on scan line [J].Scientific technology and engineering，2014,14(8):218-221.DOI:10.3969/j.issn.1671-1815.2014.08.042.

[9]刘松,孙东,卢一项.基于单尺度Retinex雾天降质图像增强算法[J].微电子学与计算机,2013,30(11):43-46,50.

LIU Song,SUN Dong，LU Yixiang.The fog-degraded image enhancement algorithm based on a single-dimension Retinex [J].Microelectronics & Compute,2013,30(11):43-46,50.

[10]万金娥,袁保社,谷朝,等.基于字符归一化双投影互相关性匹配识别算法[J].计算机应用,2013,33(3):645-647,716.

WANG Jine,YUAN Baoshe,GU Chao,et al.The double projection correlation match recognition algorithm based on character normalization [J].Computer application,2013,33(3):645-647,716.

[11]黑光月,王江晴,孙阳光.脱机手写女书字符图像多方向文本行提取[J].计算机应用研究,2013,30(2):627-630.DOI:10.3969/j.issn.1001-3695.2013.02.086.

HEI Guangyue,WANG Jiangqing,SUN Yangguang.Multi-oriented text line extraction from offline Nǚshu characters image [J].Computer application,2013,30(2):627-630.DOI:10.3969/j.issn.1001-3695.2013.02.086.

[12]GABOR D.Theory of communication[J].Journal of Institute for Electrical Engineering,1946,93:429-457.

[13]DAUGMAN J G.Two dimensional spectral analysis of cortical receptive field profiles[J].Vision Research,1980,20:847-856.

[14]谢劲芳.基于Gabor小波变换的人脸表情识别[J].通信技术,2014,47(1):33-36.DOI:10.3969/j.issn.1002-0802.2014.01.007.

XIE Jinfang.The facial expression recognition based on Gabor wavelet transform [J].Communications Technology,2014,47(1):33-36.DOI:10.3969/j.issn.1002-0802.2014.01.007.

[15]HAKEN H.Synergetics and introduction[M].Berlin:Spinger,1977.

[16]刘秉瀚,王伟智,方秀端.协同模式识别方法综述[J].系统工程与电子技术,2003,25(6):758-762.DOI:10.3321/j.issn:1001-506X.2003.06.030.

LIU Binghan，WANG Weizhi,FANG Xiuduan.A summary of synergetic pattern recognition methods [J].System engineering and electronic technology,2003,25(6):758-762.DOI:10.3321/j.issn:1001-506X.2003.06.030.

[17]方秀端.协同模式识别算法的研究与应用[D].福州:福州大学,2001.

FANG Xiuduan.The synergetic pattern recognition algorithm and application [D].Fuzhou:Fuzhou University,2001.

[18]葛强.基于协同学的数字指纹技术[D].武汉：华中科技大学,2007.GE Qiang.Digital fingerprinting based on synergetic[D].Wuhan:Huazhong University of Science and Technology,2007.

[19]张丽熙.基于纹理特征空间的淋巴组织病理图像协同分类研究[D].福州：福州大学,2006.

ZHANG Lixi.The study on lymphoid tissue color pathological images synergetic classification based on the textural feature space[D].Fuzhou:Fuzhou University,2006.

[20]黄敏霁.离线手写体笔迹鉴别多分类器研究[D].福州:福州大学,2002.

HUANG Minji.Offline handwriting identification multi-classifier study [D].Fuzhou:Fuzhou University,2002.

(责任编辑：孟素兰)

A method for license plate recognition in vehicle based on Gabor feature and synergetic neural network

SHI Guimin,YU Wensen,XIAO Zhongjie

(College of Mathematics and Computer,Wuyi University,Wuyishan 354300,China)

Vehicle license recognition has been studied under the climate and light conditions.The feature extraction of Gabor and synergetic neural network has been used to enhance the recognition rate.First,the characters of vehicle license go through the binarization and segmenting to extract the characteristic parameters of the license characters by Gabor filter.Then,the synergetic mode is used to train the characteristic parameters and work out the training sample.Finally,the synergetic neural network is utilized to recognize the license character.Under a variety of environments and light conditions, this approach achieves a much higher rate of recognition rate compared with the traditional mode suggesting that this new method is very effective in the field of vehicle license recognition.

Feature extraction ;Neural network;license plate recognition;character segmentation;Gabor filter

10.3969/j.issn.1000-1565.2016.02.017

2015-09-15

福建省自然科学基金资助项目(2015J01668；2015J01669)；福建省高校专项基金资助项目(JK2015052)；福建省中青年教师教育科研基金资助项目(JB14099)；福建省教育科学“十二五”规划2015年度课题资助项目(FJJKCG15-195)；武夷学院校科研基金资助项目(XQ201306)

石贵民(1980—),男,河北滦南人,武夷学院副教授,主要从事认知科学、教育人机交互及数字化学习技术方向研究.E-mail:13874265@qq.com

TP391

A

1000-1565(2016)02-0210-08