L1和L2混合范式超分辨率重建的车牌识别

张　奇　吕晓琪　李银辉　于荷峰　候　贺　任国印

(内蒙古科技大学信息工程学院　内蒙古 包头 014010)



L1和L2混合范式超分辨率重建的车牌识别

张奇吕晓琪*李银辉于荷峰候贺任国印

(内蒙古科技大学信息工程学院内蒙古 包头 014010)

摘要针对视频中低分辨率图像的车牌识别准确率低的问题，提出一种结合L1和L2混合范式的序列图像超分辨率重建的车牌识别技术。首先对序列低分辨率图像进行L1和L2混合范式超分辨率重建，其次对重建后得到的一帧高分辨率图像进行基于HSV颜色模型车牌定位，然后对分割出的字符采用方向梯度直方图和支持向量机相结合的方法进行车牌识别。实验结果显示提出的算法对车牌中的字符识别效率高达96%，对比于传统的基于特征匹配和BP神经网络的车牌识别算法对字符的识别有明显的改善。结果表明，通过L1和L2混合范式的超分辨率重建处理，将方向梯度直方图和支持向量机相结合的识别方法对车牌中的字符有较好的识别效果。

关键词L1范式L2范式超分辨率重建方向梯度直方图支持向量机车牌识别

0引言

车牌识别技术在智能交通管理系统中占有至关重要的地位。在交通管理系统中起到维持道路交通安全运行的重要作用。它的一般处理流程是：车牌定位，字符分割，车牌字符识别。然而，随着监控系统的迅速普及也伴随着大量不同分辨率图像的产生，车牌识别系统的发展速度远跟不上摄像头数目的增加速度。大多数监控采集视频后，因分辨率较低而无法进行深层的处理也不能得到更多有用的信息。海量监控视频数据的有效利用变得可望而不可即。为了降低设备成本，大多数摄像头采集的图像分辨率过低。低分辨率的图像无法满足车牌识别中对图像细节信息的清晰度要求，使得现有绝大多数车牌识别系统无法正常识别。所以对序列低分辨率图像的车牌识别技术研究就变得尤为重要。

常见的车牌识别技术中定位方法有：基于边缘检测的方法[1,2]、基于数学形态学的定位方法[3,4]、基于小波分析定位的方法[5]和基于图像颜色信息的方法[6]。文献[7]提出的边缘检测方法，先将图像进行区域增强，再通过提取垂直边缘，将车牌区域分割出来。其优点是计算简单、速度快，对清晰的和场景较简单的图像识别效果较好。腐蚀和膨胀运算是数学形态学中的基础运算，通过数学形态学运算可抑制噪声并有助于图像分割[8]。然而对低分辨率图像进行膨胀腐蚀运算得到的定位和识别效果也不理想。文献[3]在实验中利用形态学进行精确定位时先平滑边缘再利用Sobel进行边缘增强。二维小波变换主要是滤除图像背景噪声，对清晰图像的边缘信息影响不大，但当图像分辨率下降时，会影响到对图像边缘的确定，对车牌定位造成一定影响。传统的字符识别方法主要有特征匹配和BP神经网络。虽然特征匹配方法识别速度较快，但它对字符的识别准确率不高，其根本原因是特征匹配利用既定的一组数值对字符进行识别，然而实际条件下完成字符分割后得到的字符不是理想条件下的标准字符，这样对特征的提取就可能造成误判，从而导致字符的识别错误。对于BP神经网络，识别效率相比特征匹配法精准度有较大改善，但识别速度缓慢，且容易出现震荡现象而导致神经网络无法收敛，使得识别效率受到较大影响。文献[5]利用的小波变换针对车牌定位消除了光照不均造成的影响。

在字符识别方面常用的算法是特征匹配和BP神经网络，单一的应用一种识别机制不能有效识别车牌信息。文献[9]提出的BP神经网络结合模板匹配方法实现了较好的识别效率，实验中训练字符清晰度在40×20像素，分割后字符利用归一化变为训练字符大小。这样对图片本身分辨率也有了一定的要求，这可能使得识别效果受到一定影响。

序列图像的超分辨率重建可以从根本上提高序列低分辨率图像的车牌识别效率，因此对图像的超分辨率重建SR(Super-resolution reconstruction)就变得尤为重要。序列图像的超分辨率重建算法通过采集序列低分辨率图像间的互补信息能够得到一帧高分辨率图像。首先利用HSV(Hue色调，Saturation饱和度，Value亮度)颜色空间上结合大津法对车牌进行定位。其次，利用垂直投影法对定位出的车牌进行字符分割，得到单个字符。最后，利用字符的梯度方向直方图HOG(Histograms of Oriented Gradients)特征信息训练得到的支持向量机SVM(Support vector machine)对分割出的字符进行识别，得出车牌字符串。

1车牌识别技术与设计

车牌识别技术实现流程如图1所示。

图1　车牌识别流程图

由于摄像设备和拍摄环境的影响，连续的序列图像中部分帧受到噪声和环境影响较大，所以应对序列图像进行预处理。预处理的目的是挑选序列图像中的合格帧。合格帧的条件是：每帧的背景信息基本一致、受到噪声和环境影响相对较小。对这些帧进行超分辨率重建，容易利用这些帧之间的互补信息来提高图像分辨率。选择出合格帧后，采用高斯滤波对其进行去噪处理。

对视频中序列图像预处理后进行序列图像超分辨率重建。HSV车牌定位根据车牌的颜色信息，将图像中的无关颜色信息排除，利用最大类间方差(大津法)进行车牌分割。根据车牌长宽比及待选区域车牌横向跳变数决定最终车牌区域，对定位出的车牌区域进行二值化处理，然后结合垂直投影法得到分割后的单个字符。最后，对分割后单个字符进行归一化处理成与样本集图像大小相同的图像，计算字符的方向梯度直方图信息，此信息送入训练好的分类器进行分类并输出对应字符，完成车牌识别。

1.1超分辨率重建

监控设备硬件的限制因素是获取的车牌图像分辨率较低的根本原因，直接更换设备则会带来巨大的开销。而且更换了高清设备，对于图像中景深较大的车牌相对分辨率较低的问题依然是提高车牌识别效率不可逾越的门槛。因此，在车牌识别系统中对图像进行的超分辨率重建预处理就变得尤为重要。双边全变分正则化[10]方法计算效率高，并且边缘细节信息保持得较好。双边滤波器是一种保边去噪的滤波器，输出像素值依赖于邻域像素值的加权组合，权值大小与像素灰度值之间的差以及像素之间的空间距离有关。BTV正则化函数为式(1)所示：

(1)

(2)

(3)

其中λ是正则化系数，平衡保真项和正则项。从计算速度上讲，式(3)中的第一项为平方的形式，由于图像在计算机中是以矩阵的形式存储，所以平方运算会降低计算速度，而式(2)中的第一项是各个元素绝对值之和，相对于L2范式的平方运算速度明显加快。

从效果上讲，L1范式对拉普拉斯噪声模型可以很好地保持图像边缘细节，L2范式针对高斯噪声模型可以平滑图像。通常在现实的图像序列中，既有加性高斯噪声也有脉冲拉普拉斯噪声，两种噪声具有不同的概率密度分布函数，不能只运用一种滤除噪声的方法。为了更好地在重建图像中去除噪声以及保持图像边缘细节，结合L1范式和L2范式的优点，使用混合范式结合BTV正则化算法对序列图像进行超分辨率重建。

通常情况下图像中存在多种噪声，如果图像中既存在高斯噪声又存在脉冲噪声，需要平衡L1范式和L2范式滤除噪声，所以要选择合适的参数。高斯噪声的概率密度函数服从正态分布，脉冲噪声服从拉普拉斯分布。采用L1和L2混合范式模拟保真项，使得保真项误差达到最小。混合范式的BTV正则化函数如式(4)所示：

3.3 突出学生魅力风格 主动发挥学生的创新意识与想象力，个性特征与主题相融，增添民族特色的舞蹈元素，充分利用身体动作的不同层次、不同形式及不同轨迹来表现动作连接的过程美；利用器械动作是身体的延伸，根据各项器械的典型特点，增加器械运用的动作元素，创编不同身体部分，不同方向的器械动作运用来展现动作连接的多维空间效果。鼓励学生在进行动作时敢于展现自己，淋漓尽致的表现在成套动作的每一细腻环节之中，有助于树立学生自信心，增强学生的表现欲望。

(4)

其中，X是待估计高分辨率图像，μ是L1范式和L2范式的调节参数。要选用合适的参数μ，使得式(4)的第一项最小，即原始低分辨图像yk与模拟低分辨率图像DBMkX之间的差最小。解决这种最优化的办法是采用迭代算法，这里利用梯度下降法，即最速下降法，在图像重建迭代过程，沿着负梯度的方向收敛到目标函数的极小值。L1和L2混合范式的保真项梯度函数和BTV正则项梯度函数为式(5)：

(5)

式(5)的展开式如式(6)所示：

(6)

实际条件下，由于车辆的光照条件不同，车辆背景信息复杂等因素，单一运用某种方法很难准确定位出车牌区域。研究采用的图像数据是真彩图像RGB(Red Green Blue)。由于，HSV模型是根据颜色直观特性创造的颜色空间，所以基于HSV的颜色模型与通常见到的RGB图像对比，能够更为直接地表示图像颜色属性。H代表[0，360)之间的一个角度，0°代表红色，120°代表绿色，240°代表蓝色；S是[0,1]之间的数值，代表颜色的浓淡程度，0代表该色调的最淡颜色即为白色，1代表该色调的最深颜色；V是[0,1]之间的值，0代表最暗，1代表最亮。RGB模型转换为HSV模型时，设(r，g，b)为某图像红、绿、蓝颜色坐标，它们的值是在0到1之间的实数；(h，s，v)为变换得到的HSV模型坐标。设max等价于r、g和b中的最大者，设min等于这些值中的最小者。RGB到HSV的转换[11]关系式如式(7)所示：

(7)

由于车牌的颜色信息相对明显，特别是在车牌图像的分辨率较低时，在各类噪声、背景信息复杂、设备条件有限等影响下，采用基于车牌颜色信息的车牌定位方法，并结合车牌的长宽比，以及定位区域二值图像的横向跳变数等信息对预处理之后的车牌图像进行定位，能够达到较好的定位效果。

1.3车牌字符识别

方向梯度直方图描述子是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。该方法使用图像本身的梯度方向特征，是由法国计算机技术和控制研究所(INRIA)的Navneet Dalal[12]等提出的，他们最初将该算法应用于静态行人检测。

HOG算法原理在图像规定的块区域及单元区域中是利用图像的梯度特征信息作为参数，对图像进行特异性区别的算法。算法中函数f(x,y)，在其坐标(x,y)上的梯度通过梯度模板来计算水平和垂直方向的梯度：

Gh(x,y)=f(x+1,y)-f(x-1,y)∀x,y

(8)

Gv(x,y)=f(x,y+1)-f(x,y-1)∀x,y

(9)

式(8)和式(9)分别表示该像素点的水平和垂直梯度值。该像素点的梯度值(梯度强度)以及梯度方向为：

(10)

θ(x,y)=arctan(Gh(x,y)/Gv(x,y))

(11)

对于梯度方向的范围限定，一般采用无符号的范围，故梯度方向如式(12)所示：

(12)

HOG表示的是边缘(梯度)的结构特征，因此可以描述局部的形状信息；位置和方向空间的量化在一定程度上可以抑制平移和旋转带来的影响；采取在局部区域归一化直方图，可以部分抵消光照变化带来的影响。由于在一定程度忽略了光照颜色对图像造成的影响，使得图像所需要的表征数据的维数得到降低。而且由于它这种分块分单元的处理方法，也使得图像局部像素点之间的关系可以很好地得到表征。

支持向量机是一种分类器，所做实验中要进行分类的字符至少有34个类别。故其核函数的目的是将训练样本映射到更有利于可线性分割的样本集。映射的结果是增加了样本向量的维度，这一过程通过采用高斯径向基函数内核RBF(Radial basis function kernel)来完成。径向基函数内核是支持向量机分类中最为常用的核函数[8]。

关于两个样本x和x′的RBF核可表示为某个“输入空间”的特征向量，它的定义如式(13)所示。 设一个新的参数γ，其表达式为γ=-1/2σ2：

(13)

(14)

2实验结果与分析

据实际测试，把44×14像素点的车牌区域(车牌矩形是440 mm×140 mm)作为现今视频中的低分辨率的车牌区域。验证使用单纯得将图像同比例放大的方法使得车牌区域为88×28像素点是同样无法进行识别的，必须采取序列图像超分辨率重建方法对图像有效信息增强。对于序列图像进行L1和L2混合范式的超分辨率重建后得到的高分辨率图像，噪声得到滤除，识别起来相对容易。

车牌识别的关键技术是对HOG梯度方向的计算。如图2中的虚线框区域内所示。

图2　字符训练流程图

从表1可以看出，L1和L2混合范式的超分辨率重建得到图像相比于L1范式及L2范式单一的超分辨率重建算法得到的图像峰值信噪比分别提高了10.7%和18.3%。得到最大的峰值信噪比图像进行车牌识别时能更好地利用图像的有效信息。

表1　不同图像峰值信噪比　　　　　单位：DB

实验中采用的实验数据是交通路口监控拍摄图像序列低分辨率图像，低分辨率图像大小为宽度128像素，高度128像素。超分辨率重建后图像大小为宽度512像素，高度512像素。实验环境，Windows 7操作系统，VS2010开发平台。

序列低分辨率图像和L1范式超分辨率重建图像，L2范式超分辨率重建图像，L1和L2混合范式超分辨率重建效果图对比如图3所示。

图3　原始序列低分辨率图像和三种重建方法效果对比图

图3中(a)图为序列低分辨率图像其中四帧图像车牌部位截图，(b)图为L1范式超分辨率重建图像车牌部位截图，(c)图为L2范式超分辨率重建图像车牌部位截图，(d)图为L1和L2混合范式超分辨率重建图像车牌部位截图。可以看出，L1和L2混合范式超分辨率重建图像更加清晰；分析图像的峰值信噪比如表1所示，可以看出L1和L2混合范式超分辨率重建图像的峰值信噪比最高，较高的峰值信噪比也能够提高车牌定位和字符分割效率。

提出的车牌识别技术中定位算法与传统车牌定位方法效果对比，如图4所示。

图4　不同方法对SR图像定位效果对比

由图4中为不同定位算法对SR图像定位效果的对比；(a)为Canny边缘检测算法定位效果，车牌部位边缘信息复杂易造成干扰；(b)为数学形态学算法定位效果，在腐蚀和膨胀运算时可能丢掉或者多出部分车牌信息造成定位不理想；(c)为小波变换时定位效果，采用以个基函数导出的小波函数难以在不同尺度上准确地逼近局部信号特征，因此降噪预处理时的重构信号会丢失原有的时域特征；(d)为本文算法，基于HSV颜色模型的车牌定位效果图，由于颜色信息明显，再车牌特有信息能够更好定位出车牌区域。

车牌初定位之后，在字符分割之前采用图像的归一化处理，使得定位后的车牌区域拥有相对较少无关像素。然后，采用垂直投影和水平投影的方法进行字符分割出单个字符。该方法效率较高准确性好。分割过程如图5所示。

图5　水平投影和垂直投影效果图

车牌字符识别的准备工作是得到较高准确率的SVM分类器。图6是对SVM进行训练的训练集和测试集的部分字符。字符的大小选择的是的大小是16×32像素的二值字符图像。利用3400个车牌字符图像(1000个数字字符，2400个字母字符，每个字符的训练集是100个)进行HOG特征提取并送入SVM进行字符训练，得到在车牌字符识别过程中所用的分类器。最后再利用测试集字符样本对分类器进行测试，得到字符识别正确率，从而评价分类器的好坏。如表2所示。

图6　部分训练集所用的字符

训练字符种类训练集个数测试集个数字符正确率10个数字1000100098.2%24个字母2400240097.6%

利用垂直投影法得到的单个字符有序地送入训练好的分类器中进行识别，分类器依次输出识别后对应的字符，得到最终车牌字符。HOG和SVM相结合的算法与其他算法的识别效果对比，如表3所示。

表3　字符识别数据统计

通过表3可知，L1和L2混合范式的序列图像超分辨率重建算法得到的字符识别率明显优于单独利用其中任何一种范式的超分辨率重建算法得到的字符识别率。而利用HOG和SVM相结合的字符识别方法所得到的字符识别了也优于单独利用特征匹配或BP神经网络所得到的字符识别率。从数据上可以看出HOG和SVM的字符识别方法结合L1和L2混合范式的序列图像超分辨率重建算法对序列低分辨率图像中车牌字符的识别准确率最高。

实验证明，结合L1和L2混合范式的超分辨率重建的车牌识别方法能够准确有效地识别出低分辨率图像中车牌的字符。

3结语

车牌识别技术在智能交通系统中占有着不可或缺的关键地位，采用基于HSV颜色模型的车牌定位方法对超分辨率重建后的车牌进行精确定位，比较了结合L1和L2混合范式的序列图像超分辨率重建的HSV颜色模型定位的优点。分析了传统字符识别算法的优缺点，对传统的特征匹配方法和BP神经网络做了调试实验并与HOG和SVM相结合的算法的识别效果进行了比较。实验证明，提出的车牌识别算法序列低分辨率图像中的车牌字符进行有效识别，能够达到良好的识别效果，使得字符识别的准确率进一步得到提高，有很好的应用价值。

参考文献

[1] 刘濛,吴成东,樊玉泉,等.复杂背景图像中的车牌定位算法[J].中国图象图形学报,2010,15(9):1357-1362.

[2] 王磊,王瀚漓,何良华.基于双边检测的车牌识别算法[J].计算机工程与应用,2013,49(8):169-173.

[3] 郭航宇,景晓军,尚勇.基于小波变换和数学形态法的车牌定位方法研究[J].计算机技术与发展,2010,20(5):13-16.

[3] 韩丽萍,药春晖,张文格,等.基于小波变换和形态学的车牌定位方法[J].测试技术学报,2006,20(1):46-49.

[5] 马永一,宋铮,丁勇.小波变换在车牌定位算法中的应用[J].交通与计算机,2008,26(1):65-68.

[6] 郑成勇.一种RGB颜色空间中的车牌定位新方法[J].中国图象图形学报,2010,15(11):1623-1628.

[7] Zheng D,Zhao Y,Wang J.An efficient method of license plate location[J].Pattern Recognition Letters,2012,26(15):2431-2438.

[8] 戴青云,余英林.数学形态学在图像处理中的应用进展[J].控制理论与应用,2001,18(4):478-482.

[9] 呙润华,苏婷婷,马晓伟.BP神将网络联合模板匹配的车牌识别系统[J].清华大学学报:自然科学版,2013,53(9):1221-1226.

[10] Zeng X,Yang L.A robust multi-frame super-resolution algorithm based on half-quadratic estimation with modified BTV regularization[J].Digital Signal Processing,2013,23(1):98-109.

[11] 袁奋杰,周晓,丁军,等.基于FPGA的RGB和HSV色空间转换算法实现[J].电子器件,2010,33(4):493-497.

[12] Dalal N,Triggs B.Histograms of Oriented Gradients for Human Detection[J].Proceedings of the 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition,2005,4(14):671-679.

[13] Vert J,Tsuda K,Schölkopf B.A primer on kernel methods.Kernel Methods in Computational Biology[M].MIT Press,2004:50-63.

[14] Smola A,Vishwanathan S.Introduction to Machine Learning[M].Cambridge University press,2009:150-153.

[15] Xiaoxuan Chen,Chun Qi.A Super-resolution method for recognition of license plate character using LBP and RBF[J].IEEE International Workshop on Machine Learning for Signal Processing,2011,9(10):8-21.

收稿日期：2014-12-27。国家自然科学基金项目(61179019)；内蒙古科技大学创新基金项目(2014QDL045)。张奇，硕士生，主研领域：图像处理。吕晓琪，教授。李银辉，硕士生。于荷峰，硕士生。候贺，硕士生。任国印，讲师。

中图分类号TP391.41

文献标识码A

DOI:10.3969/j.issn.1000-386x.2016.07.041

LICENSE PLATE RECOGNITION SYSTEM WITH MIXED L1AND L2NORM SUPER-RESOLUTION RECONSTRUCTION

Zhang QiLü Xiaoqi*Li YinhuiYu HefengHou HeRen Guoyin

(SchoolofInformationEngineering,InnerMongoliaUniversityofScienceandTechnology,Baotou014010,InnerMongolia,China)

AbstractFocusing on the problem of low recognition accuracy of license plate in low resolution video images, we put forward a license plate recognition technology which is based on sequence image super-resolution reconstruction with mixed norm combining L1 and L2. First, we made super-resolution reconstruction using mixed L1 and L2 norm on sequence low resolution image. Secondly, on a high-resolution image derived from the reconstruction we located the license plate based on HSV colour model, and then identified the license plate by applying the method of combining orientation gradient histogram and support vector machine on the segmented characters. Experimental results showed that the recognition efficiency of the proposed algorithm on the characters in licence plates was as high as 96%, and had a significant improvement in character recognition compared with the traditional feature matching-based algorithm and BP neural network licence plate recognition algorithm. The result demonstrated that through the processing of mixed L1 and L2 norm super-resolution reconstruction, the recognition method combining the orientation gradient histogram and support vector machine has better recognition effect on license plate characters.

KeywordsL1 normL2 normSuper-resolution reconstructionHistogram of orientation gradientSupport vector machine (SVM)License plate recognition