车牌字符分割与识别技术研究

姚文凤 甄彤 吕宗旺 祝玉华 李智慧 桂便 郭平飞

摘  要： 由于在车牌识别过程中传统的垂直投影分割算法存在对字符的误分割问题，于是提出一种基于图像垂直投影特征分析和几何特征的字符分割算法，该算法通过字符的宽度以及字符间的间隔宽度，对传统垂直投影分割算法的分割过程进行限制，可有效解决对左右结构汉字的错误分割。实验结果表明，该分割算法可有效提升字符分割的准确率，对车牌的正确识别具有重要作用。

关键词： 车牌定位; 车牌矫正; 字符分割; 字符识别; Radon变换; 垂直投影

中图分类号： TN911.73?34                        文献标识码： A                        文章編号： 1004?373X（2020）19?0065?05

Abstract： In view that the traditional vertical projection segmentation algorithm has the problem of character mis?segmentation in the process of license plate recognition， a character segmentation algorithm based on the analysis of image vertical projection features and geometric features is proposed. In the algorithm， the segmentation process of the traditional vertical projection segmentation algorithm is regulated by the width of characters and the interval width between characters， which effectively eliminates the wrong segmentation of the Chinese characters with left and right structure. The experimental results show that the segmentation algorithm can effectively improve the accuracy of character segmentation. Therefore， it plays an important role in the recognition of license plates.

Keywords： license plate location; license plate correction; character segmentation; character recognition; Radon transform; vertical projection

0  引  言

随着中国的飞速发展，汽车数量也在巨增，除交通管理外，车辆管理也在各种场合得到加强，作为车辆“身份证”的车牌，成为车辆管理的关键。目前车牌识别的技术核心主要包括：对于车型众多的车辆，如何在汽车图像中准确、快速地对车牌位置进行定位，并进行保存;获得车牌以后，如何对有倾斜的车牌进行准确的矫正，以保证下一步字符分割的正常进行;车牌矫正以后，如何对车牌中的字符进行准确分割，得到完整的字符;字符得到以后，如何对其进行识别，得到车牌号码进行显示出来。

1  车牌定位与矫正

车牌定位是车牌识别的第一步，决定了后续工作是否能顺利进行。因此必须选择准确性高、适应性强的算法，而目前比较受到学者认可的车牌定位方法主要有：图像边缘检测、车牌颜色信息[1]、机器学习、形态学[2]等算法，本文采用基于形态学和车牌颜色信息的车牌定位算法。

基于形态学的车牌定位方法是一种常用的方法，它对车牌的纹理信息进行分析处理，对于图片的质量要求比较高，该算法的检测速度相对来说更加优秀，但是对车牌图像的要求比较高，对于复杂的应用场景往往存在一定的误检率。

为了弥补该定位方法的不足，本文采用融合形态学和车牌颜色信息的车牌定位方法，其主要步骤如下：

1） 对车辆图像进行灰度化，并绘制灰度直方图，如图1a）所示;

2） 采用roberts算子对车辆灰度图边缘进行检测，以获取图像的边缘信息，如图1b）所示;

3） 对图像的边缘信息进行腐蚀、闭合等操作，对车牌进行粗定位，如图2a）所示;

4） 对粗定位的车牌，扫描蓝色区域以进行进一步精确定位，如图2c）所示。

2  车牌的字符分割

对车牌进行矫正后，要对车牌中的字符进行分割，分割的效果会直接影响到下一步的识别，目前常用的分割算法有：基于连通域标记的分割算法、基于字符几何特征的分割算法、基于图像垂直投影的分割算法[3]，其主要原理是车牌每个字符之间都存在一定距离的间隙，当对二值化的车牌进行垂直投影时，对应的曲线中波谷部分都是字符之间的间隙存在的位置，根据波谷对字符进行分割。

基于投影的字符分割算法易于实现，分割速度较高，目前得到广泛应用，但由于中国车牌的第一个字符是每个省的简称，汉字并不是每一个都是完全连通的，比如四川的简称“川”，浙江的简称“浙”等，鉴于这些不连通汉字的存在，这种方法在应用时有可能会出现误分割。

为了弥补基于垂直投影的字符分割算法的弊端，本文提出基于图像垂直投影特征分析和几何特征的字符分割算法。

根据国家规定，我国的车牌具有标准的几何构造，字符的长度、宽度、字符间的间距都有固定长度，标准车牌的长度为440 mm，宽度为140 mm，其中每个字符宽度为45 mm，高度为90 mm，宽高比为1∶2，每个字符之间的间距为12 mm，其中第二个字符和第三个字符之间的字符“[·]”，占据10 mm。

可以得到字符宽度和字符间距分别为：

由此可知，正常的字符宽度及左右两边间距应满足下式。

在传统的垂直投影字符分割算法的基础上，增加了车牌自身的几何特征进行限制，以改进基于垂直投影的字符分割算法。

在最大间隔Maxgap处，右边有5个字符，左边有2个字符，分别向左向右分割，分割过程中，对于分割出的字符[i]宽度[char[i].width<0.1n]，计算其左右两边的间距：[Gapleft[i]]，[Gapright[i]]。

1） 若两边间距[Gapleft[i]>0.03n， Gapright[i]>0.03n]，则认为该字符为数字“1”，对其进行分割;

2）若两边间距[Gapleft[i]<0.03n，Gapright[i]<0.03n]，认为该字符是不完整字符，不进行分割，并认为此处有可能出现字符断裂现象，继续寻找下一个投影像素为0的值，直到找到完整的字符为止。

本算法字符分割主要包括以下几个主要步骤：

1） 将车牌图像进行预处理，其中包括：二值化、均值滤波、腐蚀或膨胀;

2） 找到车牌中最大间隔值Maxgap;

3） 以最大间隔值处为起点，分别向左分割前面的2个字符，和向右分割后面5个字符;

4） 所有字符分割结束以后，对其进行归一化，归一化大小为[M×N=47×26]。

2.1  车牌图像预处理

车牌图像二值化后，小型汽车的蓝底白字车牌图像会变成白底黑字。二值化操作可以使车牌上的字符信息更加明显，而且会把图像的彩色信息去除，大大减少计算量。在二值化的过程中，货车的黄底黑字车牌图像会变成黑底白字，与小型汽车二值化后完全相反，需要将这两种不同的情况进行统一。

本文采取的操作是，将车牌图像进行二值化以后，对图像的像素点进行求和[sum（d）]，当[sum（sum（c））/m/n*9>0.5 ]时，认为此车牌为货车车牌，对该二值化图像进行取反操作，然后再进行处理。

小汽车蓝底白字车牌处理后图像如图3所示;货车黄底黑字车牌处理后图像如图4所示。

图像均值滤波对于二值化以后的车牌图像，在二值化的过程中会混入很多噪声，本文采用均值濾波对噪声进行过滤，采用[3×3]的模板，均值滤波的公式为：

对二值化后的图像进行均值滤波以后如图5所示。

滤波以后的车牌图像有可能存在两种情况：一是字符存在粘连和细长的沟壑;二是字符有可能存在较窄的间断和小的孔洞。这一步要做的是对滤波后的图像进行腐蚀或膨胀处理。

图像中字符对象的面积与总面积的比值大于0.365时，对图像进行腐蚀处理;如果比值小于0.235，则对图像进行膨胀处理，处理后如图6所示。

2.2  最大间隔值

中国车牌中第二个字符和第三个字符之间有一个分隔符“[·]”，将车牌进行投影后，可绘出波形图，在图中可以看到它存在一个小峰，如图7所示。

计算图中每个波形的宽度，对于宽度处于2～5个像素值，波峰值小于5个像素的波形，则认为此处为分隔符的所在位置并把它去除，如图8所示，第二个字符和第三个字符间的间隔就是要找的最大间隔值Maxgap。

2.3  分割车牌字符

传统的基于投影的字符分割算法，对一些不连通汉字会出现误分割，如图9所示，“豫”字会被分割成两个字符。本文在传统投影分割算法上，加以车牌自身的几何特征进行限制，可有效避免这种误分割，图9中，本文提出的算法最终分割结果如图10所示。

传统的基于图像垂直投影的字符分割算法易于实现，分割速度较快，但对于车牌中左右结构的汉字会出现误分割。本文提出的基于图像垂直投影特征分析和几何特征的字符分割算法，通过字符的宽度以及字符间的间隔宽度，对分割加以限制，可有效减小误分割。

3  车牌的字符识别

对车牌图像完成字符分割处理后，进入到字符识别阶段，目前比较常用的字符分割算法包括：基于神经网络[4?5]、基于SVM[6]、基于模板匹配[7]。

基于模板匹配的算法复杂度低、识别速度较高，基本能满足实时性的要求。本文采用基于模板匹配的字符识别算法，该算法需要提前建立标准的字符模板库，其中数字包括：0～9;字母包括：[A～H]，[J～N]，[P～Z]。需注意的是英文字母I和O，为避免与数字中的1和0识别混乱，并没有使用，因此字符I和O不予考虑;汉字包括：京、津、沪、渝、甘、陕、豫等，对建立的各模板大小归一化、规范化处理后，并且上一步中字符分割后的归一化过程，尺寸需要与模板相同。

本文使用字符与模板的异或值表示两者的相似度，字符与模板二者异或操作后得到一个新的矩阵。由于异或操作中，不同为1，相同为0，则该矩阵中为0的位置即为二者相同的点，为1的位置即为二者相异的点。计算新矩阵中所有为1点的总和[Dfg]，最终比较字符与各模板运算之后[Dfg]的大小，[Dfg]值最小则说明字符与该模板差异最小，即为要找的模板。

字符识别过程如下：

1） 建立自动识别字符串，字符串中1～10位存放0～9十个数字，11～34位存放除去I和O后的24个英文字母，35位以后存放各个省份的简称。

2） 读取字符并与模板库中的字符逐个进行匹配，将字符与模板进行异或，然后比较字符与各模板运算之后[Dfg]的大小，值最小的即为契合度最高的，即为该字符要找的模板。

3） 其中读取第一和第二个字符时，由于第一个字符是汉字，第二个字符是字母，直接令其与对应的汉字模板或字母模板匹配即可，可以省去与其他类型模板匹配的时间。

4） 读取后5个字符时，由于后5个字符只可能是数字或者字母，直接将其与数字和字母模板匹配即可，可省去与汉字模板匹配的时间。

部分字符模板如图11所示，识别结果如图12所示。

该算法复杂度低、识别速度快，基本满足实时性要求，而且选取高质量的图片建立模板库以及进行多模板匹配都可以提高匹配的成功率。该算法对于车牌的前期预处理的依赖性较高，如果预处理取得较好的效果，但如果车牌字符有模糊、形变等情况，模板匹配的准确率会有所降低，该算法总体来说，对于固定的环境比较适用。

4  结  语

本文主要实现了车牌图像从定位、矫正、分割到识别的一系列过程，分析了每个过程中常用的算法，详细分析了本文所采用的算法。在字符分割阶段，本文提出了一种基于图像垂直投影特征分析和几何特征的字符分割算法，优化了传统的垂直投影特征分割算法，减少了左右结构汉字的错误分割。

参考文献

[1] 陈宏照，谢正光，卢海伦.颜色与边缘纹理相结合的车牌定位方法[J].现代电子技术，2018，41（21）：67?70.

[2] 李辉.基于形态学的车牌定位方法研究[J].梧州学院学报，2010，20（3）：29?35.

[3] XIA Huadong， LIAO Dongchu. The study of license plate character segmentation algorithm based on vertical projection [C]// 2011 International Conference on Consumer Electronics， Communications and Networks. Xianning， China： IEEE， 2011： 4583?4586.

[4] WANG Xiaohua， YU Juanjuan， MIAO Zhonghua， et al. License plate recognition based on pulse coupled neural networks and template matching [C]// Proceedings of the 33rd Chinese Control Conference. Nanjing， China： IEEE， 2014： 5086?5090.

[5] LIN T Y， ROYCHOWDHURY A， MAJI S. Bilinear CNN models for fine?grained visual recognition [C]// 2015 IEEE International Conference on Computer Vision. Santiago， Chile： IEEE， 2015： 1449?1457.

[6] KIM J B. MSER and SVM?based vehicle license plate detection and recognition system [C]// ICHIT 2012： Convergence and Hybrid Information Technology. Daejeon， Korea： Springer， 2012： 529?535.

[7] 凌翔，赖锟，王昔鹏.基于模板匹配方法的不均匀照度车牌图像识别[J].重庆交通大学学报（自然科学版），2018，37（8）：102?106.

[8] 贾晓丹，李文举，王海姣.一种新的基于Radon变换的车牌倾斜校正方法[J].计算机工程与应用，2008，44（3）：245?248.

[9] 胡仁伟，张希仁，杨立峰，等.基于傅里叶变换和Hough变换的商标图案倾斜校正[J].轻工机械，2018，36（1）：62?65.

[10] 王博.车辆多特征识别方法研究与实现[D].成都：电子科技大学，2017.