基于数学形态学的车牌自动识别系统

高直 吴宝福 王媛媛

摘 要： 针对车辆牌照的自动识别问题，提出了一种基于数学形态学的车辆牌照识别方法。通过对车牌的定位、字符切割和字符识别，完成了车辆牌照的自动识别。首先，对原始彩色图像进行灰度处理、中值滤波处理等预处理，并采用数学形态学的方法对图像进行运算，进而实现了车牌的定位；其次，通过像素点统计的方法对车牌进行字符定位与切割；最后采用模板匹配的方法对字符进行识别。实验表明，所提出的方法具有较好的识别效果。

关键词： 车牌识别； 数学形态学； 中值滤波； 像素点统计； 模板匹配

中图分类号：TP311.5 文献标志码：A 文章编号：1006-8228（2018）07-56-05

Abstract： For automatic recognition of vehicles license plate， a vehicle license plate recognition method based on mathematical morphology is proposed. Firstly， original color images are processed with gray-scale processing and median filtering， then， the license plate will be localized by the image calculation with the mathematical morphology method. In addition， pixel statistic approach is used to process the character position and segmentation. Finally， the template matching method is utilized to recognize the character. The simulation experiments demonstrate the effectiveness of the proposed algorithm and the better recognition performance.

Key words： license plate detection； mathematical morphology； median filtering； pixel statistic； template matching

0 引言

車辆牌照是车辆的身份证，是汽车唯一的标识。有效的车牌管理可以很好的提高车辆的管理效率，缓解道路交通压力，因此车牌识别是目前国内外的研究热点问题。

目前，针对车辆牌照识别国内外涌现出了多种方法，有的已经作为产品投入应用，其中比较有名的是英国IPI公司研发出来的RTVNPR系统[1]，美国SCT公司开发的车辆牌照识别系统[2]。国内虽然起步较晚，但经过长时间的研发也取得了一定成效。做得较好的产品有清华紫光公司的“嵌入式车牌识别仪”、中科院自动化研究所出产的“汉王眼”。此外，深圳市吉通电子有限公司、亚洲视觉科技有限公司以及清华大学、上海交通大学等高校都做过相关的研究[3]。

车辆牌照的图像往往是在自然场景下获得的，而自然场景下的图片往往存在形变、尺度变化、背景复杂、质量不佳、高亮反光、牌照被遮挡、车牌的污损、字体褪色等问题[4]，这都为自然环境下的车辆牌照识别增加难度。因此如何实现快速、准确地识别车辆牌照是一个有意义的课题。

本文利用图像处理技术并结合数学形态学方法提出了一个完整的车辆牌照识别系统，该系统实现了对车牌的定位、字符的切割和字符的识别。实验证明本文方法能够取得较好的识别效果。

1 车牌识别系统的总体方法设计

车辆牌照自动识别系统主要由三部分组成，分别是车牌定位、字符分割和字符识别。整体识别流程如图1所示，首先采用图像预处理、边缘提取并运用数学形态学运算处理的方法，对车辆牌照进行定位，其次采用阈值化分割的方法提取车牌中的字符，最终进行字符识别并输出结果。

2 基于数学形态学的车牌定位

本文主要采用数学形态学运算处理车牌图像，进而实现车牌定位 [5]。首先通过灰度化、边缘检测等方法对原始图像进行预处理，其次通过数字形态学里的开闭运算对边缘图像进行膨胀腐蚀操作，从而得到若干连通区域块，最后从这些连通区域块中找到其规格符合车辆牌照特征的区域。

2.1 图像灰度化处理

本文实验所用图像均为真彩图像，由于真色彩图像处理较为复杂，首先需要将其转化成灰度图像，即寻找一个三维空间到一维空间的映射[6]。事实上，在本文中，gray与RGB之间的关系表达式为：

图像灰度化效果如图2所示，可以看出虽然图像由多维彩色图像转变为一维的灰度图像，但图片主要特征无大变化，对于车牌定位影响不大，因此进一步对图像进行灰度调整，灰度调整是图像增强的重要手段之一[7]。可以增加图像对比度，使得图像更加清晰、特征明显。

本文采用线性灰度调整的方法处理图像，将原图像f（x，y）的灰度范围由[a，b]变换为图像g（x，y）的[c，d]，对于灰度图像中的任意一个像素点的灰度值f（x，y），经变换后成为g（x，y），其数学表达式如式⑵所示：

线性灰度调整效果图如图3所示，可以看出经过灰度调整的图像，图像清晰度、对比度增大，使得车牌部分字符与车牌底色之间的差异凸显出来。

2.2 车牌图像的Roberts算子边缘检测

边缘是指图像局部亮度变化最明显的部分，常用的边缘检测的算子有很多，比如Sobel、Prewitt、Roberts、log、Laplacian以及Canny算子方式，本文选用Roberts算子[8]进行处理。

在进行边缘检测之前，首先采用中值滤波的方法进行降噪[9]。假定二维中值滤波中原始输入图像为f（x，y），处理后的图像为g（x，y），则他们之间的关系表达式为：

其中，W为二维模板，，本文中设定W的区域大小为3×3。中值滤波的处理效果如图4所示，可以看出经过中值滤波处理后，图像中的噪声数量减少，图像中许多突兀的边缘数量减少。

接下来采用Roberts算子处理图像。假设t（x，y）为Roberts算子处理后提取的边缘图像，s（x，y）为原始图像。Roberts算子作为一阶导数算子，则：

式⑸运算得到的处理结果与人类视觉系统中发生的过程相类似，为了提高运算速度，上述数学公式可以近似为：

再选取适当的门限阈值TH，如果t（x，y）里的某个像素点大于此门限阈值TH，则将对应的像素点记为阶跃边缘点，这样就得到了边缘轮廓。本文所用函数为TH=0.3。Roberts算子边缘检测运算效果如图5所示。

2.3 数学形态学运算处理

数学形态学有四个基本运算，即膨胀、腐蚀、开运算和闭运算。集合是二值形态学中的运算对象，通常使用结构对图像进行操作。在定位环节，考虑到待处理图像中存在着大量微小的干扰边缘点，要使得边缘丰富的车牌区域得到凸显，就需要设定一个适当的结构元素，即要尽可能地抹掉干扰边缘点，又要保证字符边缘不被一起抹掉。通过实验发现，当结构元素为三行一列的竖方向腐蚀时，对车牌的影响较小，且可以达到理想的效果。为了进一步凸显车牌区域块，我们使用了闭运算操作，操作中采用采用25×25的结构元素可以达到理想的凸显效果。在字符切割环节，因为考虑到便于字符切割，需要每个字符边缘尽可能地光滑，因而采用的是开操作，如图6所示为采用数学形态学运算后的效果图。

图6左图为腐蚀操作，可以看出操作后许多零星的细小边缘点被抹掉，而车牌区域的边缘仍然能得以保留。图6右图为闭运算，操作后，边缘丰富的车牌区域得以连成一个整体，车牌区域得以凸显。但同时，闭运算处理后图像中仍然存在众多细小的区域，因此，在下面一节我们针对干扰区域进一步处理。

3 车牌的字符定位与切割

3.1 基于像素点统计的字符定位

从图6中我们看到，图像中仍然存在众多干扰的区域，与车牌区域相比，大部分干扰区域的面积较小，因此通过移除小对象的方法剔除干扰对象。在移除小对象之后，我们已经实现了对车牌的初步定位。

本文針对小型汽车车牌进行识别，考虑到小型汽车的牌照为蓝底白字，因此系统通过统计蓝色像素点个数来定位车牌[10]。首先，逐行统计蓝色像素点数目，确定水平方向蓝色像素点最多的行，再以该行为中心，向上逐行比较蓝色像素点数目与阈值，若该行蓝色像素点数目大于阈值，则继续向上比较，直到其小于阈值，从而确定了车牌的上界PY1。同理，向下逐行比较从而确定车牌下界PY2，进而确定车牌的左右界线PY1与PY2。确定位置后，调用切割函数“dw=I（PY1：PY2-8，PX1：PX2）”从而实现对车辆牌照图像的切割。车牌定位及切割的效果图如图7所示。

3.2 字符切割

通过前面的字符定位，已经得到了定位好的车牌，按照前面叙述的方法对车牌图像按照灰度化→灰度调整→二值化→中值滤波→数学形态学运算处理的步骤对定位后的车牌进行处理，如图8所示为处理后得到的图像。

字符切割的方法有很多，本文采用阈值化分割法 [11]。设原始图像为f（x，y），按照一定的准则从f（x，y）中找到一个合理的特征值T，将图像分割为两部分，分割后的图像为：b0=0，b1=1，即为我们通常所说的图像二值化。

由于我国车牌具有字符间隔较大的特点，不会出现字符与字符的粘连情形，因而本文字符分割方法的过程是判断待切割块的长度是否大于某一宽度阈值，若大于这个阈值则认为该待切割块中至少含有两个字符，并继续切割；若小于这一阈值则认为只有一个字符，图9所示为字符切割后的效果图。

4 基于模板匹配的车牌字符识别

模板匹配是图像识别方法中最基本的方法之一[12]。本文采用基于距离匹配的模板匹配法，首先将截取的字符块变换成40×20像素点的规格，并归一化处理，其次获取一个待识别的字符的模板，再将该待识别的字符模板与模板库中的字符模板一一对应进行相减，得到的0越多就表明模板越匹配。接着把每幅图相减的结果中0的个数进行统计并保存。最后从众多数值中挑选值最大的，即得到识别结果。字符识别的效果如图10所示。

为了验证本文提出方法的有效性，选取了300张车辆图片进行实验，以MATLAB R2010b为实验平台，整个识别过程共有三个环节，即车牌定位、字符分割和字符识别。每个环节都是后面环节的基础，因此一旦定位失败，后面的所有操作均为无效。如表1所示为识别结果与现有文献中一些方法[13-14]的比较，通过实现结果可知本文提出的方法具有较好的识别效果和性能。

5 结束语

本文主要研究设计了一种车辆牌照识别系统，这一过程主要解决了以下几个方面的问题：

⑴ 车辆牌照的定位，通过数学形态学操作以及切割等操作来实现了车辆牌照的定位；

⑵ 字符的切割，通过阈值分割法对字符进行切割；

⑶ 字符的识别，通过采用模板匹配的方法对字符进行识别，并取得了较好的效果。

但由于车辆牌照图像本身的一些特异性，比如复杂背景车牌、歪斜车牌、遮挡车牌等问题的存在使得车辆牌照识别仍然存在很大的挑战，有必要分析更多情况，以进一步提高现有车牌识别系统的鲁棒性。

参考文献（References）：

[1] 周开军.复杂环境下的车牌识别研究[D].武汉理工大学硕士学位论文，2006.

[2] 张宇.车辆识别系统中车牌定位与字符分割方法的研究[D].五邑大学硕士学位论文，2009.

[3] 高聪.车辆识别系统中字符识别的研究[D].广东工业大学硕士学位论文，2017.

[4] LI H， WANG P， YOU M Y， SHEN C H. Reading carlicense plates using deep neural networks[J]. Image and Vision Computing，2018.72（4）：14-23

[5] DEVKOTA B， ALSADOON A， PRASAD P， SINGH AK， ELCHOUEMI A. Image Segmentation for Early Stage Brain Tumor Detection using Mathematical Morphological Reconstruction[J]. Procedia Computer Science，2018.125（3）：115-123

[6] 盧红阳，刘且根，熊娇娇等.基于最大加权投影求解的彩色图像灰度化对比度保留算法[J].自动化学报，2017.43（5）：843-854

[7] 徐卫昌，黄威，李永峰等.低通滤波与灰度值调整在图像增强中的应用[J].激光与红外，2012.42（4）：458-462

[8] 高勇钢.一种改进roberts算子边缘检测[J].巢湖学院学报，2009.11（6）：31-32

[9] Zhu Y， Huang C. An Improved Median Filtering Algorithm for Image Noise Reduction[J].Physics Procedia，2012.25（22）：609-616

[10] 周彬彬，周之平，贾杰.结合有色点对搜索和区域统计特征的车牌定位算法分析[J].无线互联科技，2016.4：9-12

[11] 刘平，陈斌，阮波.基于边缘信息的图像阈值化分割方法[J].计算机应用，2004.24（9）：28-30

[12] 谢永祥，董兰芳.复杂背景下基于HSV空间和模板匹配的车牌识别方法研究[J].图学学报，2014.35（4）：585-589

[13] 曾泉，谭北海.基于SVM和BP神经网络的车牌识别系统[J].电子科技，2016.29（1）：98-101

[14] 陈景航，杨宜民.基于小波变换和神经网络的车牌识别系统[J].计算机工程，2005.31（15）：175-177