污损车牌的识别技术

张天博 邓辉辉 广西科技大学计算机学院

污损车牌的识别技术

张天博 邓辉辉 广西科技大学计算机学院

【目的】在目前汽车数量日渐增多的年代，汽车管理日益重要，每一辆汽车都有其专属车牌，因此对汽车的管理就相当于对汽车车牌的管理，此研究将用于改善人目前已有的车牌识别技术，提高对污损车牌的识别效率。【方法】试图以图像重构，噪声消除技术的方式来处理图像，能有效适应这种复杂的变化，提高识别过程的鲁棒性。【结果】截止目前的实验研究结果，我们实现了对部分车牌在稳定环境中的图片定位，以及对车牌的字符切割和识别，但尚且未能完全解决污损车牌的有效处理，日后有待继续研究。【结论】经过这一次的项目研究，我们研究小组认识到，车牌的识别的方法有无数种，但大致的处理思想基本一致：从图片中提取车牌的有效区域——对车牌进行字符提取——将提取出来的字符与字符库中的字符相匹配，找出相似度最高的字符并输出。另外，在学习过程中我们发现，图像重构，噪声消除技术等方法对于处理车牌识别也有很大的帮助，在图像的预处理上起着很重要的作用。

噪声消除 图像重构

【研究意义】实际应用中，车牌识别系统的识别率还与牌照质量和拍摄质量密切相关。牌照质量会受到各种因素的影响，如生锈、污损、油漆剥落、字体褪色、牌照被遮挡、牌照倾斜、高亮反光、多牌照、假牌照等等；实际拍摄过程也会受到环境亮度、拍摄方式、车辆速度等等因素的影响。这些影响因素不同程度上降低了车牌识别的识别率，也正是车牌识别系统的困难和挑战所在。为了提高识别率，除了不断地完善识别算法还应该想办法克服各种光照条件，使采集到的图像最利于识别。

【前人研究进展】在车联网迅速发展的今天，快速的车牌识别已经成了一个最基本的要求，目前所使用的基于图像边界的识别方法往往将图像轮廓当做连续点来处理，对于车牌有污损或者遮挡的，识别能力有限。而有许多不法分子试图用此漏洞，遮掩车牌，以此妄图逃避法律的制裁。

当今车牌识别系统的具体流程为：

为了进行车牌识别，需要以下几个基本的步骤：

①牌照定位，定位图片中的牌照位置，提取出车牌的有效区域；

②牌照字符分割，把牌照中的字符分割出来，形成一个个单字符文件；

③牌照字符识别，把分割好的字符与模板库中的字符进行匹配识别，最终组成牌照号码。

车牌识别过程中，牌照颜色的识别依据算法不同，可能在上述不同步骤实现，通常与车牌识别互相配合、互相验证。

【本研究切入点】以图像重构啊，噪声消除技术的方式来处理图像，基于MATLAB工具的基础上不用对图像识别的算法进行深究，只需更多考虑对污损处理的方法思想。

【拟解决的关键问题】对污损较为严重的车牌进行降噪、重构，分析车牌污损在图片上带来影响的具体问题，提出更为准确率高效的算法。

【具体的细节问题】

1 车牌识别的预处理工作与定位

当我们看到一张尚未处理的汽车图片时（如图1），应考虑到目前机器对于彩色图像的处理效率相对薄弱，所以我们通常先进行灰度处理——增强处理——sobel算子实现边缘检测——腐蚀图像——转化为二值图像(平滑轮廓)——移除小对象——车牌定位(如图2在matlab处理)。

图1

图2

由于本项目的针对是污损车牌的匹配，所以在预处理工作上只做简单描述：

a.灰度处理/增强处理是为了令图片边缘更加明显，方便边缘计算

b.使用sobel算子检测图片边缘大致确认各个区域位置

c.腐蚀图像后进行平滑处理令图像二值化(即图像上只有黑与白(0和1))，而后根据车牌长宽比在图片上显示大致在2.5：1到3.5：1之间，选定大致区域范围

d.根据车牌的底色(大多为蓝色)

根据以上数据不难在图中找到蓝色的点而后在Y轴上进行检测，若该轴上蓝色占比高则基本可以确定车牌的一个边缘在这里，而后进行切割，而后在之后的扫描不断检测，直到蓝色占比不足的那一调Y轴上停止，并以此确定边界进行切割。

2 字符切割

在定位车牌后，由于车牌本身带有大量噪音，会影响到后续的车牌切割，因此还是应该对定位出来的车牌区域进行同预处理相类似地要对车牌进行加工，即将车牌二值化，对车牌区域进行开闭运算减少噪音，便于后面的字符切割(如图3)很明显车牌文字的特征在二值化后很明显，图片中的车牌文字在边界处会有大量的数值跳跃，因而可以直接通过检测图片中的数值跳跃情况进行每一个字符区域的判断，即从(0，0)坐标像素开始扫描，根据车牌比例(如图4)，检测到Y轴某一列上含有一定数量的白色像素点时根据车牌比例大小检测以此往右的像素，若在此比例之后的矩形范围内含有大量白色像素则可以判断合格，并切下字符(效果如图5)，重复以上过程，直至找出7个候选字符区域，就此切割车牌工作便完成了。

图3

图 4

图5

3 字符匹配

在此我们先要建立一个包含所有车牌字符的模板库(图6)，里面存放着0-9，A-Z(不含I、O)，以及36个车牌汉字，在运行匹配前先进行数据库读入存入一个胞组中（如图7所示）。

在这里我们使用的匹配算法是直接进行暴力匹配（每一个字符都与之对应类型比较，比如第一个字符只会是汉字所以只会在库中的汉字文件夹中选取对象对比）。

图6

下图对比两张图片的算法，是使用了MATLAB的corr2算法。其中A B的像素需要同样（在此为了方便，模板中的像素皆是30*50，所以在得到字符分割后每个字符图片大小也会调节为30*50），随后通过与字符匹配返回值取一个字符文件夹中的平均值，得到平均值最高的文件夹名称返回。

4 实验结果

我们选择了测试图片后，发现对蓝色车子的识别效果很差，因为通过颜色来定位车牌，蓝色车会导致数据上的混乱，如下图，定位时几乎将整个车身定位进去，效果很差。

而选择非蓝色车辆后，如下图，效果很好。

5 效率测试

除去手动打开识别图片花去的时间，实际处理和匹配时间基本都在0.6s～0.8s之间(因为在实际处理中是不用进行绘图展示的)，所以在效率上是合格的。

6 项目后记

在项目申报立项之后，经过长时间的学习和研究，我们虽然能实现基本的车牌识别，但是在车牌处于复杂环境中有大的障碍的时候图片处理的效果不是很好，因为汽车在行驶的过程中能产生很多状态，我们研究小组目前还未能找出一种有效且合适的方法对车牌处于多种复杂环境时能实现快速处理和识别，我们将在以后的不断学习中，尝试寻找到最有效的识别方法，并应用到此项研究和开发里。

由于在项目进行时，我们项目小组经过大量的数据对比，发现RGB色系在图片处理中的效果并不是很好，因此我们在这一次研究里使用的颜色色系是HSV，在非蓝色车的定位上效果很好。

我们将在以后继续学习相关知识，不断尝试新的字符切割方法和阈值判断来重新尝试图像处理，达到理想中的车牌识别效果，完成此次项目的研究。

[1]沈勇武,章专.基于特征颜色边缘检测的车牌定位方法.杭州.浙江大学信息科学与工程学院.

[2]许永吉.文字识别原理及文字识别算法.深圳大学.2012/12

[3]基于模板匹配算法的字符识别研究.顾晨勤,葛万成.同济大学中德学院，上海