基于局部特征的驾驶证自动识别系统

马 岭， 蒋慧琴， 刘玉敏

(1.郑州大学 信息工程学院， 河南 郑州 450001; 2.郑州大学 数字化影像技术研究中心，河南 郑州 450001； 3．郑州大学 商学院，河南 郑州 450001)

基于局部特征的驾驶证自动识别系统

马 岭1,2， 蒋慧琴1,2， 刘玉敏2,3

(1.郑州大学 信息工程学院， 河南 郑州 450001; 2.郑州大学 数字化影像技术研究中心，河南 郑州 450001； 3．郑州大学 商学院，河南 郑州 450001)

针对待识别号码存在于文字、阴影线、方框等实际复杂背景中时，现有算法识别精度低、普适性及鲁棒性不强等问题，设计并实现了一种高速驾驶证自动识别系统.首先通过自适应二值化与形态学处理相结合解决因光照不匀、噪声、倾斜及具有阴影线字符导致的分割难点，进而利用Blob分析提取驾驶证上的重要局部特征，最后综合利用字符先验信息和相关匹配算法提高识别率.实际测试结果表明，系统识别率高，并据此开发出了投向市场的实用产品.

纹理消除；二值化；图像分割；Blob分析；字符识别

0 引言

文字识别(OCR)在许多领域有重要应用，例如，身份证号码的自动识别[1]；联机搜索手写体文本中的关键词识别[2]；视频中的文字识别[3]以及基于车牌识别的诸多应用系统[4-8].其共性难题在于实际复杂场景下怎样高速精准地提取最小识别特征.目前，常用算法包括阈值法[4]、投影法[5]和连通域分析法等.阈值法和投影法的特点是处理速度快，但对光照不匀、噪声及倾斜的字符敏感，分割精度和鲁棒性有限.因此，工程上常把阈值法和投影法与其他方法结合以改善分割精度.文献[4]提出一种基于全局阈值法与BP神经网络相结合的车牌识别系统；文献[5]提出基于投影的车牌字符分割方法，需要综合利用字符排列规则和字符间距等先验知识解决字符分割和粘连问题；文献[6]提出通过高斯低通滤波器和一个新的类拉普拉斯变换减少不均匀光照和噪声对字符分割的影响，并使用主成分分析提高识别效率，对不同颜色的车牌识别呈现出很好的鲁棒性.上述方法在改进精度的同时，计算复杂度也随之增加，文献[7]提出基于GPU 的牌照字符识别算法,取得了很好的实时效果，但硬件成本也随之提高.

本研究基于OCR技术设计并实现一种高性价比的驾驶证自动申请与更新系统，通过硬件设计以采集到包含最小可识别特征的局部驾驶证图像.针对驾驶证上的数字号码存在于文字、阴影线、方框等复杂背景中，现有算法识别精度低、普适性及鲁棒性不强等问题，首先通过自适应二值化与形态学处理相结合解决因光照不匀、噪声、倾斜及具有阴影线字符导致的分割难题，进而利用Blob分析提取驾驶证上的重要局部特征，最后综合利用字符先验信息和相关匹配算法提高识别率.实验结果表明，其识别精度和效率均满足开发驾驶证自动申请与更新装置的技术要求.

1 系统设计方案

驾驶证自动识别与更新系统通过拍摄驾驶证图像并识别驾驶证上的数字号码，自动生成驾驶证更新申请书，它包括硬件系统和软件系统两部分.

1.1 硬件系统设计

该系统的硬件由驾驶证图像采集单元和进行图像处理与数据管理的普通计算机组成.图像采集单元包括驾驶证插入口、USB相机、镜头、光源和传感器.在进行硬件设计时，使相机与驾驶证的相对位置固定，尽可能保证在相对固定角度下，获得包含最小可识别特征的局部驾驶证图像，以便提高识别速度.

系统采集的实际待处理图像如图1所示，包含了驾驶证上的完整数字号码信息.

图1 采集的局部驾驶证图像Fig.1 The image of a local driving license

1.2 软件系统设计

笔者设计的软件系统用户界面如图2所示.具有图像读入、文字读取、字符模板登录、识别条件设定与参数保存等功能.包括识别引擎和应用管理2个模块.识别引擎由图像采集和图像处理单元构成，用于采集图像，读取驾驶证信息并进行字符识别.识别引擎通常在后台运行，可以确认相机角度、照明状态并设置识别条件.应用管理模块用于与识别模块通讯，启动及关闭识别系统，获取并显示识别结果等.

图2 驾驶证识别系统的主用户界面Fig.2 The main user interface for system

2 驾驶证字符识别算法

驾驶证字符识别算法如图3所示，主要包括3部分:字体登录模块、识别条件设置模块和文字识别模块.

图3 驾驶证识别算法框图Fig.3 Block diagram of recognition algorithm

字体登录模块与识别条件设置模块的运行可以根据图2所示的主用户操作界面进行.首先采集一些用来学习的驾驶证图像样本，读入系统，选中字体后，笔者设计的系统会自动计算识别条件，然后将计算出的识别条件登录保存到数据库，作为文字识别算法的先验知识备用.点击开始，文字识别模块会根据事前登录的字体和数字列字符数、长度等先验信息自动对图像进行预处理，分割字符，识别并输出结果到管理模块.

2.1 字体登录

虽然打印驾驶证采用统一的OCRB字体，但考虑到打印机的制造商、型号不同，打印出的字体会有差异，为了提高系统的鲁棒性，笔者事前登录了多种字体，分别用这些字体进行匹配并计算各种字体的得分，最后采用得分最高者作为识别结果.

2.2 识别条件设定

为了防止误识别，提高识别率，本系统在识别字符之前将待识别号码文字列的字符数、长度、高度、字符间距等先验信息输入计算机，识别时将识别得到的各字符串与之前输入的字符串信息进行比较，输出与设定条件最相似的字符串.由于采用自动分割方法，用户只需用鼠标选定要识别的字符串，系统会自动计算相关条件.

2．3 识别模块

识别模块包括预处理、分割与驾驶证字符识别3部分.

2.3.1 预处理

由于驾驶证图像采集单元使用的是彩色相机，采集到的图像(如图1)是24位真彩色图像，为了提高处理速度，我们基于原图像中的红(R)、绿(G)、蓝(B)三原色，采用式(1)所示的加权平均方法，将彩色图像转换成灰度图像，并进行均值滤波处理，处理后的结果如图4所示.

gray=cr·R+cg·G+cb·B，

(1)

其中：cr=0.299;cg=0.587;cb=0.114为红、绿、蓝三原色的加权系数.

图4 灰度转换及滤波处理结果Fig.4 The processed results

由图4可以清楚地观察到，经过常规预处理后，待识别驾驶证号码仍存在于文字、阴影线、方框等实际复杂背景之中，特别是在数字号码中，还有一些字符带有阴影线，因此，如何消除阴影线的影响，是精确提取驾驶证数字号码的关键，笔者提出采用形态学处理方法去除这些阴影线.

2.3.2 纹理消除

笔者采用形态学的膨胀(dilation)与收缩(erosion)操作以期降低阴影线的影响.膨胀操作如式(2)所示，将图像中的每个像素的灰度值用它的邻域内9个像素中的灰度最大值替代.与膨胀相反，收缩是将图像中的各个像素的灰度值用它的邻域内9个像素中的灰度最小值替代.

(2)

利用式(2)进行形态学处理的结果如图5所示.图5清楚地显示，经过形态学处理后阴影线被去除了.

图5 形态学处理后结果Fig.5 Results of morphological processing

2.3.3 字符分割

由于照明系统的亮度会随着使用时间增长而变弱，图像灰度会逐渐变化，此外，光照难免会有不均，因此，采用固定阈值进行二值化不适用于这种长久使用的装置.本系统在比较评价各种二值化算法的基础上，提出一种改进的自适应二值化算法对字符进行分割预处理，其特点是自适应二值化与Blob分析相结合.

二值化的关键在于阈值T(i,j)的计算，本文中阈值T(i,j)的计算方法如式(3)所示，是根据图像局部区域灰度分布来计算对应点的阈值，

(3)

式中：m(i,j)为注目位置的灰度平均值；s(i,j)为注目位置的灰度标准偏差；k为可调整参数,可以根据对比度强弱来调整；R为灰度变化的动态范围.采用该方法进行自适应二值化后的结果如图6所示.

我们测量图6所示的每一白色Blob的长度和高度，并根据事先登录先验信息及可能的噪音Blob容许值，去掉一些Blob，以提取出重要局部特征，提取结果如图7所示.

图6 自适应二值化结果Fig.6 The results of adaptive binarization

图7 分割结果Fig.7 The segmented results

2.3.4 字符识别

字符识别的原理是利用字符分割的结果与模板库中的字符模板进行匹配，找出匹配度最佳者作为识别结果，笔者采用相关匹配算法，其相似度阈值计算方法如公式(4)所示.

(4)

识别部分的特点是根据分割结果实时自动计算字符串的局部特征及其与水平方向之间的角度，然后统一变换到水平方向，再利用正规化相关匹配算法对字符进行分类，从而解决了对具有一定角度的倾斜字符易误判的难题.

3 试验与分析

开发一个实际应用系统，对所提算法的有效性和鲁棒性均有很高要求，不仅对正常情况下的图像采集要求高识别率，而且对光照不匀、噪声、模糊、倾斜等各种有干扰图像，也要求不会出现误判.

由于字符分割与识别是驾驶证自动识别与更新系统的两大关键技术，下面利用笔者的分割算法和识别算法，分别进行大量的有效性试验.

3.1 分割有效性试验与分析

用笔者提出的预处理算法和文献[5]中所述的经典投影法进行对比试验.试验所用的图像数据库由100枚驾驶证图像构成，按技术指标要求划分为系统必需正确识别的可读图像74枚及系统不能误识别的非可读图像26枚两种类型.所谓可读图像，即是人眼能正常识别的图像，包括大小变化、亮度变化、角度变化、图像模糊等情况下的驾驶证图像.非可读图像是特别制作的模拟字符数过多、过少，中间字符缺失、刮伤，图像方向错误，取像时插入不完全等可能发生的特例图像.

图8为其中一组试验数据和其对应的笔者预处理算法的分割结果.分别为测试用的一般图像、光照不匀、噪声、模糊图像、倾斜图像及尺寸缩小后的图像示例和笔者分割算法的试验结果.

(a) 一般图像

(b) 一般图像分割结果

(c) 光照过暗的图像

(d) 光照过暗图像分割结果

(e) 噪声图像

(f) 噪声图像分割结果

(g) 模糊图像

(h) 模糊图像分割结果

(i) 倾斜6°的图像

(j) 倾斜6°图像分割结果

(k) 缩小10%的图像

(l) 缩小10%的图像分割结果图8 试验数据及分割结果Fig.8 Test data and the segmentation results

投影法具有计算速度快和容易实现的特点，在开发实际系统时也常使用.为了增加可比性，我们去除其他因素的影响，仅将驾驶证号码剪切出来，利用投影法进行分割试验.试验结果表明，分割正确率仅能达到71%，对光照不匀、噪声、模糊、倾斜等有干扰的图像常出现分割不出字符或字符粘连等误分割问题.误分割示例如图9所示，其中图9(a)、(b)分别表示噪声图像示例和利用投影法的分割结果.

以上的对比试验表明，笔者算法与常用的投影法对比显示了很好的优越性，不仅对一般图像分割效果理想，对光照不均、倾斜、噪声等各种有干扰图像都能进行很好的分割，有效性和鲁棒性均能达到开发实际系统的技术指标要求.

(a) 噪声图像

(b) 投影法分割结果

图9 噪声图像及投影分割结果

Fig.9 The noise image and the segmented results by projection method

3.2识别有效性试验与分析

利用现场采集到的大量的实际驾驶证图像和上述分割试验所用测试图像分成两组，第一组74枚全部为设计指标中必须正确识别的可读图像，第2组356枚，混入一些不可读图像.对笔者算法的整体识别性能进行试验，试验结果如表1所示.

表1 识别试验结果

由表1结果可知，笔者算法的误识别率为0.对不能识别的图像进行确认，正好是那些不可读图像，其示例如图10所示.

图10 一个字符被刮伤的图像Fig.10 A character scratched image

图11是任意选定的一幅可读驾驶证图像的识别结果示例.

进一步，我们已据此开发出了驾驶证自动申请与更新的成熟产品.该产品在投入实际应用的数年间，仅有一例由于字符刮伤严重而导致误识别，并已对应解决.因此，该算法经实际应用环境的检验，具有很好的效果.

图11 图像的识别结果Fig.11 Recognition results

4 结论

为了减轻交通管理部门人工处理驾驶证申请与更新的繁重负担，笔者提出了一种驾驶证自动识别系统，首先采集到包含最小可识别特征的局部驾驶证图像，进而通过自适应二值化与形态学处理相结合解决因光照不匀、噪声、倾斜及具有阴影线字符导致的分割难题，最后，综合利用字符先验信息和相关匹配算法提高识别率.试验结果表明，误识别率为0.

[1] 肖西华，江志兴，梁旭，等.移动平台下的身份证图像字符分割方法研究 [J].计算机工程与应用，2015，51(24)：201-204.

[2] CHENG C , ZHU B, NAKAGAWA M. Digital ink search based on character-recognition candidates compared with feature-matching-based approach [J]. Ieice trans. inf. & syst, 2013, 96(3): 681-689.

[3] 易剑,彭宇新,肖建国.基于颜色聚类和多帧融合的视频文字识别方法[J].软件学报, 2011, 22(12): 2919-2933.

[4] 张坤艳，钟宜亚，苗松池. 一种基于全局阈值二值化方法的BP神经网络车牌字符识别系统[J].计算机工程与科学，2010(2)：88-91.

[5] 陈涛,杨晨晖,青波.基于投影和固有特征结合的车牌字符分割方法[J].计算机技术与发展, 2009, 19(5):45-47.

[6] AMIR S, MANSUR V. A new and robust method for character segmentation and recognition in license plate images [J].Expert system with application, 2011, 38: 13497-13504.

[7] 柯海丰，应晶,基于R-ELM 的实时车牌字符识别技术,[J].浙江大学学报(工学版)，2014,8(7):1209-1216.

Abstract: In order to meet the practical requirements of automatic application and renewal of driver’s license, a high speed system for automatic recognition of driver’s licenser was designed and implemented. The hardware was designed to capture the image of the driver’s license that contained the smallest identifiable features. Because of the complex background such as the shadow line and so on in the driver’s license images, the existing recognition algorithms had the low recognition accuracy, universality and robustness problems. This paper first solved the segmentation difficulties for uneven illumination, noise, tilt and shadow line character by combined adaptive binarization and morphological processing. Then, the Blob analysis was used to extract the important local features of the driver’s license, and the recognition accuracy was further improved by using the prior information and the correlation matching algorithm. The experimental results showed that not only the false recognition rate was 0, but also the practical products was developed, and the better social effects were achieved.

Keywords: texture elimination; binarization; image segmentation; blob analysis; character recognition

AutomaticRecognitionSystemofDriver’sLicenseBasedonLocalFeatures

MA Ling1,2, JIANG Huiqin1,2， LIU Yumin2,3

(1.School of Information Engineering, Zhengzhou University, Zhengzhou 450001, China; 2.Digital Medical Image Technique Research Center, Zhengzhou University, Zhengzhou 450001, China; 3.Business School, Zhengzhou University, Zhengzhou 450001, China)

马 岭(1963— )，男，河南叶县人，郑州大学教授，博士，主要从事模式识别研究，E-mail:ielma@zzu.edu.cn.

TP391.1

A

10.13705/j.issn.1671-6833.2017.05.013

2017-01-20；

2017-03-27

国家自然科学基金-河南联合基金重点支持项目(U1604262)；国家自然科学基金资助项目(71672182)

1671-6833(2017)05-0013-05