基于智能手持设备的车牌识别系统研究

王唯一，祝振中

(上海大学 机电工程与自动化学院，上海 200072)

基于智能手持设备的车牌识别系统研究

王唯一，祝振中

(上海大学 机电工程与自动化学院，上海 200072)

以交警能更加快捷方便地稽查运营车辆为目的，借助最新的移动互联网技术，分析并研究了多种计算机视觉算法;提出了一种基于K均值聚类(K-means)的车牌定位技术，通过颜色的聚类分析来确定车牌区域，定位车牌;又应用垂直投影技术和模板匹配法来分割和识别车牌字符，利用SQlite开发了具有存储车牌字符信息功能的数据库;在此基础上，研制了一套基于智能手持设备的车牌识别系统;功能测试表明，该系统具有良好的性能，能够较好地识别出车牌信息。

车牌识别；K均值；垂直投影；模板匹配

0 引言

随着社会经济水平的快速提升，汽车逐渐进入寻常百姓家，交通管理变得越来越困难。图像处理技术、模式识别技术和通信技术的发展，推动了基于智能手持设备的车牌识别系统在交通管理中的应用。相对于PC端的车牌识别系统，手持设备可以不受地理位置的约束限制，能更加快捷地识别车牌信息，这对智能交通系统的推广有重要意义。

1 车牌识别系统的组成

车牌识别技术是当今智能交通管理系统的核心。基于智能手持设备的车牌识别系统，综合利用了移动端的图像处理技术与模式识别技术[1]。如图1所示，本文研制的车牌识别系统主要有五大部分组成。

1)图像采集：

通过智能手持设备的摄像头，对车辆进行拍照，保存照片至指定文件夹。

2)车牌定位：

借助自行设计的算法，在待识别的一张车辆图片中找寻车牌区域，使该车牌区域与背景区域分离出来，单独显示。

3)字符分割：

在已经提取出的车牌区域中，对其中的每个字符进行切分、显示。

4)字符识别：

对分割出的字符图片进行归一化处理，然后与训练好的模板字符进行匹配识别，使识别出的7个字符显示在文本框中。

5)信息存储：

把文本框中的车牌字符存储至本地数据库，以便对已存储的信息进行查找、删除、更新等操作。

图1 移动式车牌识别系统架构图

2 K-means车牌定位技术的设计与实现

车牌定位、字符分割、字符识别是车牌识别系统的三大功能[2]。其中，最核心的环节是车牌定位，定位的准确与否，将影响后续各个功能模块的实现。目前车牌定位技术大致分为两类，即基于灰度图像的车牌定位技术和基于彩色图像的车牌定位技术[3]。灰度图像定位技术的优点是处理速度快，但它受到光线影响较大。而彩色图像定位技术保存了较多的颜色信息，受光照影响较小，但处理速度较慢。本文提出了一种基于彩色图像的K-means改进方法，用于车牌定位。该方法综合利用颜色像素信息，对车辆图片进行聚类处理，形成颜色聚类模块区。又利用像素点的扫描统计及车牌的长宽比，分割出车牌区域。再对分割出的车牌进行二值化处理，去除多余的边框和空白，得到完整的车牌区域。

2.1 颜色空间模型的转换

基色颜色空间和色亮分离的颜色空间是颜色空间的两大基本类型。常用的RGB(R：红色，G：绿色，B：蓝色)色彩模型就是属于前者；而HLS(Hue：色度，Lightness：亮度，Saturation：饱和度)颜色空间属于后者。HLS将颜色分成一个代表亮的属性和两个代表色的属性[4]。在复杂环境中，HLS颜色空间比RGB颜色空间，更易进行颜色的提取，方便后续的分析处理。因此，本文的定位算法采用HLS颜色空间。

利用已知的RGB值，通过如下公式，可以转换成HLS颜色空间，其中θ为色相角。

(1)

(2)

(3)

2.2 K-means颜色聚类分析

K-means聚类是一种迭代式的无监督学习算法[5]。该算法的基本思想是，将各个聚类子集内的所有数据样本的均值作为该聚类的代表点，以空间中K个点为中心进行聚类，对最靠近它们的对象进行归类。通过迭代过程把数据集划分为不同的类别，使最终评价准则函数达到最优。每个聚类类内紧凑，类间独立。

车辆图片有丰富的的颜色信息，车牌区域的颜色是研究的关键，它的特点是底色区为蓝色或黄色区，其他颜色的区域属干扰区域。如图2所示，本文用改进的K-means方法，通过计算像素值与聚类中心的相异度，把相应的像素点归为对应的颜色类别，将车牌图像中的像素点分成黑、白、黄和蓝4种颜色群，就能快速处理车牌底色区域，利用数字图像处理中的开闭运算等技术找出具有车牌特征的区域，从而实现车牌定位的目标。

图2 颜色聚类过程图

K-means算法步骤：

1) 确定中心向量c1,c2,…,ck并初始化；

2) 分组，将样本分配至最近的中心向量(按照最小距离分配原则)，由样本构造不相交的聚类；

3) 计算每个聚类簇的平均值，并用该平均值代替相应簇中心值；

4) 将所有簇的元素重新按照各自新的中心进行聚类；

5) 重复步骤3)、4)，直至聚类结果不再变化。

结合上述算法步骤，再根据实际情况，可以得出定位的聚类算法。具体过程是：先对车牌候选区域彩色图像进行分析，确定K初始聚类中心点；再根据图像的像素点与这些聚类中心的相异度，将它们分配给与其最相似的聚类，并设置相应的像素点为标准的RGB像素值；经过此次聚类迭代，车辆图片被划分成黄蓝白黑的颜色区，各个颜色区中像素与聚类中心像素相异度已达到最小值，结束迭代。

聚类前后的图像分别如图3，图4所示。

图3 车辆原图 图4 车辆K均值颜色聚类效果图

在聚类后的图片中，不同区域彼此通过颜色区分开来，虽然聚类算法是基于图像的颜色特征，但并不判别车牌自身的颜色，而是根据车牌区域与背景区域具有不同颜色的特性，将具有同一颜色特征的区域聚为一类，进而实现车牌与周围背景区域的分离[6]。

2.3 车牌区域的提取与处理

通过聚类处理后，可以清楚看到蓝、黄、白、黑4种底色区域。在这4种颜色群中，车牌区域有一定的特征，它由7个字符组成，每个字符高度与宽度的比值相等。虽然字符区域面积、宽高比等几何特征易受图像尺寸大小及图像分辨率高低的影响，但是车牌区域宽高比、字符间距等仍在一定的范围内。为了搜寻出车牌大致区域，可以利用下述规则的部分组合：

1)大小规则，去除宽度、高度不在合理范围内的区域。

2)形状规则，去除长宽比不满足设定条件的区域。

3)边缘规则，去除检测不到近水平直线的区域。

4)颜色规则，去除不属于车牌颜色类别的区域。

5)色交换规则，计算水平扫描线上背景和字符的色交换次数，去除色交换次数较少的区域[7]。

利用规则2)、4)，筛选出最符合的车牌区域，从而与周围背景分离出来，并单独显示。为了获得更好的显示效果，对车牌进行二值化处理。处理后的效果如图5所示。

图5 二值化效果图

经过定位处理后的车牌，包含了边界的边框，为了使后续字符分割环节的顺利实现，避免干扰，需要去除车牌区域的边框。

根据边框的特点，并且考虑字符的不连续性，设计以下算法：

先获取图像中所有点的像素值，再计算每一行白色点和黑色点的个数，如果黑色点与白色点的个数之比大于自行设定的阈值Tn，则将该行像素点上下相邻的4个像素点置为白色，这样就可以去除边框[8]。假设g(x，y)为图像中某一行的像素值，分别统计该行白色像素点与黑色像素点的个数，则边框去除效果可用下列公式表示：

g(x+4,y)=R(white)

(4)

其中，g(x-i,y),i=-4,-3,-2,…,4为g(x,y)相邻4行的像素值，R(white)是白色像素值。

行像素处理流程图如图6所示。

图6 行像素处理流程图

对于垂直方向的边框，采用与去除水平边框一致的方法。不同之处是，此时是扫描列方向的像素点，统计列方向的黑白像素比例，处理的流程图如图7所示。

图7 列像素处理流程图

去除边框后的车牌区域，留有较多的上下空白区域，为了使车牌区域字符能更加紧凑地显示，方便后续垂直投影字符分割功能的开展，本文设计一种去除多余空白区域的方法。

车牌字符的特点是，每个字符的高度都相等，每个字符的像素至车牌底边有一定的距离。字符最下方的像素与底边的距离是一样的，记为k1。字符最上方的像素与底边的距离也是一样的，记为k2。保留距离至底边在[k1,k2]范围内的所有像素点，不在这个范围内的像素点则去除，就可以把多余的空白区剔除。

3 车牌字符分割与识别技术的设计与实现

车牌定位完成后，就可以进行车牌字符分割和识别。根据我国车辆牌照特点，本文采用垂直投影特征法，对车牌字符进行分割。并在此基础上，提取待识别字符的特征向量，利用模板匹配算法与标准字符库中每个字符进行特征比对，把相似度最高的模板字符作为识别出的车牌字符进行显示。车牌字符分割和识别的流程图如图8所示。

图8 车牌字符分割和识别流程图

3.1 车牌字符分割的设计与实现

精确定位之后的车牌还是一个整体，需要把每个文字从牌照图像上分离出来，这就是字符分割。车牌字符分割是字符识别的基础环节，分割的效果会直接关系到后续字符识别的准确性。

车牌区域中总共有7个字符，第一个字符为汉字字符，第二个字符为大写英文字符，后五位是英文与阿拉伯数字的字符组合。每个字符的间距都有一定的规律，且不同字符的高度宽度都相等。借助这一特性，可采用垂直投影法，对车牌字符进行分割处理。垂直投影法的基本思想是把精确定位出来的车牌图像经过灰度化和二值化处理后，将二维二值图像的像素分布简化为X轴和Y轴投影图，通过投影图，进行字符的分割处理。

具体做法是，车牌二值化图像像素通过投影之后，用“1”表示目标像素点，用“0”来表示背景像素点[9]。若某列中都是背景点，则该列投影值为“0”，否则，该列的投影值为“1”的累加和。在投影图上，可以清晰看到7个车牌字符的投影区域的投影图像，呈现波峰波谷相接的规律。两个波峰间会有一个波谷。根据这个特点，就可以找到每个字符间的间隙，把7个字符块彼此分离出来[10]。字符分割效果如图9所示

图9 字符分割效果图

3.2 车牌字符识别的设计与实现

车牌字符识别是识别系统实现识别功能的关键。字符识别是对车牌上的汉字、字母和数字进行辨识的过程。本文研究并采用基于模板匹配的字符识别方法，模板匹配算法是图像处理中一种具有代表性的模式识别方法[11]。它的算法思想是，先提取被识别图像的特征向量，和模板库中所有字符的特征向量进行比较，然后计算出两者特征向量之间的距离——图像重合相似度，最后根据相似度的大小来确定字符识别的最终结果。

设目标图像为f(i,j)，检测对象的模板图像为g(i,j)，其失配测度为mismatch。

(6)

因为∑i,jf(i,j)2和∑i,jg(i,j)2是固定不变的，所以当2∑i,jf(i,j)×g(i,j)越小时，mismatch的值就越大，因此可以将∑i,jf(i,j)×g(i,j)作为匹配的测度。由柯西不等式可知：

(7)

(8)

由柯西不等式知0≤R(i,j)≤1，R(i,j)值越大，相似度越高。所以通过计算出目标图像和检测对象的模板图像的相似度R(i,j)，取最大相似值R(i,j)，从而获得识别结果。

在进行模板匹配识别之前，需对分割出的字符进行归一化处理，使其具有相同的大小，以利于模板匹配识别的进行[13]。本文采用非线性归一化方法。

非线性归一化强调按照字符的特征分布来处理，根据水平和垂直方向的字符黑像素的分布进行大小归一化。非线性归一化需要计算字符的质心和水平、垂直方向的散度，然后按比例将字符放大或缩小成规定散度的点阵。

字符模板匹配算法要求建立标准的字符库作为匹配的模板。根据中国车牌的特点，本文设置了阿拉伯数字模板、英文字母模板和汉字模板。模板字符集中包含10个阿拉伯数字(0～9)、24个大写英文字母(A～Z，除去I和O两个字母)、31个省市简称汉字(京、津、冀、晋、蒙、辽、吉、黑、沪、苏、浙、皖、闽、赣、鲁、豫、鄂、湘、粤、桂、琼、渝、川、贵、云、藏、陕、甘、宁、青、新)。

为了提高系统运行速度，减少模板匹配中的计算量，模板库模板字符字迹要明显的清晰，第一个字符进行匹配识别时，只需要使用汉字库的模板，第二个字符进行匹配识别时，使用字母模板，后5个字符进行匹配识别时，采用字母与数字库的混合模板。

设置好上述的模板匹配条件后，就可以将分割出的字符块与标准字符模板进行匹配，计算每个分割出的字符与标准模板字符的相似度，将相似度最大的模板字符作为识别出的字符进行显示。

4 车牌信息的存储

SQLite数据库是一款常用的关系型数据库，遵守关联式数据库管理系统准则，目前广泛地应用于嵌入式产品的开发中。

在Android系统中，利用SQLite，开发适合车牌识别系统的数据库，存储识别出的车牌号。本文采用SQLiteOpenHelper类创建数据库，通过调用SQLiteDatabase类的insert方法，将数据存储至数据库中，使用delete方法删除指定的数据，采用update方法更新数据。处理的流程图如图10所示。

图10 数据库处理

设计的数据库效果图如图11所示。它主要有插入，删除，更新3个按钮，点击其中的按钮，可以实现对应的功能。

图11 数据库效果图

5 结论

本文所研究的车牌识别系统，采用Android软件开发平台，利用Eclipse集成开发工具，对系统各个功能模块进行了测试，调优，并在手机中顺利运行了该识别系统。该系统能对采集到的车辆图片进行车牌定位，车牌字符分割和识别，存储识别出的车牌字符信息。在一般情况下，能够识别被测试的车辆牌照，识别率达到90%。以移动端的应用平台为契机，可以推广该识别系统至电子警察平台。

[1] Hao S，Chao L，Qi W．Real-time anti-Interference location of vehicle license plate using high-definition video[J]．IEEE Intelligent Transportation System，2009，12：17-22．

[2] Paolo C，Paolo F．Optical recognition of motor vehicle license plates[J]. IEEE Transaction on Vehicle Technology，1995，4：28-30．

[3] 庞茂群，邓开发．一种基于灰度图像的车牌定位方法[J]．计算机工程与科学， 2009，31(10)： 39-41．

[4] Shun Hungtsai，Yu Hsiangtseng．A novel color detection method based on HSL color space for robotic soccer competition[J]. Computer and Mathematics with Applications，2012(64)：1291-1300.

[5] 汪 中，刘贵权，陈恩红．一种优化初始中心点的K-means算法[J]．模式识别与人工智能，2009，22(2)：299-304．

[6] 史琳琳．车牌识别中车牌定位技术的研究[D]．上海：东华大学，2012．

[7] 陈寅鹏，丁晓青．复杂车辆图像中的车牌定位与字符分割方法[J]．红外与激光，2004，33(1)： 29-33．

[8] 马文骥．基于Android平台的字符识别预处理算法设计与实现[D]．北京：北京邮电大学，2012．

[9] Rahman T，Kuri S，Habit M．An effective technique to recognize vehicle license plate using mathematical morphology[J]．Global Journal of Computer Science and Technology．2015，15(4)：17-21．

[10] Soora N，Deshpande P．Robust feature technique for license plate characters recognition[J]．IETE Journal of Research. 2015，61(1)：72-79．

[11] Ryan Michael，Hanafiah Novita．An examination of character recognition on ID card using template matching approach[J]. Procedia Computer Science，2015(59)：520-529.

[12] Koji Yamaguchi，Yasushi Nagaya，Koji Ueda. A method for identifying specific vehicles using template matching[A]. Intelligent Transportation Systems，1999 International Conference on[C]. IEEE，1999：8-13.

[13] 李宇成，杨光明，王目树．车牌提取与识别系统的研究与设计[J]．计算机测量与控制，2011，19(1)：158-163.

Research of Vehicle License Plate Recognition System Based on Smart Handheld Device

Wang Weiyi，Zhu Zhenzhong

(School of Mechatronic Engineering and Automation, Shanghai University, Shanghai 200072, China)

With the latest mobile Internet technology, in order to make it more convenient and easy for the traffic police to check the operation of the vehicles, a variety of computer vision algorithms are analyzed and studied. A license plate location technology based on K-means clustering is proposed. License plate area can be certain and located by color clustering analysis. Then, the license plate characters are segmented and recognized by the vertical projection technique and template matching method. The database which can store the character information of the license plate is developed by using SQlite. On this basis, a vehicle license plate recognition system based on smart hand-held device is developed. The system, which has good stability, can recognize the license plates through functional tests.

license plate recognition; K-means; vertical projection; template matching

2015-12-31；

2016-02-15。

王唯一(1961-)，男，江苏镇江人，博士，副教授，主要从事图像分析与处理、模式识别、计算机控制技术方向的研究。

祝振中(1990-)，男，浙江衢州人，硕士研究生，主要从事图像分析与处理、计算机软件技术方向的研究。

1671-4598(2016)07-0200-05

10.16526/j.cnki.11-4762/tp.2016.07.054

TP319 文献标识码：A