基于重建的车牌汉字识别研究

刘龙凤，周欣

（四川大学计算机学院，成都 610065）

0 引言

智能交通系统是衡量一个国家现代化程度的重要指标，而车牌的自动识别是智能交通系统的关键技术之一[1]。车辆牌照识别技术[2]作为智能交通系统的基础，在城市监控系统、车辆违章检查、停车场以及收费站等需要认证车牌的相关场合，都广泛地应用了该技术。我国的车牌字符[3]中包含了英文字母、阿拉伯数字以及笔画繁杂的汉字，其中，汉字字符的识别难度要远大于对字母和数字的识别难度。国内部分道路条件差，以至车牌的污染相较严重；而行驶的车辆号牌也会受泥、油、漆等因素的影响，会给车牌字符在视觉上会造成断裂以及遮挡等现象；同时号牌在其制作工艺上的不规范也会使字符出现变浅以及变模糊的现象；对车辆拍摄的位置不固定，也导致了获取的字符图像产生各种形变。以上因素的存在，导致了车牌汉字识别的过程比一般汉字的识别难度更大。而这也是国内现有的车牌识别系统识别率不够高的主要原因。因此准确识别车牌中的汉字字符，是目前国内车牌识别系统的难点[4]。

1 相关研究

现有的车牌汉字识别技术主要分为三大类：模板匹配识别方法、特征识别方法以及神经网络识别方法。

模板匹配识别方法的基本原理是根据采样得到的汉字样本生成标准的汉字灰度模板图像。在识别时把切分得到的待识别对象大小归一化，灰度归一化之后与标准汉字模板进行一定的匹配计算，匹配度最高的结果即为识别结果。不同的模板生成方式，不同的匹配度计算方法，可以得到对应的各种改进的模板匹配方法。谷秋頔等人[5]在2011 年的文献中已在其基础上提出了一种改进的模板匹配算法。

特征识别方法的基本原理是提取待识别字符的某些固有特征形成特征向量，再根据一定的分类规则对提取的特征向量进行分类判决，从而确定汉字识别结果。根据不同的特征，例如结构特征、SIFT 特征、PCA特征等；或者不同的分类规则，例如贝叶斯分类器、KNN 分类器、支持向量机等，可以得到对应的各种不同的特征识别方法。已有相关文献[6-8]运用以上特征识别方法实现了车牌汉字识别技术。

神经网络识别方法的基本原理是收集大量的字符样本或者样本特征，把样本（或特征）送入构造好的神经网络进行训练，直到网络达到设定的稳定标准。识别时，把待识别样本（或特征）送入训练好的神经网络即可得到识别结果。根据不同的神经网络的输入，以及选择不同的神经网络结构，可以得到不同的神经网络识别方法。杨大力等人[9]在2009 年的文献中即使用该方法进行了车牌汉字识别研究。

上述三种算法各自有其缺陷。模板匹配方法的主要缺陷：模板匹配对于车牌字符定位的准确性要求较高，如果在一定范围进行滑动匹配，又会带来较大的时间复杂度；模板匹配方法对于字符形变敏感，虽然可以通过一些技术来对倾斜以及透视投影造成的畸变进行校正，但是形变对识别的影响还是较大。特征识别方法的主要缺陷：特征提取的效果受车牌质量的影响较为严重。车牌容易受到污损、遮挡等，使其质量退化。这种情况下汉字字符特征提取容易出现较大的偏差，从而影响识别。神经网络识别方法的主要缺陷：神经网络的结构复杂，不易确定；在训练中受噪声的干扰较大，容易陷入局部极值，影响识别效果。

2 算法内容

为了克服以上现有车牌汉字字符识别技术中存在的缺陷，本文提出了一种基于重建的车牌汉字识别方法。算法主要步骤如下：

步骤（1）：对每一车牌汉字，获取M 张不同的车牌汉字图像（M 为正整数）；对这些车牌汉字图像进行缩放至同一像素大小为Z 的灰度图像，求取缩放至统一像素大小的每张图片的图像向量，得到各个汉字对应的参照样本向量集。

步骤（2）：对各个车牌汉字的参照样本向量集求取特征值及特征值对应的图像特征系数向量，利用图像特征系数向量构造特征系数向量矩阵U，每个不同的汉字对应一个不同的特征系数向量矩阵U。

步骤（3）：将待识别汉字图像缩放至与步骤(1)中车牌汉字图像缩放的统一像素大小Z 相同的像素大小，求取其图像向量f，利用F=U*UT*f 得出重建图像向量F，其中UT为U 的转置矩阵。

步骤（4）：比较 F 和 f 相关性 I，相关性 I 最大时使用的特征系数向量矩阵Ui对应的汉字即为待识别汉字图像所对应的识别结果。

3 具体实现

下面结合图1，对本文算法的具体实施方式作进一步的详细说明。

图1 部分标准图像样本

本节对算法具体步骤不再赘述，算法步骤参考本文第二节算法内容。

步骤（1）中根据前述的拍摄角度，拍摄环境及拍摄车牌表面清洁度可能存在的差异，对每个汉字获取M张不同的车牌汉字图像，例如在拍摄角度不同，拍摄时的光照程度不同，拍摄时镜头前方是否有雨，车牌表面是否有泥水斑点等不同情况下拍摄M 张汉字“京”，M值的选取根据需要，M 越大，后续的比对效果越好，可以选择M=500、1000 或1500 等三档，以适应不同的对比效果和硬件条件，本文中M 值为1000。

对每个汉字得到的M 张图像，统一缩放至相同的像素大小Z 的灰度图像，求取相同像素大小的同一汉字的每张图片的图像向量，这些图像向量构成该汉字的参照样本向量集。每个汉字的参照样本向量集包含M 个向量构造每个车牌汉字的样本向量集作为参照样本向量集。

所谓像素大小Z，即灰度图像由若干个像素点排列而成，像素点多，则图像信息更具体丰富，像素点少，则图像信息少，处理速度快，本文算法应用于车牌汉字识别，车牌汉字本身信息量有限，无须太多像素点即可保证图像信息足够后续处理，因此实现过程中采用Z=30×60 的像素大小，即每张灰度图像为长60 个像素点，宽30 个像素点，共1800 个像素点的像素大小。基于车牌汉字图像色彩度有限，无须更高阶灰阶度即可保证图像信息足够后续处理，所以对这些灰度图像的灰阶度优选为256 阶，以适当控制图像处理的计算量。

现有的图像缩放技术已有多种公开算法，例如最近领域插值法、双线性插值法、双三次插值法等传统插值法及对传统插值法进行改良后的偏微分方程插值法、分形法、小波逆向插值法等，本文采用双线性插值法，双线性插值法是有两个变量的插值函数的线性插值扩展，其核心思想是在两个方向分别进行一次线性插值。

假设在关注区域内的所有点的像素值分布都符合连续函数f，且已知函数f 在四个整数像素点Q11=(x1，y1)、Q12=(x1，y2)、Q21=(x2，y1)以及 Q22=(x2，y2)的像素值。对未知点(x，y)首先在x 方向进行线性插值，然后在y 方向进行线性插值。

x 方向的线性插值：

y 方向的线性插值：

即可得出该点的函数值，即为该点的像素值。利用双线性插值法对图像的每个像素点进行增减和灰度变换，可以得到统一像素大小的灰度图像。

步骤（1）中得到各个汉字的参照样本向量集之后，步骤（2）利用参照样本向量集得到各个汉字的特征系数向量矩阵，从参照样本向量集得到特征系数向量矩阵在现有技术中有多种实现方式，本文提供一种从参照样本向量集得到特征向量集的具体实现方式，利用KL 变换获取各汉字的样本均值，并且选取各自产生矩阵中最大的前N 个特征值对应的特征向量，这些特征向量为各个汉字的特征系数向量，并构成特征系数向量矩阵，具体包括如下步骤：

（2）求取各个汉字产生矩阵B 的特征值与特征向量，并且按特征值从大到小排序；

（3）对于步骤Ⅱ得到的特征值与特征向量，选取前N 个特征值对应的特征向量作为特征系数向量；N 满足；其中：λi为产生矩阵B 所选出的前N 个特征值，下标表示不同的特征值；NN 为产生矩阵B 的特征值总个数，α为预先设定的选择系数；

（4）利用步骤（3）中选出的N 个特征向量，构造特征系数向量矩阵；其中 uij为第 i 个汉字的特征系数向量；Ni为第i 个汉字的特征系数向量的个数，Ui为第i 个汉字的特征系数向量矩阵。

KL 变换是一种常用的特征提取方法，在消除模式特征之间的相关性、突出差异性方面有最优的效果。对产生矩阵B 的各个特征值，特征值越大，越能代表表征汉字的主要构造特征，选择前N 个最大的特征值对应的特征向量来构造该汉字的特征系数向量矩阵，可以更好的表现该汉字的图像特征。上述步骤（3）中，α为预先设定的选择系数，α越大代表选择的特征向量在总的特征向量个数中占比越大，选出的特征向量构造的特征系数向量矩阵包含的产生矩阵B 的信息越多，本文选择α=90%，可以较好地满足信息度要求，同时适当的控制后续处理计算量。

步骤（3）中对待识别汉字图像缩放同样采用双线性插值法，缩放图像后图像灰阶度同样为256 个灰阶。步骤（4）比较步骤（3）中得到的 F 和 f 相关性 I，比较两个图像向量相关性的方法现有技术中有多种，例如最简单的逐点相减法。本文中对F 和f 相关性的计算使用下式：

4 结语

本文算法采集各种条件和拍摄角度下的车牌汉字字符作为参考样本，在一定程度上克服了现有模板匹配和特征提取技术难以克服的车牌质量退化和形变问题；特征提取简单易行，参数少（仅仅一个参数α），并且容易理解与调整，克服了现有特征技术中选取特征困难，提取特征复杂的缺陷；在分类识别技术上采用重建图像与原始图像的相关性分析技术，分类器结构简单，计算复杂度低，克服了传统分类器计算复杂，以及神经网络方法结构复杂、不容易收敛到全局极值的缺陷；通过主成分特征重建样本的方法来进行汉字字符识别，是一种简单、快速、鲁棒性高、识别率高的新型车牌汉字字符识别方法。

显然，本文所述的基于重建的车牌汉字识别方法不仅适用于识别车牌汉字，也适用于识别其他汉字、字母、数字、交通标志等简单的符号和线条构成的图像，应用领域也不止适用于交通领域的车牌、路牌识别，也适用于其他类似应用环境下的图像识别，例如野外观测、停车场、港口、机场、仓库等的车流物流管理等。