车辆管理中的车牌识别问题

卢鸿 温燕军 钱蓓

[摘 要]通过对图像进行灰度化、二值化、滤波操作和膨胀腐蚀，完成车牌定位前的预处理，然后根据车牌区域的边缘信息、颜色特征、纹理特征等进行车牌定位，最后根据字符特征分割车牌图像，完成车牌分割;运用卷积神经网络的方法对分割后的车牌进行字符串识别。

[关键词]车牌识别;车牌定位;字符分割;字符识别;卷积神经网络（CNN）

一、问题重述

随着智能技术的发展和成熟，很多场合开始使用智能识别技术代替人工操作，车牌自动识别系统就是一种智能识别技术，该技术是一种基于计算机图像处理的技术，在各种车辆管理系统中有着广泛的应用。试建立数学模型解决以下两个问题。

问题1：识别下图中的车牌或其他汽车车牌。

问题2：试识别附件图片包中的汽车车牌，讨论所建模型的合理性、效率。

二、模型的建立与求解

车辆拍照识别（License Plate Recognition，LPR）系统主要应用于智能交通系统，是智能交通领域的重要研究课题之一，它主要包括四个方面：对汽车车牌图像进行预处理、系统进行车牌定位、汽车车牌字符分割、汽车车牌字符识别依次进行各项处理，最后识别给定图片中的车牌。我国普通小型车车牌由七个字符构成，第一个字符为各省、直辖市、自治区的简称（黑、吉、辽、京、津、沪等），第二个字符为英文大写字母A～Z，其中I和O一般不用，以避免与数字1和0混淆，第三至第七位字符为英文大写字母A～Z或数字0～9。

（一）问题1模型的建立与求解

针对问题1，因为问题1需要识别的车牌图片只有车牌，所以对图片进行的预处理中不需要车牌定位，直接采用直方图均衡化的方法对图像进行增强，然后对图像进行去噪。由于图片中的车牌已经是正中的，所以字符分割中的倾斜矫正也可以省略。字符分割之前，首先要进行图像的二值化，然后再进行图像的字符分割，从而分割出一个个具体的二值图表示的字符图像点阵，作为单字识别的输入数据。分割之后需要统一字符大小，因此对其进行归一化和去边框处理，最后进行字符识别。

1.图像预处理

第一步：为了增加图像的全局对比度，对原图进行直方图均衡化处理。

第二步：用HSV算法对均衡化处理后的图像进行处理，处理后对比图如图2所示。

第三步：对经过HSV算法处理过后的图像进行颜色滤波处理，处理后如图3。

第四步：对颜色滤波处理后的图进行形态学滤波处理，去除面积小于30的小对象，从而达到去噪效果，如图4所示。

如图5所示，可以看出方法一中采用的灰度+形态学滤波处理方法得到的图像在“B”到“9”字样中还残留大部分白色背景，而方法二采用的颜色过滤+形态学滤波处理方法得到的图像在背景处理方面效果更佳。

2.字符分割

用投影分割字符的方法对车牌中的字符进行切分和提取。

投影分割方法的原理是首先将车牌图像转换为二值图像（设白色为1，黑色为0），然后将车牌像素灰度值按垂直方向累加，即所谓的垂直投影。由于车牌中字符之间的灰度值通常为0，因此，投影图将会在字符之间形成谷底，或者说在字符处形成波峰（一种特殊的波峰）。通过寻找两个波峰之间的谷底， 再结合车牌字符的高度、间距的固定比例关系等先验知识，来分割车牌图像中的字符。将其作为字符分割的位置，完成字符的分割。

3.字符识别

车牌分割，分割之后需要统一字符大小，因此对其进行归一化和去边框处理。然后采用卷积神经网络（convolutional neural network，CNN）进行字符识别。

卷积神经网络的工作原理可以分为网络模型定义、网络训练以及网络的预测三个部分。本文所用卷积神经网络中，参数如下表1所示。

接下来构建训练集，运用构建的训练集对大小为七万的样本集进行了训练，可得到如图7的训练误差曲线图。

针对训练集，从样本集中取1%的样本构成测试集，对所构成的训练集进行验证，验证结果如图8所示，由图可知，构建的训练集识别率较高，经计算得到误差率为3.276%，即正确率为96.724%。

对问题1中车牌号为“赣B·04195”的车牌进行图像预处理及字符分割后，用卷积神经网络对其进行识别，识别结果如图9。

由图9可知，上述方法对问题1中给定图像有较好的去噪及识别效果，问题1构建的模型具有较高的可行性。

（二）问题2模型的建立与求解

1.问题2模型的建立

（1）图像预处理

对于车牌图片的识别，先采用直方图均衡化的方法对图像进行增强，通过灰度化、二值化、滤波操作和膨胀腐蚀完成图像定位前的预处理。

灰度化

本文主要采用加权平均值法：根据重要性或其他指标给R、G、B赋予不同的权值，并使R、G、B等于它们的值的加权和平均，即

其中Wr、Wc、Wa，分别为R、G、B的权值，由于人眼对绿色的敏感度最高，对红色的敏感度次之，对蓝色的敏感度最低，当Wr=0.30，Wc=0.59，Wa=0.11时，能得到最合理的灰度图像。

（2）车牌定位

①基于边缘分割法

图像分割的一种重要途径是通过边缘检测，即检测灰度级或者结构具有突变的地方，表明一个区域的终结，也是另一个区域开始的地方。这种不连续性称为边缘。不同的图像灰度不同，边界处一般有明显的边缘，利用此特征可以分割图像。图像中边缘处像素的灰度值不连续，这种不连续性可通过求导来检测到。

但基于边缘并不适用于所有图像，对于边缘不清晰的图片处理效果差，如图10所示。

②基于颜色检测法

这种方法采用HSV模型，这个模型中颜色的参数分别是：色调（H），饱和度（S），明度（V）。色调H用角度度量，取值范围为0°～360°，从红色开始按逆时针方向计算，红色为0°，绿色为120°，蓝色为240°。它們的补色是：黄色为60°，青色为180°，品红为300°;饱和度S表示颜色接近光谱色的程度。一种颜色，可以看成是某种光谱色与白色混合的结果，其中光谱色所占的比例愈大，颜色接近光谱色的程度就愈高，颜色的饱和度也就愈高。饱和度高，颜色则深而艳。光谱色的白光成分为0，饱和度达到最高。通常取值范围为0%～100%，值越大，颜色越饱和;明度V表示颜色明亮的程度，对于光源色，明度值与发光体的光亮度有关;对于物体色，此值和物体的透射比或反射比有关。通常取值范围为0%（黑）到100%（白）。采用基于颜色处理后图像如图11。

但基于颜色检测法并不适用于所有图像，对于具有大范围蓝色的图片识别效果差，如图12所示。

③基于边缘和基于颜色

由于基于边缘对于车牌边缘不够明显或有其他边缘干扰的图片处理效果不佳，而基于颜色检测法对于有大面积蓝色背景的图片处理效果不佳，所以本文采用将上述两种方法结合起来的处理方法对图片进行处理，基于边缘和基于颜色检测法可以更加清晰准确地对所给图片中的车牌进行定位，此方法适用范围更广，可用性强，如图13。

根据图13可知，基于边缘检测法或基于颜色检测法处理效果不佳的图片，在采用基于边缘和基于颜色检测法后能得到较好的处理效果。

（3）字符分割

在了解车牌字符的规律之后，可以根据车牌的特点对字符进行分割。一般最容易想到的方法就是根据车牌投影、像素统计特征对车牌图像进行字符分割的方法。它的精髓是对车牌图像进行逐列扫描，统计车牌字符的每列像素点个数，并得到投影图，根据车牌字符像素统计特点（投影图中的波峰或者波谷），把车牌分割成单个独立的字符。

图像的边缘信息一般都是高频信息，所以在水平、垂直方向上对车牌图像进行小波变换，对其高频信息进行重构，获得相应的高频信息方面的子图，在车牌垂直投影图像中找到每个车牌字符的边界所在位置，并记下边界位置的横坐标;同理在水平投影图像中找到相应的边界的纵坐标，再根据相应的字符坐标值将字符分割出来。

2.问题2模型的求解

（1）附件中图片的识别结果

用问题2中所构建模型对问题2附件中所给图片进行车牌识别，部分结果如图14。

（2）模型的合理性分析

由模型的建立过程可知，将基于边缘和基于颜色两种方法结合起来，可以更加清晰准确地对所给图片中的车牌进行定位，此方法适用范围更广，可用性强。但由于样本集的缺失最后的识别结果不太理想，正确率为83.629%。

（3）模型的效率分析

通过MATLAB软件编写程序建立CNN神经网络联合模板匹配的车牌识别系统对问题中的图片进行识别，无论输入怎样的原图，识别时间都为0.3秒左右，可见模型有较高的效率。

三、 模型的优缺点

1. 模型的优点

（1）车牌定位充分利用图像中的颜色信息、边缘信息。解决了因车牌位置在车辆图像中的不确定、抓拍图像易受环境因素干扰、较复杂背景的干扰及照片质量低下等问题。

（2）模型能实现边缘的准确定位、高速并行计算，且处理速度与图像大小无关， 采用CNN神经网络对不同的分割字符进行准确识别，具有较高的普遍性。

2. 模型的缺点

本模型CNN网络由于训练样本集不够完善对图片质量不高的字符识别率较低，对8和B易混淆。车牌定位在复杂的环境下没有那么理想，如在周围有许多车，边缘，颜色比较复杂时难以定位。

参考文献：

[1]凌翔，赖锟，王昔鹏.基于模板匹配方法的不均匀照度车牌图像识别[J].重庆交通大学学报（自然科学版），2017（8）.

[2]彦冬，郝宗波，雷航.卷积神经网络研究综述[J].计算机应用，2016（9）.

[3]彭清，季桂樹，谢江林，等.卷积神经网络在车辆识别中的应用[J].计算机科学与探索，2018（2）.

[作者单位]

1.赣南师范大学数学与计算机科学学院;2.赣南师范大学计财处

（编辑：郑晓燕）