基于深度学习的车牌定位与字符识别

INSANKEOVILAY NITLAVANH（宁娜文）， 卢 梅， 陈 旋， 张 利， 赵庆超

（1 贵州大学 大数据与信息工程学院， 贵阳 550025； 2 贵州省威宁县中等职业学校， 贵州 毕节 551700）

0 引 言

随着社会的飞速发展和人民生活水平的提高，私家车家庭化的普及率已经较高。 与此同时，社会各行业都在不断提升工作效率，高速公路上出现了不同种类的车辆，目前在交通法规中要求可在高速路上行驶的车辆种类主要有货车、家庭汽车、客运车等［1］。 但当某台车辆在高速公路上出现违规操作时，却可能导致不可预知的严重后果，比如车辆刮擦、车辆碰撞、交通堵塞、追尾、连环追尾，甚至是生命健康危险。 因此，道路交通安全、尤其是高速公路交通安全对各种车辆行驶就变得越来越重要［2-3］。

2018 年中国交通中心研究的报告中显示，在中国，交通事故主要可归因于交通违规、车速太快、醉酒、疲劳驾驶及意外事故等，但到目前为止各类因素所造成的交通事故正在逐年减少，而这一结果的直接技术性原因则得益于人工智能图像识别和智能数据处理技术的应用［4］。 武云飞（2020）［5］在研究中提到完整的车牌识别系统（License plate recognition system，LPRS）一般由车牌摄像系统、车牌检测、图像采集、车牌定位与字符分割提取、车牌信息识别和数据库比对管理。 渠秋会等学者（2020）［6］在研究中提到国内在识别技术方面起步较晚，当前在进行图像获取时主要是采用红外照明摄像模式，并据此来达到较高的识别效果。 不过这样一来相应成本投入就会较高，因而存在一定的应用局限性。 在进行车辆识别时，研究涉及到的问题有两个方面，分别是:车牌定位和车牌字符识别。 相应地，也可以将此种系统划分为两个子系统。 Sanjana（2020）［7］在研究中提到为了解决相关车牌本身以及与拍照和背景的问题，可通过有针对性的定位方法来进行解决，并在车牌准确定位方面取得了较好的效果。 然而为了适应现代交通业迅速发展的形势需要，道路管理对车牌定位的准确率要求也在不断提高，因而就很有必要对车牌定位展开进一步的研究［8］。 在进行了车牌定位研究后，就需要识别出车牌上的字符信息，这些字符信息中包括着字母、数字、汉字，其中识别难度最大的就是汉字。 因而亟待研发找到有关汉字字符的高效识别方法。 目前，在这方面的研究已取得了一些进展，不过大都没有达到预期的效果，且和现代化交通系统的相关需求间还存在一定的差距。 因而致力于字符识别的深入研究是目前学界的重点讨论课题。

依据车牌特征来选择不同的车牌定位方法。 现如今，较为常用的车牌定位方法包括了:边缘检测技术［9］、通 过 颜 色 语 义 分 割 技 术［10］、小 波 变 换 技术［11］、遗传优化方法［12］、数字形状方法［13］以及基于二值图形纹理特征分析的方法［14］等。 本次研究主要是基于智能化深度学习算法来研发道路车辆车牌识别技术。 目前，车牌识别技术已经解决了车辆闯红灯和超速问题，在此基础上，探讨研究基于智能化深度学习算法的道路车辆车牌识别技术对中国道路交通安全便利发展显然有着重要意义。

1 数据集

本文采用CCPD 数据集［15］抽样500 张的方式获取训练数据集。 其中，400 张作为训练集，搜集随机拍摄100 张图片作为测试集。

CCPD 数据集是采自合肥街道上，每张图片仅包含一张车牌。 数据集中的图片采集时间为早上7:30 到晚上10:30，并选择在不同天气、位置、角度拍摄得到的，共包含25 万张图片。 部分详情见表1。

表1 CCPD 数据集说明Tab． 1 Description of CCPD data sets

1．1 数据预处理

通常情况下，车牌的数字、英文及中文之间往往存在着一定的变化规律。 例如，一般的车牌由以下字符构成:开头的字符是省份的缩写，接着是大写英文，后面的5 个字符则由字母或者数字构成，目前常见的车牌都是遵照以上标准来进行定制的。 7 个汽车字符的总长度为40.9 cm，且字符的宽度、字符之间的距离以及汽车车牌的小圆点都有具体的宽度规定。 基于此，在进行车牌的中文、英文及数字字符分割时，通常采用的就是垂直投影法和连通域法。 对此拟做阐释分述如下。

（1）垂直投影法。 在进行中文、英文及数字分割时，该方法利用了3 种字符竖直方向上的投影必然正确的原理进行计算。 在计算过程中，应注意不能超过各个字符的最大限制［16］。 当遇到第一个局部最小值之后，将找到点设置为最右边的字符边界。类似地，可以获得最左边的字符边界。 根据两边的字符边界，就能够准确地推断出整个车牌的实际宽度。 由于大多汽车车牌都是由7 个字符组成，且7个字符通常能够占到8 个字符宽，因此根据前期知识就能有效地进行字符分割，防止出现分割过度现象，从而达到最佳的分割效果。

（2）连通域法。 作为连通域算法，即利用字符或者字符当中的一部分组成连通域，并可将这些连通域进行有效的分割［17］。 考虑到7 个字符中，一般只有第一个字符为汉字，因此可将其作为理想状态的“全”连通字符进行计算。 但在实际应用中，由于大多车牌处理时会产生较大的噪声，甚至部分车牌连肉眼都较难分辨，利用该算法往往难以取得预期的效果。 为此，很多学者就对连通域算法相继研发出了不同的改进方法，确保车牌中的各个字符都能得到有效识别。 例如，灰度图上的优化，这是因为车牌是由多种彩色元素组成的，通过图像的二值化操作能得到更好的对象目标。 或者利用车牌自己的先验条件来合并或者分割字符的连通处，此外针对车牌中字符连接的情况还可以用单独的阀值来做分割。 通过上述方法则能够达到更好的多次分割效果［18］。

车牌图像中常会包含多个字符信息，在对字符进行识别时，就要依据不同的字符特点来做出分割，为字符识别打下基础［19］。 处理过程具体如下:

（1）对图像进行逐行扫描，确定字符高度范围。

（2）在此区域进行横向扫描，确定字符宽度区间。

（3）纵向扫描，确定各字符的精确高度区间。

1．2 字符归一化预处理

视频中截取的图片f（i，j），宽w、高h，同比例操作后图像g（x，y），宽W、高H。 图像中，点（x，y） 对应截取图像中点（i，j），具有相同的值。 对此可用如下公式进行描述:

此时，可得:

相对而言，语义分割得到的字符大小各有不同，故而对于每个字符可以进行统一规范化处理。 研究中，本文通过对每个字符构造16×32 点矩阵标准模板，将分割后的字符图线性缩放为16×32 点矩阵。大小归一化后的字符识别的准确度也会更高。

2 本文模型框架

国内的车牌是由各省份简称以及英文和数字组成的，因此，本次研究中车牌识别本质上就是对字符串的识别。 论文中采用BP（Back Propagation）神经网络［20］作为模型的主干网络。 BP 神经网络是一种具有连续传递函数的多层前馈反向传播的网络，是一种结构简单、且获得了广泛使用的非线性不确定性数学模型。

模型采用了多模板（Multiple Template， MT）与BP 神经网络结合方法原理:将预处理后的车牌图像字符输入到算法模型中，随后由模板匹配方法进行识别，将简单、易识别的字符快速识别输出，将较难识别的字符输入到BP 神经网络中快速、精准地识别得到结果。 文中给出的算法模型结构如图1 所示。

图1 TM－BP 神经网络算法模型Fig． 1 TM－BP neural network algorithm model

2．1 多模板匹配

多模板匹配算法流程框图如图2 所示。 由图2可知，模板匹配法的实现过程为:通过指定的模板和原图中的某一块区域做比对，在初始时对二者的左上角点像素进行比较，若完全重合，此后将对其余的位置进行同样比对，待全部位置都比对结束后，差别最小的就是所需物体。 分析可知，这种处理过程中需要进行大量的对比，因而工作量很大。

图2 多模板匹配算法流程框图Fig． 2 Flow diagram of multi－template matching algorithm

如果已经取得字符的这13 个特征，就只要比对这些特征，而这些特征模板的匹配情况则可以通过匹配值来做出比较描述。 研究中涉及的数学计算公式为:

其中，A（k） 表示第k个特征的权值；I（k） 为待匹配字符的第k个特征；T（k） 表示对应的模板库中相关模板的第k个特征。 当D（i） 越小时，匹配度越高。

2．2 多层BP 神经网络

模板匹配方法输出的结果有两种情况，即:一个匹配度最低的一个结果；还可能会得到多个结果，即匹配度相差较小的多个结果。 在第一种情况中，将预处理后的车牌图像输入到BP 神经网络模型中，输出匹配度最高的情况，再与多模板方法进行对比，输出结果，否则再次迭代。 在第二种情形下，要在第一种情况处理基础上，再叠加一步运算，即将模板匹配法输出的结果输入到BP 神经网络中，输出匹配度最高的结果。 本次设计仅考虑第一种情况。

3 实验测试结果分析

通过随机在街道拍取来构建数据集，数据集中包括正面清晰数据、侧面模糊数据以及夜晚光照太暗或太亮的数据作为本文实验的测试集。 实验数据样本如图3 所示。

图4 为随机获得的白天图像数据测试结果。 图4（a）为“贵F.DL873”的正面清晰照和侧面复杂环境模糊照，从识别结果来看，正面清晰照的结果符合预期，能够快速且正确地识别结果，达到了100%的匹配率。 图4（b）为侧面照，再处理时由于光线及图像预处理出现了部分问题，所以导致最后的结果出现偏差，结果匹配率为75.4%，但仍然具有一定的参考价值。

图4 随机获得的图像数据测试结果Fig． 4 Test results of randomly obtained image data

图5 为“贵F.60A51”在实验中随机获得的夜晚图像数据测试结果，在较暗或较亮的情况下，模型的性能受到一定的影响。 夜间采集的该图像有部分被光线模糊，在预处理时未能获得清晰效果，导致前2个字符模糊在一起，最终识别匹配率为85.714%。

图5 夜晚图像数据测试结果Fig． 5 Test results of night image data

从文中的识别结果来看，本次研究的TM-BP神经网络在图像识别匹配上能够快速精准地匹配结果，但在特殊环境下获得的图像，在预处理环节中存在较大的局限性。 因此本系统在投入使用时，采用高清晰度的图像采集设备，并与本文识别算法相结合，可以精准地实现车牌识别。

4 结束语

本文通过卷积神经网络的方法研究了车牌定位与车牌数字识别。 首先，通过色彩分割、小波变换、遗传算法、数字图像等分析方法对车牌定位进行研究。 然后，利用图像字符纠正预处理、图像字符分割提取、字符归一化预处理三个部分对车牌字符处理方法进行更深入的探讨与剖析。 通过深度学习技术来推动交通领域的车牌定位与字符识别，可以更好管控道路车辆安全行驶，从而大大提升了人民的安全出行保障。