基于深度学习的倾斜车牌矫正识别

李晓燃



基于深度学习的倾斜车牌矫正识别

李晓燃

（天津职业技术师范大学 汽车与交通学院，天津 300222）

车辆号牌矫正识别技术是交通系智能化体系中一项非常重要的基础功能。拍摄的车牌图像受到各种外部环境的影响而导致图像质量受损严重，文中通过运用深度学习的霍夫变换改进算法，针对大角度倾斜的车辆号牌研究其矫正识别技术。首先，利用基于深度学习的特征提取和识别方法，解决车辆号牌中相似字符的分类问题。建立五层深度网络，通过由底层向高层的顺序，获取归一化处理后的图像中相近字符特征，然后通过卷积函数提取出字符边缘特征并完成差异性比较；其次，利用集成深度学习的不同层次的识别方法有效解决车牌图片字符的识别效率问题。利用支持向量机完成对字符的统计和分类工作，通过卷积神经网络对其进行识别优化，分析模糊相近字符并最终获取车辆号牌识别图像。最后，在充分利用区域范围分划和霍夫变换的车牌倾斜校正方法后完成大角度车牌的矫正和识别。实验证明，采用文中方法能够对百幅以上大角度倾斜车牌图像实现有效矫正与识别。

深度学习；大角度；车牌识别

0 引言

我国改革开放40年的发展成果举世瞩目，工业化进程和国民生活水平也稳步提高，汽车也广泛的走进了人们的日常生活，成为了不可或缺的出行工具[1-2]。到2017年末我国机动车保有量突破3.1亿辆，其中新增车辆2304万余辆，保有量增长再创新高[3]。这同时也给本就拥挤的城市交通带来了巨大的压力，目前的城市交通发展程度显然满足不了如此快速的机动车增长速度，导致城市交通的早晚高峰或恶劣天气情况时的道路异常拥堵，且违章与事故频发[4-5]。智能交通系统能够有效解决上述问题，智能交通系统是集信息、图像处理及数据输送等多项技术的综合，可自动对当前车辆实行监控并进行数据分析。在智能交通系统中，车辆识别技术被认为是其基础及关键的功能之一[6-7]。车牌作为车辆的身份标志，容易受外部环境影响，光线照射不均匀、拍摄角度偏差大、图像背景复杂及车牌污染损坏等。为使车辆唯一外部标识达到有效识别的目的，文献[8]中提到部分学者利用数字图像处理技术实现了车辆号牌的识别。第一步通过图像分割找出车辆号牌位置，第二步通过匹配比较事先录入的构造字符模板达到字符识别目的，最后自动识别出车辆号牌。文献[9]中指出利用基于彩色图像处理方法使HLS彩色模型的方法识别率提升到了最高91.25%，可是大量的数据计算导致其整体运算速度偏低。文献[10]中提到在车辆号牌识别研究中运用了光学字符识别技术，车牌位置定位是通过梯度分析的方法完成的，号码识别是通过模式匹配和模板以及启发式的算法综合达成的。这一方法在现实使用中的识别准确率和识别速度都有较大的提升，但是在实时性方面没有实现相应的要求。充分研究了上文提到的方法中存在的问题，文中提出以深度学的霍夫变换改进方法为基础矫正和识别大角度倾斜车辆号牌的方法。

1 基于深度学习的大角度倾斜车牌矫正识别过程

1.1 基于深度学习的多层次识别方法

车牌识别方法决定其是否可以准确快速地识别车牌号码，一般识别过程为字符预处理、字符图像特征提取及类别分析。文中首先针对车牌中存在相似字符问题进行分析，通过使用归一化处理后的图片，利用基于深度学习的特征提取法对车牌中相似字符实行特征提取，然后采用卷积函数对字符进行分类识别。

字符成功识别的一个重要前提即为图像预处理。外界干扰因素直接影响号牌图像中字符的识别，所以相应的图像预处理工作非常重要且必要。归一化处理分割过的单体字符，也就是统一按照特定尺寸要求对分割的字符进行缩放操作，这样有利于进一步识别字符。

文中运用深度卷积神经网络实现车牌中相似字符识别过程。运用反向传播模式，对相似车牌字符图像特征进行有效提取。卷积神经网络的主要特点是具有卷积层和下采样层的神经网络，一些二维特征提取平面构成卷积层，在全部平面上分布较多神经元。由卷积核和偏置对输入的数据进行卷积操作，再利用某个转换函数获取特征图像；下采样层是对上层输出的特征映射图进行池化操作。一般情况是先提取数据特征，将所有神经元连接到上一层相对局部区域，并提取该区域特征，然后通过移动使这一区域连接到新神经元，完成全部对应区域的特征提取。卷积过程完成了提取字符图像对应全部位置上的特征，然后传输至下一层，保证字符特征采集的完整性，也突出所有字符特征的差异性，对后续字符识别而言意义重大。

下采样层利用上层输出数据进行后续的池化操作。经过下采样步骤后，输出和输入相同个数的图像特征点。下采样层计算公式具体描述为：

其详细过程为在深度卷积神经网络的卷积层和下采样层分别处理输入字符，当层级由低到高变化时输出特征会越来越抽象。通过层层提取相关特征，最终在高层得到抽象语义特征。

在识别车牌过程中，由于车辆号牌出现相似字符几率大，基于此文中利用SVM完成字符的最初识别，之后将被SVM误识别的相似字符通过深度学习算法完成再次识别，最终得出车牌号码。在对车辆进行识别过程中，应先对车牌位置实行定位，文中运用颜色特征及图像边缘特征当作判定车牌的依据，并采用分类功能较好的支持向量机区分车牌区域与非车牌区域，以保证识别车牌的准确性。

经过将车牌彩色图像转化为HSV颜色空间的图像后，车牌蓝黄区域即可显示，利用边缘特征提取方法，对图像中的车牌轮廓的矩形区域进行筛选，删除比较小及比较大的区域。然而上述操作中包括非车牌矩形区域，因此需采用SVM分类器对上述矩形区域进行真伪判定。

运用Lagrange优化法使分类面优化问题变换成对偶优化，则可表述为：

最后可描述最优分类判别函数为：

通过上述过程利用先验知识，结合对车牌的大小及长宽等因素的分析，可分辨出每个车牌区域及非车牌区域，由此筛选及分类后可提升识别的准确性。为提升对相似字符的识别准确率及效率，利用SVM进行第二次分类识别，文中结合数据集及深度学习，构建相似字符训练集，并利用卷积神经网络二次识别字符样本。

1.2 基于区域分划及霍夫变换的大角度倾斜车牌矫正方法

图2 车牌垂直倾斜方式

垂直右倾：

垂直左倾：

综上所述，文中通过运用深度学习的卷积神经多层次车牌识别法，首先针对相似字符车牌进行初步识别，再针对出现大角度倾斜情况的车辆号牌，通过运用以区域分划和霍夫变换的改进方法完成大角度倾斜车牌矫正过程。具体该方法流程如下图3所示。

2 实验结果与数据分析

为检测文中的基于深度学习的霍夫变换改进方法的有效性能，实验选取150张车牌图像，其中包括亮度与模糊度不同的多张大角度倾斜图片，利用车牌定位处理后的图片进行实验，并与文献[8]方法与文献[9]方法所获取结果进行比较。分别运用文献[8]方法、文献[9]方法及文中方法对大角度倾斜车牌图像实行矫正识别，对比上述3种方法的识别准确率及效率，具体如表1数据所示。

观察上表1，表中数据显示，利用上述三种方法对大角度倾斜车牌图像进行矫正处理，从车牌矫正正确率角度看，文献[8]方法与文献[9]方法的倾斜车牌矫正正确比例分别为89.65%和90.31%，而文中方法为98.50%，正确率较高；从车牌图像平均矫正速度角度看，文献[8]方法与文献[9]方法的倾斜车牌矫正正确速度分别为0.542 s和0.468 s，文中方法平均矫正速度为0.146 s，基于深度学习的倾斜车牌矫正方法效率更高。

图3 基于深度学习的霍夫变换改进方法

表1 大角度倾斜车牌识别准确度与效率

Tab.1 Accuracy and efficiency of large Angle tilting license plate recognition

从150张图片中选择一张倾斜图片，如图4所示，比较文献[8]方法、文献[9]方法及文中方法矫正倾斜车牌角度的性能，具体如图4-图7所示。

图4 倾斜原始车牌

图5 文献[8]方法矫正识别后车牌

图6 文献[9]方法矫正识别后车牌

图7 文中方法矫正识别后车牌

观察图4-7可发现，分别运用文献[8]方法、文献[9]方法及文中方法对大角度倾斜车牌进行矫正识别处理，标准矫正角度为±2°，采用文中方法对车牌进行矫正后符合该标准角度值，因此文中方法性能更优越。

3 结论

车牌是车辆身份的标志，由于多种外部原因导致对大角度倾斜车牌识别不准确，针对上述问题文中提出运用基于深度学的霍夫变换改进方法对倾斜车牌实现行矫正识别过程。对于车牌中存在相似字符问题，运用归一化处理后的图像通过卷积神经网络提取图像特征，并采用SVM方法对字符进行二次识别，再结合霍夫变换方法，最终完成对大角度倾斜车牌的矫正过程。

[1] 童锋亮. 日常生活的交通解决方案[J]. 经营者(汽车商业评论), 2017(6):195-200.

[2] 白金国. 汽车与交通发展现状及趋势分析[J]. 时代农机, 2017, 44(4): 52-53.

[3] 沈后功, 周凯. 2015年全国机动车和驾驶人迅猛增长新增汽车1781多万汽车保有量增长创历史新高[J]. 汽车与安全, 2016(2):41-41.

[4] 石路仡, 王亚兰, 邓小杰,等. 城市交通拥挤的根本原因及对策分析[J]. 科技创新与应用, 2016(34): 12-13.

[5] 沈丽娜, 程介虹, 冯丹. 基于GPS轨迹数据进行分析改善城市交通拥挤[J]. 中国新通信, 2016, 18(21): 61-61.

[6] 陶永, 闫学东, 王田苗, 等. 面向未来智能社会的智能交通系统发展策略[J]. 科技导报, 2016, 34(7): 48-53.

[7] 曹晶. 新形势下智能交通系统中的车牌识别技术研究[J]. 通讯世界, 2016(8): 272-273.

[8] 孙强. 数字图像处理技术在智能交通中的应用[J]. 吉林工程技术师范学院学报, 2016, 32(7): 92-94.

[9] 孔祥斌, 常贺, 蓝浩铭, 等. 基于Lab色彩空间和ANN神经网络的车牌识别系统[J]. 软件, 2017, 38(12): 5-9.

[10] 王波, 刘丰年. 基于粗糙集的快速车牌字符识别技术[J]. 软件, 2010, 31(10): 44-48.

Identification of Tilting License Plate Correction Based on Deep Learning

LI Xiao-ran

(School of Automobile and Transportation, Tianjin Normal University of Vocational Technology, Tianjin 300222)

Vehicle plate correction and recognition technology is a very important basic function in intelligent system of traffic department. The image quality of the license plate image is seriously damaged due to the influence of various external environments. In this paper, we use the hough transform to improve the algorithm, and study the correction and recognition technology of the vehicle plate with large angle. Firstly, the feature extraction and recognition method based on deep learning is used to solve the classification problem of similar characters in vehicle number plates. A five-layer depth network is established to obtain the similar character features in the image after normalization processing through the order from the bottom to the top, and then extract the character edge features through convolution function and complete the difference comparison. Secondly, the recognition efficiency of license plate image characters is effectively solved by using different recognition methods of integrated depth learning. Support vector machine is used to complete the statistics and classification of the characters, which is identified and optimized through convolutional neural network, and the fuzzy close characters are analyzed and the vehicle license plate recognition image is finally obtained. Finally, the correction and recognition of large angle license plates are accomplished by using the method of region division and hough transform. Experimental results show that this method can effectively correct and recognize over 100 large Angle tilting license plate images.

Deep learning; Large angle; License plate recognition

TP391

A

10.3969/j.issn.1003-6970.2018.10.042

李晓燃(1992-)，男，硕士在读，研究方向：数字图像处理。

李晓燃. 基于深度学习的倾斜车牌矫正识别[J]. 软件，2018，39（10）：215-219