基于深度神经网络和迁移学习的高精度车辆识别系统研究

吕兴琴 郭晓瑜 蔡小丹

摘要：近年来，我国大力推进智慧城市和智慧交通建设，在车牌识别领域所要求的识别精度、场景适用性和反映灵敏性也越来越高。文章提出了一种基于深度神经网络算法的高精度车辆识别系统，利用开源图形化视觉处理库OpenCV和数据分析处理库NumPy对车牌进行图像预处理。基于预处理后的数据，利用深度神经网络学习框架TensorFlow进行学习训练，实现了对车牌的快速精准识别。系统首先对车牌所在位置进行定位，其次对锁定后的车牌图像进行切割，再次将车牌背景和文字通过像素点移位算法由彩色图像转换为灰度图像，最后实现字符的切割与识别，得到所要识别的车牌数据。实验结果表明，与传统识别系统相比，基于深度学习的识别系统准确率更高，识别速度更快。

关键词：智慧交通；车辆识别；深度神经网络

中图分类号：TP389文献标志码：A

0 引言

近年来，我国的汽车保有量在不断增加，交通安全、城市公共管理等领域对于车牌识别技术的需求日益增加，能够更有效、便捷地对车辆进行管控对我国的基础建设十分重要［1］。

随着计算机技术的不断发展，基于人工智能的深度学习算法在车辆识别中得到了广泛应用。本文提出了一种基于神经网络的高精度车辆识别系统，采用基于卷积神经网络的深度学习模型，在图像预处理的基础上利用TensorFlow框架对车牌及字符模型进行学习和训练［2］，大大缩短了识别时间，提高了识别成功率，方便了城市的交通管理和智能化建设。

1 车牌图像预处理

由于拍摄环境、光源、背景、噪声等外界因素的影响，直接对采集到的车牌图像进行识别会有一定的困难，所以在识别车牌图像之前需要先进行图像预处理。本系统先采用灰度处理和高斯滤波平滑处理方法对图像进行颜色空间转换和角度变换，使得图像噪声减少，突出车牌字符，保障后期的车牌检测和定位；再采用二值化和边界提取算法进行车牌字符识别。整体流程如图1所示。

1.1 灰度处理与滤波去噪

在交通网络中，所使用的拍摄设备基本是彩色摄像头，获取的汽车车牌图像也都是彩色图像，图像所包含的信息也很多，所以需要先对图像进行灰度化处理。图像灰度化就是以一定的方式将原本图像的灰度值替换成新的有利于后续处理的灰度值。灰度处理后需要处理的数据量将大大减少，从而提高运算效率。

经灰度处理后的图像仍会存在一些不同程度的噪声干扰，比如脉冲噪声、高斯噪声等。本系统采用高斯滤波算法来去除噪声对车辆图像的污染。高斯滤波是一种线性平滑滤波，对脉冲噪声、高斯噪声的抑制效果明显。采用cv2.GuassianBlur函数指定卷积模板去扫描图像中的每一个像素，然后用模板确定的邻域内像素的加权平均灰度值去替代模板中心像素点的值。常用的高斯模板［3］如图2所示。

1.2 边缘定位提取与二值化

我国汽车车牌布局十分规则整齐，最常见的背景色为蓝色，文字颜色为白色，并且车牌内部的文字内容大约占据车牌的30%，所以本系统采用传统的Sobel算法［4-6］进行边缘检测。

Sobel算子是一个用来计算图像灰度函数的近似梯度的离散微分算子。采用cv2.Sobel算子或Scharr函数，梯度的公式如下：

F（x，y）为图像各点像素值，Soble边缘检测具有方向性，分为竖直边缘检测和垂直边缘检测，滤波器模板卷积核大小选取3。边缘处理后即可获得车牌图像的矩形边框。

为了进一步减少车牌图像中除字符以外因素的影响，本文对车牌灰度化图像进行二值化处理，即将图像的像素点从［0，255］中任一灰度值变为只有0和255两个像素值［7-8］，从而大大缩短后续处理的时间，提高车牌识别的效率。使用的代码为binary_img = cv2.threshold（Sobel_img，127，255，cv2.THRESH_BINARY）。

2 车牌字符分割与识别

2.1 车牌图像形态学处理

在对车牌图像进行字符识别前需要采用图像形态学算法进一步找到车牌区域。图像形态学包含多种处理方式，最常见的有腐蚀运算［9］、膨胀运算、开运算和闭运算。腐蚀是将需要处理的图像矩阵化，转化为数值进行处理，对每一个位置领域的最小值作为该位置的一个灰度值的输出，处理后的图像整体亮度会大大降低［10］。膨胀是腐蚀的逆向操作，可以使得图像的亮度变得更加明亮。开运算通过先腐蚀再膨胀，可以去除图像中亮度比较高的位置和区域。而闭运算就是开运算的相反操作［11］。

为了更好地对车牌字符区域进行完全的定位，本系统先采用闭运算将字符区域填充并与其他部分背景尽可能断开，再利用开运算去除图像中相对独立的小点以及一些毛刺［12］，最后采用膨胀算子平滑车牌边缘区域。处理后的图像如图3所示。

2.2 车牌字符识别

本系统采用了基于深度神经网络和迁移学习相结合的车辆字符识别算法，对复杂环境下的图像在进行预处理的基础上进行迁移训练学习，降低了深度识别算法失败的概率。实验流程主要分为训练和测试两部分，车辆图像训练数据集数量为590个；验证数据集数量为394个；测试数据集数量为16个。

在学习和训练样本阶段，本系統采用tensorflow.keras内置的DenseNet201模型，在ImageNet上进行预训练。该模型在ImageNet上的top-1准确率达到了0.831，而top-6的准确率达到了0.967。在进行迁移学习时，本系统先将预训练模型的参数进行冻结，然后在模型加入全连接层，搭建车辆识别图像的分类神经网络。为了防止在训练中出现过拟合的现象，本系统添加了全局平均池化层和dropout层。经过两轮次训练得到的结果，如图4所示。

从训练结果可以看出，在原来训练图像模型的基础上，采用深度学习方式，通过少量数据就可以快速在训练中得到较好的结果，经过第二轮次时，测试集的损失也达到了最低值，对应准确率达到85.28%。

3 实验与分析

基于深度神经网络和迁移学习的高精度车辆识别系统界面，如图5所示。车牌字符区域定位提取与字符识别界面，如图6所示。

3.1 不同日照环境识别测试对比

本系统选取三种车牌图像采集环境，分别为白天、夜晚和深夜。利用本文算法和传统算法处理后的识别结果如表1所示。根据测试结果来看，传统算法在稍微复杂的环境下很难成功，而本系统算法则完全支持在能见度不高的环境下继续识别图像。

3.2 污损车牌识别测试对比

采集车牌表面有污损的图像，比如遮挡、污渍、破损等，识别结果如表2所示。

从上述结果可以看出，污损面积在20%以内时，本文算法能够保持较高的识别率；当污损面积高于20%时，字符完整性越来越低，算法成功率只有46%。

3.3 倾斜角识别测试对比

不同角度的车牌图像对于车牌识别系统的识别成功率也有影响，本系统也采集了不同的倾斜度的图像进行识别，示例图像如图7所示，识别结果如表3所示。

从实验结果可以看出，在倾斜角较小的情况下本文算法的成功率很高，但在较高的倾斜角的情况下，样本的识别成功率明显降低，平均时间明显变长，表明本文的算法在应对倾斜角过高的情况下相应算法仍须改进。

3.4 远近测试对比

远近识别的主要应用场景为车辆较多的情况下进行的一次性识别。识别结果如表4所示。

从上述的结果可以看出，本系统由于利用了深度学习的方式，在较远距离的环境下，车牌识别的成功率也较高。

4 结语

本系统基于车辆的识别展开设计，无论是对于日常生活还是交通管理都有着一定的价值。不同于传统的车牌识别技术，本系统与深度学习相结合，在对车辆图像进行充分预处理之后，运用深度神经网络和迁移学习模型对车牌进行字符学习。该系统算法在复杂环境的优势相对于传统的算法更强，经过实验的对比，就识别的正确率方面是优于传统算法的。本系统的前端采用了比较新的Django框架来搭建Web页面。但本系统在倾斜角方面在后续的研究中还须进一步改进。

参考文献

［1］秦俊峰.智慧交通的体系架构与发展思考［J］.城市建设理论研究（电子版），2017（19）：167.

［2］JIANG Y，TAO S，ZHANG H，et al.Image data augmentation method based on maximum activation point guided erasure：2020 2nd International Conference on Advances in Computer Technology，Information Science and Communications（CTISC）［C］.Suzhou：Institute of Electrical and Electronic Engineers，2020.

［3］王英，關宇东，李艳.一种融合区域生长和边缘检测的彩色图像分割方法［J］.科技导报，2008（16）：85-87.

［4］刘源，夏春蕾.一种基于Sobel算子的带钢表面缺陷图像边缘检测算法［J］.电子测量技术，2021（3）：138-143.

［5］李静，陈桂芬，丁小奇.基于改进Canny算法的图像边缘检测方法研究［J］.计算机仿真，2021（4）：371-375.

［6］LANDMAN D，SEREBRENIK A，VINJU J J.Challenges for Static Analysis of Java Reflection-Literature Review and Empirical Study：2017 IEEE/ACM 39th International Conference on Software Engineering （ICSE）［C］.Buenos Aires：Institute of Electrical and Electronic Engineers，2017.

［7］陈建江，郑东，翟剑飞.地质图件的多阈值动态自适应二值化法及改进的二值图像细化算法［J］.微型电脑应用，2004（1）：56-59，64.

［8］熊炜，王鑫睿，王娟，等.结合背景估计与能量函数的图像二值化算法［J］.计算机工程与设计，2019（7）：1984-1989，2058.

［9］陆宗骐，朱煜.数学形态学腐蚀膨胀运算的快速算法［EB/OL］.（2018-03-17）［2023-04-10］.https：//cl.wanfangdata.com.cn/conference6384089.

［10］张彩珍，李颖，康斌龙，等.基于深度学习的模糊车牌字符识别算法［J］.激光与光电子学进展，2021（16）：259-266.

［11］ZHONG L，WAN W，KONG D.Javaweb login authentication based on improved MD5 algorithm：International Conference on Audio［C］.Suzhou：Institute of Electrical and Electronic Engineers，2017.

［12］吴宏伟.基于深度学习的车牌检测识别系统研究［D］.大连：大连理工大学，2021.

（编辑 姚 鑫）