基于车牌混合特征的车牌定位算法研究

咸志杰 方芹芹 季伟伟 李海霞

摘  要：随着社会的发展和科技的进步，国家对交通控制、安全管理的要求日益提高，智能交通管理已成为当前交通管理发展的主要方向，而车牌定位技术则是智能交通系统的基础。为了解决车牌定位区域精确度差，定位不准等问题，采用基于车牌混合特征的车牌定位技术，不仅可以有效地解决上述问题而且通过仿真实验证明本文提出的车牌定位算法综合性强，运行速度快，精确度可以达到96.7%，可以在复杂的环境中实现精准定位。

关键词：车牌定位;图像识别;混合特征提取

中图分类号：TP391.41      文献标识码：A 文章编号：2096-4706（2021）02-0076-05

Abstract：With the development of society and the progress of science and technology，the national requirements for traffic control and safety management are increasing day by day. Intelligent traffic management has become the main direction of the current development of traffic management，and license plate location technology is the basis of intelligent transportation system. In order to solve the problems of poor accuracy and inaccurate location of license plate location area，the license plate location technology based on mixed characteristics of license plate is adopted，which can not only effectively solve the above problems，but also the simulation experiment proves that the license plate location algorithm in this paper has strong comprehensiveness，fast running speed，and the accuracy can reach 96.7%，which can achieve accurate location in complex environment

Keywords：license plate location;image identification;mixed feature extraction

0  引  言

随着智能交通管理系统的发展，车牌识别技术越来越受到研究人员的关注，至今已推出不少车牌识别系统的产品。而车牌定位技术作为车牌识别系统的核心也获得了广泛的关注。目前许多科研院校都对车牌定位技术做了大量研究，如王晓群[1]等提出了一种基于数学形态学进行车牌定位的算法，采用粗细定位二次判断，首先使用自适应对比度增强算法来改善图像质量，然后在粗定位中运用数学形态学算法处理图像，并在精定位中利用区域标记法和投影法来定位车牌区域。虽然该算法可以直接定位车牌，但是其对车牌边界信息较为敏感，无法识别二值边缘信息较少的图像。陈丽娟[2]采用脉冲神经网络算法对车牌颜色特征进行提取，然后再使用行列扫描法进行定位，傅鹏等[3]采用级联卷积神经网络的识别方法，主要用于在车辆数量过多，图像质量不佳的情况下进行车牌定位，该算法采用运動目标检测定位目标区域，然后利用卷积神经网络识别区域中的车辆并进行车牌定位，虽然该方法准确度较高，但是花费时间过多且容易受非车牌文字的影响。Xudong Cao等[4]提出的形态回归算法具有直观和计算简单等特点，但是光照、字符清晰度和车牌受损等变化因素都会显著降低识别准确率[5]。钟伟钊等[6]采用字符边缘点来提取车牌区域，虽然其不受车身颜色的影响，但耗时较多，所提取的边缘信息实用性不高[7]。除了上述几种方法之外，还有“基于遗传算法[8]”“基于量子粒子群算法[9]” “基于颜色信息算法[10]”“基于变换算法[11]”等诸多算法可以实现车牌定位。但无一例外，他们只是在某一领域可以有效地定位车牌，在较为复杂的情况下，他们的定位精度就会大大降低。为了解决诸多算法无法在多场景下应用的弊端，本文提出了基于车牌混合特征的车牌定位算法，利用车牌本身的颜色特征、几何特征和面积特征等多重特征进行区域定位直接准确且鲁棒性高，对于二值信息较少的图像可以得到很好的处理，并且不受非车牌文字和外界环境的干扰。

1  基于混合特征的车牌定位方法

车牌定位算法是以数字图像理论为基础，采用颜色特征、纹理特征、几何特征、灰度分布特征[12]等相结合的方法对含有车牌的图像进行处理。首先对车牌图片进行预处理，然后使用Prewitt算子进行边缘检测，接着运用数学形态学算法找出若干个候选区域，最后基于车牌混合特征精确定位出车牌区域。算法流程如图1所示。

1.1  车牌图像预处理

首先将彩色图像进行灰度化处理以便去除冗余信息，减少存储开销，提高运行速度;然后调整图像亮度，因为图像的灰度偶尔会集中于一个较小的区间（如果图像偏暗或偏亮），根据需要调整车辆图像的对比度，对灰度化的图像进行高斯滤波去除噪声，对灰度化的图像进行高斯滤波去除噪声的同时对一些非车牌边缘进行模糊处理，比如环境信息、非车牌信息等，为Prewitt边缘检测做铺垫。在车牌的矩形区域内存在丰富的边缘特征，呈现出规则的纹理特征，车牌边缘特征有一定的密集性，其中车牌的垂直边缘比水平边缘密集。本文采取Prewitt算子进行垂直边缘检测，利用像素点上下、左右邻点的灰度差，在边缘处达到极值检测，去掉部分伪边缘，对噪声具有平滑作用。其基本原理是在图像空间方向利用两个模板与图像进行邻域卷积来完成的，一个检测水平边缘，一个检测垂直边缘。Prewitt算子公式为：

然后对得到的边缘图像进行闭运算和开运算以使牌照区域相通，得到牌照的候选区域;闭运算利用膨胀、腐蚀来填充物体内细小空洞，平滑图像边界，连通车牌区域，以便于提取轮廓;开运算是通过在腐蚀、膨胀的过程中消除细小的噪声，平滑较大物体的边界;结构形状选取方形，由于车牌区域的形状是长方形的（也可以使用水平和垂直直线），所以选取方形的结构元素进行形态学操作;结构元素内容选取字符的标准宽度、高度、车牌的标准宽度、标准高度、图片测量的车牌宽度和高度，来大概确定结构元素的长和宽，再经过多次调试进一步确定结构元素的长和宽。预处理图像如图2所示。

1.2  基于混合特征的车牌定位

在经过形态学处理以后，处理后的图像中会有多个连通区域作为车牌的候选区域，此时我们的命令行会显示车牌候选区域的数量，如图3所示。这时使用车牌的先验知识（混合特征，比如车牌颜色特征、面积特征、长宽比特征）来筛选出唯一的车牌区域。

通过以下三种方法的结合最终确定出车牌的定位图像：

（1）颜色判断[13]。首先将rgb图像转化为hsv颜色模型，然后统计每个候选车牌的蓝色像素点数量（先验知识，在整个车牌中，蓝色背景像素占整个车牌的70%），当蓝色像素点数量大于设定的阈值时，该候选区域被判断为车牌区域，但是不能单凭颜色特征来判断车牌区域，因为实际场景中的环境变量较多，例如马路上行驶的车辆（有车牌）、蓝色电瓶车、护栏上的蓝色贴纸等都有可能对车牌定位造成影响。

色彩判断部分核心代码为：

function index = color_judge（stats，img）

j = 1;

for i=1：length（stats）

bb = stats（i）.BoundingBox; % 取预判断的区域

I=img（floor（bb（2））+1：floor（bb（2）+bb（4）），floor（bb（1））+1：floor（bb（1）+bb（3）），：）;

figure（8）;imshow（I）;

hsv = rgb2hsv（I）;

[height，width，～] = size（hsv）;

count = 0; % 统计蓝色像素值的数量

for h=1：height

for w=1：width

h_judge = （hsv（h，w，1）>0.65） && （hsv（h，w，1）<0.73）;

s_judge = （hsv（h，w，2）>0.03）  && （hsv（h，w，2）<0.7）;

v_judge = （hsv（h，w，3）>0.23） && （hsv（h，w，3）<0.7）;

if h_judge

count = count + 1;

end

end

end

（2）面積判断[14]。一般情况下，车辆的头部在经过第一个减速带和第二个减速带之间时才会触发摄像机拍摄车辆图片，通过多次实验，可得知车牌在图片中的最小像素面积和最大像素面积，通过设定一定的面积阈值，再次筛选候选车牌区域。

（3）长宽比判断[15]。车牌的标准尺寸为440 mm× 140 mm，标准的长高比约为3.1，通过把候选车牌区域标记成一个方形，计算方形的长和宽，通过设置一定的长宽比阈值，再次筛选候选车牌区域。进行方形标记的时候采用的是WarpAffine函数，WarpAffine要求输入原始图的左上点、右上点、左下点以及输出图像的左上点、右上点、左下点，如图4所示。然后建立一个映射关系以将原始图像的标记点映射到目标图像上。我们的目标是把车牌区域中的平行四边形映射为一个矩形。选取车牌区域中的平行四边形车牌的三个关键点，再确定我们希望将车牌扭正后的矩形的三个关键点。此时的扭转变化如图5所示。

如果出现了视框的偏移问题，我们可以选择偏移xidff/2的长度，偏移后的图像如图6所示。

视框往右偏移的意义就是将目标图像的原点进行右偏移。如果原点偏移的话，那么仿射后图像的三个关键点的坐标需要重新进行计算，都需要减去xidff/2。经过混合特征提取后车牌的定位图像如图7所示。

2  仿真结果分析

为了检验本文所提出算法的有效性，选择在多场景、复杂环境下进行测试，并且与其他算法进行对比。

2.1  不同环境下的测试

众所周知，车牌定位对于环境中的某些变量较为敏感，比如光照，车牌相同颜色信息等，如果不对这些变量进行控制和矫正的话，那么车牌定位的准确度将会受到很大影响。为了验证本文所提出算法的有效性，分别在正常、倾斜、有颜色干扰和光照变化等条件下进行测试，首先选用100张正常图片进行识别，然后选择100张带有倾斜角度的图片进行识别，最后采集一百张包含与车牌相同颜色的图片进行识别。在进行光照测试的时候将一百张图片分为两部分，选50张在光暗条件下进行识别，选50张在光亮条件进行识别，仿真结果如表1所示。

通过实验可知，在正常情况下车牌定位是最准最快的，成功率可达97%，平均定位时间为576 ms。在光照条件下，由于车身喷漆和车牌反光会导致车牌识别率略有不足。虽然系统具有车牌倾斜校正功能，但是对倾斜度较大的车牌，系统的车牌定位准确度会有所下降。但是不管在正常环境下还是有光照和车辆角度偏移以及受颜色干扰等外在因素影响下，本文算法都具有较高的定位准确率、较快的定位速度以及较强的环境适应能力。

2.2  不同算法下的测试

为了证明本文算法的优越性，通过在不同环境下将具有代表性的车牌定位算法与本文算法进行对比，例如算法3是基于形状回归的算法[3]，算法4是基于色彩纹理的算法[4]，算法5是基于字边缘点提取的算法[10]。随机选取100张图片，其中在正常情况下、倾斜情况下、颜色干扰情况下各选20张，在光暗、光亮的光照强度下各选20张进行测试，不同算法的测试结果如表2所示。

通过对比结果可知，本文所采用方法的车牌定位平均成功率达到96%，平均定位时间为621 ms，与算法3、算法4和算法5相比较，本文算法无论是在定位速度还是在定位成功率上都是最佳的。算法3在常规条件下和车牌倾斜时的识别率很好，但是其容易受光线影响，在受光线影响的条件下识别成功率较低。算法4以边缘投影的方式确定车牌边界，并且能够检测到变形边界，但是其对外界影响因素较为敏感，算法较为复杂，所以定位效率最低。算法5对车牌图像进行字符边缘检测，而且不受车身喷漆颜色的影响，具有良好的鲁棒性，定位速度快，最接近于本文算法的速度，但是它对倾斜图片的识别率低下且对边缘要素提取过多。

3  结  论

针对车牌定位算法过于单一以及在特殊条件下识别率低下的问题，提出一种基于混合特征的车牌定位算法。使用多种特征进行判定，并对倾斜图片进行调整以增强定位的准确性。相较于其他算法，本文算法综合性强，可以在不同的场景下使用。但是本文算法也有一个很明显的问题就是在光强条件下，由于车牌本身的反光以及环境变量中其他物体反光导致识别精度不足。对于本算法在光强条件下以及在车牌受损情况下识别精度低，运行时间长等问题，我们将进行更为深入的研究，以期找到更为优化的方法。

参考文献：

[1] 王晓群，刘宏志.基于自适应数学形态学的车牌定位研究 [J].图学学报，2017，38（6）：843-850.

[2] 陈丽娟.基于脉冲神经网络的车牌定位算法 [J].中国高新技术企业，2016（32）：13-14.

[3] 傅鹏，谢世朋.基于级联卷积神经网络的车牌定位 [J].计算机技术与发展，2018，28（1）：134-137.

[4] CAO X D，WEI Y C，WEN F，et al. Face Alignment by Explicit Shape Regression [J].International Journal of Computer Vision，2014，107（2）：177-190.

[5] 李宇成，杨光明，王目树.车牌识别系统中关键技术的研究 [J].计算机工程与应用，2011，47（27）：180-184+209.

[6] 钟伟钊，杜志发，徐小红，等.基于字符边缘点提取的车牌定位方法 [J].计算机工程与设计，2017，38（3）：795-800+ 813.

[7] XIE L L ，AHMAD T，JIN L W，et al. A New CNN-Based Method for Multi-Directional Car License Plate Detection [J].IEEE Transactions on Intelligent Transportation Systems，2018，19（2）：507-517.

[8] 曾毅.遗传算法在车牌定位中的应用 [J].福建电脑，2015，31（7）：88-90.

[9] PARISI R，DI-CLAUDIO D I，LUCARELLI G，et al. Car plate recognition by neural networks and image processing [C]//1998 IEEE International Symposium on Circuits and Systems （ISCAS）.Monterey：IEEE，1998：195-198.

[10] 杨海廷.基于纹理特征的车牌识别系统的研究与实现 [D].成都：电子科技大学，2005.

[11] 马飞.一种基于小波变换和Tophat变换的车牌定位算法 [J].电子设计工程，2016，24（22）：118-121.

[12] 鐘良建，张恕远，成万江.多特征车牌定位方法 [J].自动化应用，2020（11）：65-68.

[13] 潘思赣，李振.基于颜色空间与神经网络车牌识别技术研究 [J].中国交通信息化，2020（S1）：132-136.

[14] 漆世钱.基于轮廓识别和BGR颜色空间的车牌定位 [J].计算机技术与发展，2020，30（12）：176-180.

[15] 贺秉东.基于深度学习的位图字体矢量化系统的设计与实现 [D].济南：山东大学，2020.

作者简介：咸志杰（2000—），男，汉族，江苏徐州人，本科在读，研究方向：图像处理;方芹芹（2000—），女，汉族，江苏淮安人，本科在读，研究方向：神经网络;季伟伟（1999—），男，汉族，江苏盐城人，本科在读，研究方向：图像处理;通讯作者：李海霞（1983—），女，汉族，山东寿光人，讲师，研究生，研究方向：微纳器件。