基于Gabor滤波多特征融合的车牌定位算法

于海河，杨 硕，李大舟

(沈阳化工大学 计算机科学与技术学院，辽宁 沈阳 110020)

0 引 言

在现在社会中汽车数量的增长速度很快，于是对车辆进行有效的管理成为了一个很大的问题。车牌作为车辆的唯一识别标志，准确检测出车牌非常重要。现在车牌识别[1]的算法有很多，并且车牌识别已经运用到很多地方，例如高速公路路口、十字路口、小区门口、地下停车场等等。

目前主要有以下几种识别方法：(1)基于彩色图像识别算法，这类算法使用的是车牌的颜色特征。车牌的颜色具有很高的饱和度，并且底色和字体的颜色区分度很高。这类识别算法容易实现。但是，当周围背景颜色与车牌颜色较为接近的时候识别效果较差，并且计算速度较慢，不适合实时系统。相关算法如基于RGB颜色空间的检测方法[2]，该算法使用了颜色特征。颜色特征提取过程中使用了车牌底色的特殊性，当底色是蓝色时，该像素点的蓝色分量的值大于红色分量和绿色分量，依据该方法提取颜色特征。但是当车身颜色为蓝色或黄色时，会造成检测不准确。单一特征虽然检测速度较快，但在准确度上会有不足。(2)基于车牌自身结构特征的车牌定位算法[3-4]，这类算法主要使用的是车牌的边缘特征、字符结构的几何特征和纹理特征。车牌字符区域颜色很平稳，字符笔画的高曲率特征也很稳定，是区别于其他区域的重要特征。车牌字符区域的字符结构的几何特征可以使用边缘检测算子、角点检测器等算法检测出。这类算法计算量较小，对硬件要求不高。在光照不均的情况下，检测效果较差。相关算法如基于形态学的车牌定位方法[3]，使用了边缘检测算子对图像提取边缘特征，然后使用开操作处理特征图，再进行扫描法粗定位，使用霍夫变换精确定位车牌。这种检测方法快速、简单，准确度较高，但是对复杂的纹理情况检测状况不理想。如文献[4]，基于边缘的车牌颜色辅助检测方法，使用了模板对垂直边缘密度进行建模，同时辅助使用颜色纹理作为检测提示。(3)基于多特征的融合算法，多特征融合算法顾名思义就是融合了车牌的多个特征，将多个特征组合使用，在不同阶段使用不同的特征，或者在不同阶段组合使用多个特征，比如在候选确定阶段可以同时使用灰度投影和颜色特征。多特征融合算法是目前研究较多的算法，如文献[5-16]，这类算法主要使用了车牌的多个特征，例如在预定位阶段使用颜色和角点特征，在确定候选阶段使用字符和几何特征，在候选确定阶段使用灰度投影和颜色特征。多特征融合算法是现在使用较多的算法，它定位精度高，能充分使用车牌的所有特征，在实际应用中也很广泛。

文中算法里主要使用车牌的垂直特征，辅助使用车牌的底色、字符颜色和字符纹理特征。

1 算法描述

1.1 Gabor滤波

Gabor变换的基本思想：将Gabor核和车牌图像卷积。首先需要生成Gabor核。

则Gabor定义如式(1)所示:

(1)

则完整的实部Gabor滤波公式为：

原图像I(x,y)与Gabor滤波卷积以后的图像f(x,y)关系如式(3)所示。

f(x,y)=I(x,y)*G(x,y,a,b,θ)

(3)

Gabor特征是一种可以用来描述图像纹理信息的特征，Gabor滤波器的频率和方向与人类的视觉系统类似，特别适合于纹理表示与判别。车牌字符区域的纹理信息集中且丰富，对Gabor滤波器的响应很高。在使用Gabor滤波的时候车牌区域必定会响应，同时干扰区域也会响应，利用车牌的其他特征可将干扰区域筛除。

1.2 算法概述

文中要解决的是国内的车牌定位问题。国内小型轿车的车牌底色为蓝色，字体的颜色为白色，货车的车牌底色为黄色，字体颜色为黑色，车牌宽度均为440 mm，高度均为140 mm。图1为文中算法流程，使用的主要算法和技术如下：

图1 车牌定位算法流程

(1)图像预处理，主要去除干扰，改善图片质量，提高定位准确度。

(2)Gabor滤波处理灰度图像形成一幅离散的垂直纹理图，车牌有复杂的汉字和字母，汉字和字母都具有特殊的曲率，在Y方向上会有较大的响应。

(3)形态学处理，膨胀是将离散的垂直纹理连接起来形成连通区域，腐蚀操作是将连通区域的边缘缩小，使其更加偏向于真实的区域。

(4)字符角点检测，汉字和字母在书写过程中的笔画结构存在较大的曲率，相对于其他物体的纹理，是一种特殊的纹理，于是可以使用角点检测器将曲率较大的笔画检测出来，若不包含字符，则响应较小或者不响应，可以排除一些干扰连通区域。

(5)角点邻域颜色检测，车牌的底色固定并且颜色种类较少，主要为蓝色和黄色。角点的响应区域主要在字符上，字符的邻域通常为车牌底色，即蓝色和黄色。使用这些颜色特征可以进一步排除干扰，生成候选区。

(6)字符投影，车牌里共有7个字符，每个字符中间有固定间距，在二值图像中，若将字符垂直投影，则会在图像底部形成特殊的峰谷，该特征可以进一步确定车牌区域，也可以同于字符分割。于是在候选区中，对每个候选区的灰度图像在Y方向上进行投影，可用于验证车牌区域。

2 算法实现

2.1 图像预处理

在采集车辆图像过程中使用的是移动设备，或者是监控摄像头，移动设备采集的图像会使图像存在轻微的抖动使图像质量降低，监控摄像头采集的图像则会因为天气、设备老化等原因使图像模糊。为了降低车牌定位的操作难度，需要对车辆图像进行预处理。图像预处理是为了减少干扰，减少噪声对定位的影响，提高成功率。图像预处理包括三部分：首先，对图像进行去噪声处理；其次，直方图均衡化提高车牌的图像质量；最后将图像进行灰度处理。

2.2 Gabor滤波器对图像进行滤波

原图像I(x,y)与Gabor滤波卷积以后的图像f(x,y)关系如式(3)所示。这里取实部形式，基于文中采集到的图像库，经过实验，卷积核的大小取(11,11)，相位偏移量取0，标准差取10，波长取10，长宽比取0.5，θ取0时效果最好。Gabor卷积核以图片的形式显示，如图2所示。

图2 Gabor卷积核

经过实验可看出，Gabor滤波对车牌区域有很好的响应。图3为滤波处理后的图像，可以看出处理后的图像中，车牌区域的响应较高。

图3 Gabor滤波的处理图像

通过图3可以看出，干扰区域比较密集的地方主要分布在车辆的轮廓边缘上和车辆的挡风玻璃上，周围环境造成的干扰较小，在车牌周围存在的干扰较少，当定位车牌时，能准确地将车牌区域定位，为后续字符分割降低操作难度。

2.3 形态学处理

通过上述实验可看出，虽然车牌区域对滤波响应较高，但是车牌区域的垂直特征较为离散，但是各个垂直条纹之间的间距很小，周围干扰区域到此区域的距离较大，于是可以使用膨胀算子进行膨胀，将垂直条纹连接起来形成完整的车牌区域。

在数学形态学里，可以使用的算子很多，大部分为3*3、5*5、7*7的算子。数学形态学的算子应该根据实际情况进行选择。在上述实验中可看出响应区域大部分为垂直特征，而且在车牌区域这些特征之间的间距较小，且与周围的干扰相距较远，所以采用一种只在水平方向上膨胀的算子，针对该实验采用的算子尺寸为7*3。图4为采用水平方向算子膨胀的实验结果。

图4 形态学处理

从上述实验可看出，虽然车牌区域已经连接起来，但是还存在其他干扰连通区域。通过图4可看出车牌区域的尺寸较大，可根据连通区域的大小初步筛选，将尺寸较小的连通区域去除。在图4中可以看出大部分连通区域面积大的干扰区域都是垂直长度大于水平长度，可根据此特点进一步排除干扰区域。

2.4 候选生成

在去除尺寸较小的干扰连通区域之后，依旧存在较多的干扰区域。由于车牌具有固定几何尺寸，其长宽比为3.14，在实验过程中，根据实际情况将长宽比设置为1.5～4.5。通过长宽比的筛选之后，可排除大量的干扰区域。将符合长宽比的连通区域裁剪出来，形成单独的图像。

车牌中包含大量字符，字符的笔画结构有特殊的曲率，这些局部的特征[17-18]是一个较为稳定的纹理结构特征，可以用特征检测算法检测出来。在这里使用了Harris算法对图像进行检测，Harris算法具有实现简单、检测速度快、对曲率响应好的优点。Harris算法检测实验如图5(a)所示，可以发现在车牌区域中特征点的密度很大。

图5 特征点检测

通过图5(a)和图5(b)之间的对比可发现，在车牌区域特征点的密度很高，而干扰区域的特征点很少，因此可以将干扰滤除。

对于干扰区域内特征点较少的情况可以使用上述方法，如果干扰区域内特征点较多，使用上述方法则效果较差。通过图6(a)和图6(b)的对比发现，在干扰区域的范围内有大量特征点，此时根据特征点密度来筛选明显不行，可通过车牌字符角点邻域颜色进行筛选。经过研究发现，在一般情况下蓝色车牌中的底色为蓝色，通过分离颜色通道发现单个像素点的B分量的值远大于G分量和R分量，同样在黄色车牌中底色为黄色，单个像素点的B分量远小于G分量和R分量，因此车牌具有特殊的颜色分布，是区分车牌底色和字体颜色的特征。在该算法中的实现方法为：首先将裁剪的连通区域选定，再在这张图片里进行角点检测获取角点，角点的邻域可选择为7，9，11等，该角点的邻域就是以该角点为中心，周围9*9的像素点，实验中取9。将该连通区域所有Si的B分量的像素值相加、G分量的像素值相加、R分量的像素值相加，得到B分量像素值总和SUMB，G分量像素值总和SUMG，R分量像素值总和SUMR。对于蓝色车牌，筛选公式为：

图6 特征点检测特殊情况

(4)

同理对于黄色车牌的公式为：

(5)

通过筛选可将干扰连通区域滤除，生成候选区，将候选区裁剪出单独的图像，方便后续实验验证。

2.5 候选验证

在候选验证过程中不能使用单一特征进行验证，会使得精度不高，需要多个特征同时使用提高精度。

在候选验证阶段可以使用的方法有很多，比如字符分割方法[19]、灰度投影方法。在该算法中将使用颜色和字符投影对候选验证，具体步骤如下：将候选的颜色空间从RGB转化为HSV空间，仅对亮度通道V进行直方图平坦化处理，并转换为原RGB图像，再转为灰度图像。

将上述转换完成的灰度图像进行灰度投影操作，得到车牌字符投影图。首先计算出投影图中投影块的数目，记为K。(1)若K刚好为7，则候选确定；(2)若K大于7，那么计算出每个投影块的中线位置，可以算出每个相邻投影块中线之间的距离。若这个距离小于字符的宽度，那么将该投影块及其前一个投影块进行合并，同时将K减一。重复该步骤，直到K为7，并且每个投影块的宽度在设定的阈值范围内，则候选确定，否则为伪候选；(3)若K小于7，计算每个投影块的宽度。找出宽度大于阈值范围的投影块，计算该投影块的投影最小值，并在该位置分割投影块。重复该操作使K等于7，并且投影块的宽度在预设的范围内，则候选确定，否则为伪候选。

3 实验和结果分析

算法在QT5.9.7+OpenCV环境下实现，计算机主要配置为,主频2.3 GHz(Intel Core I5-8300H)，8 G内存。实验使用的图像库是由600张包含单个车牌的图像以及200张不包含车牌的图像组成。这800张图片中成功检测出车牌区域的有574张。包含车牌的图像主要来自互联网下载和街拍，图像类型包含了街道、小区门口、监控视频、停车场等场景，涵盖了复杂背景、车牌倾斜、颜色干扰、天气模糊等，能够真实地反映出算法效果。图7分别选取了具有代表性的车牌，如A组中选取了小区门口门禁系统监控视频截图，车牌都略微倾斜；B组选取了道路监控视频截图，图像质量较差且图像略微倾斜；C组选取了在停车场和街道行进的车辆，“川AQQ999”图像为强光照射，“冀A5D307”车身为蓝色，与车牌颜色较为接近。

图7 车牌定位实验结果

基于文中采集到的车牌数据库，选择了几种具有代表性的车牌定位算法作为实验对比，如一种RGB颜色空间中的车牌定位新方法[2]、多特征融合的车牌定位算法[15]、基于Gabor滤波车牌区域定位算法[17]。实验结果如表1所示，文中车牌图像数据库中默认一张图片中只包含一辆车。表1中成功率、精确度和准确率的定义如下:成功率:成功定位图像数/正例数;精确度:成功定位图像数/(成功定位图像数+错误定位图像数)，其中错误定位图像即为表1中的误检数;准确率:成功定位的包围框与绝对真包围框的覆盖比率。对于成功次数的计数定义如下:算法得到的车牌包围框与绝对真包围框覆盖率大于50%的结果计为成功一次，反之计为失败一次。

表1 图像库的对比实验结果

从实验结果可以看出，多特征融合算法在成功率和准确度上都比单特征算法高。第二组对比实验虽然也使用了Gabor滤波，但是在后续操作中只使用了颜色特征，没有使用到车牌字符纹理和几何特征，使其准确度较低。第三组对比实验使用了多种特征，其成功率较高，由于在数学形态学处理过程中连接的是颜色特征点，造成包围框较大，降低了准确度，若将结果作为粗定位，进一步使用其他方法进行精确定位将提高准确度。

通过对比实验表明，文中算法具有较高的定位成功率和精确度。对于图像质量较差的图像能得到较高的准确度，高准确度可以为后续的车牌精确定位和字符分割省去许多操作并且能提高识别准确率。该算法也具有较强的抗干扰性，车牌倾斜状态下也能较好地定位，在高光状态下也能较为准确地定位车牌。在算法效率方面，对于高分辨率车牌图片，如图7(a)、(c)，文中算法的平均运算时间为1.37 s，对于低分辨率车牌图片，如图7(b)，文中算法的平均运算时间为0.72 s。由于操作步骤较多，耗时较多的地方主要有Gabor滤波和Harris特征点检测。文中算法是基于OpenCV库[20]实现的，部分函数使用的是库函数，虽然耗时较多但准确度较高，基本能满足目前的需求。

4 结束语

基于单特征定位车牌的不足，提出了一种基于Gabor滤波多特征融合的车牌定位算法。该算法使用了车牌的字符垂直特征、字符角点、车牌底色、车牌纹理等特征，对这些特征进行了合理的组合和使用。在这些特征中字符垂直特征、车牌底色和字符角点是核心特征，这三个特征是筛选伪候选的重要特征。因为这三个特征不可能同时检测到，并且这三者是车牌的固有特征，在真实场景的复杂环境下较为稳定，不容易受到干扰，是特征融合算法的核心。同时使用了众多的技术手段，包括：特征点检测、Gabor滤波、数学形态学、灰度投影等，保证了定位的准确性和成功率。该算法虽然有较好的效果，但是基于Gabor滤波的方法耗时较为严重，且滤波核大小的选取十分重要，若能自适应选取滤波核的尺寸将能进一步提高准确度和效率。接下来将对该问题进行深入研究，找到解决方案。