改进HOG特征的车牌识别算法

郑 琳，王福龙

（广东工业大学应用数学学院，广东广州 510520）

0 引言

车牌识别（License Plate Recognition，LPR）是外接摄像头或照相系统获取的车辆图像自动提取车辆牌照信息的过程。完整的车牌识别系统由图像获取、车牌定位、字符分割、字符识别4 个部分组成。车牌识别技术是智能交通系统的重要组成部分，应用场景广泛，在停车场车辆管理、监控违章车辆和高速公路收费系统等领域应用较多，开展车牌识别研究具有重要的社会意义及应用价值。

车牌识别具有区域性特色，各个国家的车牌构成不同，我国的车牌由汉字、字母和数字构成。车牌识别主要存在两方面难题：①由于汉字的复杂性、字符相似性高、车牌的模糊损耗等原因，使车牌识别难度增大；②车牌识别需要考虑实时性，因此在保证识别准确率的同时，识别速度的提高是车牌识别难点。本文采用模板匹配法融合改进的局部HOG 特征对车牌图像进行识别。模板匹配法能有效降低字符图像的噪声，改进的局部HOG 特征能有效描述相似字符的不同特性，降低特征描述符冗余问题。实验表明，改进方法能在保证车牌识别速度的同时有效提高车牌图像的识别率。

1 相关研究

目前车牌识别算法主要有特征提取法、神经网络法和模板匹配法。特征提取法需要提取待识别模式的统计特征，再按照判别函数得到识别结果；特征提取法可以提取字符的显著特征，但是会消耗大量时间，非稳健特征会降低识别效率［1-6］；神经网络法通过神经网络学习大量字符样本，得到字符的样本特征来识别车牌字符。神经网络法识别率较高，但需要大量的初始样本，且神经网络模型复杂，计算参数多，导致算法成本高、识别速度慢［7-10］；模板匹配法是经典的模式识别方法，通过重合度函数度量待识别字符与模板样本的相似性来识别字符。模板匹配法易于实现，对图像噪声的敏感度较低，具有一定的容错能力，但难以区分相似字符，鲁棒性较差。

胡晓霞等［11］提出了一种基于形状上下文方式提取车牌特征，再利用联合度量策略识别车牌的方法。但该方法对车牌图像质量要求高，几乎不涉及车牌倾斜与模糊，且该方法无法完整提取字符特征，识别精度还需优化；段宾等［12］提出一种深度可分离卷积的轻量级模糊车牌识别算法。该方法训练了大量的模糊车牌样本，对模糊车牌的识别率较高，且压缩了神经网络识别模型大小，减少了计算参数。但相较于传统的识别算法，该方法识别速度较慢；凌翔等［13］提出一种改进的顶帽重构和模板匹配车牌识别方法，该方法解决了车牌识别中光线不均匀照射的问题，识别速度快，但仅依靠全局重合度函数识别车牌，无法提取字符的特征信息，识别率有待提升。

本文的车牌识别算法主要利用方向梯度直方图（Histograms of Oriented Gradients，HOG）对图像边缘及形状强大的描述能力，以及对光照不敏感和平移不变性的特点，同时结合模板匹配法的容错特性和对噪声低敏感特性，提出改进局部HOG 特征，避免了高维特征描述符的数据冗余问题，确定了最优局部HOG 矩形特征块，提高了车牌识别率，也保证了识别的实时性。

2 融合模板匹配和改进HOG特征的字符识别

为解决车牌识别中相似字符误识别问题，学者提出了模板匹配法结合字符特征进行车牌字符识别的方法。在现实中分割后的车牌字符不可避免会出现些许倾斜和一定的模糊情况。

2.1 模板匹配法

在字符识别阶段，模板匹配法通过判断字符模板与分割后车牌字符的相似度来识别字符。根据我国车牌特点，本文建立的字符模板分为汉字、英文字母和数字模板，采用重合度函数来度量车牌字符与字符模板间的相似度，重合度函数公式如下［14］：

其中，f为模板二值图像，g为车牌二值图像，模板与车牌的二值图像尺寸相同，均为M×N，Tf和Tg分别为模板字符二值图像和车牌字符二值图像中数值为1 的像素个数，符号Λ 为与运算。

2.2 HOG特征

HOG 特征描述符关注被检测图像中物体的结构或形状，它通过提取边缘梯度和方向来描述局部物体的形状特征［15］。首先，将整个图像分割成小的区域，每个小区域称为细胞单元。对于每个细胞单元，采集其中各个像素点的梯度和方向生成方向梯度直方图；然后，将几个细胞单元组成一个块进行归一化，减少光照变化和阴影的影响。最后，将每个块内的HOG 特征串联起来得到车牌字符的HOG 特征描述符［16］。HOG 特征描述符生成步骤如下［17］：

（1）先用两个梯度算子［-1，0，1］和［-1，0，1］T分别对原图像做卷积运算，得到水平方向和竖直方向的梯度分量，再计算图像每个像素的梯度大小和方向。此步骤的主要目的是为了捕获轮廓信息，弱化光照影响，计算公式如下：

其中，H(x，y)表示输入图像像素点(x，y)处的像素值，分别表示像素点的水平方向梯度和垂直方向梯度；G(x，y)，α(x，y)分别表示像素点处的梯度幅值和梯度方向。

（2）将图像划分成若干个小的细胞单元，如每个细胞单元为8×8 像素大小。将细胞单元的梯度方向360 度分成9个方向，即每40度分为一个方向。

（3）将几个细胞单元组成一个特征块。特征块主要包含块大小、每个细胞单元的方向和细胞单元大小3 个参数。块内归一化梯度直方图，将一个块内所有细胞单元特征描述符串联。特征块结构可分为矩形块（R-HOG）和环形块（C-HOG），通常采用矩形块（R-HOG）。

（4）收集HOG 特征，将所有块的HOG 特征串联得到HOG 特征描述符。

2.3 模板匹配结合改进的局部HOG特征

解决车牌识别中相似字符误识别问题的方法有：①利用字符的灰度跃变特征结合模板匹配对字符进行二次识别提高识别率的方法；②利用HOG 特征结合模板匹配法识别车牌字符修正相似字符的误识别方法。在实际情况中，分割后的车牌字符不可避免会出现些许倾斜和一定的模糊。实验表明，由于上述因素，使用灰度跃变特征结合模板匹配的方法仍然会出现将“E 识别成F”“C 识别成0”“S 识别成8”、“皖识别成冀”“Q 识别成0”的情况。由于字符特征块的选择问题，采用局部HOG 特征结合模板匹配法识别车牌存在将“闽识别成粤”“皖识别成冀”“F 识别成P”的问题。

本文根据HOG 特征与模板匹配法思想，结合车牌相似字符特点，提出一种改进的局部HOG 特征结合模板匹配的识别方法，实现步骤如下：

（1）统计模板匹配法出现的误识别字符，“0”与“Q”“B”与“8”“S”与“8”“P”与“R”“E”与“F”“F”与“P”“2”与“Z”“粤”与“闽”“皖”与“冀”。

（2）训练分割后的车牌字符，测试字符形变程度，构成测试样本集。用样本集测试字符局部HOG 特征块，得出局部优化矩形特征块。

（3）根据相似字符特征，确定相似字符组最具有区分度的特征块位置。

（4）划分待识别字符和模板字符图像对应的局部特征块细胞单元，采集细胞单元中每个像素点的梯度方向直方图，将几个细胞单元通过滑动窗口组合成块（block），块内归一化梯度直方图。分别收集待识别字符和模板字符矩形特征块内所有的HOG 特征描述符。归一化公式如下：

其中，v表示块内统计直方图的未归一化向量，δ 为极小的常数，避免分母为零。

（5）采用欧式距离度量待识别字符与模板字符之间的HOG 特征向量距离，选取与待识别字符欧式距离最小的模板字符作为识别结果，欧式距离度量公式如下：

其中，xi，yi分别为待识别字符与模板字符之间的HOG特征向量。

3 实验结果与分析

本文实验采用Visual Studio 2012 实现，运行环境为Inter（R）Core（TM）I5 处理器，8GB 内存，Windows 10 操作系统。

3.1 实验方法

本文实验选取的测试图片主要来源于白天和傍晚停车场车辆、十字路口的车辆和网络监控录像下的车辆，车辆图片存在程度较轻的倾斜和模糊度，几乎不涉及字符粘连或断裂。测试图片分为两类，选择质量较好的150 张图片作为第一类，质量相对较差的50 张图片作为第二类（车牌存在一定程度的模糊，车牌倾斜度在-2～6度范围内），共200张测试图片。

使用模板匹配法初步识别车牌字符时，车牌的倾斜会导致字符图像失真变形，增加识别难度。因此，需要训练分割后字符形变情况，组成测试样本集，分析规律，以便区分字符特征（本文中归一化后的字符大小为20×40）。部分分割后的字符图像如图1所示。

Fig.1 Partial character sample图1 部分字符样本

对分割后的字符图像局部提取HOG 特征时，细胞单元的大小会影响HOG 特征向量的编码，所以细胞单元大小的选取至关重要，需要确定字符图像的局部最优特征块。表1 为测试第一类车牌图像得到的字符图像不同局部特征块的实验结果。

Table 1 Test results for different feature blocks表1 不同特征块测试结果（%）

由表1可知，当选取1×2的HOG 特征块时，由于特征块过大，局部图像的适应性变差，部分相似字符的特征无法区分，导致HOG 特征表述模糊；选取2×4 的HOG 特征块时，相似字符的区分块过小，出现无用的干扰信息，导致字符的识别率下降。HOG 特征块的块数越多，特征提取的计算量越大，识别速度就越慢。根据实验数据，最终确定选取2×3 的HOG 特征块为局部特征块的优化参数，如表2所示。

Table 2 Positon and parameters of feature block表2 特征块位置与参数

3.2 实验结果

为评估本文方法的识别效果，选取模板匹配法、模板匹配法结合跃变特征和模板匹配法结合局部HOG 特征作为对照，测试第一类和第二类车牌，实验结果如表3所示。

由表3 可知，本文所采用的方法相较于模板匹配法、模板匹配法结合跃变特征和模板匹配法结合局部HOG 特征的方法，对第一类车牌图像进行识别时，识别率分别提高了52%、12%和4%；对第二类车牌图像识别时，识别率分别提高了36%、28%和4%。为了评估本文方法的识别速率，选取模板匹配法结合跃变特征和模板匹配法结合局部HOG 特征作为对照，分别测试第一类和第二类车牌图像的识别时间，实验结果见表4，输入车辆图像像素为640×480。

Table 3 Recognition rate of different methods表3 不同方法的识别率

Table 4 Processing time of different algorithm表4 算法时间比较（ms）

3.3 结果分析

出现误识别的主要原因［18］有：车牌经过前面阶段的图像预处理、定位和分割后，统计得到的跃变次数无法与模板中的跃变次数匹配，例如字符“8”字符“S”和字符“B”；实际情况中，经过分割后的字符“8”与字符“B”可能出现跃变次数相同的情况，导致字符“8”与字符“B”识别的随机性，如图2 所示；字符分割阶段导致字符“P”与字符“F”出现相同跃变次数，如图3所示。

出现误识别的原因［19］主要有：该方法无法得到局部优化HOG 特征，导致字符识别具有随机性，例如字符“8”“S”和“B”；车牌字符“P”经过分割后，右边笔画不完整，此时类似字符“F”。对于此类情况，文献［19］采用的方法无法识别。

针对上述方法的不足，本文根据统计相似字符区分明显的HOG 特征，考虑分割后字符笔画缺失和字符经过形态学运算后产生的形变等情况，得到局部优化HOG 特征来区分相似字符，提高字符识别率。字符特征块选取示例如图4所示。

Fig.2 8 and B图2 字符8与B

Fig.3 F and P图3 字符F与P

本文中部分车牌实验效果如表5 所示。车牌图像存在-2～6度范围内的倾斜时，跃变特征结合模板匹配法会将字符“8”识别成“S”，对汉字“皖”不具备识别能力，对字符“0”的识别具有不稳定性，易把字符“E”识别成“F”；局部HOG 特征结合模板匹配法会将字符“F”识别成“P”，对汉字“皖”不具备识别能力，对汉字“闽”的判断存在不稳定性。

Table 5 Part of the license plate experimental results表5 部分车牌实验效果

实验结果表明，在车牌图像模糊度较轻、车牌倾斜范围为-2～6度时，本文采用的方法具有一定的识别率。这是因为模板匹配法去除了噪声影响，HOG 特征能够描述字符图像的边缘结构和轮廓形状，可在一定程度上减少字符图像倾斜形变造成的影响。且在选取局部优化HOG 特征块后，能够从字符结构上快速定位相似字符的不同特征。

由实验结果可知，3 种方法识别时间的均值相差不大，为0.6ms 左右。实验证明，本文采用的方法在提高识别率的同时能够满足实时性要求。

4 结语

本文测试了不同HOG 特征块对字符的结构提取，确定了局部优化的HOG 特征块，融合模板匹配法，实现对车牌字符的识别。针对模板匹配法结合灰度跃变法，以及局部HOG 特征结合模板匹配法的不足，采用一种融合改进的局部HOG 特征的模板匹配法提高相似字符的识别率。实验表明，本文所采用的方法对于倾斜角度较小或模糊的车牌图片可以进行识别，且对车牌定位和字符分割带来的影响有一定的抗干扰能力。后续将在倾斜角度和模糊度增加的情况下对车牌进行识别研究。