基于车标区域的智能识别方法研究

曲爱妍 吴秋玲 张正 梁颖红 黄晓婷

摘  要：隨着道路监控系统的数字化和智能化发展，车辆类型识别成为智能交通系统的研究重点之一。针对从道路监控系统中获取的视频图像，考虑如何从图像中提取车标局部区域的显著特征进行分析，提出了联合特征的车标特征点提取和识别方法。基于道路监控系统中的视频图像，对定位的车标图像进行归一化处理，完成了车标的方向梯度直方图特征（HOG）和局部二值模式（LBP）提取，采用支持向量机（SVM）对车标特征矢量进行分类识别。通过从监控视频中分割出来的10 类车标、826 张车标图像对算法效果进行评估，实验结果表明，支持向量机的核函数选择线性核函数，识别率达到95%，优于径向基核函数和多项式核函数。比较了单一特征（HOG或LBP）与联合特征（HOG-LBP）对车标的识别率，联合特征对车标的识别率达到97.27%，识别率最高。基于HOG-LBP联合特征车标区域的智能识别方法，同时利用HOG与LBP的特征优势，提高了车标识别率。

关键词：图像识别;车标识别;方向梯度直方图;局部二值模式;支持向量机

中图分类号：TP311.5     文献标识码：A

Research on Intelligent Recognition Method based on Vehicle Logo Area

QU Aiyan1，2， WU Qiuling1， ZHANG Zheng1， LIANG Yinghong1， HUANG Xiaoting3

（1.Jinling Institute of Technology， Nanjing 211169， China;

2.Army Engineering University， Nanjing 210001， China;

3.Nanjing University of Aeronautics and Astronautics， Nanjing 210016， China）

quaiyan@jit.edu.cn; Wuqiuling@jit.edu.cn; zhangzheng@jit.edu.cn; liangyh@jit.edu.cn; 934246903@qq.com

Abstract： With the development of digital and intelligent road monitoring systems， vehicle type recognition has become one of the research focuses of intelligent transportation systems. This paper proposes a method of extracting and identifying feature points of vehicle logo with joint features， after considering how to extract and analyze the significant features of the local part of the vehicle logo from images obtained from road monitoring system. Based on the video image in the road monitoring system， the positioning of vehicle logo is normalized， and the directional gradient histogram feature （HOG） and local binary pattern （LBP） of the vehicle logo are extracted. The support vector machine （SVM） is used to classify the vehicle logo feature vector. 10 types of vehicle logos segmented from surveillance videos and 826 vehicle logo images are used to evaluate the effect of the algorithm. Experimental results show that the recognition rate of linear kernel function is 95%， which is better than radial basis function kernel function and polynomial kernel function. Recognition rate of joint feature （HOG-LBP） for vehicle logo is 97.27%， which is the highest， compared to recognition rate of single feature （HOG or LBP）. Intelligent recognition method improves vehicle logo recognition rate based on the HOG-LBP joint feature vehicle logo area and the feature advantages of HOG and LBP.

Keywords： image recognition; vehicle logo recognition; directional gradient histogram; local binary mode; support

vector machine

1   引言（Introduction）

现在人们的生活质量越来越好，汽车在人们生活中出现的频率也在不断提高，逐渐成为一种必要的交通工具，因此数字化和智能化汽车监控系统就变得尤为重要。随着网络的普及与信息技术的持续进步，我们迎来了大数据时代，如何对处于监测与控制范围中的活动对象进行快捷高效的鉴别，并对其进行相关的分析处理是智能交通系统中研究的重点[1]。针对行进中的汽车，通过车标、车前面板的车辆特征识别[2-4]，再结合大数据就能获取汽车的完整信息。由于常用的卷积网络采用卷积核，而且卷积核的参数是共享的，使网络参数大幅下降，不容易产生全连接网络的过学习问题，因此传统的图像识别效果比较好。

传统的图像识别流程如图1所示[5]。首先输入原始图像，对图像进行预处理操作;然后提取物体的主要特征，利用提取的特征构造SVM分类器的核函数;最后利用SVM分类器对物体图像进行分类，输出识别结果。

基于图像模式的识别手段很多，从图像识别所需要提取的特征物和对象角度来看，图像识别的手段大致可以细化为基于形状特征的识别技术[6]、基于色彩特征的识别技术[5]和基于表面纹理特征的识别技术[7]等。HOG特征和LBP特征均属于一种用来提取局部区域纹理特征的识别技术[8]。HOG特征汽车标志鉴别[9-10]主要原理是利用汽车标志边缘充足的信息特征进行鉴别;LBP特征汽车标志鉴别[11-12]主要原理是利用汽车标志自身充足的纹理信息特征进行鉴别。在两种特征信息提取的研究基础上，本文提出了一种基于HOG-LBP联合特征的车标识别方法，来提高道路监控图像中的车标识别率。

2  基于HOG-LBP的车标识别方法（Vehicle logo recognition method based on HOG-LBP）

2.1   车标LBP特征的提取

LBP是一个用作表示图像中局部区域的纹理特征的算子，可以应用在对纹理特征进行提取方面。若提取的图像是车体前部车标部分区域的特征，则非常适合对车标的特征进行提取。

基本的LBP算子用窗口中的像素进行了定义性描述，把窗口中间的像素当作一个阈值，通过分析和对比窗口中心所有邻接的8 个像素的灰度值和这个阈值来计算得到LBP值。如果窗口中心所邻接的像素点的值超过了阈值，就将此像素点的位置记录成1，否则就会记录成0。最后，这个窗口内的8 个位置通过对比处理，就可以得到8 位的数字二进制码，将这些二进制码转化成十进制码，也就是简单的LBP码，就直接可以得到窗口中心像素点的LBP值。由于窗口中各点都要求获取8 个邻接的像素，经比较可以得到的结果有个28，被叫作局部二值模式，并且将此值用来描述此区域的纹理信息，取值范围是[0-255]，如图2所示。

用公式表示如下：

（1）

（2）

式（2）中的代表所邻接的区域里所有采样点的数量;代表与的差值计算结果，其中代表窗口中间元素，代表与中间元素相邻接的8 个元素。

等价模式是一种LBP特征的降维方法。00111000（先从0转换至1，再从1转换至0，一共进行两次跳变）、11111111（进行0次跳变）、00000000（进行0次跳变）、11011111（从1转换至0，再从0转换至1），这四个模式都可以作为一种等价模式。但是01010000、01001110不属于等价模式类，原因是它们有超过两次的跳变。等价模式的本质是指在多个采样点上，其对应的等价模式类的循环二进制数编码不超过两次1到0或者0到1的跳变。所以，可以尽量削减LBP的类别，只要保证不损失任意数据即可。总的模式数量变少，基本LBP的数量有2p 类，现在数量降低至p（p-1）+2 类，对于3×3窗口内的8 个采样点而言，二進制模式的类型从基本LBP的256 类降低至58 类。经过等价模式的降维，降低了特征向量的维数，从而大大减少了数据计算量和高频率的噪声带来的影响。图3为LBP算子的提取结果，图中表现出LBP算子在不同光照影响下对结果的提取并不敏感。

2.2   车标HOG特征的提取

HOG的特征构造是由梯度方向直方图组合而成的，这些梯度方向直方图主要来自分析和统计图像中的局部区域。其设计原理主要是计算图像中局部区域的外在表面和形状的形变梯度或者边缘的方向密度。第一步先分割图像，将其划分为不同的小互联区域，也就是细胞单元。第二步是统计得到单元中每个像素的梯度或者边缘的方向直方图。第三步，通过组合直方图可以得到一个特征描述器。本文实验的车标图像默认为64×64像素，HOG特征提取手段的操作流程如下：

（1）将所有汽车标志图像分别进行颜色灰度化处理，采用gamma颜色校正算法对所有汽车标志图像都分别进行色彩空间归一化处理，gamma压缩计算公式为：

（3）

式中，gamma取值1/2。

（2）将所有汽车标志图像进行网格式划分，划分后的各个网格叫作block块。把汽车标志图像划分成16×16 像素尺寸的块，这些块就可以作为采样窗口，然后用块不重叠的方法对汽车标志图像进行采样。

（3）针对每个block块，每个block被划分成8×8 像素大小的单元格（cell），使用各单元格中的各像素梯度，根据相同的方向来统计一个直方图，计算得到图像里坐标为的像素点的水平与垂直梯度值如式（4）和式（5）所示：

水平梯度值：    （4）

垂直梯度值：    （5）

式（4）与式（5）中，表示输入的汽车标志图像内的像素点 的像素值。像素点的梯度幅值和梯度方向分别如式（6）和式（7）所示：

（6）

（7）

得到的梯度结果也应该归一化，从而降低阴影、阳光照射和邊缘的变化带来的影响。

（4）针对各block块中的单元格，计算梯度的方向直方图。起初的方向角是没有符号的，通常可以分成9 个方向角。经过分析与计算，各个单元格可以分别获得9 个特征值。接着，把块中的各个单元格的梯度方向直方图组合成一个向量，当各块为的16×16 像素尺寸时，各块就有36 个特征值。

（5）用块扫描整个汽车标志图像，得到的各个块特征连接起来就代表完整的汽车标志的HOG特征，可以用g×h维表示。其中，h代表整个汽车标志块的数量，g代表各块中直方图向量的维数，HOG特征就是可以被分类所采取的特征向量。HOG中窗口、块、单元格关系示意图如图4所示。

2.3   HOG-LBP特征算法

LBP特征主要提取了车标丰富的纹理信息特征，HOG特征主要提取了车标丰富的边缘信息特征，不同的特征提取算法提取物体的不同特征。本文提出一种HOG-LBP特征，利用多核学习方法在HOG特征和LBP特征基础上，构造核函数用于SVM分类阶段的决策。

构造核函数的算法主要包括线性核函数、多项式核函数和径向基核函数。

（1）线性核函数

（8）

（2）多项式核函数

（9）

（3）径向基核函数

（10）

基于HOG-LBP特征的车标识别流程如图5所示。首先对视频图像进行预处理[13-14]，包括运动车辆的提取和滤波，中值滤波最适合本文图像的去噪。通过对图像的分析对车标区域进行精确定位，输出预处理后的图像。HOG-LBP特征计算是基于经过前期预处理后的车标区域的图像。针对车标区域的图像进行HOG特征计算和LBP特征计算，将两种方法的计算结果作为输入，构造出基于HOG-LBP特征的核函数，接着在SVM[15]中进行训练，生成识别结果。

3   实验与结果分析（Experiment and result analysis）

实验1：支持向量机的核函数选择

本文采用从监控视频中分割出来的10 类车标、826 张车标图像，每类车标至少包含82 张从不同车身上提取的车标，其中部分车标来自网络。样本的采样条件多种多样，天气状况可能有区别，比如晴朗天气、阴雨天气、多云天气，倾斜的观察角度也可能不一样。汽车标志的采样如图6所示。

用线性核函数、径向基核函数和多项式核函数三种不同方法构造检测到的车标图像样本，在SVM中进行训练。接着，对上面的800多张汽车标志图像进行详细的汽车标志辨别，辨别过程中主要利用的是训练好的支持向量机。分别基于线性核函数、径向基核函数和多项式核函数三种核函数对汽车标志进行辨别，三种手段的正确辨别率结果显示如图7所示，相应的平均正确辨别率如表1所示。

径向基核函数可以广泛应用到各种低维、高维、小型样本、大型样本等场景，基于这种核函数对汽车标志进行辨别分类的结果通常都是在期望范围内的，也是在支持向量机中普遍使用的一种方式。但是本文经过实践分析，对比了线性、径向基和多项式三种核函数，图7和表1均显示基于线性核函数的辨别结果最佳，并且耗时最短，所以本文采用的是基于线性核函数的SVM分类核函数。

实验2：HOG-LBP方法性能分析

本次实验中，先选择一个车标标准化后的图像，其尺寸为64×64 像素，块的尺寸为16×16 像素，单元格的尺寸为8×8 像素。块滑动的步进是一个块单元，即汽车标志图像在横向和纵向的各个方面的滑动都应该是16 个像素，梯度图可以利用滤波器[-1，0，1]来获得，在的范围内，各像素点的梯度可以划分成9 级，则一共有576 个方向维度的直方图特征。表2显示了使用三种特征提取手段得到的辨别结果和时间的比较。表中的数据结果表明，HOG-LBP车标的正确辨别率为97.27%，辨别率最高。

为了更精确评估所提方法，我们将车标库中每个车标图像的大小逐次降低，分别为64×64、54×54…24×24、16×16 像素，每次均下降8 个像素。对于每一个像素级的车标库，我们随机选取了400 幅车标图像进行训练，利用其余的车标图像进行识别，可以得到如图8所示的结果。

实验结果表明，基于HOG-LBP特征的车标识别率明显高于单一的HOG或LBP特征提取方法。

4   结论（Conclusion）

本文针对道路监控系统中的汽车视频图像，运用HOG特征和LBP特征分别对车标区域的图像进行特征提取，用多核学习法生成HOG-LBP特征的核函数，在SVM中进行训练识别。本文设计实验分析对比了车标的LBP特征、HOG特征，以及HOG-LBP特征在SVM分类器中的识别率，结果表明基于HOG-LBP特征的车标识别率较高。

参考文献（References）

[1] 罗潇轩.计算机图像处理与识别技术在现代交通中的应用分析[J].网络安全技术与应用，2021（04）：120-121.

[2] 黄晓婷.基于DM8168双核DSP的车型识别系统[D].南京：南京航空航天大学，2015.

[3] 贺敏雪，余烨，程茹秋.特征增强策略驱动的车标识别.中国图象图形学报，2021，26（05）：1030-1040.

[4] 张红兵.基于TMS320DM8127的车型识别系统的研究与实现[D].南京：南京航空航天大学，2015.

[5] 陈全义，陈三风，胡涛，等.基于改进 Linemod-2D 的快速形状匹配算法[J].现代电子技术，2021，44（6）：159-164.

[6] 刘欣悦.基于移动端的多特征花卉识別系统[D].长春：吉林大学，2019.

[7] 丁奇安.非限定环境下的车牌识别技术研究[D].芜湖：安徽工程大学，2019.

[8] 姜雪.基于多特征的图像检索方法研究[D].淄博：山东理工大学，2019.

[9] ERAZO-AUX J， LOAIZA-CORREA H， RESTREPO-GIRON A D. Histograms of oriented gradients for automatic detection of defective regions in thermograms[J]. Applied Optics， 2019， 58（13）：3620-3629.

[10] 慕春雷.基于HOG特征的人脸识别系统[D].成都：电子科技大学，2013.

[11] 张红兵，李海林，黄晓婷，等.基于车前脸HOG特征的车型识别方法研究与实现[J].计算机仿真，2015，32（12）：119-123.

[12] 李哲，于梦茹.基于改进的HOG与LBP特征值的车标识别方法[J].计算机与数字工程，2019，47（12）：3154-3159.

[13] 王小龙.基于视频图像的车型识别算法研究与实现[D].西安：西安电子科技大学，2014.

[14] YUAN B， XIA  B， ZHANG D. Polarization image texture feature extraction algorithm based on CS-LBP operator[J].Procedia Computer Science， 2018（131）：295-301.

[15] 郑秋梅，吕兴会，时公喜.基于多特征集成分类器的人脸表情识别[J].中国石油大学学报（自然科学版），2011，35（1）：174-178.

作者简介：

曲爱妍（1976-），女，硕士，高级工程师.研究领域：图像处理，人工智能，数据安全，数据分析.

吴秋玲（1976-），女，博士，副教授.研究领域：信息隐藏技术，无线网络与信息安全.

张   正（1973-），男，本科，研究员.研究领域：专用网络安全性，加解密技术，无线通信.本文通讯作者.

梁颖红（1970-），女，博士，教授.研究领域：自然语言处理，智能对话系统.

黄晓婷（1990-），女，硕士，工程师.研究领域：图像处理，DSP.