Gabor小波与HOG特征融合的行人识别算法

包晓敏，任文静，吕文涛

(浙江理工大学 信息学院，浙江 杭州 310018)

Gabor小波与HOG特征融合的行人识别算法

包晓敏，任文静，吕文涛

(浙江理工大学 信息学院，浙江 杭州 310018)

针对传统HOG特征行人检测方法中，当目标存在遮挡以及面对复杂环境条件下，行人识别存在较高漏检率和误检率的问题，提出一种基于Gabor小波与HOG特征融合(G-HOG)的行人识别算法。利用Gabor小波对样本图像进行特征变换并在尺度和方向上融合，获取Gabor特征图像，利用HOG算子在特征图像上提取目标特征，进行样本分类，获取行人目标的疑似区域；对行人样本进行HOG特征提取与训练，实现对疑似区域的目标识别。实验结果表明，基于G-HOG特征的行人识别算法在INRIA、MIT与Daimler数据库上性能表现良好，能够获取较高的查全率和识别率。

行人识别；Gabor变换；方向梯度直方图；支持向量机

0 引言

车辆辅助驾驶系统中的行人检测主要运用模式识别和图像处理等技术实现车辆前方行人的检测与识别，有效保护道路上的行人。因为受到姿态、外表、服饰和光照天气等众多因素的影响，使得行人检测成为一个非常具有挑战性的课题[1]。

当前行人检测大多采用基于统计分类的方法，行人特征提取和分类器的选择是这类方法中最为关键的2部分。Dalal和Triggs[2]等人首次提出了梯度方向直方图特征(Histogram of Oriented Gradient,HOG)，应用于行人检测中；Sun D[3]等人提出一种增强的HOG特征用于检测静态图像中的行人；ARMANFARD N[4]等人把纹理边缘描述子(Texture Edge Descriptor，TED)特征应用于视频序列中的行人检测，此特征包括纹理和垂直方向的边缘信息；Lee S[5]等人提出使用Gabor滤波器组的行人检测算法，在预处理阶段使用Gabor滤波;另外，行人检测中常用的一些特征还有：CENTRIST特征[6-7]、Haar-like特征[8-9]、LBP(Local Binary Pattern)特征[10-11]和SIFT(Scale-Invariant Feature Transform)特征[12-13]等。在分类的选择上，通常选择支持向量机(Support Vector Machine)分类器[14-15]、Adaboost分类器[16]和神经网络(Convolutional Nature Networks)[17]等。

在现有的各种行人特征提取方法中，梯度方向直方图特征表现出了优良的检测性能，其对光照变化和偏移不敏感，能有效地刻画人体的边缘特征。然而，HOG特征维度高，大量的重叠和直方图统计使得特征的计算速度慢，遮挡处理能力较差[18-21]；在复杂的环境下准确率较低。

在此基础上，本文提出一种新的采用Gabor特征和HOG特征融合技术的两阶段识别算法，使用Gabor小波对图像进行特征变换并在尺度和方向上进行融合，所得图像增强了与人体检测有关的信息，消除了非相关数据和噪声，行人整体信息得以维护和丰富，提高了HOG算法的全局性能。

1 G-HOG行人检测算法

1.1 Gabor特征提取

Gabor小波描述了对应于空间频率(尺度)、空间位置及方向选择性的局部结构信息。实际应用中，Gabor滤波器可以在频域的不同尺度、不同方向上提取相关特征，其函数定义为：

(1)

式中,z=(x,y)；‖·‖表示范数运算;kμ,ν=kvexp(iφμ)；kv=kmax/fv；Φμ=πμ/8；f为核函数在一个限定域中的间隔因子；在介于4～16 像素中，μ和v分别表示 Gabor 滤波器的方向和尺度。用 Gabor小波函数对目标图像的滤波，可以通过与图像的卷积来实现[22-24]。

Gμ,ν=I(z)*Φμ,ν(z)，

(2)

式中，I(z)为目标的灰度图像z=(x,y)；*为卷积运算。

为了在采样过程中较全面地得到细节纹理，本文采用均匀离散采样的方法，使每个方向上都有采样点。暂时根据经验通过选取5个尺度(v{0,1,2,3,4} )、8个方向(0 ～ 7π/8)进行采样，μ∈{0,1,2,3,4,5,6,7} 。

行人Gabor特征提取过程如图 1所示，从图1中可以看出，使用Gabor滤波器的5个尺度、8个方向对图像进行滤波，会生成 40 幅Gabor 特征图像。如果直接提取这40幅图像的HOG特征，会使之后的训练和分类过程计算量和内存过大，运行缓慢，因此为了使行人识别系统更有效，训练过程中又不丢失其特征信息，需要对 Gabor 特征进行融合。

图1 行人Gabor特征提取与融合

1.1.1 方向融合

方向融合方面，采用全局编码[25-28]的形式，对同一尺度多个方向上的Gabor 特征进行编码，这样既能有效降低 Gabor 特征的维数，又能保证方向特征信息不丢失。

(3)

根据每个像素在5个尺度和8个方向上形成的40个Gabor特征，可以在给定尺度时对不同方向上的 Gabor 特征的实部和虚部分别进行编码。

(4)

(5)

(6)

(7)

1.1.2 尺度融合

从图1可以看出，方向融和后，图像还有5个尺度上的特征，其纹理比较相似，可见这些图像还存在一定的数据冗余，因此对5个尺度继续融合，依然采用求均值的方法来实现尺度融合，这样既可以让融合后的图像简单、有效地展现其Gabor 特征，又能保证其特征信息不丢失。

(8)

(9)

从图1可以看到，完成尺度融合后，图像剔除了姿态和阴影等造成的干扰，鉴别出目标的纹理特征，使得行人整体信息得到维护和丰富。

1.2 HOG特征提取

方向梯度直方图(Histogram of Oriented Gradient,HOG)特征是通过计算和统计图像局部区域的梯度方向直方图来进行物体检测的特征描述子。由于Gabor特征融合图像既保留了原始图像的纹理信息和边缘信息又剔除了大量非相关信息，HOG算子易于提取图像纹理特征，且检测率较高，因此利用Gabor特征融合图像作为输入图像，对其进行HOG特征提取。本文所采取的HOG特征提取算法流程如下：

① 图像灰度化与归一化处理

I(x,y)⟸G(x,y),H(x,y)=I(x,y)gamma,

式中，G表示灰度化处理；gamma通常取值为1/2;

② 计算图像每个像素的梯度大小和方向

Gx(x,y)=H(x+1,y)-H(x-1,y)，
Gy(x,y)=H(x,y+1)-H(x,y-1)；

③ 将图像归一化为36×72像素大小，分为4×4像素的单元(cell)，8×8像素的块(block)，4个像素的块步长，每个单元9个方向通道；

④ 统计每个单元格内的梯度方向直方图；

⑤ 统计cell的梯度方向直方图组成block的HOG描述子，并对block内的描述子采用重叠单元归一化方法提高结果稳定性；

⑥ 统计所有block的HOG描述子组成的图像HOG特征描述子。

获取图像的G-HOG特征后，首先使用分类器获取疑似目标区域，确保高查全率，其次对疑似目标利用原始HOG特征分类器在疑似区域进行再次筛选，提高行人识别率。本文提出的算法流程如下：

输入：图像Im

输出：图像To

① 对输入图像Iin进行预处理，即Iinit⟸P(Iin)，其中，P表示预处理操作，包括灰度化、尺寸归一化和高斯滤波；

② 对Iinit进行Gabor卷积，获得Gabor特征图像：G(Iinit)=Iinit⊗Φ;

④ 对编码图像分别进行尺度与方向的融合，基于式(6)～式(9)获得Gabor融合图像GC(z)，其中z=(GCRe,GCIm);

⑤ 对融合后图像提取HOG特征获得G-HOG描述子；

⑥ 对图像的G-HOG描述子进行训练并获取分类器1：C1⟸SVM(GC);

⑦ 对Iinit提取HOG描述子进行训练并获得分类器2：C2⟸SVM(Iinit);

⑧ 对图像进行识别：首先利用C1获取行人目标疑似区域：Fc⟸R(C1)，其中，R表示对图片上行人进行识别；其次在疑似区域上利用C2进一步识别行人：To⟸R(Fc);

⑨ 输出识别图像To。

2 实验

2.1 参数设置

本文所讨论的算法是面向行人与非行人的二分类识别，分类器使用支持向量机(Support Vector Machine)[19]。在分类器参数设置中，核函数使用线性核函数，松弛因子C=0.01，其他参数由经验获取，以保证SVM具有良好的分类性能。

本文采用开源数据库数据进行实验，包括MIT数据库、INRIA数据库和Daimler数据库。其中，MIT数据库包含924张行人图片，未区分训练集和测试集；INRIA数据库是目前使用最多的静态行人检测数据库，提供原始图片及相应的标注文件；Daimler行人数据库采用车载摄像机获取，分为检测和分类2个数据集，检测数据集的训练样本集中，正样本大小为1836和4896的图片各15 560张，分类数据集有3个训练集和2个测试集；针对本文研究的特殊领域，在算法中，训练集采用Daimler数据库中的正负样本，训练时统一为36×72像素，测试集采用MIT、INRIA、Daimler三个数据库，训练与测试样本示例如图2和图3所示。

图2 训练样本示例

图3 测试样本示例

在测试数据集上采用查全率(Recall)和准确率(Precision)来检测本文提出的方法，查全率是检测正确目标的数目除以目标的总数目(tp为正阳性数目，检测到是目标像素的数目;fn为没有检测到目标像素的数目)；准确率是检测到目标像素数目除以检测目标像素数目(tp真阳性与假阳性fp的和)。

(10)

(11)

2.2 Gabor参数分析

用 Daimler训练样本对本文提出的方法进行学习后，在第一节的Gabor特征提取中在方向和尺度上暂时使用了经验参数5和8，实验中发现，其中方向和尺度以及Gabor核大小的改变都对查全率和准确率有所影响，结果如图4、图5和图6所示。

图4中，在同一个方向下，尺度越大，查全率越大，当尺度达到14或者16时已经趋于饱和，在同一个尺度下，随着方向的增加，查全率增大，当方向在8～10 之间时，查全率变化缓慢；图5中在同一方向下，随着尺度的增加，准确率呈现先上升后下降的趋势，同样的，在同一个尺度下，随着方向的增加，准确率也呈现先上升后下降的趋势；综合图4和图5，在保证查全率和准确率都较优的情况下，决定将尺度取为12，方向取为8；图6中，随着Gabor核的增大，查全率逐渐下降，取值38时为临界点；准确率缓慢增大随后呈现下降趋势；综合图6，将Gabor核取为38，这样既保证了查全率又保证了准确率。

图4 Gabor不同尺度和方向的Recall

图5 Gabor不同尺度和方向的Precision

图6 Gabor不同核大小情况下的Recall和Precision

3 结果分析

基于INRIA数据库，对两阶段训练得到的分类器性能进行测试，结果如表1所示。

表1 分阶段的Recall和Precision比较结果 (%)

由表1可知，在第1阶段中的查全率比第2阶段高，但是准确率比第2阶段低，两阶段融合后可以看出，虽然查全率比第1阶段低，但是与两阶段相比变化不大，且准确率均明显提高，由此进一步证明了本文算法的有效性。

将本文算法与文献[3]使用的HOG算法和文献[5]Gabor算法分别在INRIA数据库、MIT数据库、Daimler数据库上对3种算法进行测试，结果如表2和表3所示。

表2 不同数据库上的Recall比较结果 (%)

表3 不同数据库上的Precision比较结果 (%)

由表2和表3可知，本文提出的算法基于三大数据库数据的实验表明，其性能均优于HOG算法和Gabor算法。其中，通过表2对比，INRIA数据库上的查全率比其他2个数据库低，这是因为INRIA数据库中，行人样本背景较复杂，遮挡较严重，图像的冗余信息较多，而MIT数据库与Daimler数据库中行人样本背景简单，目标清晰，易于识别；通过表3对比，在不同数据库的检测准确率方面，本文算法较传统HOG算法与Gabor算法都有较大提高。

本文算法采用Gabor特征和HOG特征融合技术，并通过两阶段策略进行疑似候选目标选取和行人最终检测结果辨别，可以在保证高查全率条件下，有效提高目标的识别率，基于真实场景的数据库实验结果，验证了算法的鲁棒性和可靠性。

4 结束语

本文提出了一种新的基于Gabor小波和HOG特征融合的两阶段行人识别算法，在提高行人识别率上主要解决2个问题：① 在第1阶段，通过对图像进行Gabor变换以及特征融合，能够较好地去除原始图像上的一些冗余信息，并有效保留行人的纹理信息边缘信息，在此基础上能够有效改善HOG检测性能；② 在行人样本上提取HOG特征，训练和分类后，在第1阶段中得到的行人疑似区域上进一步识别，基于经典开源数据库的实验结果表明，与HOG特征识别算法和Gabor特征识别算法相比，基于G-HOG特征的两阶段行人识别算法表现良好，能够获取较高的查全率与识别率。

在本文两阶段算法测试中，均使用SVM对样本进行分类。当然，可以采用其他分类器，如BP神经网络、Adaboost分类器或其他分类器，对文中所提算法进行进一步验证。

[1] 曾春,李晓华,周激流.基于感兴趣区梯度方向直方图的行人检测[J].计算机工程,2009,35(24):182-184.

[2] DALAL N,TRIGGS B.Histograms of Oriented Gradients for Human Detection[C]∥Computer Vision and Pattern Recognition,2005.CVPR 2005.IEEE Computer Society Conference on.IEEE,2005,1:886-893.

[3] SUN D,WATADA J.Detecting Pedestrians and Vehicles in Traffic Scene Based on Boosted HOG Features and SVM[C]∥Intelligent Signal Processing(WISP),2015 IEEE 9th International Symposium on.IEEE,2015:1-4.

[4] ARMANFARD N,KOMEILI M,KABIR E.TED：A Texture-edge Descriptor for Pedestrian Detection in Video Sequences[J]．Pattern Recognition,2012,45(3):983-992．

[5] LEE S,JANG J W,BAEK K R.Pedestrian Detection Algorithm Using a Gabor Filter Bank[J].Journal of Institute of Control,Robotics and Systems,2014,20(9):930-935.

[6] JOSHI K,KAVITHA R,NAIR M S.Real Time Pedestrian Detection Using CENTRIST Feature with Distance Estimation[C]∥Advanced Computing and Communication Technologies.Springer Singapore,2016:223-232.

[7] WU J,REHG J M.CENTRIST:A Visual Descriptor for Scene Categorization[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2011,33(8):1489-1501.

[8] ERRAMI M,RZIZA M.Improving Pedestrian Detection Using Support Vector Regression[C]∥Computer Graphics,Imaging and Visualization(CGiV),2016 13th International Conference on.IEEE,2016:156-160.

[9] ZHANG S,BAUCKHAGE C,CREMERS A B.Informed Haar-Like Features Improve Pedestrian Detection[C]∥IEEE Conference on Computer Vision and Pattern Recognition.IEEE,2014:947-954.

[10] HUANG Z.Vehicle Pedestrian Detection Algorithm Based on AdaBoost[C]∥Intelligent Transportation,Big Data and Smart City(ICITBS),2015 International Conference on.IEEE,2015:973-976.

[11] HALIDOU A,YOU X,HAMIDINE M,et al.Fast Pedestrian Detection Based on Region of Interest and Multi-block Local Binary Pattern Descriptors[J].Computers & Electrical Engineering,2014,40(8):375-389.

[12] LI J,LIAO Y J,ZHANG H M.Pedestrian Detection Based on Bag-of-Visual-Words and SVM Method[C]∥Applied Mechanics and Materials.Trans Tech Publications,2014,678:189-192.

[13] XIAO P，CAI N，TANG B，et a1．Eficient SIFT Descriptor via Color Quantization[C]∥IEEE InternationalConference on Consumer Electronics，Shenzhen,2014:1-3．

[14] BORRAJO M L，ROMERO R，IGLESIAS E L．A Linear-RBF Multikernel SVM to Classify Big Text Corpora[OL]．http：∥dx.doi.org/10.1155/2015/878291,2015.

[15] MEYER D,WIEN F H T.Support Vector Machines[J].The Interface to Libsvm in Package e1071,2015.

[16] WU Shu-qiong,NAGAHASHI H.Parameterized AdaBoost：Introducing a Parameter to Speed up the Training of Real AdaBoost[J]．IEEE Signal Processing Letters,2014,21(6):687-691．

[17] KIM Y.Convolutional Neural Networks for Sentence Classification[J].arXiv Preprint arXiv:1408.5882,2014.

[18] 自德贵,辛晨,张婷,等.显著性纹理结构特征及车载环境下的行人检测[J].软件学报,2014,25(3):675-689.

[19] 程广涛,陈雪,郭照庄.基于HOG特征的行人视觉检测方法[J].传感器与微系统,2011,30(7):68-70.

[20] 刘召,宋立滨,耿美晓,等.基于激光雷达的舞蹈机器人室内行人跟踪方法[J].计算机工程,2017,43(6):247-252.[21] 刘曙,罗予频,杨士元.基于多尺度的轮廓匹配方法[J].计算机工程,2008,34(1):201-203.

[22] 罗元,张天,张毅.一种改进的LDP面部表情特征提取方法[J].半导体光电,2016,37(1):122-125.

[23] 钟剑丹,雷涛,姚光乐,等.基于支持向量约简的快速目标检测[J].半导体光电,2017,38(3):153-158.

[24] 罗元,崔叶,王艳,等.基于融合DCT和LBP特征提取的面部表情识别[J].半导体光电,2014,35(2):330-333.[25] 薛茹,常岐海,吴宗胜.基于Gabor小波与HOG特征的目标检测方法[J].电视技术,2014,38(7):182-185.

[26] 胡丽乔,仇润鹤.一种自适应加权HOG特征的人脸识别算法[J].计算机工程与应用,2017,53(3):164-168.

[27] 徐渊,许晓亮,李才年,等.结合SVM分类器与HOG特征提取的行人检测[J].计算机工程,2016,42(1):56-60.

[28] ZHANG B,SHAN S,CHEN X,et al.Histogram of Gabor Phase Patterns(hgpp):A Novel Object Representation Approach for face Recognition[J].IEEE Transactions on Image Processing,2007,16(1):57-68.

ANovelAlgorithmforPedestrianRecognitionBasedonGaborWaveletandHOGFeature

BAO Xiao-min,REN Wen-jing,LU Wen-tao

(SchoolofInformationScienceandTechnology,ZhejiangSci-TechUniversity,HangzhouZhejiang310018,China)

Conventional algorithms for pedestrian detection based on histogram of Oriented Gradient(HOG) feature present weak performance in recognition rate and accuracy when the scenes have complex conditions.In this paper,a novel algorithm is presented for pedestrian recognition based on Gabor wavelet and HOG feature(G-HOG).In the first stage,a Gabor wavelet is first applied to obtain Gabor feature.It involves the feature transform and fusion of Gabor feature in the scale and direction.Then,the G-HOG features are generated from the Gabor image.They are finally fed into a classifier to acquire the candidate sample for pedestrian.In the second stage,the HOG features are extracted from the candidate targets.These are then used to recognize the pedestrian based on a two-category discriminator.Because of applying the fusion of Gabor feature and HOG feature,the presented algorithm enhances the recall rate and precision for pedestrian detection.The test results based on INRIA,MIT and Daimler data demonstrate that the presented algorithm has better performance.

pedestrian recognition;Gabor transform;histogram of oriented gradient;support vector machine

10.3969/j.issn.1003-3106.2017.10.06

包晓敏，任文静，吕文涛.Gabor小波与HOG特征融合的行人识别算法[J].无线电工程,2017,47(10):25-29,48.[BAO Xiaomin,REN Wenjing,LU Wentao.A Novel Algorithm for Pedestrian Recognition Based on Gabor Wavelet and HOG Feature[J].Radio Engineering,2017,47(10):25-29,48.]

TN911.73

A

1003-3106(2017)10-0025-05

2017-04-26

国家自然科学基金资助项目(61601410);浙江省自然科学基金资助项目(LY16F010018)。

包晓敏女，(1965—)，教授。主要研究方向：模式识别与图像处理。任文静女，(1993—)，硕士研究生。主要研究方向：模式识别与图像处理。