基于共生概率特征量的行人检测

巨志勇,黄 凯

(上海理工大学 光电信息与计算机工程学院,上海 200093)

基于共生概率特征量的行人检测

巨志勇,黄 凯

(上海理工大学 光电信息与计算机工程学院,上海 200093)

人体目标检测研究是近年来计算机视觉领域的研究热点。针对行人检测中出现的检测精度较低的问题,文中提出了一种有效的行人检测算法。具体而言,选取不同类型的局部特征量HOG与LBP,通过第一段的Real AdaBoost算法进行特征的筛选,筛选后的特征通过两两配对计算共生概率特征量;最终通过第二段的Real AdaBoost 算法将弱识别器转化为强识别器来进行行人检测。实验以OpenCV和VS2010为测试环境,通过与OpenCV自带的算法程序比较得出该算法能更好的检测行人,从而提高了行人检测的准确率与鲁棒性。

HOG;LBP;共生概率特征量;Real AdaBoost算法;OpenCV+VS2010

人体目标检测[1]是近年来计算机视觉领域的研究热点,其在基于内容的图像检索、智能交通、智能视频监控、高级人机交互等领域具有广泛的应用前景。为了提高检测目标的准确性,近些年来许多行人检测[2-3]方法被提出。本论文采用HOG[4]特征量与LBP[5-6]特征量的两两配对来计算共生概率特征量。通过Real AdaBoost[7-8]算法进行学习,生成共生概率特征量[9-10]来进行目标检测,提高目标检测率。

1 HOG特征量的提取

在本文的研究中,采取Histogram of Oriented Gradients作为局部特征量之一。HOG特征是Dalal于2005年针对行人检测问题提出的特征,能大体描述行人的轮廓。HOG特征是目前行人检测领域最常用的特征。对于其他非行人目标的检测,HOG特征也取得了突出结果,可以说是目标检测领域,单一特征中效果最佳的特征。此外,HOG特征还被应用到姿态估计、人脸识别、表情识别、场景分类等问题。

HOG特征的提取流程如下所示:

(1)伽马校正。使用伽马变换对图像预处理,增强图像暗区的对比度。Dalal的实验结果表明,使用Gamma变换后,在FFPW为10-4的条件下误检率可降低1%。

(2)计算梯度。以I(x,y)表示图像某一通道中(x,y)处的颜色值,其(x,y)处的水平方向梯度记为Gx(x,y),垂直方向梯度记为,计算式如下

Gx(x,y)=I(x+1,y)-I(x-1,y)

(1)

Gy(x,y)=I(x,y+1)-I(x,y-1)

(2)

则(x,y)处的梯度幅值G(x,y)梯度方向θ(x,y)计算公式如下

(3)

(4)

实际计算时,分别使用模板[-1,0,1]和[-1,0,1]T对图像卷积到Gx(x,y)和Gy(x,y),对于多通道图像,选择梯度幅值最大的通道的梯度作为该像数点的梯度。

(3)统计梯度方向。这一步骤是HOG特征计算的核心,将64×128大小的图片划分为8×8的单元(Cell),2×2个单元组成一个块(Block)每个单元都统计一个梯度方向直方图。梯度方向没有符号区分,即将梯度方向在0°～180°范围内等间隔划分为9个区间(Bin)。每一个像素点的梯度方向都采用线性插值,即对梯度方向相邻的两个区间投票。此外,还要对该像素点周围的单元进行双线性插值投票。像素点对某一个单元的某一个梯度方向的权重,为该点的梯度方向在该梯度方向和该单元插值后,再经过高斯加权后的值。

(4)归一化。为克服光照不均匀以及前景与背景的对比差异,有必要采用局部归一化。HOG特征首先对每一个块的36维向量v进行L2-norm归一化,即v(i)=min(v(i),0.2),然后使用α=0.2截断,即v(i)=min(v(i),0.2),最后再重新进行一次L2-norm归一化。HOG特征量经过归一化表示为

由于块与其周围的块有重叠,使得每个单元对其周围的块都有贡献,但归一化的块并不一样。这样虽然会造成信息冗余,但是能显著提升算法精度。

(5)向量化。最终,将检测窗口内的特征组成一维向量,Dalal设定的步长为8个像素,因此相邻之间会有1～2个重叠的单元,而每个单元对其周围的4个块都有贡献。对于128×64的检测窗口最终组成[(128-8)/8]×[(64-8)/8]×4×9=15×7×36=3 780维的特征向量。

2 LBP特征的提取

LBP(LocalBinaryPattern)是一种用来描述图像局部纹理特征的算子;其具有旋转不变性和灰度不变性等优点,是一种简单、有效的纹理分类的特征提取算法。在本文中也是考虑的一种局部特征,提取算法如下

(1)将检测窗口划分为16×16或其他尺寸的较小区域(称为Cell)。

(2)对于每个Cell中的每一个像素,将相邻的8个像素的灰度值与其进行比较,若周围像素值大于中心像素值,则该像素点的位置被标记为1,否则为0。这样,3×3领域内的8个点经比较可产生一个8位二进制数,即该像素点的LBP值。

(3)计算每个Cell的直方图,即每个数字(假定是十进制数LBP值)出现的频率;并对该直方图进行归一化处理。

(4)将得到的每个Cell的统计直方图进行连接形成一个特征向量,即是整幅图像的LBP纹理特征向量。

3 共生概率特征量

若输入的一个特征由于一些因素很难分配到正确的二进制代码中,为解决该问题,本文提出了一种共生概率特征量。采用HOG特征量与LBP特征量的两两配对来计算共生概率特征量。

3.1 第一段RealAdaBoost

(1)将样本空间X按照特征值的大小进行区间划分,得到x1,x2,x3,…,xm共m个区间。对于同一个区间,分别计算正样本的权重和与负样本的权重和

(5)

(6)

其中,Dt(i)是样本的权重;y∈(+1,-1)分别代表正负样本。

(2)特征的筛选,通过正负样本权重和的比较,得到权重分布情况,再求出特征参数

(7)

(3)当e值最小时,可确定该轮训练产生的弱分类器是

(8)

xi∈xj,v为输入的局部特征,为防止产生极值,令式中∈为一个无穷小的正数。

(4)生成共生概率特征量(CPF)。使用加法运算符表示共生的特征之间的微弱关系和乘法运算符代表共生的特征之间的强烈关系。共生概率特征量结合弱分类器通过加法运算符可全面地捕获两个特征量。因此,若一个特征被堵塞或受到外部的干扰,但另一个特征恰好能在较大程度上表征目标对象,则最终的共生概率特征量就能很好的表征目标对象。另一方面,共生概率特征量结合弱分类器通过乘法运算符可同时捕获两个特征的特性。只有当两个特征均较高时,才将是一个较好地捕获目标的特征。其表达式如下

(9)

或

(10)

或

(11)

而

(12)

或

(13)

或

(14)

两两配对计算共生概率特征量,此时选取的两个特征可能为同一类型图像中不同部位的特征,也可能为不同类型的特征。

3.2 第二段RealAdaBoost算法

训练:调用RealAdaBoost训练算法,T轮训练后,产生T个弱分类器ht,t=1,…,T。通过第一段式选择共生概率特征量(CPF),在共生概率特征量的基础上训练弱分类器ht(x)。最后,将所有权重进行归一化得

(15)

式中,Zt是归一化因子。训练结束后,最终的强分类器即为每一轮唯一的弱分类器叠加而成

H(x)=sign[ht(x)]

(16)

4 实验结果

经实验验证得出本文的方法确实是有效的。本文采用INRIA提供的图片进行实验,该行人库分为测试集与训练集。训练集中含有2 416张行人图片和1 218张不含行人的背景图片;而测试集中则含有1 127张行人图片和454张背景图片。由于该库中行人的外观各异,因此是一个相当复杂的行人库。先将正样本降采样缩放至64×128pixel大小,然后随机选择不同大小尺寸的共生概率特征进行训练。整个训练过程在一台Intel(R)Core(TM)i5-3320MCPU@2.60GHz以及4GB内存的PC上,同时本文收集了400张其他各式各样的行人图片对改进算法检测,并与OpenCV自带的peopledetector中算法的效果进行对比。测试得出检测效果比OpenCV自带peopledetector算法效果好。下图为OpenCV2.4.8自带的peopledetector检测效果。

图1 误检和漏检图

图2 检测交叉图

图中出现一些漏检和误检情况,如图1所示,诸多行人未被检出,还有如图2所示检测的行人矩形框出现交叉,不能完整的圈出一个行人。经过实验,本文的算法检测效果如图3～图5所示。

图3 行人检测(3人)

图4 行人检测(7人)

图5 行人检测(3人)

与前面的检测图片相比,明显检测效果要好,且检测率得到了明显提高,检测图片的矩形框也基本能完整圈出一个行人,各矩形框之间的交叉现象也较少。

5 结束语

本文提出了一种基于共生概率特征量以及AdaBoost算法的行人目标检测方法。研究工作主要包括特征提取和机器学习两个方面。其中特征主要是研究HOG特征和LBP特征,因为实验证明两种特征能较好地表征行人。机器学习方面主要研究了Real AdaBoost 算法,通过第一段的Real AdaBoost算法进行特征筛选,筛选后的特征组合计算生成共生概率特征量;最后通过第二段的Real AdaBoost算法将弱识别器转化为强识别器来进行行人检测。下一步研究的重点应在AdaBoost基础理论上有所创新,从弱分类器层面上提高性能。在特征方面,试图寻找更多的适合表征行人的特征,或进行对现有特征进行融合或者组合。研究行人非站立、被遮挡、黑夜和背景相似情况下的行人检测,力争解决这些问题,提高行人检测系统的鲁棒性。

[1] 杨林.基于Kinect 的人体目标检测与跟踪[D].大连:大连海事大学,2013.

[2] 周生辉.基于区域约束 HOG-LBP 特征的人体检测算法研究[D].武汉:武汉理工大学,2012.

[3] 苏松志,李绍滋,陈淑媛,等.行人检测技术综述[J].电子学报,2012,40(4):814-820.

[4] 田仙仙,鲍泓,徐成.一种改进 HOG 特征的行人检测算法[J].计算机科学,2014,41(9):320-324.

[5] 袁宝华,王欢,任明武.基于完整 LBP 特征的人脸识别[J].计算机应用研究,2012,29(4):1557-1559.

[6] Wang X,Han T X,Yan S.An HOG-LBP human detector with partial occlusion handling[C].Computer Vision,2009 IEEE 12th International Conference on IEEE,2009:32-39.

[7] 胡将胜.基于 AdaBoost 和 SVM 的人体检测[D].武汉:中南民族大学,2011.

[8] 朱谊强,张洪才,程咏梅,等.基于 Adaboost 算法的实时行人检测系统[J].计算机测量与控制,2007,14(11):1462-1465.

[9] Yamauchi Y,Takaki M,Yamashita T,et al.Feature co-occurrence representation based on boosting for object detection[C].Computer Vision and Pattern Recognition Workshops(CVPRW),2010 IEEE Computer Society Conference on IEEE,2010:31-38.

[10]Mita T,Kaneko T,Stenger B,et al.Discriminative feature co-occurrence selection for object detection[J].IEEE Transactions on Pattern Analysis and Machine Intelligence,2008,30(7):1257-1269.

Pedestrian Detection Based on Co-occurrence Probability Feature

JU Zhiyong,HUANG Kai

(School of Optical-Electrical and Computer Engineering,University of Shanghai for Science and Technology,Shanghai 200093,China)

The human body target detection research is a research hotspot in the field of computer vision in recent years.In view of the poor pedestrian detection accuracy,this paper presents an efficient pedestrian detection algorithm.Different types of local features HOG and LBP are selected and filtered by the first stage Real AdaBoost algorithm,after which the co-occurrence probability features are generated by pairwise.Finally,weak classifiers are transformed into a strong recognizer to detect pedestrians through the second stage of the Real AdaBoost algorithm.Experiment in OpenCV and VS2010 shows that the algorithm can better detect pedestrian and improve the pedestrian detection accuracy and robustness compared with the OpenCV buit-in algorithm.

HOG;LBP;co-occurrence probability feature;Real AdaBoost;OpenCV+VS2010

2015- 05- 06

巨志勇(1975—),男,副教授。研究方向:计算机应用等。E-mail:13248218037@163.com。黄凯(1991—),男,硕士研究生。研究方向:图像处理等。

10.16180/j.cnki.issn1007-7820.2015.11.037

TP391.41

A

1007-7820(2015)11-139-04