基于快速级联分类器的行人检测方法研究

基于快速级联分类器的行人检测方法研究*

高嵩，杜晴岚，陈超波

(西安工业大学电子信息工程学院，陕西 西安 710021)

摘要：行人检测是图像处理、计算机视觉等方面研究的重要环节，通常用于视频监控和智能车辆等领域。行人检测图像易受到背景的影响，常用的帧差法及单纯训练分类器法在行人检测中存在着准确率低、分类训练算法复杂、实时性差等问题。首先采用改进型帧差法获取行人运动信息，然后利用直方图坐标对应划分出运动区域，最后通过训练双特征级联分类器对运动区域进行检测识别。实验结果表明，本方法可以有效减少误检和漏检现象，检测时间平均减少了32.77 ms，检测准确率平均提高了10%以上，因此本方法有效提高了识别准确率和识别速度。

关键词：改进型帧差法；Haar特征；Shapelet特征；级联分类器

中图分类号：TP391.4 文献标志码：A

doi:10.3969/j.issn.1007-130X.2015.06.022

收稿日期：*2014-05-23;修回日期：2014-06-30

基金项目：国家自然科学基金资助项目(61271362)；陕西省国际科技合作重点项目(2015KW-024)；西安市技术转移促进工程项目(CXY1441(3))

作者简介:

通信地址：710021 陕西省西安市未央区草滩镇西安工业大学电子信息工程学院

Address:College of Electronic and Information Engineering,Xi’an Technological University,Caotan Town,Weiyang District,Xi’an 710021,Shaanxi,P.R.China

Apedestriandetectionmethodbasedonrapidcascadeclassifier

GAOSong,DUQing-lan,CHENChao-bo

(CollegeofElectronicandInformationEngineering,Xi’anTechnologicalUniversity,Xi’an710021,China)

Abstract:Pedestrian detection is an important part of image processing and computer vision research, and it is usually used in the field of video surveillance and smart vehicles.Pedestrian images are vulnerable to the background,and using common methods such as frame difference and training classifier to detect pedestrian has problems such as low accuracy rate,algorithm complexity and poor real-time pedestrian detection.In this paper we use an improved frame-difference method to obtain the pedestrian movement information.Then we utilize histogram coordinates to divide the movement region correspondingly.Finally,the motion area is detected and recognized by training a double feature cascade classifier. Experimental results show that our method can effectively reduce false and missed phenomenon,the average detection time is reduced by 32.77 ms,and the average detection accuracy is increased by more than 10%.The recognition accuracy and speed are improved effectively.

Keywords:improvedframedifference;Haarfeature;Shapeletfeature;cascadeclassifier

1引言

静态背景下的行人检测通常采用背景减除、帧差法以及光流法等方法。研究人员在前人研究的基础上不断改进，提出了一些新的方法。AbdelkadirMM等人[1]提出了一种基于子空间的背景建模方法，使背景模型适应更多场景下的行人检测。YinHong-peng[2]利用直接帧差法结合三帧差法，克服单纯使用帧差法的漏检情况。XiongJing-yi等人[3]通过引入扩展相位相关技术对初始运动进行预测，提高了光流法在大规模运动和强大的噪声影响的图像中的检测率。

对行人的识别通常采用基于模板匹配的方法、基于统计学和特征提取的方法以及近几年出现的基于神经网络和支持向量机等方法。国内外研究学者多年来一直致力于研究如何提高行人识别的准确率。JinLi-zuo等人[4]提出了基于分层模型的模板匹配方法，在对象遮挡的情况下进行行人的检测识别。曲永宇等人[5]提出了HOG特征结合颜色特征的行人检测算法，提高了检测精度。李良等人[6]提出了基于LBP层次特征提取的方法，在人脸表情识别的领域有很好的适用性。张彦峰等人[7]提出了M-AsyAdaBoost算法，通过新的样本权重分配方法，提高训练器的识别能力。XiaLi-min等人[8]利用立体视觉和神经网络的方法进行行人识别，克服了傅里叶变换的不足，有良好的重构性和多分辨分析的功能，提高了有效性。

本文基于前期的学习研究，提出了一种基于改进型帧差法的快速级联分类器算法，利用改进型帧差法获取行人运动信息，确定行人区域的边界坐标，获取行人运动区域，通过训练双特征级联分类器检测行人运动区域，完成行人的识别与标记。

2方法

2.1改进型帧差法

静态背景下的行人运动分析通常采用帧间差分法，对相邻两帧图像做差分运算并利用它们之间的相关性获取运动目标。例如，假设Fk-1(x,y)和Fk(x,y)分别为视频序列中连续的两帧，差分后的图像的表达式为Dk(x,y)，计算过程如下：

(1)

阈值T的选取可以依据经验指定某一数值，本文采用最大类间方差法即大律法。该方法是由日本学者大律提出的，是一种自适应的阈值确定方法。假设前景像素点占图像总点数的比例为x，平均灰度为Ux，背景点数占图像的比例为y，平均灰度为Uy，则图像总的平均灰度U=xUx+yUy，前景图像与背景图像的方差计算公式如下：

(2)

即D=xy(Ux-Uy)(Ux-Uy)，当方差D最大时背景和前景的差异最大，此时的灰度值即为最佳阈值T。将Dk(x,y)与选取的阈值T比较，

当Yk(x,y)为0时，此时图像为背景图像，当Yk(x,y)为1时，此时图像为前景图像。

实验选取在校园内拍摄到的一组视频共378帧进行帧差运算，截取其中相邻的240、241两帧(如图1、图2所示)，帧差运算后的图像(如图3所示)。从图3可以观察到行人的大致轮廓，然而此时的行人轮廓不够清晰完整。因此，要对帧差后的结果进行改进，对其进行对减反转以及形态学的处理，二值化的图像进行先腐蚀后膨胀的运算，行人的边界被填充，高斯滤波去除噪声，此时可以获得较为完整的行人信息(如图4所示)。

Figure 1　Section 240 of video sequence 图1　视频序列第240帧

Figure 2　Section 241 of video sequence 图2　视频序列第241帧

Figure 3　Computation result of frame difference 图3　帧差运算结果

Figure 4　Computation result of improved frame difference 图4　改进后的帧差运算结果

2.2人体运动区域提取

经过帧差运算和形态学处理后的图像可以看到行人的轮廓，差分图像的直方图中可以反映噪声和运动目标的统计特性，分别对水平方向和垂直方向做投影，获取水平方向和垂直方向的直方图，观察波峰位置。以水平方向为例，记录水平方向上左右两个波峰的坐标位置，将坐标对应到原图中即为行人区域的左右边界；同理通过垂直方向的直方图投影，可以确定行人区域的上下边界坐标。如图5所示，由图5a的水平投影可以获得运动区域的行坐标的左右边界，图5b的垂直投影可以获得运动区域的列坐标的上下边界。

Figure 5　Horizontal and vertical projection histogram for movement area 图5　运动区域的水平和垂直投影直方图

Figure 7　Haar features 图7　Haar特征

将直方图获得的边界坐标对应到原图中，分别获取行人运动区域的左右和上下边界，从而将行人图像的范围缩小至黑色框内(如图6所示)。分类器只需要在缩小的范围内进行检测识别，使得搜索范围大大缩小，从而提高了运算速度。

Figure 6　Pedestrian movement area 图6　行人运动区域

2.3特征选取

常用的人体特征描述子主要有Haar特征[9]、HOG特征、Shapelet特征、edgelet特征以及LBP局部特征算子[9]。Haar特征最早由Papa等人研究并且用于人脸识别，Dalal将HOG特征引入了行人识别分析的领域，YaoW等人将Shapelet特征与Haar特征相结合用于行人检测[9],Deren提出的edgelet特征[9]，可以检测行人的边缘特征，Ojala提出了LBP局部算子[9]，通过局部的特征识别行人。Haar特征是一种基于灰度的矩形特征，常用的分为四类：水平特征、线性特征、点特征和对角特征，本文从水平、垂直、45°等几个不同的方向为划分的思路，形成11种特征矩形，如图7所示。

矩形特征的特征值是用来表示行人区域与背景区域的灰度值的对比度，这个数值越大则表明对比度越强烈，边缘特征越明显，极有可能存在行人。特征值的计算如公式(3)所示：

(3)

其中，F表示的是整个矩形特征的特征值，u表示的是白色区域与黑色区域的倍数关系，S(x,y)表示的是像素点(x,y)的灰度值，A表示的是黑色区域，B表示的是白色区域。

edgelet特征是一种边缘特征，如图8所示，该特征描述子通过计算图中像素点的法向量和法向量的内积，分析各局部像素点之间的关系来检测，是一个局部特征而非整体特征。利用edgelet特征计算选取的某个点(x,y)特征值，它的响应特征值P的计算如公式(4)所示：

(4)

Figure 8　edgelet features 图8　edgelet特征

除了以上两种特征描述子之外，还有HOG特征描述子以及LBP特征描述子，对比常用的几种特征描述子，HOG特征维度较高、计算复杂，LBP特征在图像模糊或者光照强度变化较为明显的时候不适用。Haar特征在矩形特征明显的时候有较高的检测率，edgelet特征对于局部的轮廓方向较为敏感。单独使用一个特征描述子有时只能在某一个特征较为明显的时候有高的检测率。因此，使用混合特征可以从不同方面来刻画图像的特征，从而提高行人的检测识别率，因此本文采用Haar特征结合edgelet特征的双特征描述子训练分类器。

2.4级联分类器

在工程实际中，如果要直接构造一个具有高分类精度的强分类器很难，通常可以采用Boosting算法。它是一种框架算法，首先通过训练已有的样本获得一个弱分类器，要求该分类器要比随机预测的性能好；然后把得到的弱分类器分别加入Boosting的算法框架中，形成一个强分类器。但是，Boosting算法要预先知道弱分类器的正确率的下限，这些先验知识的获取很难，因此又提出了AdaBoost算法。它是一种可以调整投票权重的算法，通过计算每次迭代过程中每一个弱分类器的分类错误来调整其在强分类器中的权重。

本文级联分类器的设计思路如图9所示。

Figure 9　Constitute of cascade classifier 图9　级联分类器构成

算法步骤如下所述：

输入：训练样本集合

A={(x1,y1),(x2,y2),…,(xn,yn)},xi∈X,yi∈Y,

迭代次数N。

初始化：权重分布向量Dt(i)=1/n,i=1,2,…,n，设定训练误差的期待值为σ；

执行:Fort=1,2,…,N

(1)按照分布Dt(i)对A进行抽样，产生At；

(3)计算Wt对A训练的误差:

其中，I为布尔函数， 1表示真， 0表示假；

Ifεt<σ，则输出分类器Wt。

本文通过引入双特征的弱分类器，计算不同特征所对应的训练误差，增加错误的分类器权重，减小正确的分类器权重，当训练误差降低到足够小时，可以输出一个强分类器，这一过程实际上就是每一个弱分类器对结果进行加权投票。然而弱分类器可能会对同一个目标重复检测，因此需要对结果进行合并，对边界有相交的检测结果，取其顶点的最大值和最小值作为新的顶点，从而合并为一个结果。

3实验结果

实验选取校园内的多处不同地点进行视频采集，在OpenCV中编写程序进行算法检测，完成行人的检测识别。选取其中比较有代表性的两组图像展示实验结果，检测结果由黑色矩形框出，第一组视频是在图书馆南侧拍摄的，视频总长度为378帧，截取其中的第232帧展示运算结果(图10～图12);第二组视频是在教2楼东侧拍摄的，视频总长度为198帧，截取其中第175帧展示结果(图13～图15)。

Figure 10　Section 232 of video sequence 1 图10　视频1第232帧原图

Figure 11　Result of common frame difference method 图11　普通帧差法结果图

Figure 12　Result of the proposed algorithm 图12　本文算法结果图

Figure 13　Section 175 of video sequence 2 图13　视频2第175帧原图

Figure 14　Result of common frame difference method 图14　普通帧差法结果图

Figure 15　Result of the proposed algorithm 图15　本文算法结果图

图11和图14是采用普通帧差法结合AdaBoost算法进行行人检测的结果，图12和图15为本文采用的方法。通过观察实验结果可以发现，第一组实验中混叠的行人在图11中没有被检测出来，图12中检测了出来，图11中漏检的远端的行人在图12中也被检测了出来。第二组实验中发生混叠的行人在图14中没有被检测出来，图15则检测了出来，因此改进了的帧差法降低了行人的漏检率，提高了行人检测识别的准确率。但是，图11中位于图像右侧几乎完全重叠的两个行人没有被检测出来，因此算法今后还要在以上两个方面做进一步的改进，研究如何在行人几乎完全重叠的情况下进行检测识别。分别选取视频序列中的连续80帧，记录出现的总行人数，记录本文方法与单纯采用帧差法各自检测出的行人总数，对比两种方法的检测准确率。其中第一组实验的80帧总人数为561人，第二组实验的80帧总人数为317人，由表1中数据可以看出，第一组实验检测率提高了10.22%，第二组实验检测率提高了20.50%。

Table 1　 Comparison of detection accuracy between

对比本文方法与单纯采用AdaBoost训练分类器方法的运算速度，由表2中数据可以发现，第一组实验的运算速度由120.45ms减少至87.76ms，运算速度提高了32.69ms;第二组实验的运算速度由105.38ms减少至72.53ms，运算速度提高了32.85ms，运算速度平均提高了32.77ms，因此满足了实时性的要求。

Table 2　 Comparison of computational speed between

4结束语

(1)本文通过改进型帧差法提取运动区域，减小了分类器需要检测的区域大小和背景图像的干扰，从而降低了检测的错误率，检测速度得以加快。

(2)本文通过训练双特征的级联分类器，提高了分类器识别的准确率。

(3)经过仿真结果验证，本文提出的方法提高了检测准确率，运算速度得以加快。

参考文献:

[1]AbdelkadirMM.Researchondetectingmovingobjectsusingbackgroundsubtractionandframedifference[D].Harbin：HarbinEngineeringUniversity,2012.

[2]YinHong-peng,ChaiYi,YangSX,etal.Fast-movingtargettrackingbasedonmeanshiftandframe-differencemethods[J].JournalofSystemsEngineeringandElectronics, 2011,22(4).587-592.

[3]XiongJing-yi,LuoYu-pin,TangGuang-rong.Animprovedopticalflowmethodforimageregistrationwithlarge-scalemovements[J].ActaAutomaticaSinica, 2008,34(7):760-764.

[4]JinLi-zuo,WuTi-rui,LiuFeng,etal.Hierarchicaltemplatematchingforrobustvisualtrackingwithsevereocclusions[C]//ProcofZTECommunications, 2012:54-59.

[5]QuYong-Yu,LiuQing,GuoJian-ming,etal.PedestriandetectionbaesdonHOGandcolorfeatures[J].JournalofWuhanUniversityofTechnology, 2011,33(4):134-138.(inChinese)

[6]LiLiang,GaoNa.ExpressionrecognitionalgorithmbasedonthecharacteristicsofLBPlevel[J].JournalofHenanPolytechnicUniversity(NaturalScience), 2013,32(6):732-735.(inChinese)

[7]ZhangYan-feng,HePei-kun.Animprovedalgorithm-M-AsyAdaBoost[J].TransactionsofBeijingInstituteofTechnology, 2011,31(1):64-73.(inChinese)

[8]XiaLi-min,WangQian,WuLian-shi.Vision-basedbehaviorpredictionofballcarrierinbasketballmatches[J].JournalofCentralSouthUniversity, 2012,19(2):2142-2151.

[9]GaoYu.HumanmovementdetectionbasedonHaarfeature[D].Changchun:JilinUniversity, 2013.(inChinese)

参考文献：附中文

[5]曲永宇，刘清，郭建明，等.基于HOG和颜色特征的行人检测[J].武汉理工大学学报，2011,33(4):134-138.

[6]李良，高娜.基于LBP层次特征的表情识别算法[J].河南理工大学学报(自然科学版)，2013,32(6):732-735.

[7]张彦峰，何佩琨.一种改进的AdaBoost算法-M-AsyAdaBoost[J].北京理工大学学报，2011,31(1):64-73.

[9]高宇.基于Haar特征的运动人体检测[D].长春：吉林大学，2013.

高嵩(1966-),男,湖北安陆人，博士，教授，研究方向为复杂系统智能控制和自主智能体技术。E-mail:gaosong@xatu.edu.cn

GAOSong,bornin1966,PhD,professor,hisresearchinterestsincludeintelligentcontrolofcomplexsystems，andautonomousagenttechnology.

杜晴岚(1989-),女,陕西富平人，硕士生，研究方向为行人检测与识别。E-mail:wo450498056@yeah.net

DUQing-lan,bornin1989,MScandidate,herresearchinterestincludespedestriandetectionandrecognition.

陈超波(1978-),男,浙江宁波人，硕士，副教授，研究方向为控制理论与控制工程。E-mail:choby@xatu.edu.cn

CHENChao-bo,bornin1978,MS,associateprofessor,hisresearchinterestsincludecontroltheory,andcontrolengineering.