多特征融合的行人检测算法

康长青

(湖北文理学院数学与计算机科学学院，湖北襄阳441053)

1 引言

行人检测是研究在视频中分割行人并精确定位的技术，在智能视频监控、智能交通等领域应用广泛。由于人体受姿态、外表、干扰等因素的影响，使得行人检测技术成为一个非常有挑战性的课题。已有的检测算法可以分为人体模型法［1］、模板匹配法［2－4］和特征分类法［5－9］三类。第一类方法对行人外观特征和运动特征进行数学建模，缺点是模型求解比较复杂。第二类方法采用人为经验与实验验证的模板匹配方式，然而人形模板的多态性和复杂性很难构造出合适的模板。第三类方法通过行人统计特征提取，利用模式分类进行行人和非行人的分类，得到了广泛的认可和关注。典型的方法有DALAL提出的基于梯度直方图(HOG)的行人检测算法［5］，表现出了优良的检测性能。后来学者们对HOG方法进行了各种算法改进［6－10］。如文献［6］使用的综合密度，梯度和空间位置等特征信息的协方差矩阵法，文献［7］提出的融合颜色信息的局部二进制模式法和文献［8］提出的融合edgelets，HOG和协方差矩阵的级联法等。分析这些方法可知，它们通过增加不同的低级特征而取得了各自的分类效果，而对纹理这一重要分类特征却较少考虑。因此本文考虑行人纹理特征，在文献［5］的基础上提出融合边缘，颜色，纹理等丰富特征的行人检测算法。

2 行人外观特征

行人的外观特征通过形成分块特征向量的方式进行。将检测窗口di分解为一些相互重叠的块，通过提取每一块的边缘，纹理和颜色频率特征来形成特征向量vi。下面将分别介绍这三个类别特征的提取方法。

2.1 边缘特征的提取

边缘特征的提取采用文献［5］提出的HOG描述特征，HOG特征是针对矩形区域的梯度方向与强度统计信息而定义的一种特征。其计算过程如下:

(1)计算所有像素点的梯度G(x，y)和方向Ori(x，y)，即:

(2)按空间位置将图像分成均匀的小块(cell)，相邻的cell组成一个大块(Block)。

(3)在Block内进行归一化直方图来消除光照的影响，形成HOG特征向量。

HOG特征描述的是边缘的结构特征，位置和方向空间的量化可以抑制平移和旋转带来的影响;采取在局部区域归一化直方图，可以部分抵消光照变化带来的影响。

2.2 纹理特征的提取

纹理特征的提取采用灰度共生矩阵法［11］进行。灰度共生矩阵通过图像灰度级之间的二阶联合条件概率密度函数来表示纹理，其中P(i，j d，θ)表示在给定的距离d和方向θ上，以灰度i为起点，出现灰度j的概率，表示如下:

其中，#表示集合中元素数;右边的分子项表示具有某种空间关系;灰度级分别为i;j的像素对的个数;而分母项为像素对的总个数。

利用共生矩阵可以计算出大量的纹理特征，利用文献［11］提出的14个纹理特征，选取其中的角二阶矩，对比度，相关性，方差，差分矩，熵，和平均，和方差，和熵，差分方差，差分熵，方向性等12特征作为特征向量，详细的公式参考文献［11］。

基于灰度共生矩阵的纹理特征可以利用衣服纹理的同质性和方向性，来区分衣服纹理和背景纹理，进而为行人和非行人分类提供帮助。

2.3 颜色特征的提取

由于行人的身体部位(如头/脸)可以提供的颜色特征信息有对放大、缩小、微小变形不敏感的优点，有助于改善检测效果，因此可以将这些信息用颜色频率来表示的特征。在HSV空间选取颜色空间中梯度最大的幅值来计算每个像素点的梯度值和方向，用每个颜色空间被选择的次数来表示颜色特征。

计算方法为:每个Block用一个3维的直方图分别统计H、S、V 3个颜色空间被选择的次数，得到一个3维的颜色频率向量，并进行归一化。这样每个Block只用一个3维的向量就可以表示颜色信息。

3 行人检测分类器的创建

3.1 偏最小二乘法分类器

利用偏最小二乘法［12］(PLS)的主成分分析功能进行分类器的创建。

PLS模型可以看作由外部关系(即独立的X块和Y块)和内部块间关系构成。X，Y块的外部关系分别表示为:

其中，T，U 称为 X，Y的成分矩阵;tk，uk为相应的成分向量;P，Q分别是X，Y载荷矩阵;pk，qk相应的载荷向量。E，F是残差矩阵，分别是X，Y中无法用个潜在变量T，U反应的部分。

PLS模型的计算采用NIPALS算法，通过对成分t，u和权重向量 w，c进行迭代求解，最大化以下公式:

其中，cov(t，u)为核心向量t，u的样本协方差。

通过NIPALS算法［12］提取一个成分后，对矩阵X，Y进行退化，并继续提取成分。如此往复，直到提取的成分进行回归能达到一个较为满意的精度为止。NIPALS的算法描述如下:

(1)随机初始化向量u

(2)w=XTu

(4)c=YTt

(6)重复(2)～(5)，直到收敛。

(7)退化矩阵 X，Y:X←X －ttTX，Y←Y－ttTY

用NIPALS算法对通过将从检测窗口di中提取特征向量vi进行预处理，计算得到主成分数、各主成分数的权重和主成分问的关系矩阵。

利用计算出的各主成分权重，丢掉包含行人概率较低的检测窗口，对概率较高的检测窗口，使用全部特征进行分类。经过这样处理，不但可以减少特征计算的数目，还可以减少需要提取的特征块，进而提高行人检测的速度。

3.2 二次判别分析判别器

经过以上PLS特征优选后，利用二次判别分析建立判别器。二次判别分析的原理是在已知特征模式的类别数及其概率分布的前提下进行Bayes决策，达到将特征模式分配到后验概率最大的类别中。

假设各个类别的先验概率相同，条件概率密度采用正态分布，得到二次判别函数如下:

对所有的 j≠i，若 gi＞ gj，将 x 归于 ωi。其中 ui为各类的均值向量，i为各类的协方差矩阵。ui和i的估计采用极大似然估计。设模式类别有C类，ni表示第i类训练样本数，xij为第i类第j个训练样本，则各类均值向量和各类协方差矩阵的极大似然估计表示为:

4 行人检测算法流程

在前文特征提取和创建的分类器的基础上，建立多特征优选的行人检测系统，系统分为离线训练阶段和在线监测阶段。如图1所示。

图1 行人检测方块图

(1)离线训练阶段。首先，收集人脸样本和非人脸样本，并利用上文提到的特征提取技术，提取出样本中行人的边缘、纹理和颜色特征，建立丰富的特征集，然后利用PLS降维算法从这些特征集中优选出权重较大的特征及权重系数，从而形成QDA分类判别器。

(2)在线监测阶段。对于新的输入图像，利用离线阶段训练好的分类器，扫描图像中行人的候选区域，对行人进行监测，得到检测结果。

5 实验结果和讨论

为了测试本文提出算法的性能，并与其他文献中的方法进行对比，在INRIA数据库上进行实验。

INRIA数据库包含了训练集与测试集，训练集中含有64×128像素的正训练样本2416个，以及1218张不含人的背景图片，测试集中含有同样大小的正测试样本1132个，以及453张不含人的背景图片。利用本文的特征提取方法对对INRIA数据库进行特征提取。

灰度共生矩阵的特征提取，采用16×16(步进8个像素)和32×32(步进16个像素)的块，在HSV颜色空间里，对每一个颜色通道，d=1，θ=0°，45°，90°，135°创建4个分别对应θ灰度共生矩阵，并量化为16 bins。从共生矩阵里提取前文提到的12个特征，产生63648个特征。HOG特征和颜色频率特征提取，采用块的大小12×12到64×128的区间之间。对于本实验中的2478个块，对一个块提取36个HOG特征，得到98928个特征。同时对于每一块，利用颜色频率提取方法，提取的颜色特征8274个。对于大小为64×128的检测窗口，共得到170820个向量特征。为了避免特征向量太多，导致的检测效率降低。

可见无论是在特征向量的提取、分类器的训练与分类中，其计算量都很大。

在实验中记录正测试样本与负测试样本在分类器下的输出，并通过改变分类器阈值得到DET(Detection Error Tradeoff)曲线，即漏检率(Miss Rate)对误检率(False Positives Per Window，FPPW)曲线，如图2所示。

图2 三种算法的漏检率/误检率

从图中可以看到，本文算法(PLS+QDA)性能优于文献［5］中的HOG和文献［13］中的PID算法，在FPPW=0.0001时本算法漏检率为3%左右，在FPPW∈［0.000001，0.0001］本算法的漏检率均小于HOG和PID算法。图3为算法的跟踪效果图。在算法的计算时间上，本文算法1秒钟可以处理2929个检测窗口。

图3 算法效果图

6 结论

针对站立行人的外观特性，提出融合边缘，纹理和颜色频率的多特征融合的行人检测算法。算法利用偏最小二乘法进行重要特征优选，形成二次判别分类器。实验结果表明，算法漏检率小，取得较好的检测精度;但算法也存在速度不够快的缺点，下一步研究将使用更好的降维方法来提高检测的速度。

［1］ Oren M，Papageorgious C，Sinha P．Pedestrian detection using wavelet templates［C］//Proc of the IEEE Conference on Computer Vision and Pattern Recognition，1997，193－199．

［2］ Viola P，Jones M，Snow D．Detecting pedestrians using patterns ofmotion and appearance［C］//Proc of International Conference on Computer Vision，2003，734 －741．

［3］ Mikolajczyk K，Schmid C，Zisserman A．Human detection based on a probabilistic assembly of robust part detectors［C］//Proc of European Conference on Computer Vision，2004，69 －82．

［4］ Su Xiaoqian，Sun Shaoyuan，Ge Man，et al．Pedestrian detection and tracking of vehicle infrared images［J］．Laser＆ Infrared，2012，42(8):949 －953．(in Chinese)苏晓倩，孙韶媛，戈谯，等．车载红外图像的行人检测与跟 踪 技 术［J］．激 光 与 红 外，2012，42(8):949－953．

［5］ Dalal N，Triggs B．Histograms of oriented gradients for human detection［C］//Proc of the IEEE Conference on Computer Vision and Pattern Recognition， 2005，886－893．

［6］ Tuzel O，Porikli F，Meer P．Human detection via classification on riemannian manifolds［C］//Proc of the IEEE Conference on Computer Vision and Pattern Recognition，2007，1 －8．

［7］ Mu S，Yan Y，Liu T，et al．Discriminative local binary patterns for human detection in personal album［C］//Proc of the IEEE Conference on Computer Vision and Pattern Recognition，2008，1 －8．

［8］ Zhu Q，Yeh M C，Cheng K T，et al．Fast human detection using a cascade of histograms of oriented gradients［C］//Proc of the IEEE Conference on Computer Vision and Pattern Recognition，2006，1491 －1498．

［9］ Wu B，Nevatia R．Optimizing discrimination-efficiency tradeoff in integrating heterogeneous local features for object detection［C］//Proc of the IEEE Conference on Computer Vision and Pattern Recognition，2008，1 －8．

［10］ Chen Y T，Chen C S．Fast human detection using a novel boosted cascading structure with meta stages［J］．IEEE Trans.On Image Processing， 2008， 17 (8):1452－1464．

［11］ Haralick R，Shanmugam K，Dinstein I．Texture features for image classification［J］．IEEE Transactions on Systems，Man，and Cybernetics，1973，3(6):610 －621．

［12］ Rosipal，N Kramer．Overview and recent advances in partial least squares［J］．Lecture Notes in Computer Science，2006，3940:34 －51．

［13］ Lin Z，Davis L S．A pose-invariant descriptor for human detection and segmentation［C］//Proc of European Conference on Computer Vision，2008，421 －436．