基于图块和二阶统计特征的行人检测

栾书鹏

（河海大学 计算机与信息学院，江苏 南京210000）

基于图块和二阶统计特征的行人检测

栾书鹏

（河海大学 计算机与信息学院，江苏 南京210000）

在行人检测中，由于外界环境复杂变化和行人自身的不同特点，往往会造成错误检测以及遗漏检测。针对以上问题，文中提出一种基于图块和二阶统计特征的方法，提高检测的准确率。首先利用基于图块的帧差法进行前景检测，接着计算前景区域的灰度共生矩阵，进而提取前景区域的二阶统计特征，最后透过基于二阶统计量特征的支持向量机分类器进行行人检测。通过仿真实验对比表明文中的算法有较好的检测效果。

行人检测；图块；灰度共生矩阵；二阶统计特征；支持向量机

行人检测与跟踪在智能监控系统、虚拟现实、智能机器人应用等方面应用广泛，是计算机应用领域的研究热点之一。通过结合行人检测、行为分析和视频监控等多种技术，能为实时的智能安全监控提供解决方案，以替代或辅助基于人员的监控。通常对于固定摄像头的情况行人检测分为两部分，首先是前景目标检测，然后对前景区域内容检测，判断是否为行人。

前景检测部分，利用一些典型的前景检测法来辨识移动的前景物，例如背景减除法、光流法与帧差法。前景检测算法需要尽量减少运算时间，降低前景物容误判几率，以便增强识别分类效果。判断阶段则是从目标中区分行人，通过行人特定的特征匹配方法，或者通过神经网络、支持向量机、多层感知机等方法来判断前景区域中是否包含行人。Dalal［1］等人提出梯度方向直方图（HOG）特征是目前广泛使用的行人特征描述子，其描述图像的局部梯度幅值和方向特征，能有效地刻画出人体的边缘特征。Ojala［2］等人提出的局部二值模式（LBP）特征因具有维度低、计算速度快、能很好地刻画图像的纹理信息而得到广泛的应用。Xu［3］等人，利用车载红外摄像机设计出行人检测算法，提取前景的灰度强度特征并透过支持向量机（SVM）和卡尔曼滤波器进行检测和跟踪；但此算法要先进行道路检测，若图像里没有道路则无法检测，且灰度的强度特征不易区分物体。Dai［4］等人提出基于外观形状信息的行人检测，使用高斯混合模型（GMM）背景建模，然后先利用形状特征去除非行人，再以外观找到行人位置；该算法能准确检测行人与非行人，但依赖背景模型，背景模型的建立和更新较耗时，系统效率低。

文中主要是利用基于二阶统计特征的支持向量机［5］（SVM）分类器进行行人检测，克服因环境变化所造成的错误和遗漏检测。首先运用改进的基于图块（block-graphs）的前景检测找出运动物体，较传统帧差法取得更完整的前景区域。之后再对提取到的前景区域，利用灰度共生矩阵（GLCM）得到4个方向的4种不同的二阶统计特征。经支持向量机分类，找出行人目标，以达到实时检测目的，大幅增加监控的智能性。

1 前景检测

一般环境下，背景建模受到许多限制，如光线变化、背景物干扰、或跟踪物与背景过于相似，造成前景无法被正确检测，而且背景模型的更新会造成运算量增加。文中将使用改进的帧间差分法取代背景减除法检测运动物体。

传统基于像素的帧间差分法在检测时会产生许多破碎前景区块，因为在空间上像素之间相邻的关系是不被考虑的。从而在检测移动物时，如果使用帧间差分法就必须同时考虑局部与广域的特性。因此我们提出了改进的基于图块［6］的前景检测方法，使得所检测前景区域更加完整正确。首先，将每帧图像的RGB颜色空间转换成YUV颜色空间，然后将图像分割成许多非重叠区域，每块区域的大小可根据物体的大小作调整。其中YUV空间，Y是图像的灰度值，而U和V则是指色调，描述图像色彩及饱和度。对前景的检测需考虑灰度值与色调的同时变化。此前景检测算法步骤如下：

1）将每帧图像的RGB颜色空间转换成YUV颜色空间，分别于Y、U和V通道内检测移动物。对第k帧及k+1帧图片的Y、U和V通道分别做差分处理分别得到二值图像。公式（1）如下：

式中的TY、TU和TV分别为预先设定的Y、U和V通道阈值，可根据经验选取。

2）将图像分割为若干小区域，每个区域的大小为N×N（N取值由目标的尺寸决定），每个小区域是一个图块。如果图像大小为M0×N0，则可划分区域数目为L=M0×N0/N2。

3）融合Y、U和V 3个通道得到更完整的前景区域。在每一图块内，若一像素的Y通道的变化超过阈值TY的1.5倍，则直接分为前景；否则采用融合Y、U和V通道的方式，即如果灰度值和颜色一起有明显的变化，则归类为前景，规则如下：（Y＞TY）&&（（U＞TU）||（V＞TV））。

4）统计每个N×N图块在YUV颜色空间前景像素数量Ni（1≤i≤L），在每一个图块中，如果计算到前景的像素数量大于一定的阈值TN（N为图块大小），则将此图块归类为前景。

2 二阶统计特征分类器

文中利用纹理特征做为行人检测的验证，因为纹理特征不易受光照变化的影响，是一种稳定的特征。由于不同目标在特征上的差异，利用灰度共生矩阵（GLCM）所产生的4种（ASM、Contrast、IDF和Entropy）在4个方向 （0°、45°、90°和135）上的二阶统计特征，以这16个特征做为前景区域的特征向量，将此特征向量带入支持向量机（SVM）中，设计出基于二阶统计特征的分类器。利用此分类器对前景物进行分类，能降低由图像特征造成的误检。

2.1 灰度共生矩阵（GLCM）

灰度直方图是对图像上单个象素具有某个灰度进行统计的结果，直方图统计是一阶统计量，描述像素中灰度分布特征。但是对于不同位置像素之间的差异，直方图却无法详细描述，二阶统计特征可以对像素之间位置的相对关系做出详细描述。这里采用 Haralick等人提出的灰度共生矩阵（GLCM）［7］，灰度共生矩阵是对图像上保持某距离的两象素分别具有某灰度的状况进行统计得到的。灰度共生矩阵产生的方式是统计灰度图像中，两相对位置在预设参数条件下（距离、方向）的像素对之间的概率，并将概率值归纳成矩阵形式，用以描述图像灰度的分布状况。

对于目标（区域大小为M×N）图像f（x，y），设其灰度级数为L，可以定义共生矩阵 p（i，j，d，θ），其中，i=f（x1，y1），j= f（x2，y2）且x1+Dx=x2，y1+Dy=y2，参数d和θ分别代表像素对（i，j）相对的距离和像素间相对的方向。其中像素对（i，j）如图1（a）所示，方向θ分成4个方向：水平、斜向、垂直，角度分别为0°、45°、90°、135°如图1（b）所示。

图1 灰度共生矩阵示意图

对于整个目标区域，统计出每一种（i，j）值出现的次数，然后排列成一个方阵，再用（i，j）出现的总次数将它们归一化为出现的概率P（i，j），这样就生成灰度共生矩阵。

矩阵Pd元素Pd（i，j）表示：目标区域中位置关系为d的两个像素，其灰度分别为i和j情况下出现的概率。距离差分值（Dx，Dy）取不同的数值组合，得到不同情况下的联合概率矩阵。（Dx，Dy）取值根据纹理周期分布的特性来选择，对于较细的纹理，选取（1，0）、（1，1）、（-1，0）等小的差分值。当a=1，b=0时，像素对是水平的，即0°扫描；当a=0，b=1时，像素对是垂直的，即90°扫描；当a=1，b=1时，像素对是右对角线的，即45°扫描；当a=-1，b=1时，像素对是左对角线，即135°扫描。灰度共生矩阵反映图像灰度关于方向、相邻间隔、变化幅度的综合信息，是分析图像的局部模式和它们排列规则的基础。

2.2 灰度共生矩阵（GLCM）的特征提取

灰度共生矩阵并不能直接作为纹理分析的特征量，必须在共生矩阵的基础上进行二次统计量的计算，并将其作为纹理特征之后才能实现后续流程的算法。从灰度共生矩阵中提取出来的二阶矩特征中有一些对纹理［8］具有直接的物理意义，例如粗糙度、平滑、对比度等。文中选用其中的4种主要特征：能量（二阶距）（ASM）、对比度（Contrast）、逆差矩（IDM）和熵（Entropy）。

1）能量（二阶距）

能量（ASM）是灰度共生矩阵元素值的平方和，反映了图像灰度分布均匀程度和纹理粗细程度。公式（3）如下所示：

如果共生矩阵的所有值均相等，则ASM值小；相反，如果其中一些值大而其它值小，则ASM值大。当共生矩阵中元素集中分布时ASM值大，表明是较均匀和规则变化的纹理。

2）对比度

对比度（Contrast）主要是用于计算图像灰度值的对比强度，也就是目标区域图像中灰度的变化量，公式（4）如下所示：

对比度度量图像中的局部变化情况，反应了图像的清晰度和纹理的沟纹深浅。纹理的沟纹越深，反差越大，效果清晰；反之，对比度小，则沟纹浅，效果模糊。

3）逆差矩

逆差矩（IDF）用来度量图像纹理局部变化的大小，反映图像纹理的同质性，度量图像纹理局部变化的多少。逆差矩与前一个特征对比度刚好相反，在对比度愈低时这项特征会得到愈高的值，公式（5）如下：

其值大说明不同纹理区域间缺少变化，局部非常均匀，因此连续灰度的图像IDF值较大。

4）熵

熵（Entropy）主要用于测量图像的混乱度，在越平滑的图像中熵度值会越低，公式（6）如下：

熵表示了图像中纹理的非均匀程度或复杂程度，熵值越大，图像越复杂。纹理信息也属于图像的信息，是一个随机性的度量，当共生矩阵中元素分散分布时，熵较大。

2.3 支持向量机（SVM）

支持向量机（Support Vector Machine，SVM）［9］是 Cortes和Vapnik首先提出的，它在解决小样本、非线性及高维模式识别中表现出许多特有优势。SVM是指一些在n维空间的数据，希望可以在此空间找出一个超平面（Hyperplan）将资料分成两群，并且超平面到离他最近的训练样本的距离要最大。以二维的例子来说，如图2所示，希望能找出一条直线能够将圆形和三角形分开，而且希望这条虚线距离这两个资料的边界越大越好，这样才能够正确的分辨这是属于哪一类的资料。

图2 SVM分类示意图

对于非线性分类情况，可通过核函数的非线性映射，把数据映射到高维特征空间中，将问题变成线性可分的。文中中的SVM主要是用RBF（radial basis function）核，选取前景物件的二阶统计量特征能量（ASM）、对比度（Contrast）、逆差矩（IDF）和熵（Entropy）4个距离为1各不同角度的特征，将特征量化成1×16的特征向量如下所示：

将各前景的特征向量用SVM分类器进行分类，以达到行人检测的目的。

3 实验结果与分析

文中运用VS2010配置Opencv2.4.8和MATLABR2012进行实验平台的搭建。首先运用改进的基于图块前景检测技术找出移动物体，之后再对提取到的前景区域，利用二阶统计的灰度共生矩阵得到4个方向（0°、45°、90°和145°）的4种不同特征分别为能量（ASM）、对比度（Contrast）、逆差矩（IDF）和熵度（Entropy）。经支持向量机（SVM）进行分类，找出行人目标。我们分别对3段不同的场景视频序列进行测试。

第1部分主要进行前景检测，经实验观察发现基于图块的检测法会使得前景区域更完整。在图3中分别表示基于像素与基于图块的前景检测方法。由图3（b）（c）（d）可看出基于图块会比基于像素（图3（a））所形成的前景更佳的完整。

图3 基于像素与基于图块的前景区域

第2部分进行行人检测的分类验证，实验中我们分别对3段不同的场景视频序进行测试，对文中方法与基于高斯混合模型建背景的和基于对比度特征的方法来做比较。利用前景区域得到灰度共生矩阵，提取相对应的纹理特征，这里将图像的灰度级定为16级，主要是为了减少灰度共生矩阵（GLCM）的大小，提高运算的速度。在接下来利用行人与非行人在GLCM上的概率分布差异，选取前景的二阶统计特征能量（ASM）、对比度（Contrast）、逆差矩（IDF）和熵（Entropy）4个距离为1各不同角度的特征，并将将特征量化成1×16的特征向量FV。

文中使用MATLAB-LIBSVM工具箱进行分类，参数设置：SVM型态为C-SVC，核心函数为径向基函数RBF，cost（损失函数）-c和核函数-g的最优值采用遍历g和c的网格法确定。将行人作为正样本，非行人作为负样本。实验从测试的3段视频中取600张图像当作训练样本样本，其中中正样本300个、负样本300个。再将训练好的的分类器对视频中的进行分类测试，以3段不同场景、不同情境的视频来验证本算法。实验显示，这3段视频都能达到实时检测，效果如图4所示。

图4 通过二阶统计特征分类器后结果

接下来将会与基于混合高斯模型背景建模（GMM）以及基于对比度特征［10］的方法做比较。验证基于二阶统计量特征分类器的检测结果对比另外两个算法，是否可以有效的提升检测正确率，降低误检以及漏检，这项实验中我们将以Jaccard系数［11］来计算，J的定义为：

TP是移动的物正确检测，FP是错误检测和FN是遗漏检测。表1反映了不同算法的检测结果。

表1 不同算法的检测结果对比

由实验结果可以看出在3段视频中，文中算法的正确率高于其他两个方法。混合高斯模型背景建模以及基于对比度特征的对背景环境依赖性比较大，产生错检和漏检几率增大，造成对检测的不稳定，实验证明文中方法是有效的。

4 结束语

文中算法运用加入图块的前景检测法和基于二阶统计特征的分类器，对不同环境的行人进行检测。基于图块的前景检测能够提取出更完整的前景，提高分类器准确率，而且二阶统计特征使得SVM分类器有更高的鉴别度。由于视频中光线变化，会使前景不完整造成检测稳定性降低。同时，当监控分辨率较低时，画面会出现雪花噪声，容易造成前景检测的不稳定，如何克服低分辨率也是亟需解决的问题。下一步需要解决由于光线在短时间内变化和低分辨率所造成的影响，在目前白天已有不错效果的算法上，达到全天候的检测效果。

［1］Dalal N，Triggs B.Histograms of oriented gradients for human detection［C］//2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition，San Diego，USA，2005：886－893.

［2］Li J，Gong W，LiW，et al.Robust pedestrian detection in thermal infrared imagery using the wavelet transform［J］.Infrared Physics&Technology，2010，53（4）:267-273.

［3］Xu F，Liu X，Fujimura K.Pedestrian detection and tracking with night vision ［J］.Intelligent Transportation Systems，IEEE Transactions on，2005，6（1）:63-71.

［4］Dai C，Zheng Y，Li X.Pedestrian detection and tracking in infrared imagery using shape and appearance［J］.Computer Vision and Image Understanding，2007，106（2）:288-299.

［5］Burges C JC.A tutorial on support vectormachines for pattern recognition［J］.Data Mining and Knowledge Discovery，1998，2（2）:121-167.

［6］Khanina N A，Semeikina E V，Yurin D V.Scale-space color blob and ridge detection［J］.Pattern Recognition and Image Analysis，2012，22（1）:221-227.

［7］Davis L S，Johns SA，Aggarwal JK.Texture analysis using generalized co-occurrencematrices［J］.IEEE Transactions on Pattern Analysisand Machine Intelligence，1979（3）:251-259.

［8］薄 华，马缚龙，焦李成.图像纹理的灰度共生矩阵计算问题的分析［J］.电子学报，2006（1）:155-158.

［9］Burges C J C.Geometry and invariance in kernel based methods［C］//Advances in kernel methods-support vector learning.Boston:MITPress，1999:89-116.

［10］Huang K，Wang L，Tan T，et al.A real-time object detecting and tracking system for outdoor night surveillance［J］. Pattern Recognition，2008，41（1）:432-444.

［11］Sneath PH A，Sokal R R.Numerical taxonomy.The principles and practices of numerical classification［M］.San Fran cisco:WH Freeman，1973.

Pedestrian detection based on blocks-graphs and second-order statistics

LUAN Shu-peng
（School of Computer and Information，Hohai University，Nanjing 210000，China）

In the pedestrian detection，since the complex changes in the external environment and pedestrians'own different characteristics，usually resulting in error and missing detection.To solve the problem above，this paper proposes amethod based on block-graphs and second-order statistics to improve detection accuracy.Firstly，foreground detection based on frame difference of block-graphs，then calculate GLCM of foreground area.Next extracting the second-order statistics of the foreground region，finally detecting pedestriansby SVM classifierbased on second-order statistics.Itshows that this algorithm hasbetter detection resultsby contrastsimulation experiments.

pedestrian detection；gray level co-occurrencematrix；block-graphs；second-order statistics；Support Vector Machine（SVM）

TN911.73

A

1674－6236（2016）20-0190-04

2015-10-30 稿件编号：201510237

栾书鹏（1991—），男，江苏泰兴人，硕士研究生。研究方向：计算机视觉，图像处理。