基于行人与车辆关系模型的行人检测

张　军　杨伯轩　杨正瓴

(天津大学自动化学院　天津 300072)



基于行人与车辆关系模型的行人检测

张军杨伯轩杨正瓴

(天津大学自动化学院天津 300072)

针对在交通场景下的行人，考虑到绝大多数交通场景中车辆与行人同时存在，提出一种在对背景图像进行初步行人检测的同时对车辆进行检测的方法，建立一种行人与车辆关系模型。以车辆位置作为辅助检测基础，引入真假阳性检验用以排除出现在不可能区域的行人并介绍了具体方法。该方法首先对行人、车辆、行人与车辆关系特征进行定义并建模形成与其有关的函数关系，然后推导得到适用于支持向量机的标准形式，最后通过支持向量机回归法训练分类器进行分类识别。现场实测结果表明，此种方法大大降低了误检率，对不同分辨率图片中的行人均有较好的识别效果。

智能交通系统行人检测车辆辅助检测支持向量机多分辨率

0　引　言

行人检测十几年来一直是计算机视觉和智能交通领域的研究热点，它在汽车辅助驾驶或自动驾驶系统、视频监控、运动识别等领域均有广泛的应用。目前的行人检测方法主要分为基于视觉传感器和基于非视觉传感器两大类。其中基于非视觉传感器方法对硬件要求较高但检测效果较差，因此使用率较低。目前主要应用的方法是基于视觉传感器的方法，该方法包括：基于模型匹配法、基于运动信息法、基于统计分类法、基于形状分析法等。近年来，基于梯度特征的行人检测方法逐渐普及，因其使行人检测在有效性和效率方面均明显提高，渐渐成为行人检测的主流方法[1]。然而，行人检测会受到行人的外形多种多样，穿各种各样颜色和式样的服装，行人所处的自然场景较复杂等原因的影响导致识别率会有所下降[2]。同时当行人处于场景远处而图像的分辨率不足时，往往会导致行人漏检。由于在实际交通场景中不能保证图像均拥有较高的分辨率，所以低分辨率的行人检测在实际应用中也十分重要[3]。

为解决上述问题，考虑到交通场景中行人多数不是单独孤立的存在，机动车经常存在于其周围且机动车相比于行人更易进行检测[4]。因此，构建一个行人与车辆关系模型，借助车辆来进行辅助定位，引入真假阳性检测排除一些出现在不可能区域但被误检测的行人；同时建模形成支持向量机结构[5]。最后通过训练支持向量机来进行分类识别[6]。

1　基于HOG的初步行人检测

方向梯度直方图HOG(Histogram of Oriented Gradient)是一种局部区域描述符。它通过计算和统计图像局部区域的梯度方向直方图来构成特征。可将HOG特征结合SVM分类器进行行人检测[7]。

本文通过对目标和扫描窗口进行检测来计算HOG特征，具体过程如下：

(1) 将彩色图像进行灰度化。

(2) 将图像进行归一化处理。

(3) 计算图像横坐标和纵坐标方向的梯度，并据此计算每个像素位置的梯度方向值，图像中像素点(x,y)的梯度为：

Gx(x,y)=H(x+1,y)-H(x-1,y)Gy(x,y)=H(x,y+1)-H(x,y-1)

(1)

式中Gx(x，y)、Gy(x，y)、H(x，y)分别表示输入图像素点中水平方向梯度值、垂直方向梯度值和像素值。则转化为(x，y)处的梯度幅值和梯度方向分别为式(2)和式(3)。

(2)

(3)

(4) HOG结构采用矩形结构，将图像分为若干个block，每一个block包括4个2×2的相邻的cell构成，每一个cell包括64个8×8的像素点，如图1所示。

图1　HOG块的划分方式

(5) 将所有block的HOG特征串联起来，并将它们结合成最终的特征向量进行分类。

2　引入车辆关系后的模型构建

由上述方法所得的行人检测结果往往会受到图像以及背景中类似于行人的干扰影响，导致检测准确率降低。如图2所示。

图2　初步行人检测结果

其中，只在区域2处得到较为准确的行人检测结果；由于区域1、3、4拥有与行人十分接近的HOG边缘特征而导致误检测。进一步观察，发现被误检测的区域与附近车辆拥有相对固定的位置关系。同时由于车辆体积较大，所占像素点较多，相对于行人很容易被准确检测。因此，在同一幅图中，同时进行行人与车辆识别，并根据车辆位置排除一些出现在不可能区域而被误检测的行人，例如出现在车辆上方的区域1、3；车辆下方的区域4等。

2.1定义行人与车辆关系

在一幅图像的多个车辆中选定一个车辆后，假设摄像机与地面完全水平对齐，我们将初步检测到的行人与车辆的关系分为5种，分别是行人在车辆上方、下方、旁边、交叠、远离。根据此位置关系将行人与车辆的关系定义为一个与二者有关系的函数G(p，v)，其中p为行人位置的中心，v为车辆位置的中心，构建直角坐标系，并以左下角为原点，像素点位置为其坐标。如果两者之间的位置关系是上述5个位置关系中除了“远离”以外的任何一个，则将其位置关系由一个5维向量描述，将其定义为：

G(p,v)=(δ(s),ΔCx,ΔCy,Δh,1)

(4)

其中：

(5)

分别表示车辆与行人中心像素点在x，y方向上的像素点个数之差即坐标值之差。

(6)

表示车辆与行人高度所占像素点个数之别即y轴坐标差之比。

(7)

为整体归一化系数，通过加权提高监测器对光照的鲁棒性。当行人与车辆之间的距离大于一定的阈值时，将行人与车辆之间的关系判定为“远离”，此时行人与所选车辆无关，上述所有值均为0 。

在上述基础上进一步定义行人的特征，同样也用一个5维向量g(p)描述行人的大小与位置，将其定义为：

g(p)=(δ(s),Cpx,Cpy,h,h2)

(8)

其中Cpx、Cpy分别为行人中心位置的横、纵坐标，h为其高度所占像素点个数。同理对车辆进行相同定义：

g(v)=(δ(s),Cvx,Cvy,h,h2)

(9)

2.2构建改进识别函数

在2.1节所述内容基础之上将定义扩展至整幅图像，定义行人的识别率是所有行人识别率的均值。最终的函数值由初步HOG行人检测结果和引入车辆后的检测结果共同决定。

假设在一幅图中有n个行人与m个车辆。定义数值函数：

(10)

其中Wp和Wv分别对应行人、行人与车辆之间的关系模型的参数。上式中后一项为引入车辆后对整体函数值的贡献，用以确保正确的分类情况下函数值高于其余的可能情况。

同时，行人存在一定程度上的误检测，会导致函数值大于实际情况，因此引入真假阳检验修正系数tpi和tvj，则式(10)变为：

(11)

其中tpi和tvj为2进制数，当行人出现在一些不可能出现的区域中(车辆上方、下方)，例如图2中的1、3、4区域时，其值为0；否则为1。可通过此方法使函数值更接近真实情况，降低漏检率。

对于式(11)来说，其同时含有行人、车辆两个变量。当车辆参数固定时，式(11)转化为一个将所有行人作为变量单独考虑的一个问题。且在一个典型的交通场景中，车辆的数量一般不会超过8个，当采用多个2类分类器时，此分类问题一般不会超过28个，在实际分类时较好解决。由于分类器的线性特性，可将式(11)如下形式：

(12)

式(12)给我们提供了一个机器学习的方法，令Wc=[Wp，Wv]，假设摄像机与地面水平且行人与车辆满足上述定义时，一个标准的支持向量机结构便可通过对Wc的训练来解决此分类问题。

3　支持向量机的构建及参数选择

3.1支持向量机回归法

在本文中，为了防止维数的灾难性增大，我们采用用于核函数估计的支持向量机即支持向量机回归法。将原空间的向量映射到新的空间K[8]。

首先，考虑最优分类面，在本文中采用线性回归函数：

f(x)=wcx+b

(13)

来拟合数据{xi，yi；i=1，2,…，n}，同时由于在实际交通场景条件下，所有的行人样本可以在一定的精度ε范围内进行线性拟合，即：

(14)

其中i=1，2,…，n，两个不等式表示拟合误差有两个方向。分类时为了控制最大化分类间隔类似，使回归函数最为平坦，此时便有了用于回归的支持向量机原问题：

(15)

若允许拟合超过误差ε，只需引入松弛因子使ε变为ε+ζk，将其代入式(15)，则目标函数变为：

(16)

然后，考虑到实际交通模型分类要求，则式(16)问题转化为：

(17)

s.t.∀PK,∀VK,L(Pk,PKk)≤S(Pk,Vk)-S(PKk,VKk)+ξk

其中ξk为松弛因子，Pk、Vk为原图像实际空间中的行人与车辆，PKk、VKk为所映射到的K空间的行人与车辆，L(Pk，PKk)是实际行人位置与映射的K值空间位置之间的Hamming损失，反映了错误检测率。

最后，由于在式(17)中，行人在原空间的实际位置Pk由HOG检测得到，但车辆参数Vk的精确检测结果未知。为了解决这个问题考虑到噪声与行人和车辆重合的情况，直接采用原始的检测结果作为初始估计，最终其变为：

(18)

3.2支持向量机模型参数确定

由于本文所选定的分类器为线性分类器，因此需要确定惩罚系数C。首先，从所有训练图片中选取20幅图片作为负训练样本，并与正训练样本一起构成最初的训练样本。之后选取2000个包含行人的正样本和2000个不包含行人的负样本训练分类器得到初步结果。最后，用此分类器对所有不含行人的训练样本进行检测得到困难负样本，并与之前的负训练样本进行合并，得到总3198个负训练样本。

为了确定参数C，需要同时考虑支持向量数以及样本的正确接收率(TPR)。在验证过程中，将收集到的2000个正样本随机地平均分成10组，取其中8组与上述得到的负训练样本一起作为训练样本，剩下的2组作为测试样本计算TPR，并取10次实验结果的均值作为最终结果。如图3所示，不同的的参数C对应不同的样本正确接收率。根据曲线所示，本文选取C=8作为初步检测的支持向量机模型参数。

图3　样本正确接收率随参数C变化曲线

4　实验结果及分析

在实验过程中，我们尝试对不同分辨率的图像进行行人检测，在高分辨率的情况下，初步的行人检测结果便可以得到较好的识别效果，如图4所示。

图4　高分辨率下的行人检测结果

但是，当图片的分辨率较低或受光照、黑夜或背景较为嘈杂的影响时行人检测率会有明显下降，此时，引入行人与车辆关系模型辅助检测能有效地降低误检测率，得到较好的检测结果。如图5所示，当背景较为嘈杂时。

图5　嘈杂背景下优化前后的行人检测结果

如图6所示，当在夜晚条件下，光线昏暗且有强灯光干扰时。

图6　夜晚条件下优化前后的行人检测结果

当处在强光条件下时，检测结果如图7所示。

图7　强光条件下优化前后的行人检测结果

从图5-图7中可明显看出引入行人与车辆关系模型后，与传统HOG边缘检测方法相比能够在较差的图片质量中获得更为准确行人检测结果。

在上述基础上考虑将图片放大至原来的1.5倍和2.5倍，以改变其分辨率状况。在此基础上，选择200幅基础图片在改变其大小的情况下进行HOG基础行人检测，引入与车辆关系模型的行人检测，检测结果如图8所示。

图8　优化前后不同分辨率下的行人误检率曲线

图中hr、mr和lr分别表示图像的分辨率为高分辨率、中分辨率和低分辨率。如图所示，通过引入行人与车辆关系模型有效地降低了行人误检测率。

同时人为选择高、低分辨率图像各100张，分别采用文中所述方法和参考文献中当前较为主流的行人检测方法进行行人检测。将得到的行人检测率汇总取平均值并制作折线图，如图9所示。

图9　不同方法在不同条件下的行人识别率

其中A、B、C、D、E分别表示基于行人与车辆关系型的行人检测方法；基于Edgelet特征的分割检测方法；基于HOG特征的初步行人检测方法；基于轮廓模板的方法；基于人体部件的局部检测方法。图中所述行人识别率为综合考虑误检测与漏检测后的行人识别准确率。可以看出，在高分辨率背景较为清晰时算法均有较好表现。但在低分辨率背景较为嘈杂时，文中所述算法拥有更高的检测准确率。

5　结　语

本文根据实际交通场景特点，考虑到摄像机分辨率受背景条件等各方面因素的影响。在HOG边缘检测方法的基础上，提出了一种拥有较低行人误检测率的方法。此方法能有效地利用交通场景中普遍存在且较容易检测的车辆作为辅助检测工具并建立相应的模型。同时构建一个标准的支持向量机结构便可完成对线性分类器的训练，操作相对简单且准确性较高。实验结果表明，此方法在不同分辨率条件下均有良好的表现。可对原始行人检测图像进行进一步优化处理，得到更为准确的检测结果。

但是，由于在场景中，可能存在行人处于车辆前方与车辆重叠的情况，在引入新算法时导致行人的漏检。因此在接下来的工作中将尝试改变图像大小，把不同分辨率图像的行人检测结果综合以降低漏检率。

[1] 张学功.模式识别[M].北京:清华大学出版社,2006.

[2] 杨淑莹.VC++图像处理程序设计[M].北京:清华大学出版社,2003.

[3] Junjie Yan,Xucong Zhang,Zhen Lei.Robust Multi-Resolution Pe-destrian Detection in Traffic Scenes[C]//Proc. of IEEE Conference on Computer Vision and Pattern Recognition.San Diego,USA,2013:3003-3040.

[4] Carsten J,Ferguson D,Stentz A.3D field D*:Improved Path Planning and Replanning in three dimensions[C]//Proc. IEEE/RSJ Intern-ational Conference on Intelligent Robots and System Piscataway,NJ,USA:IEEE,2006:3381-3386.

[5] Yan Chen,Qiang Wu,Xiangjan He.Motion Based Pedestrian Rec-ognition[C]//Proc.of IEEE Congress on Image and Signal Processing.Sanya,China,2008:376-380.

[6] 程艺喆,雷武虎,戴胜波,等.基于图像差分的自适应背景建模高光谱目标检测[J].计算机应用,2014,34(S2):291-294,319.

[7] 孙锐,陈军,高隽.基于显著性检测与HOG-NMF特征的快速检测方法[J].电子与信息学报,2013,35(8):1921-1926.

[8] 丁世飞,齐丙娟,谭红艳.支持向量机理论与算法研究综述[J].电子科技大学学报,2011,40(1):2-10.

PEDESTRIAN DETECTION BASED ON PEDESTRIAN AND VEHICLE RELATION MODEL

Zhang JunYang BoxuanYang Zhengling

(SchoolofElectricalEngineeringandAutomation,TianjinUniversity,Tianjin300072,China)

For the pedestrians in traffic scenarios, and considering that the vehicles and pedestrians coexist in majority of traffic scenes, we put forward a method that detects vehicles on background image while carries outs preliminary pedestrian detection, and build a pedestrians and vehicles relationship model. We use the location of vehicle as the basis of auxiliary detection, introduce the true and false positive tests to exclude the pedestrians appearing in impossible region, and present the specific method. This method first defines pedestrians, vehicles, and the characteristics of pedestrians and vehicles relationship, and models them to form the correlated function relation. Then this is deduced to obtain the standard form suitable for support vector machine. Finally the method uses the support vector machine regression method to train the classifier for classification and recognition. Site measurement results show that this method greatly reduces the rate of error detection, and has good recognition effect on pedestrians on the pictures with different resolutions.

Intelligent transportation systemPedestrian detectionVehicle auxiliary detectionSupport vector machineMulti-resolution

2015-03-24。天津市科技计划项目(13ZXCXGX404 00)。张军，副教授，主研领域：智能交通与图像处理。杨伯轩，硕士。杨正瓴，副教授。

TP391

A

10.3969/j.issn.1000-386x.2016.08.050