一种基于多尺度滑动窗口图像检测行人的新方法

郑贤哲 王艳东 刘泽宇

[摘    要]针对行人检测领域的相关现实问题，传统机器学习算法通常采用对整幅图片以滑动窗口逐步检测的方法解决，这样会因检测非必要背景窗口过多而大大降低计算效率，针对上述问题提出一种基于多尺度滑动窗口图像检测行人的新方法。首先以滑动窗口遍历图像，对整幅图片进行显著性检测，然后通过二值化处理的方式，将显著性物体分割出来，最后过滤非必要窗口，继而提高检测效率。實验中采用HOG方法提取行人特征，运用线性SVM进行检测，最后验证新方法的有效性。实验中，使用大小为300×451Dpi、261×400Dpi的图像，检测窗口数量分别减少了44.21%、34.96%，检测速率分别提高了9.30%、12.73%。实验结果表明，相比于传统检测方法，新方法提高了检测效率。

[关键词]HOG特征提取;行人检测;SVM;显著性检验

[中图分类号]TP391 [文献标志码]A [文章编号]2095–6487（2020）03–0–04

[Abstract]In view of the related practical problems in the field of pedestrian detection， traditional machine learning algorithms usually adopt a method of gradually detecting the entire picture with a sliding window， which will greatly reduce the computational efficiency due to the detection of too many unnecessary background windows. To solve the above problems， a new method of pedestrian detection based on multi-scale sliding window images is proposed. First， traverse the image with a sliding window to detect the saliency of the entire picture， then segment the salient objects by binarization， and finally filter the unnecessary windows to improve the detection efficiency. In the experiment， the HOG method is used to extract pedestrian features， linear SVM is used for detection， and finally the effectiveness of the new method is verified. In the experiment， using images with sizes of 300×451Dpi and 261×400Dpi， the number of detection windows was reduced by 44.21% and 34.96%， respectively， and the detection rate was increased by 9.30% and 12.73%， respectively. Experimental results show that compared with traditional detection methods， the new method improves detection efficiency.

[Keywords]HOG feature extraction; pedestrian detection; SVM; significance test

1 国内外的研究现状

近年来，随着图像识别技术的发展，基于图像识别检测行人的技术也得到广泛的关注和研究。国内外研究人员在特征提取、分类器改进、图像处理以及驾驶应用等领域提出了各种不同的算法。

文献[1]在智能车辆辅助驾驶系统、文献[2-4]在智能交通控制以及智能视频监控等领域推动了行人检测技术的发展。文献[5]提出了运用梯度方向直方图（HOG）算法提取行人特征的方法，并采用基于线性SVM的人体检测作为测试用例，证明了定向梯度（HOG）描述符的直方图网格能够很好的体现行人特征。文献[6]将排阻级联（Cascade-of-Rejectors）方法与直方图梯度特征集成，实现快速准确的人体检测。文献[7-10]讲述了一种基于边缘对称的行人检测法，该算法根据车道识别方法获得感兴趣区域，通过感兴趣区域垂直边缘获取行人双腿的对称轴，根据灰色对称性和局部熵值验证候选区。文献[11]提出了基于深度学习的行人检测算法，该方法利用行人数据库中行人的特征能被深度卷积神经网络自动学习的特点提高行人特征提取效率。文献[12-14]提出通过多特征融合的方法获取行人的特征。

2 方法

经研究发现，在行人检测过程中大部分重要信息会集中于一些关键的区域，即所谓的敏感性区域。如果能够快速找出图像中的敏感性区域，则可以加快图像处理的速度。因此提出一种敏感性区域检验方法，来解决传统滑动窗口易产生的问题。敏感性检测方法主要包括显著性检验、显著性图二值化及敏感性区域分割。使用HOG算法提取行人特征，采用线性SVM作为分类器，然后结合提出的新方法，检测其有效性。模型整体框架如图1所示。

2.1 敏感区域检测

2.1.1 显著性检测

以下采用基于图像频域分析显著性检测（FT）的方法。FT是用多个带通滤波器对图像的连续频带进行滤波，将所有的输出合并作为最终的显著图，然后产生全分辨率的显著图。整个过程通过叠加多个高斯带通滤波器来实现的，高斯滤波器为：

式（1）中x，y表示图像中像素的位置，σ1，σ2表示高斯分布的标准差，DOG带通滤波器的通频带宽是由σ1，σ2的比值决定。

显著性检测公式为：

其中，

式中SFT（x，y）为图像坐标位置（x，y）处的显著性像素，Iμ（x，y）为图像转换在Lab空间后的像素的算术平均值，Iwhc（x，y）为图像高斯模糊后获得的模糊图像，模糊图像可用来消除图像中的纹理细节和噪声。计算输入图像的平均矢量值与高斯模糊是矢量之间的欧氏距离，即可获得图像的显著性图像。

显著性检测具体实现流程如下，算法流程图如图2所示。

2.1.2 显著图二值化

利用上文叙述的显著性模型可求得图像的显著性区域，所得到的显著性图像是一个单通道的灰度图，然后根据显著图中背景和显著性区域部分的差异可进行二值化处理，进而得到显著性图像的二值化图像，采用最大类间方差法（即大津算法进行二值化处理）分割出可能包含行人的感兴趣区域。

最大类间方差是一种自适应的阈值确定方法。算法假设图像像素能够根据阈值，被分成背景[background]和目标[objects]两部分。然后，计算该最佳阈值来区分这两类像素，使得两类像素区分度最大。

记M=256单通道灰度分级，Sum=像素总數

采用遍历的方法得到使类间方差最大的阈值，即为所求。

2.2 特征提取

以下采用梯度直方图（HOG）方法对图像特征进行提取。这个方法是建立在图像本身的梯度特征图基础上的，而且在特征提取过程中使用了重叠的局部对比度归一化的方法，进一步提高了精确度。

因为HOG方法的操作对象是图像的局部边缘特征，所以它在图像几何和光学的变化方面都有很好的适应性，因此HOG方法是比较适用于图像行人特征抽取。

2.3 分类器选择

因为行人检测是典型的二分类问题，且SVM在二分类中表现较好，所以分类器选择用SVM算法来测试提出方法的有效性。SVM基本原理如下：

对于给定的数据集：

针对线性可分的情况，要找到两条直线，这两条直线恰好平行，并且不含任何训练点，此时能够把空间中的点分成两类。这种条件下可以得到分类间隔是，将该条件转化为最小。并且满足，且使最小的分类面就是最优分类面。最优算法如下：

数据训练集为T.

构造出并求解对于变量w，b的最优化问题：

求解出最优解。

3 实验分析

3.1 敏感性检测分析

为了直观表现出所述方法，采用两张图片突出敏感性检测的特点。结果如图3所示，其中（a）为对应的灰度图，（b）为显著性图。实验结果如图3所示：

由以上实验结果可知：

（1）从整体来看，显著图不突出图中物体的细节描述。

（2）因为显著性图像是根据原图像与Lab空间下平均像素值欧式距离来显示的，所以会突出颜色相对比较亮或比较暗的部分，从而突出图像中的物体。

（3）显著性图像比较明显的表现出物体的边缘。

（4）整体上显著图增加了物体和背景的差异性，方便二值化图像处理，但是如果背景和前景像素值很近时，将不能很好的突出前景，比如图中矩形标出的位置。

3.2 HOG+SVM 实验分析

实验时，采用Dariu.M.Gavrila所建网站提供的行人数据集进行行人检测训练。使用的正样本是大小为48×96 Dpi的行人图像1767张，负样本是大小为48×96 Dpi的非行人图像1200张。然后用梯度直方图方法对样本图像进行特征提取，由计算可得，每张图像样本经过特征提取所得特征向量长度为1980，正负样本特征提取完可求得1967行，1980列的特征矩阵，也就是支持向量机所要训练的数据。SVM进行训练时，循环次数为10000次或者误差为0.01是训练停止。为了检测训练样本的大小对正确率的影响，逐步增加正样本，以767张行人图像作为测试各个情况下检测正确率的计算，检测结果如表1所示。

由表1可知，当负样本个数保持不变，逐渐增大正样本个数，则行人测试的正确率逐渐上升，但是非行人检测的正确率却有所下降。如果行人样本增大，则SVM学习的行人特征越全面，对判断行人的效果会增加，由于除了行人之外其它样本都为非行人，即非行人的特征是非统一的、多样的，所以非行人特征很难学习。因此增加行人样本数，可以提高系统的行人识别能力，但是不足之处是会增加图像中非行人的误检率。

行人检测结果如图4所示。

其中图（a）为正样本数为10000，负样本数为1200时的检测结果，根据结果知，误检率相对较大，可通过增加分类阀值提高检测效果，图（b）为正样本1767，负样本数1200的检测结果，结果相对较好，但是有漏检现象，可通过减小分类阀值调节。

3.3 行人检测实例分析

此次实验选择由正样本为1767张，负样本为1200张训练得到的SVM线性分类器，程序运行环境为Visual Studio 2012。分别比较基于显著性检验的和没有显著性检验的行人检测方法的差别。以两张图像为例，检测结果如表2和表3所示。

由表2和表3可知，相对于单纯的HOG+SVM检测方法，基于显著性检验的行人检测方法可减少运行时间。检测速率分别提高了9.30%、12.73%，同时也减少了行人的误检个数，这是因为通过显著性检验可以过滤掉一些非行人部分，在一定程度上提高了检测效果。但是如图6可知，本设计存在部分行人漏检的问题，这是由于HOG对行人特征提取不足所导致的，需要进一步改进。

4 结语

上文主要研究了单幅图像中行人检测的方法以及图像处理过程，深入探讨了行人图像特征提取过程，分类器样本训练方法及行人分类问题。 针对单纯的特征提取和分类检测的不足，运用了一种图像显著性检验算法，即基于图像频域分析的显著性算法。通过该算法使图像的前景部分更加明显，然后对得到的显著性图像进行二值化，分割出图中待检测的感兴趣区域。针对待检测图像背景复杂、分割出的前景区域和背景区域交错等问题，提出了在运用滑动窗口滑动时，首先计算滑动窗口中前景区域占背景区域的百分比，再选择出可能含有行人的检测窗口，然后进行行人检测的检测流程及算法。根据算法过程，再使用opencv以及c++程序编写进行实验验证，验证提出的方案具有可行性及实用价值。

参考文献

[1] D. Geronimo，A. M. Lopez，A. D. Sappa and T. Graf，"Survey of Pedestrian Detection for Advanced Driver Assistance Systems，" in IEEE Transactions on Pattern Analysis and Machine Intelligence，vol. 32，no. 7，pp. 1239-1258，July 2010.

[2] J. Candamo，M. Shreve，D. B. Goldgof，D. B. Sapper and R. Kasturi，"Understanding Transit Scenes： A Survey on Human Behavior-Recognition Algorithms，" in IEEE Transactions on Intelligent Transportation Systems，vol. 11，no. 1，pp. 206-224，March 2010.

[3] 乌恩.智能视频监控中运动目标检测与跟踪算法研究[D].北京：国防科学技术大学，2010

[4] 梁志刚.智能辅助驾驶系统中的行人检测[D].上海：上海交通大学，2012.

[5] N. Dalal and B. Triggs，"Histograms of oriented gradients for human detection，" 2005 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'05），San Diego，CA，USA，2005，pp. 886-893 vol. 1.

[6] Qiang Zhu，Mei-Chen Yeh，KWang-Ting Cheng and S. Avidan，"Fast Human Detection Using a Cascade of Histograms of Oriented Gradients，" 2006 IEEE Computer Society Conference on Computer Vision and Pattern Recognition （CVPR'06），2006，pp. 1491-1498.

[7] I. S. Han and W. S. Han，"Application of neuromorphic visual processing in pedestrian detection technology，" 2013 Science and Information Conference，London，2013，pp. 536-541.

[8] G. Lie，W. Rong-ben，J. Li-sheng，L. Lin-hui and Y. Lu，"Algorithm Study for Pedestrian Detection Based on Monocular Vision，" 2006 IEEE International Conference on Vehicular Electronics and Safety，Beijing，2006，pp. 83-87.

[9] J. Dong，J，Ge and Y，Luo，Nighttime Pedestrian Detection with Near Infrared using Cascaded Classifiers，2007 IEEE International Conference on Image Processing，San Antonio，TX[J].2007，pp，VI - 185-VI - 188.

[10] Junfeng Ge，Yupin Luo，Gyomei Tei，etc. Real-Time Pedestrian Detection and Tracking at Nighttime for Driver-Assistance Systems，IEEE Trans，Intell. Transp，Syst[J].2009，10：283-298.

[11] 張天飞. 基于STRCF的改进HOG特征跟踪算法研究[J].东莞理工学院学报，2020，（03）：55-05.

[12] 王斌.融合多模型和帧间信息的行人检测算法[J].计算机辅助设计与图形学学报.2017（03）.

[13] 周全良. 基于多特征和Adaboost的行人检测研究[D].南京：南京邮电大学，2014.

[14] 张春凤.基于多特征的行人检测技术研究[D].浙江：浙江工业大学，2013.