彩色自然场景下的多特征融合车辆检测算法

陈明亮, 岑　峰



彩色自然场景下的多特征融合车辆检测算法

陈明亮, 岑峰

1引言

复杂自然场景下的车辆检测是智能监控系统研究中的重要课题,其中有效的特征选择起着至关重要的作用。近年来,一些有效特征被提出,其中HOG特征和Harr-like特征在车辆检测中是最具有代表性的两个特征。除此之外,Gabor特征、尺度不变特征转换(SIFT)等也被广泛用于车辆的特征表示[1]。在分类模型的构建方面,常用于训练车辆检测器的有支持向量机(SVM)和Adaboost分类器。Liu W等人[2]选取车辆的Haar特征,并且采用SVM分类器对车辆进行检测;Sun Z,Sivaraman S,Teoh等人[3,4]同样选用SVM分类器,但利用的是车辆的HOG特征;Sindoori R等人[5]利用Adaboost分类器精度高,不会出现过拟合等性质,并将其应用于车辆检测中;Cui J,Lin C T等人[6,7]采用Haar-like特征提取和Adaboost分类器用于车辆尾部的检测。然而,当某些复杂场景下直接用这些传统的特征提取方法提取的特征进行分类时,经常表现出不足。因此,近年来,研究人员试图从原始的像素出发通过特定的神经网络结构自动发现图像中隐藏的模式以学习出有效的特征。典型的方式有基于单层网络结构的特征学习和基于深度结构的特征学习,它们在图像分类和识别上均取得了成功的应用。

在本文中,针对复杂自然场景下的车辆检测,提出一种融合了稀疏自编码特征和HOG特征的多特征融合车辆检测算法。一方面,稀疏自编码是一种无监督学习方法,不需要先验知识可实现特征的自动学习,其中采用了稀疏化,卷积和池化技术进一步降低特征空间复杂度和分类器输入维度;另一方面,HOG特征对外部环境(如光照、旋转、平移)具有不敏感性。在复杂的自然场景下,将线性融合的新的特征描述子作为SVM分类器的输入,能有效地对车辆进行检测。

2多特征融合的车辆检测算法

本文提出算法如图1所示,首先对图像进行预处理,然后分别提取稀疏自编码特征和HOG特征,最后通过线性融合这两种特征得到多特征描述子,将该特征输入SVM分类器[8]进行分类。

图1　车辆检测流程Fig.1　Vehicle detection process

2.1图像预处理

在该算法中,首先将RGB彩色图像转换到HSV空间(色相、饱和度、亮度),然后对样本数据每一维进行零均值化处理,归一化样本数据到[0,1]范围内,最后对处理后的数据进行了零成分分析(ZCA)白化。通过这些图像的预处理操作,能使学习算法得到的特征之间的相关性较低。

2.2无监督特征学习

图像预处理过后,采用自编码算法从未标记的数据中学习有效特征。假设包含了m个样例的无类别标签的样本集合{x(1),x(2),x(3),…,x(m)},其中x(i)={x1,x2,…,xm}∈m。

图2　自编码神经网络示例Fig.2　An example of anto-encoder network

(1)

其中第二项是正则化项,其目的是减少权重的幅度,防止过度拟合。λ用于控制公式中两项的相对重要性,设置正则化权重λ=0.003[9]。

2.2.1特征稀疏化表示

在本文采用的算法中隐藏神经元的数量比输入节点数多(t>m),对自编码神经网络隐藏层神经元施加稀疏性限制,这样,隐藏层输出即输入数据的重新表示。隐藏神经元j在训练集上的平均活跃度可表示为

(2)

(3)

其中β控制稀疏性惩罚因子的权重,设置β=5[9]。这里对稀疏自编码器的总体代价函数的求解,采用L-BFGS算法[10],求解可学习得到稀疏自编码神经网络的参数W,b。

2.2.2卷积和池化

本文还采用了卷积实现局部连接网络。卷积操作可以减少神经网络需要训练的参数个数,一定程度上简化了特征提取过程,但卷积后输出向量维数过大,这样就加大了后续分类器困难。进而,采用池化技术对卷积特征进行聚合统计,这样不仅降低了维度,还防止了结果过拟合。

如图3为卷积、池化特征提取的示例图,从训练样本(n×n的大图像)中随机选取k个大小为h×h的小块,通过1.2.1节的稀疏自编码器可训练得到网络参数W,b,激活层a(2)=f(W(1)x+b(1))∈t×1,即学习得到的t维特征。对m个大小为n×n的样例,用学习到的特征参数W(1),b(1),依次在h×h大小的方块范围能进行卷积运算f(W(1)xh×h+b(1)),其中xh×h为大图像样例h×h范围内的像素值。设卷积步长s=1,则可得到卷积特征η∈t×(n-h+1)×(n-h+1)×m。接着对卷积特征做均值池化,设池化步长为p,对每一个样例的每一个卷积特征中取池化小方块(p×p)范围内图像像素求平均值,得到池化特征为Φ∈{t×[(n-h+1)/p]×[(n-h+1)/p]}×m。

图3　卷积池化特征提取Fig.3　Convolutionand pooling feature extraction

2.3HOG特征提取

方向梯度直方图(HOG)特征是一种在计算机视觉和图像处理中用来进行物体检测的特征描述子。HOG特征对外部环境(如光照、旋转、平移)具有很强的不敏感性,因此我们进一步对车辆的HOG特征进行提取,其中特征提取参数设置如表1所示:

表1　HOG特征提取参数设置

对m个大小为n×n的样例,根据以上参数,得到HOG特征μ∈[(n/8)×(n/8)×9]×m。

2.4多特征融合

3实验结果与分析

以上算法是基于自然场景下的车辆检测提取,我们将选择合适的样本集,根据所选样本集进一步设定算法中的一些变量和参数,按照以上方法分别提取并线性融合稀疏自编码特征和HOG特征来验证该算法对自然场景下车辆检测的有效性。

3.1数据集

本文实验数据采用J.Arróspide等人的GTI数据集[11]。该数据集包含正负样本各4000张,大小为64×64的各种类型车辆尾部和背景图片,从四个不同的视角:远处、正后方、左后方、右后方拍摄获得。不仅如此,该数据集还包含各种不同的驾驶场景,特别是天气相关场景:其中20%晴天(光照充足),20%雾天,20%阴天,20%黄昏,10%小雨,5%低分辨率相机拍摄,5%人工打光下拍摄。

表2　实验数据集

3.2实验与分析

3.2.1稀疏自编码特征提取

对大小64×64的HSV三通道图像,设定稀疏自编码器的输入层m=64×3=192,设置隐藏层节点t=400。随机抽取无标签数据中k=100000个8×8大小的HSV图像块作为稀疏自编码器的输入,求解可学习得到稀疏自编码神经网络的参数W,b。设定池化步长p=19,对有标签的3200个样本卷积、池化处理,得到{400×[(64-8+1)/19]×[(64-8+1)/19]}×3200即3600×3200个池化特征。

3.2.2HOG特征提取

由1.3节,由有标签的3200个大小为64×64的训练样本将可得到[(64/8)×(64/8)×9]×3200即2304×3200个HOG特征。

最后将HOG特征和池化后稀疏自编码特征经过1.4方法线性融合,得到5904×3200个融合特征,将训练集的融合特征作为SVM输入,训练得到分类模型,在测试集上测试得到分类正确率为97.375%。同时为了验证该方法的有效性,同样,仅采用1.2节方法提取训练集稀疏自编码特征(SA),训练得到的SVM分类器在测试集上实验,得到95.625%的分类正确率,仅采用1.3节方法测试得到的分类正确率为95.875%。表3展示了评估结果,其中TPR表示真正类率(True Positive Rate),即分类器识别出正实例占所有正实例的比例;FPR为负正类率(False Positive Rate),即分类器把正实例误分为负实例占所有负实例的比例。

表3　不同方法下测试数据准确率

接下来,我们进一步比较了三种情况下在同一测试集上的受试者工作特性曲线(Receiver Operating Characteristic Curve,ROC)如图4所示。曲线靠近左上角的拐点处时实验准确性最高。在相同较低的FPR下,本文提出算法下的TPR均高于其他两种方法。通过分析对比实验结果,与传统的方法相比,不再采用单一的目标特征,线性融合了无监督特征和不变性良好的HOG特征,有效提高了复杂自然场景下车辆检测效果。

图4　不同检测方法在同一测试集下的ROC曲线Fig.4　ROC curve of different method

4结论

本文将基于无监督学习的稀疏性特征表示引入到复杂自然场景下的车辆检测中,并融合了不变性较好的方向梯度直方图对目标进行特征提取。实验表明,对于复杂多变的自然场景下车辆的检测具有较好的分类效果。下一步的工作将进一步提高车辆检测算法的检测效果,并将该算法应用到车辆检测系统上。

参考文献:

[2]LIU W,WEN X Z,DUAN B,et al.Rear vehicle detection and tracking for lane change assist[C]∥IEEE Intelligent Vehicles Symposium,Istanbul,Turkey,2007:252-257.

[3]Sun Z,Bebis G,Miller R.Monocular precrash vehicle detection:features and classifiers[J].IEEE Image Processing,Transactions on,2006,15(7):2019-2034.

[4]Sivaraman S,Trivedi M M.Active learning for on-road vehicle detection:A comparative study[J].Machine vision and applications,2014,25(3):1-13.

[5]Sindoori R,Ravichandran K S,Santhi B.Adaboost technique for vehicle detection in aerial surveillance[J].InternationalJournal of Engineering & Technology,2013,5(2):765-769.

[6]Cui J,Liu F,Li Z,et al.Vehicle localisation using a single camera[C]∥IEEE Intelligent Vehicles Symposium(IV),San Diego,CA,USA,2010:871-876.

[7]Lin C T,Hsu S C,Lee J F,et al.Boosted vehicle detection using local and global features[J].Journal of Signal and Information Processing,2013,4(3):243.

[8]Fan R E,Chang K W,Hsieh C J,et al.LIBLINEAR:A library for large linear classification[J].The Journal of Machine Learning Research,2008,9(9):1871-1874.

[9]UFLDL Tutorial:http:∥ufldl.stanford.edu/wiki/index.php/UFLDL_Tutorial.

[10]Liu D C,Nocedal J.On the limited memory BFGS method for large scale optimization[J].Mathematical programming,1989,45(1-3):503-528.

[11]Arróspide J,Salgado L,Nieto M.Video analysis-based vehicle detection and tracking using an MCMC sampling framework[J].EURASIP Journal on Advances in Signal Processing,2012,2012(1):1-20.

陈明亮男(1990-),硕士研究生,研究方向为模式识别、机器视觉。

岑峰男(1972-),浙江余姚人,副教授,硕士生导师,研究方向为图像视频处理、机器视觉、模式识别。

(同济大学 电子与信息工程学院,上海201804)

摘要：在自然场景下,由于车型种类繁多,而且车辆所处环境受光照、背景、天气等因素的影响,车辆检测一直是目标检测中的难点问题。针对这种自然场景下的车辆检测,提出一种融合稀疏自编码特征和方向梯度直方图(Histogram of Oriented Gradients,HOG)特征的多特征描述子的车辆检测算法。实验结果表明,提出的方法对复杂自然场景下的车辆具有较好的分类效果。

关键词：自然场景; 车辆检测; 稀疏自编码; 多特征融合

Vehicle Detection Algorithm in Natural Environments Using Multi-features fusionCHENMingliang,CENFeng

(College of Electronic and Information Engineering,Tongji University,Shanghai 201804,China)

Abstract：In the natural scene,because of a wide range of vehicle models and the environment which is impacted by lighting,background,weather and other factors.Vehicle detection has been one of difficult problems in target detection.To solve these problems,we proposed a vehicle detection algorithm based on multi-feature descriptor integrated sparse auto-encoder andHistogram of Oriented Gradients(HOG)features.The experiment results show that the proposed method provides higher classification accuracy when vehicles in complex natural scene.

Key words：natural scenes; vehicle detection; sparse auto-encoder; muti-feature fusion

基金项目：国家自然科学基金(61273284)

中图分类号：TP 391.41

文献标识码：A