基于级联支持向量机融合多特征的人脸检测

张小龙 刘书炘 刘满华

基于级联支持向量机融合多特征的人脸检测

张小龙1刘书炘2刘满华1

1(上海交通大学仪器科学与工程系 上海 200240)

2(漳州师范学院教育科学与技术系 福建 漳州 363000)

人脸图像中包含丰富的特征信息，不同特征具有其各自的优势。基于此，提出一种基于级联支持向量机有效融合多种特征的人脸检测算法。该算法首先利用肤色模型对待检图像进行预处理，筛选出疑似人脸区域。然后在疑似区域中提取图像的HOG(Histogram of Oriented Gradients)和LBP(Local Binary Patterns)特征，并分别对这两种特征集进行特征选择，训练两个SVM(Support Vector Machine)分类器，最后将两个SVM分类器级联起来实现人脸检测。在多个人脸图像数据库上的实验结果表明，该人脸检测算法提高了人脸检测率，降低了误检率，并且对多种光照条件、姿态、表情以及部分遮挡的情况都具有较好的鲁棒性。

人脸检测 HOG特征 LBP特征 SVM分类器 级联分类器

2(DepartmentofEducationScienceandTechnology,ZhangzhouNormalCollege,Zhangzhou363000,Fujian,China)

0 引 言

人脸是一种重要的生物特征，经常用来识别人的身份信息。

人脸识别技术相对于指纹、虹膜等生物特征识别技术具有多方面优势。例如，采集指纹、虹膜信息可能给被采集者带来不适感，而采集人脸图像的方式则较舒适方便；虹膜对采集设备有较高要求等。人脸识别技术在视频监控、安检、考勤、人机交互等场合有着广泛的应用，而作为人脸识别的关键环节，人脸检测的效果好坏关系到最后人脸识别的效果。实际检测中面临的图像光照条件、姿态、表情和遮挡等的影响[1]，会造成检测的准确率低，误检测数量多。

目前，人脸检测的方法主要有基于认识的方法、基于不变特征的方法、基于模板匹配的方法、基于表象的方法[3]等几类。基于知识的方法[8]根据研究人员对人脸的认识，事先定义好人脸描述的规则，并且依据这些定义的规则对图像进行检测，但是这种方法很难将人们对人脸的认识完整准确地转换成规则，规则如果太严格，可能检测不到人脸，反之会产生很多错误检测，同时，它也很难广泛应用到不同姿态人脸的检测中；基于不变特征的方法[9]希望能在姿态、视角和光照条件变化的情况下找到人脸的不变特征，例如眉毛、眼睛和鼻子等，以此来进行人脸定位，但这种方法容易受到光照、噪声和遮挡等的影响而导致可靠性低；基于模板匹配的方法[10]先获得若干人脸的标准模式，以这些标准模式来描述人脸特征，并计算输入图像与标准模式间的相关性，来判断是否为人脸，但是它不能有效地处理尺度、姿态等变化，因此检测结果也不准确；基于表象的方法[11]则是通过统计分析和机器学习的方法从大量样本图像中学习出能够表达人脸特征多样性的模型，运用模型来检测人脸[4]，目前这类方法是主流方法，它的检测效果好，解释性强，是人脸识别研究的热点。

基于在行人检测[4]中性能优异的HOG特征和在纹理检测[5]中性能优异的LBP特征，本文提出一种基于HOG特征和LBP特征融合的检测方法来克服前面所述几种情况对检测的不利影响。首先建立人脸的肤色模型，利用肤色模型尽可能去除图像背景，然后利用两种特征的SVM分类器级联得到最终的分类器，对去除背景后的图像进行人脸检测。这样能大量缩短人脸检测的搜索时间，有效克服光照、姿态、表情和遮挡等影响，取得更好的检测率和误检率。算法流程图如图1所示。

图1 算法流程图

1 彩色人脸图像的肤色预处理

肤色是人脸的一个重要特征，在彩色图像检测中可以利用来对图像进行预处理，删除背景区域。通常所用颜色空间为RGB，而RGB容易受光照影响，直接用来进行肤色预处理效果较差[14-16]。而在YIQ颜色空间中，不同人种的人体肤色值基本都维持在同一个区间中。 因此在对彩色图像进行检测前，可以先将图像的颜色空间由RGB变换到YIQ。然后将疑似肤色区域保留下来，非肤色区域作为背景去掉，以此来缩短后续检测过程的搜索时间，并减少在非肤色区域可能产生的误检测，降低误检率，提高检测速度和精度。

(1)

图2 肤色预处理效果

2 人脸图像的特征提取与特征选择

2.1 特征提取

人脸图像不仅拥有特定的轮廓信息，也拥有特定的纹理信息[17]。HOG特征能够很好地编码人脸的轮廓特征，LBP特征则可以捕捉人脸的细节纹理特征，因此利用HOG特征和LBP特征互补可以提高检测的效果。

2.1.1 HOG特征提取

HOG特征[4]具有多种优势，它在行人检测中取得了很好的检测效果。首先，它对微小的平移、旋转等具有很好的不变性；其次，它能够获取局部形状的边缘或梯度信息，减弱光照的影响；最后，它对图像在颜色空间进行归一化，减弱光照影响，抑制噪声干扰[4]。HOG特征提取过程如下：

(1) 将样本图像的尺寸归一化为80×80。将80×80的窗口以图像左上角为原点，划分为互相重叠的16×16图像块，相邻图像块之间重叠50%，共计81个图像块。

(2) 将每个图像块划分为4个互不重叠的8×8 元胞。在每个cell中利用梯度算子[-1,0,1]和[-1,0,1]T计算各点的梯度，在0～180°等分成的9个方向区间中统计梯度方向的直方图，投影到同一个方向区间中的梯度值累加起来，这样就提取出每个元胞的9维HOG特征。将4个元胞的HOG特征串联起来得到向量v并归一化，得到每个图像块的特征：

(2)

其中ε是很小的常数。将每个图像块的向量v串联起来得到一个样本的2916维HOG特征。

2.1.2 LBP特征提取

LBP特征对光照条件和噪声等影响不敏感[5]，它已在纹理检测分类中取得较好的效果，可以用LBP特征来区分人脸与非人脸的纹理特征。假设在一个3×3邻域内，中心点灰度值为gc，周围8个点的灰度值为gp，则半径为1的8点邻域中LBP特征定义如下：

(3)

光照的单调变化不会引起gp-gc符号的变化，也不会引起s(gp-gc)值的变化，所以LBP特征光照变化的影响不敏感。为了对噪声具有鲁棒性，采用LBP特征的等价模式(Uniform LBP)，特征维数从256降低到59，减小了计算量和存储空间，同时削弱了噪声对检测造成的影响。LBP特征提取过程如下：

(1)将所有样本图像的尺寸归一化为80×80。将80×80的窗口以图像左上角为原点，划分为互相重叠的16×16 图像块，相邻图像块之间重叠50%，共计81个图像块。

(2)在每个图像块中提取得到59维的LBP特征v，将每个block的特征串联起来，组合成一幅样本图像4779维LBP特征。

2.2 特征选择

单幅图像的HOG特征为2916维，LBP特征为4779维，特征中存在着冗余或不相关信息，有必要对特征进行选择，选取有用的特征信息，减少计算过程中存储特征所需的存储空间消耗和运算量，同时使训练得到的分类器泛化性能更好。

特征选择是在原始特征集合中，以一定的标准将对分类结果有更大贡献的特征挑选出来，组合成一个精简的特征子集。特征选择方法基于评价准则来划分可分为filter方法和wrapper方法两类[13]。filter方法选择特征的过程与分类器对特征子集的评价是独立的，它能快速地进行特征选择，且选择得到的特征训练时不易发生过拟合；wrapper方法则是在选择特征的过程中，利用分类器的分类结果对所选择的特征子集进行性能评价。这里将filter方法与wrapper方法相结合来进行特征选择。采用filter方法中常用的Fisher检验、信息增益、Relief-F、T-test、Chi-Square、Kruskal-Wallis等方法[13]来对特征进行排序，利用wrapper方法来评价选择的特征子集性能。为了综合这几种filter方法的评估结果，将每个特征的分数都归一化到[0，1]区间，将归一化后的分数取平均值，得到各个特征在多种特征选择方法下的平均分数为:

(4)

其中fji为第j种方法对第i个特征的分数。将得到的所有scorei进行排序，scorei值越大表明特征越重要。特征选择过程如下：

(1) 训练样本集T，测试样本集S，初始特征集合F，筛选特征集合Fsel=φ，分类准确率Acc= 0；

(2) 计算每个特征的分数scorei并排序；

(3) 从F中选择scorei最大的特征F*加入Fsel=φ，在T上训练SVM分类器，在S上进行测试，计算当前分类准确率Acccurrent；

(4) 若Acccurrent>Acc，F=F-F*，Fsel=Fsel+F*；若F≠φ，转步骤(3)；否则结束。

为了加快特征选择的速度，每次选择前50个特征F*加入

Fsel。实验图像是由互联网下载的85幅图像，共511张人脸，实验结果如表1所示。

表1 特征选择前后检测结果对比

采用上述方法HOG特征维数由2916降低到1365。对LBP特征进行特征选择后发现，误检率增加而检测率有较多降低，因此对LBP特征不实施特征选择，直接采用原始特征，可以保证有较高的检测率。

3 基于SVM级联的分类器设计和分类器判断

SVM分类器[12]是一种常用的有监督学习的模式分类器。其特点是能够同时最小化经验误差与最大化几何边缘区，通过核函数，可以使得支持向量机对非线性可分的任务进行分类。参考Original Adaboost方法[7]及文献[8]将多级分类器级联起来的做法，本文提出基于支持向量机级联的分类器设计方法来有效融合上述两种特征。该方法首先对两种特征分别训练出各自的SVM分类器，然后将两个分类器级联起来完成最终的人脸检测。第一级采用检测率高、耗时短的分类器，尽快地将疑似人脸区域筛选出来，排除一定数量的非人脸区域；再利用第二级分类器对第一级找到的疑似人脸区域进行判别，排除非人脸窗口，降低误检率。这样，第一级分类器更加注重检测率且耗时较短，而对误检率的要求宽松一些，第二级分类器在第一级保证高检测率的前提下，排除误检窗口，保证最终结果的高检测率、低误检率，且耗时较短。首先LBP特征提取操作费时较多、维数较大，在SVM分类时计算量也比HOG特征大，导致基于LBP特征的SVM分类器检测耗时比HOG特征的分类器多近9倍。基于HOG特征的SVM分类器检测时间比基于LBP特征的SVM分类器短，检测率高，漏检率低，因此第一步可以用HOG特征的分类器作粗略检测，在较短时间内确定疑似人脸区域，保证检测率。第二步再用LBP特征的分类器作精确检测，排除错误窗口，降低误检率，最终基于HOG和LBP特征SVM分类器级联。

为了保证不同尺度不同位置的人脸都能被检测到，要对检测图像进行多尺度、滑动扫描窗口检测判断。在一定尺度下，将肤色预处理后的图像由左上角开始，按照预设的步长，划分成若干大小80×80的扫描窗口。每个窗口均提取HOG特征，然后输入给级联分类器的第一级，也就是HOG特征SVM分类器，如果某个窗口的判断结果为人脸，则将该窗口的信息保存起来。第一级SVM对所有窗口判断完毕后，将所有保留下来的窗口各自提取LBP特征，输入给级联分类器的第二级即LBP特征SVM分类器，作进一步判断。对于判断结果仍然为人脸的，则保留窗口的尺度缩放信息和位置信息。完成当前尺度下的检测后，对检测图像按照预先设置的尺度缩放比例进行缩小，进入下一个尺度下的检测。所有尺度检测完成后，对不同尺度不同位置的检测结果进行融合，得到最终的结果。

4 实验结果及分析

本文中训练SVM设置的参数C=0.01，采用线性核函数。实验平台是Intel Core i5-2300 2.80 GHz处理器， 2 GB RAM。训练所用的人脸样本是来自AR Database、Yale Face Database B、BioID Database、ORL Database、CVL Database等数据库的1789幅正面人脸图像，以及从互联网下载的1356幅人脸图像共计3145幅正面人脸图像。将人脸部分截取出来并尺寸归一化到80×80。非人脸样本则是从不包含人脸的图像中随机提取3200个80×80的子窗口获得的。为了进一步验证本文算法的有效性，在文献[6]使用的测试图像库上进行测试，并与文献[6]算法的测试结果进行比较。实验结果如表3和表4所示。文献[6]使用的是Caltech图像库和Georgia图像库，Caltech图像库有450幅图像，具有不同光照条件、表情和遮挡情况；Georgia数据库有750幅图像，姿态和表情各不相同。文献[6]采用的检测方法是将级联Adaboost分类器与神经网络分类器结合起来。级联Ada-boost分类器检测率高，但也会产生较多误检测；而神经网络检测效果较好，但是耗费时间较长。两种分类器单独使用都不能得到理想的结果，因此文献[6]先利用级联Adaboost花费较短的时间来粗略检测，保证较高的检测率，然后利用神经网络对粗略检测结果进一步判断，降低误检率。在上述两个图像库上的部分测试结果如图3所示。

首先，为了验证级联SVM分类器的性能，在Caltech人脸数据库上对HOG和LBP两种特征的单个SVM分类器以及融合HOG和LBP特征的级联分类器检测结果进行比较，如表2所示。实验结果显示，级联分类器相比于HOG特征的分类器，检测率降低了0.41%，但是误检率降低为后者的25.8%，耗时仅比后者增加9.5%；相比于LBP特征的分类器，既将检测率提高2.3%，也将耗时降低为后者的11.0%，但是将误检率增加为后者的2.65倍。因此第一级采用HOG特征的分类器，既能得到较高的检测率，同时耗时较少，第二级采用LBP特征分类器保证能较低误检率，从而使整个级联分类器检测率、误检率、耗时都取得较好结果。算法基于C语言结合OPENCV计算机视觉库实现。

表2 Caltech人脸数据库上基于不同特征的分类器检测结果

然后，将本文算法和文献[6]以及Original Adaboost算法进行比较。实验结果及比较如表3和表4所示。由表3可见，在Caltech数据库上(每幅图像大小为896×593)，本文算法的检测率远高于文献[6]，误检率则和文献[6]不相上下；与Original Adaboost相比，检测率略低于前者的99.11%，但是误检率远远低于前者的11.33%，显示出良好的排除错误的能力。在检测耗时上，本文算法比Original Adaboost方法稍长，但是比文献[6]减少近一半的耗时，能达到0.63幅/秒的检测速度。由表4可见，在Georgia数据库上(每幅图像大小为641×481)，本文算法达到了99.20%的检测率，远高于文献[6]，误检率也有较大幅度降低；与Original Adaboost方法相比，检测率也提高了1.63%，误检率也远远低于前者的12.16%。在检测耗时上，本文算法不仅比Original Adaboost方法耗时短，而且比文献[6]减少70%的耗时，能达到1.20幅/秒的检测速度。

表3 不同算法在Caltech database上检测结果比较(450幅图像)

表4 不同算法在Georgia database上检测结果比较(750幅图像)

图3 受光照、遮挡、表情、姿态影响的图像的检测结果

最后针对受到光照、遮挡、表情以及姿态等影响的人脸图像，检测结果如图3所示。由图3中方框标示出的人脸检测结果可以看出，检测算法在光线微弱的场合也能准确地检测出人脸，对于人脸部分被遮挡的情况也表现优秀，对于各种姿态、表情的人脸也能较为准确地确定其位置，表明本文算法对于这些情况都有较好的鲁棒性

5 结 语

传统人脸检测方法容易受到光照、姿态、表情以及遮挡等影响，造成漏检测和误检测，对此，提出了一种级联SVM分类器有效融合HOG和LBP特征的人脸检测算法。该算法首先利用人脸肤色对图像进行预处理，去除大量背景区域。然后在有效区域内提取HOG和LBP特征，利用 HOG特征训练第一级SVM，LBP特征训练第二级SVM，先用第一级SVM分类器在去除背景后的图像上初步筛选出疑似人脸区域，然后用第二级SVM分类器进一步对疑似窗口进行判断。实验结果表明，该方法对于光照、表情、姿态以及局部遮挡都有一定的鲁棒性，能够达到较高的检测率和较低的误检率，算法性能优异。HOG和LBP特征维数大，提取速度慢，会对算法的检测速度有一定影响，但是从实验耗时来看，本文算法能胜任实时性要求。下一步研究方向是加快HOG和LBP特征的提取，进一步缩短检测时间。

[1] 郭耸.人脸检测若干关键技术研究[D].哈尔滨：哈尔滨工程大学，2011.

[2] Zhang Z， Zhang C.A Survey of Recent Advances in Face Detection[EB/OL].[2010].http://research.microsoft.com/apps/pubs/default.aspx?id=132077.

[3] Ming Y，David K，Narendra A.Detecting Faces in Images:A Survey[J].IEEE Transations on Pattern Analysis and Machine Intelligence， 2002，24(1) ：34-58.

[4] Dalal N， Triggs B.Histograms of Oriented Gradients for Human Detection[C]//IEEE Computer Society Conference on Computer Vision and Pattern Recognition.USA:San Diego， 2005： 886-893.

[5] Ojala T，Pietikainen M，Maenpaa T.Multiresolution Gray-scale and Rotation Invariant Texture Classification with Local Binary Patterns[J].IEEE Transactions on Pattern Analysis and Machine Intelligence， 2002， 24(7) ： 971-987.

[6] Zulhadi Z，Shahrel S.Face Detection Using Combination of Neural Network and Adaboost[C]//2011 IEEE Region 10 Conference.Indonesia:TENCON，2011： 335-338.

[7] Paul V，Michael J.Robust Real-Time Face Detection[J].International Journal of Computer Vision，2004，57(2) ：137-154.

[8] 张云龙，谢泽奇，张会敏.一种复杂背景下的人脸检测方法[J].传感器与微系统，2011(6)：42-44，48.

[9] Yow K， Cipolla R.Feature-Based Human Face Detection[J].Image and Vision Computing，1997，15(9)：713-735.

[10] Lanitis A，Taylor C，Cootes T.An Automatic Face Identification System Using Flexible Appearance Models[J].Image and Vision Computing， 1995，13(5) ：393-401.

[11] Osuna E， Freund R， Girosi F.Training Support Vector Machines：An Application to Face Detection[C]//Proc.IEEE Conf.Computer Vision and Pattern Recognition， 1997：130-136.

[12] 高锦.基于SVM的图像分类[D].西安：西北大学，2010.

[13] 姚旭，王晓丹，张玉玺，等.特征选择方法综述[J].控制与决策，2012，27(2)：161-166.

[14] 吴要领.基于YCrCb色彩空间的人脸检测算法的设计与实现[D].成都：电子科技大学，2013.

[15] 张国伟，于金霞，陈现查.基于肤色分割和改进Gabor滤波相结合的人脸检测[J].计算机测量与控制，2010(1)：136-138.

[16] 邱炯，李伟生.结合图像增强和肤色分割的人脸检测新方法[J].计算机工程与应用，2011(26)：189-192.

[17] 武亚昆.融合多种图像特征的人像检索技术研究[D].太原：太原理工大学，2011.

[18] 王燕，公维军.双阈值级联分类器的加速人脸检测算法[J].计算机应用，2011(7)：1822-1824，1830.

[19] Chai D， Ngan N.Locating Facial Region of a Head-and-shoulders Color Image[C]//Third IEEE International Conference Automatic Face and Gesture Recognition，1998 :124-129.

FACE DETECTION BASED ON CASCADE SUPPORT VECTOR MACHINE FUSING MULTI-FEATURE

Zhang Xiaolong1Liu Shuxin2Liu Manhua1

1(DepartmentofInstrumentScienceandEngineering,ShanghaiJiaoTongUniversity,Shanghai200240,Fujian,China)

Face images contain rich features information,and different features have their own advantages.This paper proposes a face detection algorithm,which is based on effective fusion of multiple features with cascade support vector machines.The algorithm first uses complexion model to preprocess the detecting image and screens out suspected human face region.Then,it extracts HOG (histogram of oriented gradients) and LBP (local binary patterns) features of image from the suspected face region,and makes feature selection on these two feature sets respectively,and trains two SVM (support vector machine) classifiers as well.Finally,the algorithm cascades these two SVM classifiers to implement face detection.Results of experiment on multiple face databases show that the proposed algorithm improves the face detection rate and reduces the false detection rate,and has high robustness for the conditions of a variety of illumination,posture,facial expressions,and partial occlusion.

Face detection HOG feature LBP feature SVM classifier Cascade classifier

2014-10-24。张小龙，硕士生，主研领域：图像处理，人脸识别。刘书炘，博士。刘满华，副教授。

TP391.41

A

10.3969/j.issn.1000-386x.2016.04.036