基于肤色信息和模板匹配的人脸检测与提取

邵 虹，耿 昊

(沈阳工业大学 信息科学与工程学院，辽宁 沈阳 110870)

基于肤色信息和模板匹配的人脸检测与提取

邵 虹，耿 昊

(沈阳工业大学 信息科学与工程学院，辽宁 沈阳 110870)

随着人机交互的日益发展，人脸识别中的重要环节人脸检测得到了越来越多的重视。人脸检测的关键在于准确率和效率。针对肤色信息进行人脸检测速度快、易于实现，但准确率不高的特点，将肤色信息与模板匹配的方法结合起来进行人脸检测。利用在YCbCr色彩空间中的肤色高斯模型，进行肤色区域的分割，经过膨胀腐蚀、长宽比与欧拉数等规则的处理，完成人脸区域的粗检测。然后通过模板匹配的方法进行人脸的细检测，将检测出的人脸区域圈起来并进行提取，形成一系列的人脸图像。实验结果表明，两种方法结合后检测准确率有所提高，速度较快。

色彩空间；肤色高斯模型；肤色信息；模板匹配；人脸检测

0 引 言

在人脸识别的研究中首先衍生出人脸检测问题，从而使人脸检测成为人脸识别系统中的一个关键步骤。人脸检测指的是利用一些方法对给定的图像进行搜索，从而确定图像中是否存在人脸，如果是，则定位与标记人脸的位置[1]。随着互联网与智能应用的快速发展，诸多的安全问题随之而来，各种场合的身份验证已成为必然，人脸识别是一种有效的人物身份验证的方法，现实的环境要求人脸识别系统可以实现对大多数图像识别的功能，这使得人脸检测逐渐受到学者们的重视，从而延伸为一个独立的研究方向。现在，人脸检测的应用领域已经逐渐超出人脸识别的范畴，人脸检测技术最热门的应用领域有三个：身份认证与安全防护、媒体与娱乐、图像搜索。

肤色是人脸最为显著的特征之一，利用肤色信息可以分离开人脸区域和大部分其他区域，从而实现检测人脸的目标[2-3]。利用肤色进行人脸检测具有实现简单、速度快的特点，但准确率较低[4]。模板匹配的方法是建立一个能够反映人脸普遍特征的人脸模板，然后通过计算待检测图像中某一区域与人脸模板的相似度来判断这一区域是否为人脸。具体的算法流程如图1所示。

图1 算法流程

1 基于肤色信息的人脸粗定位

目前，可以将基于肤色信息的方法应用到人脸检测的三个环节中：

(1)单纯地利用肤色信息来检测人脸。通过区域分割的方式找到图像中的肤色区域，然后经过处理将肤色区域作为人脸。这种应用方式易于实现、速度快，但准确率较低。

(2)利用肤色信息衡量前期人脸检测方法的效果。将肤色信息作为检测效果的验证，可以有效提高人脸检测算法的准确率[5]。

(3)将肤色检测作为人脸检测的粗略检测。虽然不能认为肤色区域一定是人脸区域，但相比于其他人脸检测方法，判断是否为肤色区域的过程具有速度快的特点，可以缩小搜索范围，提高检测效率。文中将肤色应用到此步骤中，进行人脸的粗定位，方便之后的精确定位与检测。

1.1 色彩空间的选取

不同肤色的人脸区域，其亮度差别较大，而色度差别较小。RGB色彩空间在图像处理的研究中常被使用，但是RGB色彩空间受光线强度的影响较大，而肤色在YCbCr色彩空间中的聚类性较好，人脸肤色和非肤色的分布范围在YCbCr中交叉重叠的区域较小，而且肤色部分在YCbCr中能够用一种较好的模型来表达[6-7]。YCbCr是由YUV派生而来，Y表示色彩的亮度，Cb、Cr表示色彩的色度。YCbCr色彩空间可以由RGB色彩空间进行转换得到，公式如下：

(1)

1.2 建立肤色高斯模型

肤色模型，是利用数学的方法来反映所给图像中的属于肤色的像素点。在肤色高斯模型中表示肤色信息，是利用肤色高斯模型计算出所有像素点是否为肤色的概率值，肤色似然图就是由这些概率值得到的。文献[5]通过手工裁剪人脸肤色样本，将给定图像的像素通过式(1)在YCbCr色彩空间中表示出来，从而得到对应的每个像素在该色彩空间下的色度值，即(Cb，Cr)值。统计色度值为(Cb，Cr)的像素点的数目，由肤色样本点的分布情况得到其在YCbCr色彩空间中的分布图，如图2(a)所示。

由分布图可见，肤色样本点的统计分布近似于高斯正态分布，那么可以得到肤色高斯模型N(m,C)。其中，m是均值，C是协方差，利用所选择的样本计算得到，公式如下：

m=E{x}

x=(Cb,Cr)T

C=E{(x-m)(x-m)T}

(2)

肤色高斯模型如图2(b)所示。

1.3 肤色区域的分割

利用上述所得的肤色高斯模型，可以计算得出所给图像中所有的像素点与肤色相似的程度，即肤色似然度，进而可得出肤色似然图[8]。再对肤色似然图进行二值化处理，便可达到将肤色区域分割出来的目的。具体方法如下：

(1)通过上述方法计算待检测图像的Cb、Cr值，通过式(3)计算肤色似然度。

P(Cb,Cr)=exp{-0.5(x-m)C-1(x-m)T}

(3)

其中，x=(Cb,Cr)T。

同时可得到待检测图像的最大肤色似然度，两者的比值即为肤色概率值，由此得到肤色似然图，如图3所示。

图2 肤色分布图和高斯模型

图3 肤色似然图

(2)使用动态获取阈值的方法将肤色似然图二值化，从而将图像中的肤色区域分割出来。将图像中所有像素点分为目标对象和背景两类。利用一定的经验值，事先定义一个阈值范围，当阈值发生变化时，以0.1的幅度进行赋值运算，在变化的过程中选择一个最适合分类的阈值[9]。当获取到最佳阈值后，就可以对肤色似然图进行二值化完成肤色区域的分割，效果如图4所示。

图4 肤色分割图

1.4 候选区域的筛选

由上面的肤色分割图可以看出，肤色区域已经大部分提取出来，同时还存在一些细小条纹类的噪声，这时就需要进行形态学的噪声处理[10]。腐蚀膨胀是最常用且有效的去除噪声的方法。腐蚀能够使物体沿其周边缩小一个像素大小的面积，从而达到消除所有边界点的目的。膨胀能使物体的面积增大，从而将物体周边的所有点填充到该物体中。针对肤色分割图中的噪声，使用形态学的开运算进行噪声去除[11]。对一个图像进行先腐蚀后膨胀的操作过程称为开运算，它对于细小的边缘轮廓、连接与突出部分的噪声去除具有较好效果。噪声处理效果如图5所示。

图5 噪声处理后的效果图

经噪声处理后，图像中可能还存在一些非肤色区域，所以要进行最后的区域筛选。根据对人脸的先验知识以及特征分析图像，确定肤色区域。人脸可以使用如下特征进行筛选。

(1)欧拉检测。

由于人脸存在像眼睛和嘴巴这样的非肤色区域，使得人脸图像经上述处理后会产生多个孔洞，排除那些没有孔洞的区域，可以获得更准确的人脸区域。通过计算区域中的孔洞数来判断是否为人脸区域，孔洞数可以通过欧拉数计算得到[12]。欧拉数等于连通成分数减去孔洞数，即E=C-H。

利用欧拉数的方法进行筛选存在一些局限性。例如，一些待检测图像中人的眼睛较小或没有睁开，会导致经肤色分割后人脸区域不存在孔洞，在欧拉检测时会把这个区域给排除掉，影响了最后的检测率。图6显示了欧拉检测效果较好和效果较差的实验结果。

图6 欧拉检测

(2)长宽比检测。

统计区域边界的所有点的坐标值，记录并令x和y等于x轴和y轴上最大最小的坐标值，r=x/y就是所求的区域长宽比。根据专家机构大量的统计分析，人脸长宽比约为1.3[13]。选取候选区域长宽比在1～2范围内的区域，不在此范围内的区域将其排除掉。

2 基于模板匹配的人脸精确检测与提取

2.1 人脸模板

在进行模板匹配之前，要制作一个人脸模板，通过以下步骤可以制作一个人脸模板[14]。

(1)选取一些彩色人脸照片，并且计算得到灰度图像。

(2)手动截取人脸区域，根据人脸先验知识，设定模板尺寸。

(3)对人脸模板的灰度分布进行标准化。

为了防止人脸边缘(例如毛发)对匹配产生影响，最后要对模板进行掩膜处理。得到的人脸模板如图7所示。

图7 人脸模板

2.2 模板匹配

在制作完人脸模板之后，就要进行经肤色检测筛选过后的图像与人脸模板的匹配。

(1)输入待匹配图像，设待匹配图像为X={xi,j}，均值为μx，方差为σx。

(2)调用人脸模板，设尺度大小为W*H的人脸模板为T={ti,j}，均值为μt，方差为σt。

(3)通过计算得到相关系数，从而得到匹配的相似度，模板与待匹配图像之间的相关系数r(T,X)为：

(4)利用上一步得到的结果，与阈值相比较，当r>0.6时，判定该区域为人脸区域，反之则判是为非人脸区域。

利用上述模板匹配的方法可以准确检测出人脸区域，并圈出来。为了对人脸区域进行进一步的分析与处理，例如人脸表情的识别，实验将检测到的人脸区域进行提取，最终形成了一个只包含人脸区域的人脸图像序列。

3 实验结果与分析

使用MATLAB进行大量的实验，实验数据为个人的照片和网上下载的图片。实验结果如图8、表1和表2所示。

图8 实验结果

人数样本人脸数检测正确数检测率/%单人75751002人74741003人7572963人以上767092.1总计30029197

由上可知，肤色信息和模板匹配相结合的方法的检测率较单独利用肤色信息方法的检测率有所提高。同时，在实验过程中，还存在一些问题影响到最后的检测率，其中有主观因素和客观因素。例如，待检测图像中人的眼睛较小，会在欧拉检测过程中被排除掉，从而影响检测率，如图6(b)所示；有些图片中人的姿势不规则，也会导致最后的检测率下降。

表2 实验数据与对比

4 结束语

文中给出了一种结合肤色信息和模板匹配的人脸检测方法。实验结果表明，此方法较传统方法检测率有所提高。但检测率还有待于进一步提升，候选区域筛选方法需要做出进一步改进。

[1] 陈兆华,徐汀荣,韩志远.基于运动信息的快速局部遮挡人脸检测[J].计算机应用与软件,2013,30(1):63-66.

[2]JonesMJ，RchgJM.Statisticalcolormodelswithapplicationtoskindetection[J].InternationalJournalofComputerVision,2002,46(1):81-96.

[3]TofighiA，MonadjemiSA.FacedetectionandrecognitionusingskincolorandAdaBoostalgorithmcombinedwithGaborfeaturesandSVMclassifier[C]//Internationalconferenceonmultimedia&signalprocessing.[s.l.]:[s.n.],2011:141-145.

[4] 王 蓉,李丽华,杨晓刚.肤色信息在人脸检测中的应用研究[J].中国人民公安大学学报:自然科学版,2012,18(3):75-77.

[5] 刘喜荣.基于肤色模型和模板匹配的人脸检测研究[D].太原:太原科技大学,2010.

[6] 陈冠潼.人脸检测与识别算法的研究与应用[D].大连:大连理工大学,2013.

[7]GhazaliKHB,MaJ,XiaoR.AninnovativefacedetectionbasedonYCgCrcolorspace[J].PhysicsProcedia,2012,25:2116-2124.

[8]ParkJH,ChoiHC,KimSD.Bayesianfacedetectioninanimagesequenceusingfaceprobabilitygradientascent[C]//IEEEinternationalconferenceonimageprocessing.[s.l.]:IEEE,2005.

[9] 郭 佳，刘晓玉，吴 冰,等.一种光照不均匀图像的二值化方法[J].计算机应用与软件,2014,31(3):183-186.

[10] 武 瑛.形态学图像处理的应用[J].计算机与现代化，2013(5):90-94.

[11] 李凤慧.基于数学形态学的图像噪声处理[J].信息技术,2006,30(6):45-46.

[12] 王 骅.彩色图像中人脸检测与跟踪研究[D].南京:南京理工大学,2009.

[13] 卢绪军,赵勋杰.一种基于肤色和模板匹配的人脸检测方法[J].计算机应用与软件,2011,28(7):112-114.

[14]KasturiS，VanjareA，OmkarSN.AutomatichumanfacerecognitionusingmultivariateGaussianmodelandfisherlineardiscriminativeanalysis[J].ICTACTJournalonImageandVideoProcessing,2014,5(1):899-902.

Face Detection and Extraction Based on Skin-color Information and Template Matching

SHAO Hong,GENG Hao

(School of Information Science and Engineering,Shenyang University of Technology, Shenyang 110870,China)

With the development of human-computer interaction,face detection,an important part of face recognition,has got more and more attention.The key of face detection is accuracy and efficiency.The speed of face detection by skin-color information is fast and it is easy to be implemented,but the accuracy is not high.A method combined skin-color information and template matching is put forward for face detection.First of all,the skin-color Gaussian model in YCbCr color space to segment the area of skin is used.After the processing of expansion corrosion,aspect rating,Euler number and other rules,the rough face detection is completed.Then fine face detection by template matching is accomplished.Face region is circled and extracted to form series of face image.Experiments show that the accuracy of the combined method is higher and the speed is faster.

color space;skin-color Gaussian model;skin-color information;template matching;face detection

2016-01-19

2016-05-12

时间：2016-10-24

辽宁省高等学校优秀人才支持计划(LJQ2013013)

邵 虹(1974-)，女，博士，教授，CCF会员，研究方向为图像处理与模式识别；耿 昊(1991-)，男，硕士研究生，研究方向为图像处理与模式识别。

http://www.cnki.net/kcms/detail/61.1450.TP.20161024.1113.030.html

TP391

A

1673-629X(2016)11-0049-05

10.3969/j.issn.1673-629X.2016.11.011