一种融合肤色和Haar特征的人脸检测方法*==空格错误

林景亮,唐 杰

(广西师范大学 职业技术师范学院,广西 桂林 541004)

人脸检测作为人脸信息处理的一个重要内容，在人脸识别中占有非常重要的地位。目前，人脸检测的主要方法一般有4类：(1)基于知识的自顶向下方法。用先验知识把人脸归结成一些复杂程度由简至繁的规则，如眼睛对称，灰度图像中眼睛区域要比其他地方暗等，然后根据这些特点进行判别；(2)基于人脸特征的自底向上方法。用各种方法对图像进行处理提取某些特征，然后利用此特征与人脸共性特征进行比较来判断是否为人脸，如轮廓、纹理等；(3)基于模板匹配的方法。首先建立并存储一些人脸模板作为标准，利用算法计算待检测区域与模板的相似度或相关性，确定其是否为人脸；(4)基于人脸外观（表象）的方法。利用大量人脸的整体外观，用结构化方法来训练人脸检测分类器，如神经网络、支持向量机（SVM）等。

肤色是人脸的重要信息，不依赖人脸的细节特征，对旋转、表情等具有相对稳定性，且在图像像素比较低的情况下都能使用，这是基于Haar特征的方法所不具有的。但在多人情况下，基于Haar特征的方法却有很好的检测效果。本文结合两种方法的优点，提出了一种融合肤色和Haar特征的人脸检测方法。

1 检测算法

1.1 基于肤色模型的方法

对于彩色人脸图像，人的肤色经常会受到环境的影响而在整体上偏离本质色彩向某一方面移动，图像在生成、传输等过程中也会受到各种噪声源的干扰而使图像质量变差。为此，在建立肤色模型前需利用光线补偿来抵消图像的色彩偏差并且通过平滑处理来消除图像的噪点。

平滑处理可以用加权平均的方法消除。设图像大小为 H×W，g(x,y)为图像上任意一点坐标，以该点为中心取出一个n×n的窗口(邻域)，经平均后输出的该中心像素灰度值为 g*(i,j)，并设加权平均数以 M(i,j)表示，则加权邻域平均表示为：

通常n越大平滑效果越好，但计算量也越大，考虑到这两方面，本文采用的邻域为3×3的窗口。经过预处理后就可以获得质量较好的图像。为了避免在RGB色

1.2 基于Haar特征的方法

将AdaBoost算法与基于积分图的Haar-like特征结合起来实现对人脸检测的方法是2001年由VIOLA P和JONE M首先提出的[4]。该方法用Haar-like特征表示人脸，采用“积分图”实现特征值的快速及时提取,同时利用AdaBoost机器学习算法训练最能代表人脸的矩形特征 (弱分类器)，按照加权投票的方式构造成强分类器，再用级联的方式将多个分类器组成更为复杂的分类器，从而快速排除背景区域来获取人脸。典型的Haar-like特征如图3所示。

2002年 LIENHART R等人[5]将 Haar特征进行了扩彩空间中色度信息和亮度信息混合在一起对肤色分割不利,参考文献[1]直接使用RGB色彩空间通过线性变换得到的YCbCr色彩空间进行肤色聚类。但简单地排除Y分类在二维的Cb-Cr子平面中寻求肤色的聚类区域是不可行的，需对YCbCr色彩格式进行非线性分段色彩变换，以得到YCbCr色彩空间[2]。

基于肤色模型，对图像进行肤色分割，如图1所示，将非肤色的区域和肤色区域分开。但在背景复杂的图像中，与肤色相似的区域非常多且形状大小不一。为了降低误检率，本文使用了快捷有效的人脸区域分割算法[3]进行处理。此外，为了提高人脸区域提取算法的速度，本文采用扫描的方法对图像进行遍历，将与非肤色像素点相邻的肤色像素点提取出来作为肤色区域的边界。显然，经过了肤色分割以及去噪处理后的图像提取出来的边界都是各自闭合的，其点与点之间的相邻关系遵循四连通原则。为了获得准确的人脸区域，还需对其进行归并处理：对于大矩形内部的小矩形，用大矩形将其包含；对于两个相交的矩形，用一个大的矩形将其包含。经过归并处理后，最终输出的矩形就是人脸区域，如图2所示。展，引入了旋转特征，扩展了目标识别的手段，且扩展后的Haar特征同样适用于积分图计算。积分图计算即在图像处理的初期建立一个积分图像(Integral Image)，它是一种数字图像表示方法，对于任意像素点 P(x,y)，积分图就是其左上方所有像素灰度值之和：

利用式(2)、式(3)遍历图像便可以计算出整个积分图矩阵，各区域的计算为：1点的数值是矩形A的像素和，2点的数值是A+B，3点的数值是 A+C，4点的数值是 A+B+C+D。所以D区域的像素和为4+1-(2+3),如图4所示。

获得积分图的矩形特征，利用AdaBoost对其进行训练来构建强分类器，具体算法流程可参考文献[4]。每层的强分类器经过阈值调整，被上层分类器错误接受的非人脸应被下层分类器正确地排除，同时保证人脸通过所有的分类器来提高检测率。对于人脸检测，AdaBoost选择权重最高的几个矩形特征。第一个特征关注的是包含眼睛的区域总是比鼻子和面颊的矩形区域亮度上更暗（亮度值小于某个阈值）。这个特征与人脸大小以及位置无关。第二个特征表示的是眼睛所在的区域总是比鼻梁所在的区域亮度更暗。

基于Haar特征的方法是目前人脸检测最有效的方法之一，但亦存在着几个明显的缺点：(1)对于背景中与人脸结构类似的物体常被误检为人脸；(2)对于有遮挡的不完整人脸常被漏检；(3)对于图像像素较低的图像漏检情况非常严重，甚至出现无法检测的现象。

1.3 融合肤色和Haar特征的方法

肤色信息作为人脸的重要特征，不但可以用于人脸检测的前期预处理，还能作为后验证方法来排除错检的非人脸区域。在图像像素较低时，基于肤色模型的方法依然具有很好的鲁棒性，且对人脸姿态、表情等具有很好的稳定性。但由于区域分割使用了归并处理，在多人图像人脸靠得比较紧密时，其漏检和错检的概率大大增加。而基于Haar特征的方法却能在多人检测时表现出良好的检测性能。文本基于肤色模型和Haar特征的两种方法的优点，提出了一种融合两种方法且用肤色进行后验证处理的新方法。算法步骤如下：

(1)输入图像；

(2)判断图像像素Ω；

(3)若像素 Ω〈阈值 δ，则进行肤色检测，输出检测结果，检测结束；

(4)若像素 Ω〉阈值 δ，则进行 Haar特征检测；

(5)肤色后验证，输出检测结果，检测结束。

该算法在检测之前首先对图像像素数进行判断，对于像素较低的人脸图像，使用基于肤色模型的方法进行检测。此外，对单人和多人图像用进行人工分类，使用基于Haar特征方法对多人人脸图像进行检测。在输出检测结果前，用肤色信息进行后验证处理，排除错检的非人脸区域，从而得到最终输出的人脸矩形区域。

2 实验结果与分析

本文在Intel(R)Core(TM)2 Duo T5670@1.80 GHz CPU,2 GB内存，Windows Vista Home Basic 32位操作系统环境下，使用VS C++2008进行编程，在 Caltech Faces 1999 Databas人脸检测库和自建人脸库上进行实验。

不同像素下的检测结果如图5所示。实验利用Caltech Faces 1999 Databas进行测试时，基于肤色模型的方法检测率达到100%，基于Haar特征的人脸检测方法检测率亦高达100%，但同时有6%的误检率，且其中有8张图片出现重复检测的现象，如图5(a)所示。当将图片像素减低时,如从 896×592变换为 300×264，基于 Haar特征的方法无法检测人脸区域，如图5(d)所示，而基于肤色模型的方法却能准确检测,如图5(c)所示，这也证明了本文利用基于肤色模型的方法检测低像素图像人脸区域的可行性。

为了进一步验证算法在不同像素下对人脸图像的检测情况，在Caltech Faces 1999 Databas中随机选用8张图像，将每一张图像像素值修改为 50×50、100×100、200×200、250×250 和 300×300 5种格式共 40 张图像，此外还收集了10张不同人数和背景的多人图像进行实验，实验结果如表1所示。由实验结果可见，本文算法的总体检测结果明显优于参考文献[4]中的方法。

表1 不同检测方法的实验结果

本文针对彩色图像提出了一种融合肤色和Haar特征的人脸检测方法。这种方法综合利用了人脸的肤色信息和基于Haar特征的正面人脸结构，组成了一个能用于低像素图像和单人、多人图像下的有效检测方法。该方法在Caltech Faces 1999 Databas人脸检测库实验和低像素图像实验中都取得了良好的检测效果，但由于没有有效的多人人脸检测库，本文自建库多人样本有限。下一步的工作，将致力于复杂背景下对人脸区域快速有效的检测方法研究。

[1]SINGH S K,CHAUHAN D S,VATSA M,et al.A robust skin color based face detection algorithm[J].International Tamkang Journal ofScience&Engineering,2003,6(4)：227-234.

[2]HSU R L,MOTTALEB M,JAIN A K.Face detection in color images[C].IEEE Transactions on Pattern Analysis and Machine Intelligence,2002,24(5)：696-706.

[3]求实科技,张宏林.精通Visual C++数字图像模式识别技术及工程实践[M].北京：人民邮电出版社,2008.

[4]VIOLA P,JONES M.Robust real-time object detection[J].International Journal of Computer Vision,2002,57(2)：137-154.

[5]LIENHART R,MAYDT J,An extended set of Haar-like features for rapid object detection[C].IEEE ICIP 2002,2002,1(9)：900-903.