人脸及特征点检测方法综述

胡 健，左艳超

（北方工业大学，北京 100144）

人脸及特征点检测方法综述

胡 健，左艳超

（北方工业大学，北京 100144）

人脸及特征点检测计算机视觉领域有着非同寻常的地位，同时还在人工智能交互、视频会议、鉴别身份、汽车安全行驶等方面有着非常广阔的研究价值。由于在计算机视觉下，动态图像中存在人脸的大小不确定、面部表情变化多样、背景复杂、光照多变等影响因素，人脸特征点检测的准确性变得至关重要。文章介绍了几种人脸及特征点常用方法。

人脸检测；特征点检测；计算机视觉

1 人脸检测

通过一个人的人脸可以获取该人的种族、性别、年龄等丰富信息，在人与人之间的视觉交流方面有着不可忽视的作用。除此之外，由于计算机技术日新月异，计算机安全技术在安检、门禁、公安、保险、军事等各个领域都发挥着不可替代的作用，人脸及特征点检测也日趋成为最热门的生物特征身份识别技术之一[1]。但是，对于如何处理不同人的面部差异达到识别检测目的，仍然是可视化分析和目标识别中最具有挑战性的关键课题之一[2]。

1.1 人脸检测现状

人脸检测最早是由人脸识别衍变而来，早在20世纪六七十年代，人脸识别技术就已诞生，但是由于当时计算机技术的滞后，并未取得应有的成果，这种状况一直持续到20世纪90年代后期，超大规模集成电路的诞生，极大地提升了计算机的运算速度，人脸检测研究也取得了较多可喜的成果。

Yang和Huang[3]提出了一种人脸检测方法，该方法基于知识分级检测，也就是通常所说的马赛克图像法（Mosaic Image）。此外，Sung和Poggio等[4]提出了基于人脸训练集的检测思想，将人脸检测问题归为从已训练好的样本中识别出人脸区域的研究思想。在此基础上，Powley等[5]创造性地提出了一种使用多个神经网络检测图像中具有不同偏移角度的人脸检测改进方法，该方法可以直接作用在原图像，与Sung中将待检测图像与人脸训练集对比匹配有着明显的区别，能够直接判断待检测窗口中是否包含人脸，更简单便捷。

2001年，Viola.P基于Adaboost的人脸检测算法[6]是人脸检测方向的转折点，该算法不仅提高了检测的准确率，并且使人脸检测开始正式走进实际的应用领域中，是人脸检测研究的一次跳跃性发展。人脸检测所具有的潜在应用前景和经济价值激发了一代又一代研究人员的探索探索兴趣。

1.2 人脸特征点定位研究现状

人脸特征点检测是指在待测图像中检测出人脸位置信息，然后进一步检测出能够反映人脸主要特征的信息来进行人脸验证、表情识别等，是目前计算机视觉领域的研究热点之一。在人脸特征点的研究方面，国外的研究起步比国内早很多，到目前为止，剑桥大学、曼彻斯特大学等[7-8]国外知名大学在人脸特征点检测方面取得了一定的成果。国内对于人脸特征点的检测可以追溯到19世纪80年代，经过研究人员的努力，在人脸特征检测方面也取得了显著的成果[9-10]。伴随着国内外研究人员不断地研究深入，人脸特征点定位技术也是日臻完善。

2 人脸检测方面几种主流方法

2.1 基于马赛克图像法的人脸检测

Yang等[11]提出的一种方法是利用马赛克子块不同区域的作用关系检测人脸。对4×4和8×8个马赛克区域块，利用特定规则进行验证，然后用边缘特征来进一步检验。这种方法对人脸的检测结果并不是特别准确，卢春雨等[12]针对该方法的一些不足进行了改进，将人脸区域根据特征分布分为3×3个马赛克区域块。如图1（a）和图1（b）为人脸马赛克三分图模型。子块0与子块2分别对应于左眼区域（含眼眉）和右眼区域（含眼眉），子块4与子块7分别对应于鼻子与嘴巴区域，子块（3，6，5，8）对应于两侧区域。我们假定子块（0，3，6）与子块（2，5，8）宽度大致一样，所有的块高度大致相同。在块形状自适应后，之前的分割会出现些变化，但保持同一行和同一列的高度和宽度相同。这种方法对于一些圆圆的脸型具有一定的适用性。

2.2 基于人脸训练集的人脸检测

该方法的核心思想是收集大量的人脸图片利用神经网络等方法[13]训练一个分类器来检测人脸。该方法不需要对目标图像进行复杂处理，只需要将待测图像与训练集中的人脸图像进行匹配对比，从而对待测图像的人脸部分进行检测。训练的样本数越多，检测的精度越大，但是相应的会对运算速度产生一定影响。

2.3 基于Haar小波的Adaboost算法的人脸检测

Freund和Schapire[14-16]提出的基于Adaboost算法和层级分类器的人脸检测算法可以使误差函数的上界尽可能变小，它是一种迭代算法，核心思想是针对同一个训练集训练多个弱分类器，然后把这些弱分类器整合起来构造一个强分类器。在人脸检测过程中，先使用最简单的分类器，如果待检测图像在某一组分类器中就被认定为非人脸图像，那么后面的分类器就无需对该图像再进行检测，将可能存在人脸的待测图像送到下一级分类器进行检测，以此类推，尽可能早的排除非人脸子窗口，提升了检测精准度，降低运算的复杂度。图2为级联分类器的结构。

图2 级联分类器的结构

该算法目前已经成功应用到了图像识别和目标检测上面，作为现阶段最流行且实用的方法，下面简单介绍其思路。

设输入样本数据为I=[(x1,y1)，(x2,y2)，…，(xn,yn)]，这里xi是特征向量，即训练样本；yi∈{-1，1}是样本的类别。该方法的要点在于通过增加错分样本的权重，使得弱分类器加强对错分样本的分类能力。设Dk(i)是训练样本I在第k轮训练时的权重，k=0初识时的权重都是1/N，其中N为样本数。那么训练误差εk可 表示如下：

整个训练过程如下：

（1）给定输入样本：I=[(x1,y1)，(x2,y2)，…，(xn,yn)]；yi∈{-1，1}

设Dk(i)=1/N，N是样本数

（2）对每个k=1，···k其中k为训练次数

①用Dk训练分类器hk

②计算分类器hk对训练样本的误差，εk=PrD[hk(xi≠yi)]

④更新Dk+1(i)=Dk(i)exp(-αkyihk(xi))

（3）最终分类器为H(x)=sign(∑kk=1αkhk(x))

研究学者已证明分类器对训练样本误差的上界为

从上可知，如果弱分类器的错误率小于1/2，那么分类器的训练错误将随训练次数呈指数形式下降，可以确保错误在有限次数的迭代后下降到给定值，训练误差将会越来越低。

3 人脸特征点的几种主流方法

3.1 基于先验规则的方法

基于先验规则的方法对人脸的面部特征进行了一般性归纳。人脸的面部特征各不相同，但是其大体位置存在一定的规律，经过研究人员对人脸特征点的分布规律进行的实验分析，得出人脸上一些明显的基本特征，如人的眼睛、鼻子、嘴巴等部位亮度一般比周围区域要低[17]，双眼与双耳的位置相对面部中线对称，而嘴巴、鼻子则位于面部中线上，也就是人们常说的“三庭五眼”规律，为人脸检测和识别提供了很大帮助。如图3所示，三庭指脸的长度比例，把脸的长度分为3个等分，分别为：上庭：发际线至眉线，中庭：眉线至鼻底线，下庭：鼻底线至颏底线。五眼则是指脸的宽度比例，以眼睛的长度为单位，把脸的横向以左外耳孔至左眼外角距离、左眼长度、左右眼内角的距离、右眼长度、右眼外角至右外耳孔距离五等分。脸宽则是瞳孔水平线上脸的宽度，也就是五眼的宽度。学者利用人眼虹膜的似圆形结构、上下眼睑对称结构检测人眼等。

该方法简单易懂，便于理解，无需对人脸进行复杂操作就可检测，但是过于依赖预先设定的人脸特征分布规则，对于一些面部信息复杂的人脸检测存在局限性，只能实现对人脸特征的粗略检测，并不适合对人脸特征更精细的检测。

图3 三庭五眼示意

3.2 基于几何形状的方法

该方法以一条带有几个控制点的闭合曲线和一个匹配验证的能量函数作为评判准则，经过多次迭代使能量函数最小化时就可以定位到人脸特征点[18-20]。该方法根据人脸特征构造带有几何参数模型，模型的不同参数对应着人脸的相应特征点，这些参数信息会与图像的灰度分布特征进行相互交叉验证。该方法在检测过程中容易受面部表情变化、光照明暗等因素影响，鲁棒性低，运算量较大。

3.3 基于灰度信息的方法

该方法是利用的人脸的面部肤色与背景有着明显区别，在水平与垂直方向进行灰度投影，先统计出各个方向上的灰度值的和，依据和的不同找出特定的变化点，进而借助投影灰度值基于统计的思想将不同方向上的变化点位置结合判断，确定人脸特征点的位置[21]。这种方法计算量较低，但是不适用于变化速度过快等复杂情况。另外还有一种谷分析法[22]，图像灰度曲线较深的波谷之间一般对应人的面部区域，可以根据水平积分投影来确定人脸的边界值，通过水平和垂直方向灰度亮度对比的方法，就可以确定人脸的主要特征如眼睛、鼻子、嘴巴等位置。这种方法精准度会被外部光照条件影响，但是该方法的计算量较低，所以在特征点定位方面还是很常用的。

4 人脸及特征点检测过程中的难点

历经一代代研究人员的不懈钻研后，人脸及特征点的检测方法不断完善，一步步走向成熟，但仍然存在一些难以解决的问题。

4.1 外界因素干扰

到目前为止，大部分的人脸及特征点检测都或多或少存在外部因素干扰情况，背景较暗或者光照太强都会引起实验结果的误差。只是通过图像去噪增强等一系列图像处理并不能完全消除该因素造成的影响，改善这部分难点可以有效地提高实验数据的准确性。

4.2 实时性

在实际的应用中，特别是检测跟踪方面，人们对人脸及特征点的实时性检测提出较高的要求，对此，在设计算法方面，提高算法的检测速度相应地就要减少待测目标的数量和复杂度，但是势必会降低检测目标的准确性，想要检测速度和检测准确性同时兼顾，是个非常难以解决的问题。

4.3 快速图像处理

图像处理是个非常重要的过程，但是想要达到实时性，对于动态图像处理速度方面则需要很高的要求。在处理过程中，动态捕获的图像会受到多方面影响，比如不同的人脸大小，表情变化，姿态角度改变等等都会对采集到的目标图像造成非常大的影响，另外，人脸上的眼睛、帽子等饰品也会一定程度上影响实验结果的准确性。

5 结语

本文对人脸及特征点的发展现状以及一些常见的检测方法进行了综述研究，分析了常见检测方法的发展现状以及核心思想，希望能够对研究人员接下来继续探索人脸及特征点检测提供一些微弱的帮助。

[1]李文辉，崔晓青.基于AdaBoost算法的人脸检测系统的研究与实现[D].吉林：吉林大学，2006.

[2]李月敏，陈杰，高义，等.快速人脸检测技术综述[C].全国16届计算机科学与技术应用学术会议论文集，2004：771-774.

[3]HUANG T S，YANG D.Human face detection[J].Pattern Recognition，1994（1）：53-63.

[4]SUNG K K, POGGIO T. Example-based learning for view-based human face detection[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1998（1）：39-51.

[5]ROWLEY H, KANADE T, BALUJA S. Rotation invariant neural network-based face detection[C]. California：In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1998：963-969.

[6]VIOLA P. Rapidobjectdetection using a boosted cascade of simple features[C].IEEE Conference on Computer Vision and Pattern Recognition, 2001：511-518.

[7]SAMAL A, IYENGAR A, WING-HONG L. Automatic recognition and analysis of human expression[J]. Pattern Recognition, 1992（1）：65-77.

[8]WISKOTT L. Face recognition by elastic bunch graph matching[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1997（7）：775-779.

[9]赵武峰.人脸识别中特征提取方法的研究[D].杭州：浙江大学，2009．[10]冯歌.基于局部保留投影的人脸特征提取研究[D].哈尔滨：哈尔滨工业大学，2008．

[11]YANG G Z, HUANG T S. Human face detection in a complex background[J].Pattern Recegnition, 1994（1）：53-63.

[12]卢春雨，张长水，闻方，等.基于区域特征的快速人脸检测法[J].清华大学学报（自然科学版），1999（1）：101-105.

[13]ROWLEY H, KANADE T, BALUJA S. Rotation invariant neural network-based face detection[C]. California: In Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 1998：963-969.

[14]SCHAPIRE R E.The strength of weak learnability[J].Machine Learning，1990（2）：197-227.

[15]FREUND Y, SCHAPIRE R E. A decision-theoretic generalization of on-line learning and application to Boosting[J].Computer and System Sciences, 1998（1）：118-140.

[16]FREUND Y, SCHAPIRE R E.Experiments with a new Boosting algorithm[C].San Francisco：Proceeding of the 13th conference on machine learning, 1996：148-156.

[17]吴证.人脸特征点定位研究及应用研究[D].上海：交通大学，2009.

[18]KASS M. Active Contour Models[J].Internation Journal of Computer Vision, 1988（1）：331-331.

[19]韩玉峰，施铜兴，王小林．脸部特征点定位方法综述[J].计算机工程与应用，2012（1）：180-184.

[20]COOTES T F, HILL A，TAYLOR C J, et al. Use of active shape models for locating structures in medical images[J].Image and Vision Computer, 1994（6）：355-366.

[21]BRUNELLI R, POGGIO T. Face recognition: Features versus templates[J].IEEE Transactions on Pattern Analysis and Machine Intelligence, 1993（10）：1042-1052.

[22]FENG G C, YUEN P C. Variance projection function and its application to eye detection for human face recognition[J].Pattern Recognition Letters, 1998（9）：899-906.

Overview on the test method of face and feature points extraction

Hu Jian, Zuo Yanchao
（North China University of Technology, Beijing 100144, China）

Face and feature points detection has an unusual position in the field of computer vision .And at the same time, it also have a very broad research value at artificial intelligence interaction, video conference, identification, vehicle safety driving and so on. In computer vision, influence of dynamic image such as the size of face, facial expression varied, complex background, changeable light is directly related to the accuracy of the facial feature points detection.This paper introduces several methods of face and feature points.

face detection; feature points detection; computer vision

胡健（1967— ），男，安徽歙县，硕士，副教授，教师；研究方向：人工智能，计算机网络技术，分布式数据库。