人脸自动识别技术综述

尚 丽，陈 杰，张 愉

(苏州市职业大学 电子信息工程系，江苏 苏州 215104）

传统的识别方式已不能满足目前人们对身份进行有效辨识的需要，生物识别技术成为社会生活中身份认证的重要手段[1-6].生物特征识别技术以生物技术为基础，以信息技术为手段，将生物和信息两大技术交汇融合成为一体.生物特征识别技术涉及到模式识别、计算机图形学、图像处理、计算机视觉以及人机交互等多个信息技术领域，这些相关领域的发展又为生物特征识别技术的进步创造了条件.目前出现的生物识别技术产品都以其高科技和自动化而得以广为应用，使得人们对于生物识别技术的研究越来越广泛和深入，较为成熟的有基于人脸、指纹、手部几何学、虹膜、视网膜等的识别技术.

人脸是人类视觉中最常见的模式，人脸识别由于其自然、直观、非接触、安全、快捷等特点而倍受关注，已经成为最具发展潜力的生物特征识别技术之一，也是当前模式识别和人工智能领域的一个研究热点.但是，由于人脸结构的复杂性、人脸表情的多样性以及人脸成像过程的多变性等原因，人脸机器自动识别至今仍然被公认是一个具有挑战性的研究领域.

1 人脸自动识别技术的主要研究内容

人脸识别按照信息的来源可以分为两大类[3-4]：基于静态人脸图像的识别和基于包含人脸的动态视频信息的识别.因为动态视频信息并不能明显提高人脸识别的性能，因此本文仅涉及到静态人脸图像的识别.

广义地讲，人脸自动识别技术包括人脸检测和人脸身份认证技术.在商业系统和专利中，人脸识别是将人脸检测作为系统的一个组成部分.在已发表的多数文献中，人脸识别技术是指在一些假设的条件下与个人身份验证相关的技术(如假设输入图像没有复杂的背景).概括地讲，计算机人脸自动识别技术主要包括以下几个方面的内容[3，5-6]：

(1) 人脸检测，系统判断输入图像中是否存在人脸图像，如果存在，则同时给出存在人脸图像的数量和位置.这个检测过程主要受光照、面部角度、环境噪声及各种遮挡物的影响.

(2) 人脸的规范化，校正人脸在尺度、光照和旋转等方面的变化.

(3) 人脸表征，通常这一过程是对人脸的特征提取过程，是人脸识别技术中最重要的研究内容之一，在人脸识别中，特征的分类能力、算法复杂度和可实现性是确定特征提取法需要考虑的因素，所提取特征对最终分类结果有着决定性的影响，而分类器所能实现的分辨率上限就是各类特征间最大可区分度.

(4) 人脸识别，通过人脸特征的匹配识别完成对个人身份信息的确认和查找，人脸识别算法属于典型的模式识别问题，主要有在线匹配和离线学习两个过程组成，人脸识别的实现需要综合考虑特征选择、特征提取和分类器设计等问题.

(5) 人脸表情、姿态分析，通过对人脸情绪和形态对应关系的建模，对人脸表情进行分析、分类处理.

(6) 生理分类，通过对人类生理信息和人脸形态对应关系的研究和建模，完成对人脸年龄和性别等生理信息的推断.

(7) 人脸编码，对人脸表征获得的特征进行编码分析.

从分类的角度来说，人脸验证是一个两类问题，它验证的内容是某张脸同其所“声称”身份(IdeDlity)对应的脸是否一致，因而最终给出的是一个真或假的答案.人脸辨识则是一个多类问题.它辨识的内容是某张脸同数据库中的哪一个身份相一致.因而最终给出的是一个身份标号.

2 人脸自动识别技术的研究历史与现状

2.1 人脸自动识别技术研究历史的典型阶段

人脸识别的研究已经有相当长的历史，甚至可以追溯到19世纪末20世纪初[3，6]，在当时Galton分别于1888年和1910年在《Nature》杂志上发表了两篇关于利用人脸进行身份识别的文章[6]，对人类人脸识别的能力进行了分析.人脸识别的输入图像通常为正面、斜面、侧面三种情况.由于人脸正面图像包含了人脸更明显的特征，所以大多数文献对静态人脸正面图像的研究较多.人脸识别技术的发展过程大致可以概况为以下四个阶段[4-10]：

第一阶段：20世纪50年代在心理学方面的研究和60年代在工程学方面的研究.典型的文献如J.S.Bruner在1954年发表的关于心理学的The perception of people；Bledsoe在1964年就工程学发表的Facial Recognition Project Report.国外高校也涌现了众多研究人脸识别的研究小组[7].这些研究小组分别从不同的角度开展该课题的研究，例如美国Texas at Dallas大学的Abdi和Tool小组[1，5，7]、英国Stirling大学的Bruce教授和Glasgow大学的Burton教授合作领导的小组主要从感知和心理学角度探索人类识别人脸机理[3，11-12]；英国的Graw小组[13-14]和荷兰Groningen大学的Petkov小组[15]则从视觉机理角度进行研究.

第二阶段：关于人脸的机器识别研究开始于20世纪70年代.以Allen和Parke为代表，主要研究人脸识别所需要的面部特征.研究者用计算机实现了较高质量的人脸灰度图模型.但是，这一阶段工作的特点是识别过程全部依赖于操作人员，不是一种可以完成自动识别的系统.

第三阶段：人机交互式识别阶段.代表性的工作如Goldstion、Harmaon和Lesk用几何特征参数来表示人脸正面图案，他们采用了21维特征矢量表示人脸面部特征[6，16]；Kaya和Kobayashi[6，17]采用了统计识别方法，用欧氏距离来表征人脸特征，如嘴唇与鼻子之间的距离、两眼之间的距离、嘴唇的厚度等；T.Kanad[6，18]设计了一个高速而且有一定知识引导的半自动回溯识别系统，运用积分投影法从单幅图像上计算出一组脸部特征参数，再利用模式分类技术与标准人脸相匹配，该系统实现了快速、实时的处理，是一个非常大的进步.但这类方法需要利用操作员的某些先验知识，仍然摆脱不了人的干预.

第四阶段：20世纪90年代以来，随着高性能计算机的出现，人脸识别方法有了重大突破，进入了真正的机器自动识别阶段.近年来，随着高速度、高性能计算机的发展，人脸模式识别方法有了较大突破，出现了多种机器自动识别系统[6-7，10].

目前的人脸识别方法主要有三种：基于几何特征的人脸识别方法、基于代数特征的人脸识别方法、基于连接机制的识别方法.虽然它们都取得了一定的成功，但是仍是各有其缺点.基于几何特征的识别方法困难在于没有形成统一、优秀的特征提取标准，由于成人面部模式千变万化，即使是同一个人的面部图像，由于时间、光照、摄像角度等的不同，也很难用一个统一的模式来表达，造成特征提取的困难；基于代数特征的识别在本质上依赖训练几何测试及图像的灰度相关性，而且要求测试集和训练集比较理想，所以有很大的局限性；基于连接机制的识别方法采用神经网络，结构上类似于人脑，在编码压缩和信息处理方面有一定的优势，但由于原图像数据量大，因此神经网络元很多，训练时间很长.因此，寻找有效的人脸识别算法仍是目前研究的热点之一.近年来，除了基于K-L变换的特征脸方法与以奇异值特征为代表的代数特征方法取得了新进展外，人工神经网络、小波变换在人脸识别研究中都取得了很广泛的应用，而且出现了不少新方法[6，19].

2.2 人脸检测方法研究历史与现状

人脸检测的早期文献大约起始于20世纪60年代末[19-20]，90年代末达到高潮.90年代初，Graham等主要采取了图像分块(Block)方法和向量量化(Vector Quantisation)技术[21].其后十几年的发展过程中涌现出大量的人脸检测方法[19].

2.2.1 基于知识的方法

基于知识的方法是将典型的人脸形成规则库对人脸进行编码，通过面部特征之间的关系进行人脸定位.基于知识的方法是基于规则的人脸检测方法，规则来源于研究者关于人脸的先验知识.一般比较容易提出简单的规则来描述人脸特征和它们的相互关系，比如，一幅人脸图像中，通常包含具有对称性的两只眼睛，一个鼻子和一个嘴巴.他们之间的关系可以用相对距离和位置等规则来表示，在输入图像中首先提取面部特征，确定基于编码规则的人脸候选区域.当人脸候选区域选择出来之后，人脸面部特征常用来作为验证手段以去除虚假的人脸区域.问题在于如何制定规则：太过“宽松”和太过“严谨”的规则将导致“虚检”和“漏检”.典型的基于规则的人脸检测方法有：Chetverikov用斑点(blob)和缝隙(streak)成功地表示了面部的特征[22]；Yang和Huang[23]利用分层的思想实现基于知识的人脸检测方法[24]；Graf[25]将形态滤波方法应用到面部特征定位中；Sirohey[26]使用Canlly算子对人脸图像进行预处理，然后用椭圆实现了脸部区域的拟合；Kotropoulos 和Pitas[27]利用投影方法确定了面部特征，并应用于ACTs M2VTS库，取得了86.5%的检测率；卢春雨等人[28]提出的基于马赛克的改进镶嵌图方法；李华胜等人[29]提出通过区域增长从人脸图像中分割出人脸，再利用边缘检测、Hough 变换、模板匹配和方差投影技术快速有效地提取出人脸面部器官；姜军等人在杨光正提出的符合人脸生理结构特征的人脸镶嵌图模型的基础上，提出了一种基于知识的快速人脸检测方法[30]等.

基于规则的方法存在的问题是很难将人类知识转换为明确定义的规则，另外，很难将这种方法扩展到在不同的位置下检测人脸，因为列举所有的情况是一项很困难的工作.

2.2.2 特征不变方法

该算法的目的是在姿态、视角或光照条件改变的情况下找到存在的结构特征，然后使用这些特征确定人脸.这些特征包括人脸轮廓特征、灰度分布特征、器官特征、模板特征等.典型的研究工作有：杨光正提出的镶嵌图方法[24]；Sirohey[31]使用边缘图和启发式算法来去除和组织边缘，而只保存一个边缘轮廓，然后用一个椭圆拟合头部区域和背景间的边界；Graf[25]等人提出定位灰度图像的面部特征和人脸的检测方法；Leung等人[32]提出基于局部特征检测器和任意图匹配的概率方法；Yow和Cipolla提出了一种基于二阶段特征检测的方法[33]；Han 等人提出的基于形态学的技术进行眼部分割进而实现人脸检测的方法[34]；彭进业等人提出的利用反对称双正交小波分解实现多尺度对称变换的脸部主要特征点定位方法[35]；王延江等人提出的快速彩色图像中复杂背景下人脸检测方法[36].在模板特征匹配方面，Sakai等人最早把模板的思想用于人脸检测[19]；Craw等人建立了主要由Sobel算子的边缘信息刻画的正面人脸的形状模板[19]，并进一步提出了多模板匹配策略来定位人脸[19]；Veukatraman提出了基于小波域边缘信息建立的模板算法[19]；Samal等则主要用PCA的方法提取主轮廓来建立模板[19]；Miao等人采用了由Laplacian算子在面部主要特征上的边缘信息来刻画多级模板[19]；Yuille等人提出了变形模板的思想[19]；Lanitis等提出了PDM模型，PDM由训练样本的位置信息和灰度信息确定，通过ASM搜索确定人脸的位置[19].

基于特征的方法适于简单背景下的正面单人人脸检测，在复杂环境下或者面部有遮挡的情况下很难获得理想的检测效果.

2.2.3 基于肤色的方法

肤色特征是人脸检测中最常用的一种特征.己有研究表明，不同人之间的肤色差异主要体现在色度上而不是强度上[24].因而，寻找稳健的色度空间进行有效的肤色区域分割是关键所在.常用的色度空间包括RGB空间、规范化RGB空间、HSV空间、YerCb空间、YIQ空间、YES空间、CIEXYZ和CIELtJV空间[24].常用的肤色模型有：高斯模型、混合高斯模型和直方图模型.Terrillon等考察了九种色度空间，发现一般情况下，需要使用混合高斯模型才能较好地描述肤色分布区域，并同时指出，最终限制检测性能的因素是不同色度空间中肤色和非肤色区域的重叠程度特征[24]；Rein等首先对光照进行补偿和色度非线性变换，肤色分割后产生人脸候选区域.并利用面部特征的映射图(眼睛、嘴巴、以及边缘信息)来进行有效地验证[19].

基于肤色模型的人脸检测方法应用广泛，对姿态不敏感，在单调背景下检测率高，但是其在光照和复杂背景下效果不理想，故其经常与其他方法相结合使用.

2.2.4 基于统计理论的方法

存储几种标准的人脸模式，用来分别描述整个人脸和面部特征；计算输入图像和存储的模式间的相互关系并用于检测.基于统计理论的人脸检测方法是利用统计分析与机器学习的方法来寻找人脸样本与非脸样本各自的统计特征，再用各自的特征构建分类器，用分类器完成人脸检测.基于统计理论的人脸检测方法主要有：

(1) 神经网络方法.Propp最早提出了用神经网络进行人脸检测[19，37]；Burel利用Kohonen's SMO算法训练多层感知器学习正样本和负样本，检测过程中对样本在多分辨率上进行扫描以确定是否为人脸图像[38]；Vailant提出了多级网络人脸检测方法[39]；Rowlcy等在这方面的工作具有重要的意义[40-41]，并提出通过对输入窗口图像进行旋转等操作，可以检测到旋转人脸[41].其它用于人脸检测的神经网络结构还有很多，比如卷积神经网络、基于概率决策的神经网络、自相关神经网络等等[19].

(2) 支持向量机方法.Osuna等人首次把支持向量机(SVM)算法引入到人脸检测领域[42].与神经网络不同的是，SVM侧重于结构风险最小化(Structura1 Risk Minimization)，其最优超平面由支持向量来确定，而神经网络侧重于训练误差最小化.SVM用来训练人脸和非人脸两种模式.算法在标准测试集上的检测率达到了90%以上[19].SVM的训练样本特征也已经由最初的图像灰度特征发展为小波特征、独立主元特征等等[19].

(3) 线性子空间方法.线性子空间方法主要包括主成分分析方法(PCA)、线性判别分析方法(LD)和因式分析方法(FA)等.PCA法是K-L变换的别称，该方法根据图像的统计特性进行正交K-L变换，以消除原有向量与分量间的相关性，变换得到对应特征值依次递减的特征向量，即特征脸[19，43].线性判别分析方法通过某非线性变换把人脸图像区域属性空间的属性向量映射到高维的特征空间，计算被测图像区域与该特征空间的距离是否小于某一阈值来判断其是否包含人脸.典型的方法为Yang等提出的Fisher线性判别方法[19].FA因素分析方法类似于PCA方法，但不同点是：FA虽然也是从原变量中提取信息，以使多元问题降维，但它是从一定的模型出发，找出几个反映原有变量的公共因子，并力求使它们有较为合理的专业解释.FA方法可以克服PCA方法对噪声的敏感性.

(4) 隐马尔可夫模型.HMM(Hidden Markov Model)隐马尔可夫模型假定模式由一随机过程的参数来表征，且参数是可以精确估计的.在建模之前，首先要确定隐状态的数目.转移概率函数可通过HMM学习代表观测状态的样本而得到.而HMM的输出概率值则决定了样本的类别属性.Nefian等首先采用HMM 方法进行人脸检测[24]，此后，他还将嵌入式HMM引入人脸检测和识别中，以进一步提高检测和识别精度.该方法使用了二维HMM，并且采用了二维DCT变换系数作为观测向量.

(5) Boosting方法.Bosting在机器学习领域指的是通过对粗糙的、不精确的规则进行学习、组合而产生出精确规则的学习方法.Adabost由Freund等人于1995年首次提出并解决了早期Bosting方法所遇到的一些实际困难而使得这一算法逐渐走向实用[44].Viola和Jones的贡献在于提出了新的图像特征表征模式—积分图像(Integral image)，使得快速的特征选取成为可能[45]；基于Adabost的学习方法，将大量的弱分类器进行加权组合而成为强分类器；通过级联的方式快速去除非目标区域而大幅提高检测速度；2004年，Stan(李子青)等[46]结合特征选择中的Floatsearch进一步提出了FloatBoost方法用于人脸检测，并建立了新的弱分类器学习的统计模型，使得强分类器的构建所需弱分类器的数目更少[47].到目前为止，基于Bosting的Adabos内FIoatBost方法是集精度、速度于一体的最优人脸检测方法之一[19].

人脸检测的方法相当繁多，鉴于篇幅，不再一一论述.

2.3 人脸特征提取与识别研究历史与现状

早期人脸识别研究主要有两大方向：基于人脸集合特征的提取方法；模板匹配的方法.Betro在1993年对这两类方法作了全面的介绍和比较后认为模板匹配的方法优于几何特征的方法[2].目前的研究也主要有两个方向：基于整体的研究方法，它考虑了模式的整体属性，包括特征脸方法、SVD分解方法、人脸等密度线分析匹配方法、弹性图匹配(elastic graph matching)方法、隐马尔科夫模型方法以及神经网络方法等；基于特征分析的方法，也就是将人脸基准点的相对比率和其它描述人脸脸部特征的形状参数或类别参数等一起构成识别特征向量.从20世纪90年代开始，人脸识别的研究可以说进入了高潮期，本文将人脸识别方法归纳为以下几种：(1) 基于几何特征的人脸识别方法；(2) 基于模型的人脸识别方法；(3)基于统计的人脸识别方法；(4) 基于神经网络的识别方法；(5) 多分类器集成方法.

2.3.1 基于几何特征的方法

最早的这类识别法将人脸用一个几何特征矢量表示，用模式识别中层次聚类的思想设计分类器达到识别目的.采用的几何特征主要有[4]：(1) 眉毛厚度及眉毛与眼睛中心的垂直距离；(2) 眉毛弧度的11个描述数据；(3) 鼻宽及鼻的垂直位置；(4) 嘴宽、上下唇厚度及嘴的垂直位置；(5) 下巴形状的描述数据；(6) 鼻孔位置的脸宽；(7) 半脸宽(鼻孔与眼睛中间位置的脸宽)人脸器官的关键点分别对应于不同的积分投影方式产生出的波峰波谷，根据人脸结构的先验知识，可以得出人脸各器官之间的几何位置关系.

最早的基于几何特征的算法是由Bledsoe在1966年提出的[2，48]；Kanade首先通过测量眼角、鼻孔、嘴巴、下巴等面部特征之间的距离和它们之间角度以及其它几何关系实现了人脸识别工作，但识别率较低，在一个20人的数据库上识别率为45%～75%[2]；Brunelli和Poggio通过测量鼻子的宽度和长度、嘴巴位置和下巴形状等进行识别，在47人的数据库上识别率为90%[2]；Samal等人提出的侧影方法也是较早的基于几何特征的方法，该方法从人脸的侧影轮廓线上提取特征点，将侧影转化为轮廓曲线，从中提取基准点，根据这些点之间的几何特征来进行识别[2，7].由于侧影方法较简单且应用面小，对该方法的研究较少.

基于几何特征的方法简单、直观、识别速度较快、容易理解，但没有形成统一的特征提取标准；从图像中抽取稳定的特征较困难，特别是特征受到遮挡时；对较大的表情变化或姿态变化的鲁棒性较差，识别率较低.

2.3.2 基于模型的方法

早期发表的基于模型的人脸识别方法的文献中，使用的模型主要为HMM隐马尔可夫模型、主动形状模型ASM(Active Shape Model)[49]、主动外观模型(Active Appearance Model)[50].HMM模型用于人脸识别时的鲁棒性较好，对表情、姿态变化不太敏感，识别率高.该模型在人脸检测的研究历史与现状中已有论述，这里不再累述.主动形状模型ASM[49]方法由Cootes等人提出，这种模型也被称之为可变形模型.ASM主要根据形状信息和局部灰度信息进行建模，并能够根据训练数据对于参数的调整使得形状的改变在一个合理的范围内.主动外观模型AAM在ASM的基础上加入了纹理信息，因而，除具有ASM特性之外，还可以用于图像的重建.在ASM和AAM的建模过程中，都用到了PCA技术.目前，已经出现了很多ASM、AAM的改进模型[51-52].

3D模型在十多年前被引入到人脸识别领域，最近几年有了较大的发展，是人脸识别中较有效的方法之一.Blanz等人提出的三维形态模板(3DMorphableMode)在基于三维的人脸识别方法中可以说是一项开创性的工作[53-54].在该方法中，图像数据是通过一特殊的三维扫描仪(3D Laser Scaner)获取的.因而可以采用图形学模拟的方法对图像采集过程的透视投影和光照模型进行建模，使得人脸形状和纹理等内部属性与摄像机配置和光照等外部参数分开来，有利于人脸图像的分析与识别[19].该方法对三维空间成像过程进行模拟，通过用一个3D可变型的人脸模型对图像进行拟合，从图像中估计出人脸的三维形状和纹理信息.模型将非正面人脸图像校正为正面人脸图像，然后在正面人脸图像中进行匹配.实验表明在同时存在任意光照和姿态变化的情况下，该方法取得了较好的识别效果.

2.3.3 基于统计的方法

基于统计的人脸识别方法将人脸图像视为随机向量，从而用一些统计方法来分析人脸模式.典型的研究工作如下：

(1) 特征脸(EigenFace)方法最早由Turk和Pentland提出[13]，开创了人脸识别领域的新局面.

(2) FisherFace方法是这一时期的另一重要成果[19].Belhumeur等把Swets的方法发展为FisherFace方法，并在光照变化、表情变化以及有无戴眼镜的情况下与EigenFace作了对比试验.在图像条件变化较小时，二者的性能不分优劣；但是在光照、表情变化较大时，FisherFace的性能更棒[19].Belhumeur还发现，EignFace中前三个最大的特征值对应的主元对光照的变化比较敏感.目前，该方法依然是主流的人脸识别方法之一，并在此基础上扩展了很多方法，如零空间法[55]、增强判别模型[56]、直接LDA方法[57]等.

(3) Bartlett等人首次把独立分量分析(Independent Component Analysis，ICA)方法引入到人脸识别领域[58]，区别于EigenFace和FisherFace，ICA认为高阶的统计信息对识别也是有用的.ICA的思想就是通过线性变换，从而找到一组相互独立的基，即独立主元，以此来描述样本数据.EigenFace方法是在二阶统计意义下的去相关，而ICA方法则是在所有统计意义下的去相关，这也导致了ICA的求解相对复杂一些，目前主要有三种方法：基于信息论的方法；固定点算法；联合近似对角化特征矩阵方法.对于如何自动选取有效的独立主元，目前还没有一个很好的标准，通常都是根据经验来选取.

(4) 非负矩阵分解(Non-negative Matrix Factorization，NMF)方法最早由Lee等人提出[57]，其思想就是要找到一组基，基的各个分量都是非负的，并且当用这些基来线性表征图像的时候，其线性系数也都是非负的.需要注意的是，NMF方法是基于局部特征的描述方法，而EigenFace和FisherFace方法都是一种全局描述的方法.虽然在自然场景中，ICA具有边缘滤波器的作用，但是当用独立主元的线性组合来表征图像的时候，不可避免地会存在减性关系，这一点也存在于EigenFace和FisherFace方法中.在Lee提出的NMF算法的基础上，研究人员已提出一些新的方法，并取得了较好的实验效果[19].

(5) 基于核(Kernel-based)的方法.所谓“核”，其基本思想是利用非线性映射，把原始空间的数据映射到“核”空间中，然后在“核”空间中对数据进行分析，但是在计算上，可以通过核函数的计算来替代这一非线性变换[19].基于核的方法期望将原始空间中的非线性问题在“核”空间中通过线性分类器得以解决.“核”的思想在支持向量机上得到了较为成功的应用[42]，研究人员陆续研究了核主成分分析[59-60]、核判别分析[61]、核独立主元分析[62]等一系列方法.

(6) Moghaddam等人提出了基于Bayes的人脸识别方法[2，63].应用Bayes决策理论进行模式分类，首先要知道各类的先验概率和概率密度函数[2].Moghaddam等人提出的是一种基于概率的图像相似度度量方法，将人脸图像之间的差异分为类间差异和类内差异，而实际图像之间的差异为两者之和.由于Bayes相似度的计算涉及复杂的非线性计算，Moghaddam等人提出了一种线性的快速计算方法，这种人脸识别方法在1996年美国DAPAR组织的FERET人脸测试中取得了较好的效果[2].

(7) 基于奇异值分解(Singular Value Decomposition，SVD)的方法是一种有效的代数特征提取方法.奇异值特征具有良好的稳定性、转置不变性、旋转不变性、位移不变性以及镜像变换不变性等重要性质.因此，奇异值分解技术也被应用到人脸识别领域.

(8) 基于频域的方法.图像的空域信息即象素的成像信息较容易受到外在因素的影响，研究人员试图从图像的频域寻找更为稳健的图像特征.传统的傅里叶变换、离散余弦变换曾被用于人脸分析与识别；后来发展起来的小波变换、Gabor小波变换也被引入到这一领域.在以上方法中，Gabor小波因其具有良好的空间局部性和方向选择性能而引起了广泛的关注.Gabor变换所采用的核与人类视觉皮层细胞的ZD感受特性非常的相似，能够抓住图像局部区域内多个尺度和局部性结构特征，从而使得保留总体信息的同时增强了局部特征.Gabor小波在图像分析、人脸识别等方面已经得到了广泛的应用[2].

(9) 基于流形学习(Manifold leaming)的方法.流形是一种非欧式几何空间，不满足传统意义下的全局线性结构.然而，在局部意义下可以获得近似的全局线性结构，并通过各种流形学习方法发现其全局意义下的结构[2].流形学习的目的是在数据集所在空间表现为流形结构时，要从存在于这种空间结构的数据集中提取出其对应的内蕴结构(hitrlnsicstructllre)及其规律[63].当今的流形学习方法中，几个热点方法有Principal Curves[64]，Locally Linear embedding[65]，Laplacian Eigenmap[66]等.

2.3.4 基于神经网络的方法

基于神经网络的人脸识别方法其实也是基于统计人脸识别方法的一种，为了突出这类方法，故单独作为小节进行描述.前面已叙述过，基于神经网络的方法在人脸检测领域中得到广泛应用，同样地，该法也广泛应用于人脸识别领域.这类识别法将人脸直接用灰度图表征，利用了神经网络的学习及分类能力.其优势在于保存了人脸图像中的材质信息及细微的形状信息，同时避免了较为复杂的特征提取工作.而且，由于图像被整体输入，符合格氏塔心理学中对人类识别能力的解释.

(1) 基于自组织映射(Self Organizing Map，SOM)的方法.1988年，Kohonen[67]最早将自组织映射SOM神经网络用于人脸识别研究，主要利用SOM的联想能力“回忆”人脸.当输入图像具有较大噪音干扰或者部分图像丢失时，也能恢复出完整的人脸.

(2) 基于弹性图匹配的方法.1992年，Lades M等人将动态链接结构(Dynamic Link Architecture，DLA)方法[68]用于人脸识别取得了较好的效果.DLA方法利用突触的可塑性将神经元集合划分成若干图结构，同时保留神经网络的优点.该法将人脸用格状的稀疏图表示，图中的节点用图像位置的Gabor小波分解得到的特征向量标记；图的边用连接节点的距离向量标记.Wiskott等人使用弹性图匹配法在FERET数据库上得到97.3%的准确率，进一步地，Wiskott在原有方法的基础上提出聚束图匹配方法[2].

(3) 基于SOM和卷积神经网络相结合的混合神经网络方法.在SOM算法的基础上，Lawrence和Giles等人[69]提出了基于SOM和卷积神经网络的混合神经网络方法.在ORL人脸库进行仿真实验的结果与用K-L变换代替SOM或者用多层感知器MLP代替卷积神经网络相比，该方法取得了较低的错误率[2]；与特征脸方法相比，当待识别对象的训练样本数1到5变化时，该方法取得了较好的识别性能[2].

(4) Lin和Kung[70]提出了一种基于概率决策的神经网络(Probabilistic Decision Based Neural Network，PDBNN)方法.该法主要利用虚拟样本进行强化和反强化学习，并采用模块化的网络结构加快网络学习过程.

(5) 除了上述具有代表性的人脸识别方法以外，还有许多基于神经网络的人脸识别方法，如时滞神经网络[71](Time Delay Neural Networks，TDNN)方法、径向基函数网络(Radial Basis Function Neural Network，RBFNN)[72]、Hopfield网络[73]等人脸识别方法，能够实现低分辨率人脸的联想和识别.

对于人脸这类复杂的、难以显式描述的模型，基于神经网络的方法比其他类型的方法有其独到的优势：便于建模，鲁棒性好，避免了复杂的特征提取工作，把模型的统计特征隐含于神经网络的结构和参数中；此外，神经网络以并行方式处理信息，如果能用硬件实现，就能显著提高速度.但是，神经网络方法运算时间都较长，并可能陷入局部最优.

2.3.5 多分类器集成方法

在特定约束条件下，人脸识别可以取得较好的性能.在现实应用中，人脸的表象会因为光照方向、姿态、表情变化而产生较大的变化，每种特点的识别器只对其中一部分变化敏感.因此，使用多个分类器集成可以整合互补信息，提高系统的分类准确率.

Gutta等人提出将集成的RBF与决策树(Decision Tree)结合起来进行人脸识别[74]，该法结合了全局的模板匹配和离散特征的优点，在350人的人脸数据库上测试结果较好.Huang等人[75]在多特征脸空间的基础上采用神经网络集成(Neural Network Ensemble)的方法实现了对多视角人脸的识别.该法首先将人脸深度方向的偏转角度分为几组(多个视角)，然后为每组(每个视角)训练一个神经网络，最后对所有组对应的多个神经网络的输出进行集成.实验表明，该法不必预先估计偏转角度就可以取得较好的识别性能，而且能实现人脸偏转角度的自动判断[2].Lü等人通过将PCA、ICA、LDA进行集成人脸识别.首先分别用这三种方法对同一张人脸进行识别，每种方法的识别分为测试人脸与数据库中人脸的投影向量之间夹角的余弦值，然后用简单求和方式或RBF网络对三个得分进行集成，在一个包含有206个人，每人10张照片的人脸库上进行实验，集成方法的识别性能最好[2].

3 人脸识别技术的应用

与指纹识别、视网膜识别、虹膜识别等技术相比，人脸识别技术有其独特的优势：(1) 数据采集设备简单、快捷，不像指纹和虹膜识别那样需要专用的特殊设备.一般来说，常见的摄像头就可以用来进行人脸图像的采集，采集一般可在数秒内完成.(2) 无侵扰性.只要被识别者在摄像机前停留片刻，其身份就会被正确识别，因此人脸识别无需干扰人的正常行为，无需担心被识别者是否愿意把手指放在指纹采集设备上、被识别者的眼睛是否能够对准虹膜扫描装置，被识别对象很容易接受.(3) 自然性、可视化.人类自身也是通过人脸来鉴别人的身份，因此人脸识别是最自然的可视化身份确认方式.鉴于上述优点，人脸识别已在许多领域中得到广泛应用，而且也是极具潜力的一种生物特征身份识别方式.

目前，计算机人脸识别的应用领域主要包括：(1) 个人身份识别.在信用卡、驾驶证、护照、身份证等个人身份证明中，进行自动个人身份辨识.(2) 公安系统.在刑侦中的尸体辨认、罪犯辨认，搜救中寻找失踪人员以及公共安全保障等方面有重要应用.(3) 政府部门.在档案管理、海关、机场和交通部门对身份证或驾驶执照等证件查验方面有广泛应用.(4) 商业领域.ATM机、智能卡、电子商务、门禁系统、监控系统、互联网接入验证、用户终端接入、视频会议、计算机动画等方面对人脸识别技术有大量需求[1-6，19，24，29-30].

据统计，截止到2007年，人脸识别产品的国际市场份额由原来的微不足道迅速上升到12.9%，仅小于指纹识别，而且比重还在不断增加，打破了国际生物识别市场上“指纹”一统天下的局面.而在中国，国产人脸识别产品的国际市场份额仍然还较小，大多数公司采用国外提供的核心技术进行后加工，产品多集中在门禁和考勤机上.这些公司没有自主知识产权，自主研发能力差，同时，由各种渠道获得的核心技术水平参差不齐，其产品可靠性得不到保障.2007年以后，国内的人脸识别技术迅速地发展，该领域内的科研人员也取得了较大的进展；2008年，随着政府推动的“平安城市”建设、城市报警与监控系统(“3111”工程)的深入展开，加之奥运会、世博会等大型活动的带动，全国进入了安防设施建设的高潮期，安防行业持续保持了快速的增长.而且，除了传统的考勤、门禁等应用外，各种新的应用需求的不断涌现，也极大地推动了这一市场的发展.

目前，国内已经具有完全自主知识产权的人脸识别系统.例如中科院自动化所的中科奥森(AuthenMetric)近红外人脸识别系统和国际识别领域巨头汉王科技的“汉王人脸通”人脸识别产品.中科奥森近红外人脸识别系统独树一帜，彻底解决了困扰人脸识别领域的环境光照影响问题.在实际应用环境下，中科奥森近红外人脸识别系统在准确率和速度上在国际上绝对领先.该系统有机结合了电子标签和射频识别技术，为2008年北京奥运定制人脸识别快速身份验证系统，可以对所有持票者进行实名制人脸身份验证.使用该系统时，事先对入场券持有者提交的人脸身份照片进行扫描，提取人脸特征，并录入信息数据库.在进入现场时，利用视频摄像头对入场券持有者进行人脸图像采集，并与数据库中的数据进行对比，从而实现人脸身份识别.“汉王人脸通”是全球首款嵌入式双摄像头人脸识别机，它的上市标志着人脸智能时代的到来.2008年12月，在北京国际展览中心举行的中国国际社会公共安全产品博览会上，“汉王人脸通”喜获2008北京安博会“创新产品奖”，也是门禁领域唯一获奖产品.

4 人脸识别技术中的难点

人脸识别包含人脸检测与定位、人脸特征提取与分类器等技术的综合运用，整个识别过程是非常困难的.这种困难一方面源于计算机本身学习能力的局限，另一方面则是由于人脸识别技术所具有的复杂性造成的.人脸具有相对稳定的特征和结构，这为人脸识别技术带来了实现的可能，但人脸具体形态的多样性和所处环境的复杂性又造成了识别的巨大困难.人脸识别本质上是三维塑性物体向二维投影图像的匹配问题，具体的困难表现在：人脸结构的复杂性；人脸的数目；不同人脸的差异；人脸随年龄的变化；表情的变化；发型、胡须、眼镜等对人脸的干扰；光照对人脸图像的影响；成像角度和距离；成像背景的复杂度等等.此外，人脸是立体的，但在识别时的成像却是平面的，所以从二维图像重建三维人脸是个病态过程，目前尚没有比较理想的描述人脸的三维模型.至于对人的肢体器官的识别，常常还受到背景环境的影响.

客观来讲，目前已经报道的各类方法都有其特定的实验背景，因而不可能解决人脸检测、定位、特征提取与识别等的所有问题.另外，以上所提到的诸多方法基本上都是建立在正视图的基础上的.当人脸的姿态发生三维深度旋转特别是旋转角度超过45°时，面部特征的结构信息的完整性会发生较大的破坏.在这种情况下，绝大多数的方法都会失效.

人脸识别技术的研究同时涉及到计算机视觉、模式识别、人工智能、心理学、生理学等诸多学科，这些使得人脸识别技术成为一项极富挑战性的研究课题.

5 总结与展望

人脸识别技术是一个极富挑战性的问题，尽管目前存在许多的人脸检测和人脸识别算法，但是每种算法都是在特定的实验环境中得到验证的，评价标准不统一，而且目前还没有一种算法适用各种不同的实验环境.目前在特定的条件下人脸识别的研究算法已取得了显著的进展，但是，一个稳定性和鲁棒性强的人脸识别系统需要在不同的环境，如光照、人脸旋转角度、姿势和部分遮挡、面部表情以及外部饰物等干扰下，也具有很好的有效性和稳定性.因此，在未来几年中，特征获取问题、人脸非线性建模问题、3D建模问题、人脸模式的流形学习、多特征融合策略以及分类器的泛化能力研究将是具有代表性的几个发展方向.

[1] 张翠萍，苏光大.人脸识别技术综述[J].中国图像图形学报，2000，5(11)：885-894.

[2] 李武军，王崇骏，张 炜，等.人脸识别研究综述[J].模式识别与人工智能，2006，19(1)：58-66.

[3] 周激流，张 晔.人脸识别理论研究进展[J].计算机辅助设计与图形学学报，1999，11(2)：180-184.

[4] 赵桂敏.基于综合集成的人脸识别[D].长沙：中南大学，2004.

[5]祝秀萍，吴学毅，刘 文.人脸识别综述与展望[EB/OL].(2008-05-02)[2009-08-15] http：//www.studa.net/pc-theory/080502/ 10591461.html.

[6] 赵 玲.基于独立分量分析和非负矩阵分解的人脸识别研究[D].兰州：兰州大学，2006.

[7] SAMAL A，IYENGAR P A.Automatic recognition and analysis of human faces and facial expressions： a survey[J].Pattern Recognition，1992，25(1)：65-77.

[8] CHELLAPPA R，WILSON C L，SIRONEY S，et al.Human and machine recognition of faces： a survey[J].Proceedings of the IEEE，1995，83(5)：705-740.

[9] BRUNELLI R，POGGIO T.Face recognition： features versus templates[J].IEEE Trans.on Pattern Analysis and Machine Intelligence，1993，15(10)：1042-1052.

[10] VALENTIN D，ABDI H，O'TOOLE A J，et al.Connectionist models of face processing： a survey[J].Patttern Recognition，1994，27(9)：1209-1230.

[11] O'TOOLE A J，ABDI H，DEFFENBACHER K A，et al.Low-dimensional representation of faces in higher dimensions of the face space[J].Journal of the Optical Society of America A，1993，10(3)：405-411.

[12] 万 辉.人脸识别技术研究与实现[D].广州：华南理工大学，2004.

[13] TURK M，PENTLAND A.Eigenfaces for recognition[J].Journal of Cognitive Neuroscience，1991，3(1)：71-86.

[14] BARTLETT M S，MOVELLAN J R，SEJNOWSKI T J，et al.Face recognition by independent component analysis[J].IEEE Trans.on Neural Networks，2002，13(6)：1450-1464.

[15] MANJUNATH B S，SHEKHAR C，CHELLAPPA R，et al.A new approach to image feature detection with applications[J].Pattern Recognition，1996，29(4)：627-640.

[16] GOLDSTION R J，HARMAON L D，LESK A B.Man-machine interaction in human face identification[J].Bell System Tech.，1972，51(2)：399-427.

[17] KAYA Y，KOBAYASHI K.A basic study on human recognition[J].Frontiers of Pattern Recognition，1972：265-289.

[18] KANAD T.Picture processing system by computer complex and recognition of human faces[D].Kyoto：Kyoto University，1973.

[19] 邓忠龙.人脸识别中新算法的实现与改进[D].上海：上海交通大学，2005.

[20] SAKAI T，NAGAO M，FUJIBAYASHI S，et al.Line extraction and pattern detection in a photograph[J].Pattern Recognition，1969，1(3)：233-248.

[21] SEXTON G，NEWCASTLE P.Automatic face detection for video conferencing[J].IEEE Colloquium on Low Bit Rate Image Coding，1990(2)：27-30.

[22] CHELVERIKOV D，LERCH A.Multiresolution face detection[J].Theoretical Foundations of Computer Vision，1993，69：131-140.

[23] YANG Guangzheng，HUANG T S.Human face detection in a complex background[J].Pattern Recognition，1994，27(1)：53-63.

[24] 赵丽红，刘纪红，徐心和，等.人脸检测方法综述[J].计算机应用研究，2004，21(9)：1-4.

[25] GRAF H P，CHEN T，PENTAJAN E，et al.Locating faces and facial parts：proc.First Int.Workshop Automatic Face and Gesture Recognition，Zurich，June 26-28，1995[C].Zurich：WAFGR，c1995.

[26] SIROHEY S A，PITAS I.Human face segmentation and identification[D].Massachusetts：MIT，1995.

[27] KOTROPOULOS C，PITAS I.Rule-based face detection in frontal views：ICA SSP97：proc.Of IEEE Int.Conf.On Acoustics，Speech and Signal Processing，Munich，April，1997[C].New York：IEEE Press，c1997.

[28] 卢春雨，张长水，闻 芳，等.基于区域特征的快速人脸检测法[J].清华大学学报：自然科学版，1999，39(1)：101-105.

[29] 李华胜，杨 桦，袁保宗，等.人脸识别系统中的特征提取[J].北京交通大学学报，2001，25(2)：47-50.

[30] 姜 军，张桂林.一种基于知识的快速人脸检测方法[J].中国图像图形学报，2002，7(1)：6-10.

[31] SIROHEY S A.Human face segmentation and identification，Technical report CS-TR-3176[R].Maryland：Univ.of Maryland，1993.

[32] LEUNG T K，BURL M C，PERONA P，et al.Finding faces in cluttered scenes using labeled random graph matching：ICCV95：proc.5th IEEE Int.Conf.Computer Vision，Boston，June，1995[C].Washington：IEEE Computer Society，c1995.

[33] YOW K C，CIPOLLA1 R.Feature-based human face detection[J].Image and Vision Computing，1997，15(9)：713-735.

[34] HAN Chinchuan，YU Kuochung，CHEN Lianghua，et al.Fast face detection via morphology-based Pre-Processing[J].Pattern Recognition，2000，33(10)：1701-1712.

[35] 彭进业，俞卞章，王大凯，等.多尺度对称变换及其应用于定位人脸特征点[J].电子学报，2002，30(3)：363-366.

[36] 王延江，袁保宗，唐晚芳.一种快速彩色图像中复杂背景下人脸检测方法[J].电子学报，2002，30(10)：1566-1569.

[37] PROPP M，SAMAL A.Artificial neural network for human face detection[J].Intelligent Eng.Systems through Artificial Neural Network，1992，2：535-540.

[38] BUREL G，CAREL D.Detection and localization of faces on digital images[J].Pattern Recognition Letters，1994，15(10)：963-967.

[39] VAILLANT R，MONROCQ C，CUN Y L，et al.Original approach for the localization of objects in images[J].IEEE proc.Vision，Image and Signal Processing，1994，141(4)：245-250.

[40] ROWLEY H A，BALUJA S，KANADE T，et al.Human face detection in visual scenes，Carnegie Mellon Computer Science Technical Report CMU-CS-95-158[R].Pittsburghers：Carnegie Mellon University，1995.

[41] ROWLEY H A，BALUJA S，KANADE T，et al.Rotation invariant neural network-based face detection：CVPR1998：proceedings of IEEE Conf.Computer Vision and Pattern Recognition，Santa Barbara，June，1998[C].New York：IEEE Computer Society，c1998.

[42] OSUNA E，FREUND R，GIROSI F.Support vector machines： training and applications[R].Massachusetts：AI Lab.，MIT，1997.

[43] TURK M，PENTLAND A.Eigenfaces for Recognition[J].Jounal of Cognitive Neuroscience，1991，3(1)：71-86.

[44] FREUND Y，SCHAPIRE R E.A decision-theoretic generalization of on-line learning and an application to boosting[J].Journal of Computer and System Sciences，1997，55(1)：119-139.

[45] VIOLA P，JONCES M.Rapid object detection using a boosted cascade of simple[J].IEEE Trans.on CVPR，2001，1(2)：511-518.

[46] LI STAN Z，ZHANG Zhenqiu.Floatboost learning and statistical face detection[J].IEEE Trans.on PAMI，2004，26(9)：1112-1123.

[47] PUDIL P.Floating search methods in feature selection[J].Pattern Recognition Letters，1994，15(11)：1119-1125.

[48] BLEDSOE W.Man-machine facial recognition，PRI：22[R]，Palo Alto：Panoramic Research Inc.，1966.

[49] COOTES T F，TAYLOR C J，COOPER D H，et al.Active shape models-their training and application[J].Computer Vision and Image Understanding，1995，61(1)：38-59.

[50] COOTES T F，EDWARDS G J，TAYLOR C J，et al.Active appearance models[J].IEEE Trans.on Pattern Analysis and Machine Intelligence，2001，23(6)：681-685.

[51] YAN Shuicheng，LIU Ce.Face alignment using texture-constrained active shape model[J].Image and Vision Computing，2003，21(1)：69-75.

[52] SHAN Shiguang，GAO Wen.Enhanced active shape models with global texture constraints for face image analysis：ISMIS2003：proceedings of the Fourteenth International Symposium on Methodologies for Intelligent Systems，Maebashi，October，2003[C].Hamburg：Springer，c2003.

[53] BLANZ V，VETTER T.Face recognition based on fitting a 3D morphable model[J].IEEE Trans.on PAMI，2003，25(9)：1063-1075.

[54] BLANZ V，ROMDHANI S，VETTER T，et al.Face identification across different poses and illuminations with a 3D morphable model：proc.of the 5th Int.Conference on Automatic Face and Gesture Recognition，Washington D.C.，May 20-21，2002[C].NewYork：IEEE Press，c2002.

[55] CHEN Lifen，LIAO Hongyuan，LIN Jiachen，et al.A new LDA-based face recognition system which can solve the small sample size problem[J].Pattern Recognition，2000，33(10)：1713-1726.

[56] LIU Chengjun，WECHSLER H.Gabor feature based classification using the enhanced fisher linear discriminant model for face recognition[J].IEEE Trans.On Image Processing，2002，11(4)：467-476.

[57] YU Hua，YANG Jie.A direct LDA algorithm for high-dimensional data with application to face recognition[J].Pattern Recognition，2001，34(10)：2067-2070.

[58] BARTLETT M S.Independent component representations for face recognition：proceedings of SPIE Symposium on Electronic Imaging：Science and Technology Conference on Human Vision and Electronic Imaging III，San Jose，January 24-30，1998[C].San Jose：SPIE，c1998.

[59] 尚 丽.稀疏编码算法及其应用研究[D].合肥：中国科学技术大学，2006.

[60] KIM K I，JUNG K，KIM H J，et al.Face recognition using kernel principal component analysis[J].IEEE Signal Processing Letters，2002，9(2)：40-42.

[61] BAUDAT G，ANOUAR F.Generalized discriminant analysis using a kernel approach[J].Neural Computation，2000，12：2385-2404.

[62] 张燕昆.基于核方法的人脸识别技术研究[D].上海：上海交通大学，2004.

[63] MOGHADDAM B，JEBARA T，PENTLAND A，et al.Bayesian face recogniton[J].Pattern Recognition，2000，33(11)：1771-1782.

[64] ZHANG Junping，WANG Jue.An overview of principal curves[J].Chinese Journal of Computers，2003，26(2)：1-18.

[65] TENENBAUM J B，SILVA V D，LANGFORD J C，et al.A global geometric framework for nonlinear dimensionality reduction[J].Science，2000，260：2319-2323.

[66] BELKIN M，NIYOGI P.Using manifold structure for partially labeled classification：NIPS2002：proceedings of Neural Information Processing System，Vancouver，December 9-14，2002[C].Vancouver：NIPS，c2002.

[67] KOHONEN T.Self-organization and associative memory[M].3rd ed.Berlin： Springer，1988.

[68] LADES M，VORBROGGEN J C，BUBMANN J，et al.Distortion Invariant object recognition in the dynamic link architecture[J].IEEE Trans.on Computers，1992，42(3)：300-311.

[69] LAWRENCE S，GILES C L，TSOI A C，et al.Face recognition： a convolutional neural network approach[J].IEEE Trans.on Neural Networks，1997，8(1)：98-113.

[70] LIN Shanghung，KUNG Sunyuan，LIN Longji，et al.Face recognition/detection by probabilistic decision based neural network[J].IEEE Trans.on Neural Networks，1997，8(1)：114-132.

[71] SAMARIA F S，HARTER A C.Parameterization of a stochastic model for human face identification：WACV1994：proc.of 2nd IEEE Workshop on Applications of Computer Vision，Saraota，January，1994[C].New York：IEEE Press，c1994.

[72] RANGANATH S，ARUN K.Face recognition using transform features and neural network[J].Pattern Recognition，1997，30(10)：1615-1622.

[73] HAYWOOD K，LEBBY G L，RICANEK K J，et al.Hopfield like networks for pattern recognition with applications to face recognition：ICNN1999：proc.of the International Joint Conference on Neural Networks，Washington，July，1999[C].Washington：ICNN，c1999.

[74] GUTTA S，WECHSLER H.Face recognition using hybrid classifier systems：ICNN1996：proc.of the International Conference on Neural Networks，Washington，June，1996[C].Virginia：George Mason University，c1996.

[75] HUANG Fujie，ZHANG Hongjiang，ZHOU Zhihua，et al.Pose invariant face recognition：proc.of the 4th IEEE International Conference on Automatic Face and Gesture Recognition，Grenoble，March，2000[C].New York：Institute of Electrical and Electronics Engineer，Inc.，c2000.