三维人脸特征提取方法综述

王宏勇，王青青

(河南工业大学信息科学与工程学院，河南 郑州 450001)

在实际环境中，同一个人在不同光照和姿态下的人脸图像会存在表观上的差异，而这种差异通常比不同人在几乎相同的光照和姿态下的差异还大。单一的二维图像，不可避免地受到光照、背景和姿态表情的影响［1］，提取精度受到较大限制。而三维数据具有光照、姿态不变的特性［2］，对提高特征提取的精度有较为重要的意义，因而受到广泛的研究。研究者大多是基于局部特征和整体特征进行特征提取。常用的局部特征有人脸曲线，几何测量特征，以及刚性区域等。这些局部特征的提取一般是首先定位嘴角、鼻尖、额头等特征点，在准确定位特征点的基础上，进一步提取有利于人脸识别的特征。整体特征提取主要是针对深度图像和EGI图。

1 局部特征提取

1.1 特征点定位

特征点能否准确定位对进一步的研究工作具有重要意义。在特征点定位方面主要有两类方法:一是基于对称性的，从获取人脸的对称平面开始，进而定位其他的特征点;二是基于几何特征的，利用特征点的深度、曲率等几何特征进行定位特征点。

Wang Yingjie［3］等人将特征束的思想推广到三维人脸特征点定位，首先是手工标定训练集的特征点，计算特征点处的Point Signature，构成特征束，同时判定人脸特征点的平均区域。对于新的模型，在平均区域内寻找和特征束最匹配的点即为特征点。该方法允许人脸姿态和表情有少量变化。Moreno A B［4］等人使用平均曲率和高斯曲率对三维人脸模型进行分割，得到人脸特征点的候选区域，然后通过五官分布特征，去掉非标准区域，得到真正的标志区域。该方法要求人脸为正面或近似正面。杨颖［5］使用区域生长的种子算法构造器官轮廓区域。因为在Marr的视觉理论中，人类视觉对边缘信息更为敏感，通过得到人脸器官轮廓的边缘，就可利用各种方法进行人脸特征的精确提取和定位。而在使用区域生长算法构造器官轮廓后，根据器官模板，使用最小二乘法拟合边界，最终得到标志点。该方法要求人脸的姿态恒定。王蜜宫、陈锻生、林超等人［6］提出了基于局部形状图(Local Shape Map，LSM)的三维人脸特征点自动定位方法，所有人脸上的同一特征点能形成特殊且相似的LSM，因此可以考虑利用LSM来实现这些点的精确定位。一个点的LSM使用包含在以该点为球心的球体内部点来构造描述这一点的局部形状的二维直方图。该方法首先使用曲率表示的形状索引与曲度来选择特征候选点然后利用LSM统计模型，实现任意姿态下的三维人脸鼻尖和内眼角的自动精确定位，该方法完全不受肤色和光照的影响，受方向、姿态和表情的变化影响也较小。

在特征点定位中比较重要的方法是采用Shape Index特征来定位特征点。Dorai［7］等人提出了 Shape Index特征，来表示每一点的凹凸程度，点p的Shape Index是由其最大和最小曲率计算的:一般鼻尖点候选点集中选取Shape Index值在0.85～1之间的点组成鼻尖区域，鼻尖点定位于区域的质心，在内眼角候选点集中选取Shape Index值在0～0.27之间的点组成内眼角区域，内眼角定位于区域的质心

其中，k1为最大曲率;k2为最小曲率k2≤k1其取值范围在0～1之间。

LU Xiaoguang［8］在柱面坐标系下，重采样为均匀网格来计算Shape Index特征，该特征在0～1之间分布，越接近0，表示该处曲面越凹，越接近1，表示该处曲面越凸。通过均值模板寻找特征最小点，即为眼窝点，然后利用标志点之间的相对位置和曲率特征定位其他特征点。由于Shape Index特征具有姿态不变性，能够较好地表示标志点处的凹凸特性，故被广泛使用。该方法要求三维数据为均匀网格，且为竖直分布，即只允许人脸绕竖直左右转动。

张广鹏，张艳宁［9］提出了一种新的基于连续Shape Index和几何约束的特征点定位方法，通过对点的邻域拟合二次曲面，来计算Shape Index，获得了更为精确和鲁棒的特征。在几何约束方面，其采用通过训练样本建立一个统一的人脸标志区域分布模型。通过几何约束，可实现真正与姿态无关的特征点定位。

李晓莉，达飞鹏［10］也是基于Shape Index特征提取人脸特征点，但在人脸候选点集的选取方面，由于人脸点云是一张上下方向较长，左右跨度剧中，前后厚度较小的曲面，因此采用了主元分析法PCA，提取了3个主方向的特征向量，形成人脸主轴坐标系，而鼻尖点在人脸坐标系附近，内眼角的大致位置也可确定，这就将特征点的定位过程限定在一定范围内，不仅提高了特征点定位的精度，也减少了计算量。

1.2 局部特征提取

在准确进行特征点的定位上，国内外学者对局部特征的提取也进行了积极的研究。主要包括:曲线、几何测量特征及刚性区域的提取。

人脸曲线主要包括人脸侧面轮廓线，鼻尖处横切轮廓线，额头横切轮廓线，眼睛下方的水平曲线和下巴轮廓线等，人脸曲面形状可用若干条从人脸曲面提取的二维曲线近似表示。Nagamine T［11］等提出使用脸部曲线作为特征，首先使用启发式方法提取脸部的几个特征点，通过这些点可确定对称平面，进而在统一的坐标系中提取侧面轮廓线、眼睛下方的水平曲线和鼻尖区域曲线，然后将这3条曲线离散成特征向量，通过比较最相近向量来完成人脸匹配。实验结果表明侧面轮廓线的识别能力最强，但对于局部的扰动变化，该方法不鲁棒。Pan G［12］使用 ICP(Iterative Closest Point)的对称平面检测方法检测对称面，得到侧面轮廓线，随后进一步提取水平轮廓线，该方法可要求人脸任意变换。国内学者宋晓冰、雷蕴奇［13］等根据在所有点云坐标中，深度值最大的点，只可能是最凸起额头点、鼻尖点、嘴巴点和下巴点，这几个点均在人脸中分轮廓线上，使用最高深度点的垂直向点集来确定人脸中分轮廓线，得到了较为满意的实验结果。而且对人脸侧面轮廓线做了进一步的分析发现，轮廓线嘴巴处受表情影响严重，因此将人脸侧面轮廓线分成两段:(1)额头到嘴唇上点;(2)嘴唇上点到下巴，从而克服了嘴巴处的形变影响。

有不少学者基于几何测量特征进行特征提取，该方法较为简单。常用的几何测量特征主要有距离特征、角度特征以及体积特征。距离特征如前额点到鼻尖点的距离、鼻根点到鼻尖的距离、鼻下点到嘴唇上点的距离、内眼角点间距离、前额点到内眼角的距离等，角度特征如前额点、鼻根、鼻尖形成的角度，鼻尖、鼻下根、上嘴唇点的角度。左眼内眼角、鼻根、右眼内眼角形成的角度等，体积特征如鼻子的体积。国内学者雷云奇、宋晓冰［13］的研究发现利用几何特征可区分不同的人脸，但由于人脸需要三庭五眼规则，较多特征值均极为接近，因此该方法对标志点定位的精度要求极高，而且有的特征值之间相差较大，有些相差较小，这样得到的欧式距离过于接近，容易造成错误识别。该方法要求对特征点定位的精度要求较高，降低了识别算法的稳健性。因此可采用几何测量特征和轮廓线特征分级使用来提高精度。

在对刚性区域的研究上发现人脸不同区域对表情的敏感程度是不同的，将同一对象在不同表情下的人脸分别与中性表情人脸进行刚性匹配，在所有匹配中均有较好效果的可认为是人脸刚性区域。国内学者李晓莉、达飞鹏［10］在基于侧面轮廓线和刚性区域的研究中发现鼻子和眼睛、额头是人脸最稳定的区域，在提取有价值轮廓线的基础上，利用人脸刚性区域进行匹配，实验表明可以降低表情对识别产生的影响。

2 整体特征提取

常用的整体特征有:用深度图表示三维人脸数据，将三维人脸映射成EGI图。文献［14］阐述了根据深度图像特征提取的形状特征是与光照变化无关的。深度图是将三维人脸的点云数据正交投影，按深度值重采样为规整数据，就可得到三维人脸的深度图像，所得每幅人脸深度图像均蕴含了与其对应的三维空间点之间的邻接关系，由于深度图像可以看作是一幅二维图像，每一点的像素值代表对应点的深度值，则二维人脸特征提取算法可以运用于深度图上，如PCA等。EGI图是通过曲面上任何一点的法向量将该点映射到一个单位球面上，利用这种将曲面转换为单位球面上的质量分布映射图，变成扩展高斯图(EGI)。

2.1 基于深度图的PCA提取

Kirby和 Sirovich等人［15］讨论了利用PCA进行人脸图像的最优表示问题，Turk和Pentland［16］发现K_L展开后的特征向量在还原成图像矩阵时，是一张标志化的人脸。因为以K_L变换为基础的PCA算法是统计最优的，其使得压缩前后的图像均方误差最小，且变换后的低维空间有较好的分辨能力方法简便、快速，在实际中得到了广泛的应用。但也有不足之处:首先，经典的PCA算法是以所有样本的最优重建为目的，对于描述不同样本间的差异而言，其不是最优的描述。其次，当采用主成份分析方法提取人脸特征时，人脸图像的局部特征通常反映了人脸的内在特性，图像中的像素占有同等地位，对于人脸特征如嘴巴，鼻子，眼睛等特征未强调其重要性。最后一幅图像的高阶统计信息往往包含了图像边缘或曲线的多个像素之间的非线性关系，而PCA只考虑了二阶统计信息，忽略了多个像素之间的非线性关系。

基于最后一个不足，国内学者阮秋奇，田文君［17］等人提出了局部保持投影算法。该算法在拉普拉斯映射方法的基础上提出，不仅具有保持数据集非线性结构不变的特点且继承了线性方法计算方便快捷的优点，又有一般的线性降维方法，而且还具有高维数据内蕴特征或非线性结构的自动发现功能。

2.2 基于EGI图提取

Lee J C［18］首先将EGI应用与人脸深度图像的匹配，首先利用高斯曲率和平均曲率划分人脸的凹凸区域，然后将凸区域映射在单位球上，将平均曲率作为单位球上对应点的支撑函数值，形成EGI图，然后用图匹配算法计算两个人脸模型的相似度量。Tanaka H T［19］计算三维人脸模型最大、最小主曲率以及相应的方向，然后分别提取最小主曲率小于某个阈值的最大主方向的集合和最大主曲率大于某个阈值的最小主方向的集合，最后将两个方向的集合分别映射到单位球面上，得到相应的EGI图，计算这两个图的Fisher球相关系数，将两个系数相乘的结果作为两个人脸的相似度量。该方法需要高分辨率的数据，否则曲率的计算将不精确、不可靠。

3 结束语

论述了国内外众多学者在三维人脸特征提取方面的研究，主要涉及到特征点的定位方法，局部特征提取方法和整体特征提取方法。大部分是基于正面和多姿态情况下的处理，对表情和遮挡等方面的考虑仍不够完善，对于三维特征的研究还不够透彻，而且每种特征提取方法均有其优缺点，如何充分利用各种三维人脸的特征，将其有效地综合，仍需要进一步的研究。

［1］KEVIN W B，KYONG C，PATRICK F.A survey of 3D and multi－ modal 3D+2D face recognition［R］.USA:Notre Dame Department of Computer Science and Engineering Technical Report，2004.

［2］BOWYER K W.CHANG K，FLYNN P.A survey of approaches and challenges in 3D and multimodal 2D+3D face recognition ［J］.Computer Vision and Image Understanding，2006，25(8):139 －147.

［3］WANG Yingjie，CHUA C S，HO Y K.Facial feature detection and face recognition from 2D and 3D images［J］.Pattern Recogniton Letters，2002，23(10):1191 －1202.

［4］MORENO A B，SANCHEZ A，VELEZ J F，et al.Face recognition using 3D face recognition［C］.International Conference on Audio－and－Video based Biometric Person Authentication，2005.

［5］杨颖，耿国华.人脸特征点自动标定方法的研究［J］.计算机应用与软件，2007，31(6):62 －66.

［6］王蜜宫，陈锻生，林超.基于局部形状图的三维人脸特征点自动定位［J］.计算机应用，2010，29(9):19 －24.

［7］DORAI C，JAIN A K.COSMOS － A representation scheme for 3D free － form objects［J］.IEEE Transaction on PAMI，1997，19(10):1115 －1130.

［8］LU X，COLBRY D，JAIN A.Three － dimensional model based face recognition［C］.Cambrige，UK:InProc.International Conference on Pattern Recogniton，2004:362 －366.

［9］张广鹏，张艳宁，郭哲.基于精确主轴分析及ICP的三维人脸配准［J］.计算机工程与应用，2009，31(5):98－101.

［10］李晓莉，达飞鹏.基于侧面轮廓线和刚性区域的三维人脸识别［J］.中国图象图形学报，2010，34(2):367 －372.

［11］NAGAMINE T，UEMURA T，MASUDA I.3D facial image analysis for human identification［C］.International Conference on Pattern Recognition，1992:324 －327.

［12］PAN G，WU Z H.3D face recognition from range data［J］.International Journal of Image and Graghics，2005(5):573 －593.

［13］雷蕴奇，宋晓冰，袁美玲，等.双目视觉中的一种人脸立体匹配及视差计算方法［J］.厦门大学学报:自然科学版，2009，32(1):191 －196.

［14］HESHER C，SRIVASTAVA A，ERLEBACHER G.A novel technique for face recognition using range images［C］.Seventh Int'l Symposium on Signal Processing and Its Application，2003.

［15］KIRBY M，SIROVICH L.Application of the Karhumen－loeve procedure for the characterization of human faces［J］.IEEE Transaction on PAMI，1990，12(1):103 －108.

［16］TURK M，PENTLAND A.Face processing:models for recognition［C］.Proc.Intelligent Robots and Computer Vision VIII，SPIE，1989，192:22 －32.

［17］阮秋琦，田文君.具有深度图像的三维人脸特征提取［J］.铁道学报，2009，33(4):87 －92.

［18］LEE J C，MILIOS E.Matching range images of human faces［C］.International Conference on Computer Vision，1990，39(1):1023－1036.

［19］TANAKA H T，IKEDA M，CHIAKI H.Curvature－ based face surface recognition using spherical correlation principal directions for curved object recognition［C］.Third International Conference on Automated Face and Gesture Recognition，1998:372 －277.