一种改进的ASM 人脸特征点定位方法

2014-02-23蒲天银

重庆邮电大学学报(自然科学版) 2014年1期

田华，蒲天银

(铜仁学院数学与信息工程系，贵州铜仁， 554300)

0 引言

图像的特征点提取和定位方法是模式识别和人工智能等领域中的关键技术之一，在物体特征点定位、图像检测、图像分析与识别、目标跟踪、计算机视觉等领域上有广泛的应用［1－3］。特别是人脸特征提取得到较广泛的关注，人脸面部特征点定位精度直接关系到后续的相关处理结果，比如人脸识别、人脸重建、表情识别等［4－7］。近年来，基于统计模型的人脸特征提取方法得到广泛应用。主动形状模型(active shape model，ASM)［8］最初由 T.F.Cootes 等提出并被用来处理医学图像，它直接得益于和借鉴以往的可变模型，不仅能定位目标物体的外部性状，而且也可以定位目标物体的内部形状。

自从ASM方法被提出以后，许多研究者开始关注和研究ASM方法以及相关的统计参数化模型。Cootes等［9］采用一种改进的ASM定位方法，改进方法是采用多角度的策略去定位目标物体，并取得了较好的定位效果。后来，Wang等［10］结合边缘信息和部件特征并联合ASM模板，依据边缘特征的光照等不敏感特性，加以改进，此改进方法也能有效地提高ASM的匹配精度。Li等［11］首先对ASM匹配时的初始位置进行优化，然后提出一种改进的纹理表示方法去提高定位精度和算法的鲁棒性，而且进一步解决了模型局部最优化问题。后来，Wan［12］等提出了一个新的人脸模型，它包括一个人脸特征模型和一个人轮廓模型，然后采用遗传算法去获得最优的人脸模型，改进的人脸模型能较好地定位面部特征点，因此，能取得较好的特征提取效果。

本文在分析和研究经典ASM方法的基础上，提出了一种改进的ASM方法。改进方法基于以下2点:首先，传统的ASM方法对训练集数据采用PCA方法获得形状特征向量和形状参数，然后根据转换矩阵建立线性的统计参数化的形状模型。采用传统主成分分析(principal component analysis，PCA)不能准确定位复杂状况下的人脸目标，而且不能实时更新图像训练集的特征空间。因此，本文首先采用增量主成分分析(incremental principal component analysis，IPCA)更新图像集合中的特征空间，不断更新的特征空间可以高效地表征样本间的差异性和相似性。其次，经典ASM方法需要计算协方差矩阵的逆矩阵，当协方差矩阵为奇异矩阵时，计算其逆矩阵可能带来较大的计算误差。本文提出一种新的模型匹配算法，新的匹配算法能避免计算协方差矩阵的逆矩阵，能有效降低计算误差。实验表明，改进ASM方法取得了较好的特征点定位结果。

1 主动形状模型

1.1 统计形状模型建立

在经典的ASM方法中，我们通过手工标定一些特征点来描述目标物体的轮廓信息和轮廓特征。常在目标的边缘位置、拐角点位置、T－行连接等处标定特征点。人脸面部特征点如图1所示，一幅人脸图像被标定56个特征点，得到一个人脸的形状向量为

(1)式中:(xi，yi)为图像中第i个点的坐标位置;v为标定点个数。

获得标定点信息后，接下来要建立统计参数化模型，该参数化模型包括:统计形状模型和统计局部纹理模型。首先，建立统计形状模型。根据已选取的特征向量和相对应的特征值，我们可以建立一个线性的可变统计形状模型，该模型的表达式可以被表示为

(3)式中，λi为训练样本的协方差矩阵的第i个特征值。

图1 标定人脸面部特征点Fig.1 Human facial feature points

其次，统计模型的另一个模型是局部纹理模型。建立该模型的具体步骤为:对训练样本中每幅图像中的每一个标定特征点，连接该标定点与其相邻标定点，在它们连线的法线方向上，以该标定点为中心，分别沿着法线方向的两侧采样k个像素并构建一个长度为2k+1的采样灰度向量。根据相同的灰度采样方法，得到所有标定点的灰度信息并建立局部纹理模型。建模步骤如下。

对于第i幅图像中的第j个点，先连接该点与其相邻的标定点，沿着二者连线的法线方向的两侧分别采样j个点，得到

按照上述的采样方法，对样本图像中每幅图像的第j个标定点，进行灰度点采样，可以建立该训练集样本中第j个标定点的局部纹理轮廓模型，该模型用平均灰度和协方差矩阵来表征。该平均灰度信息和协方差矩阵分别为

1.2 模型匹配

使用1.1节中的灰度纹理信息采样方法，得到每个标定点的灰度局部纹理轮廓模型的表征信息。对于给定的一幅图像，定位其关键特征点，其实质是在特征点搜索过程中，对每一个待定位的候选特征点分别计算所有候选点的局部轮廓与该点的模型局部轮廓之间的马氏距离，使得马氏距离最小的候选点就是最佳的模型匹配点。假定输入一幅未知图像，对于其中的某一个特征候选点，采样灰度向量yj，然后计算所有候选点局部轮廓和模型轮廓模型间的马氏距离为

2 一种改进的特征点定位方法

2.1 增量主成分分析(IPCA)

由于人脸图像的表观纹理特征容易受光照、表情、姿态、自身反射特性等因素的影响，需建立一个稳定的表观纹理模型来适应这些纹理的变化和多因素的影响。通过预采集目标图像在不同影响因素下的样本，利用PCA建立一个在低维子空间下的目标特征空间。PCA的基本思想是在最小均方意义下寻找最能表征数据的投影方向，进而高效地表示原始数据。而IPCA能不断地根据新获得的图像来更新目标的特征空间，新的特征空间能更有效地描述样本间的相似性或者差异性［13－14］。

2.2 改进的匹配算法

传统ASM是由最小化模型的局部纹理轮廓和测试图像的局部纹理轮廓间的马氏距离来定位特征点。按照马氏距离的定义，需要先求训练集中每个标定点的协方差矩阵的逆矩阵，而协方差矩阵可能会是奇异矩阵，当求奇异矩阵的逆时可能带来较大的计算误差，因此，会降低ASM匹配性能或者直接导致ASM匹配失败。为了克服该匹配算法的缺陷，本文提出一种改进的匹配算法。

由(8)式得到训练集中第j个标定点的协方差矩阵为Cj，对协方差矩阵做一次PCA变换，得到前l个较大的特征值 b=［b1，b2，…，bl］和相对应的特征向量矩阵 P=［p1，p2，…，pl］。采样得到测试图像的第j个点的灰度向量yij，其中，i代表第i个候选

改进的匹配算法能避免计算协方差矩阵的逆矩阵，当它是奇异矩阵时，能大大降低计算误差，为特征点的精准定位和提取提供了可靠依据。而且采用PCA变换能有效地保留局部纹理模型的主要信息，并能去除一些冗余信息，改进的匹配算法依据主成分信息有效地保证了ASM的定位精度。

3 改进的ASM人脸特征点定位方法

通过以上分析，采用本文的IPCA更新图像集合中的特征空间，然后使用新的匹配算法对目标进行特征点匹配和定位。本文先采用原始的PCA建立纹理模型，在特征点匹配阶段先判断当前模型匹配是否精准，当模型匹配效果较差时，就采用IPCA对训练集中的纹理模型进行实时更新。改进的ASM人脸特征点定位方法的主要步骤如图2所示，其中，图2中的U'和Σ'由2.1节中算法的第5)步求得。

图2 改进ASM方法的流程图Fig.2 Basic flowchart of improved ASM method

流程图中的匹配误差是指通过ASM匹配得到的特征点位置和手工标定该点得到的真实位置之间的欧氏距离，也就是当匹配误差越小时，说明此时ASM定位特征点的位置越接近于该点的真实位置。ASM定位方法是一个迭代过程，而且是逐步逼近每个特征点的真实位置。因此，在本实验中设定误差阈值，当匹配误差小于该阈值时，即认为当前的匹配是成功的，否则需要继续进行匹配，直到匹配误差小于该阈值为止。

4 实验结果与分析

本实验分别采用以下2个人脸数据库:Weizmann人脸库和IMM人脸库。Weizmann人脸库由28个人的不同姿态、光照和表情图像组成，其中，每个人分别含有5种姿态、3种光照以及3种表情。IMM人脸库共由240幅人脸构成，共包含有40个人。在实验中，首先对训练集中每个人脸图像标定56个特征点，然后分别采用原始ASM和改进的ASM进行特征点定位，最后在人脸识别上验证算法的有效性。其中的参数设置为:构建局部纹理模型时，法线两侧各采样3个灰度点。在模型匹配时，沿当前法线两侧分别采样7个特征点的灰度信息，因此，每定位一个特征点需要计算9次马氏距离，模型迭代10次。

图3和图4分别给出了在2种人脸数据库上的特征点定位结果对比。其中，每个图中的第1行显示的是原始ASM定位结果;第2行是文献［8］中方法的定位结果(Wang方法);第3行是文献［9］中方法的定位结果(Li方法);第4行是本文改进方法的定位结果。

从图3可以看出，基于原始ASM方法的定位结果有较大误差，正如图3a的第1和第2个人脸图像中，眼睛上的特征点定位不精准，有很明显的误差。当使用Wang方法和Li方法时，虽然对于原始的ASM有一些改进效果，但是仍然存在较大定位误差。特别是当人脸姿态变化较大时，前3种方法都有较大的定位误差。采用本文改进的ASM方法后，眼睛上的特征点明显定位准确，较前3种方法的定位性能有较大的提高。改进的方法首先采用IPCA更新特征空间，能更有效地描述图像间的相异或相似性，同时改进的匹配算法能避免计算协方差矩阵的逆矩阵，减少了逆矩阵的计算误差。因此，改进的ASM具有较高的特征点定位精度。从图4中同样可以看出，相比前3种方法，本文方法明显提高了ASM定位精度。

为了验证2种ASM方法的匹配性能，通过计算像素偏移来评价不同的ASM方法。像素偏移值是指手工标定特征点的位置和模型搜索位置之间的像素位移差。表1和表2分别给出了在2种人脸库上4种方法的定位偏移误差结果对比。

图3 在Weizmann人脸数据库上特征点定位结果对比Fig.3 Feature location results comparison on Weizmann database

表1 在Weizmann人脸库上像素偏移值分布对比Tab.1 Pixel displacement comparison on Weizmann database

图4 在IMM人脸数据库上特征点定位结果Fig.4 Feature location results comparison on IMM database

表2 在IMM人脸库上像素偏移值分布对比Tab.2 Pixel displacement comparison on IMM database

从表1可以看出，基于原始ASM方法的定位偏移误差主要集中在3－4个像素之间，大约占53.3%，而采用改进的Wang方法和Li方法都有一定的定位精度提高，这2种方法下，像素偏移值集中在2－3个像素之间，Wang方法结合边缘特征和部件信息有效地提高了特征定位精度，而Li方法改进初始化位置并对纹理表示方法进行优化，因此，也取得了相对于原始方法的性能提高。而本文方法定位特征点的偏移误差主要集中在1－2个像素之间，因此，相对于前3种定位方法，本文方法明显地提高了特征点定位精度。相比Wang方法和Li方法，本文采用IPCA不断更新特征空间，使得新的图像特征空间能更有效地描述训练样本间的相似性或差异性，尤其是对于光照、姿态变化，都具有更好的鲁棒性。另一方面，本文采用改进的匹配算法，该算法能有效地避免计算协方差矩阵的逆矩阵，进而降低计算误差。因此，改进ASM方法在提高特征点定位精度上十分有效。

从表2也可以看出，在IMM人脸库上基于原始ASM方法有大约48.6%的偏移误差处在3－4个像素之间，基于Wang方法有大约55.6%的偏移误差处在2－3个像素之间，基于Li方法有大约49.3%的偏移误差处在2－3个像素之间，而采用基于本文改进方法有大约49.1%的偏移误差处在1－2个像素之间。从以上比例可以很明显地看出本文改进方法的有效性。

5 结束语

本文在分析和研究经典ASM方法的基础上，提出了一种改进的ASM方法。改进的ASM方法基于以下2点:首先，采用IPCA不断更新训练集的特征空间，新的特征空间能更有效地描述图像间的差异性或者相似性，通过对训练集图像进行实时更新和学习，能有效克服新图像与训练图像相差较大以及纹理变化较大等缺点;其次，提出一种新的匹配算法，新的匹配算法能避免计算协方差矩阵的逆矩阵，能有效降低计算误差，而且采用一次PCA，保留了协方差矩阵的有用信息，为精确定位特征点提供了依据。实验表明，改进ASM方法取得了较好的特征点定位结果，相比原始ASM方法和其他一些改进的ASM方法，本文改进的ASM匹配准确率有较大提高。

［1］陈莹，艾春璐.条件主动外观模型下的人脸特征点跟踪［J］.计算机辅助设计与图形学学报，2013，25(4):510－518.

CHEN Ying，AI Chunlu.Face Features Tracking with Conditional Active Appearance Model［J］.Journal of Computer－Aided Design and Computer Graphics，2013，25(4):510－518.

［2］郭哲，张艳宁，林增刚.多信息融合的多姿态三维人脸面部五官标志点定位方法［J］.计算机学报，2012，35(1):163－172.

GUO Zhe，ZHANG Yanning LIN Zenggang.Multi－Pose 3D Facial Landmark Localization Based on Multi－Model Information［J］.CHINESE JOURNAL OF COMPUTERS，2012，35(1):163－172.

［3］DING L，MARTINEZ A M.Features versus context:An approach for precise and detailed detection and delineation of faces and facial features［J］.Pattern Analysis and Machine Intelligence，IEEE Transactions on，2010，32(11):2022－2038.

［4］LUO Y，WU C，ZHANG Y.Facial expression feature extraction using hybrid PCA and LBP［J］.The Journal of China Universities of Posts and Telecommunications，2013，20(2):120－124.

［5］熊黎丽，王国胤，龚勋.基于三维重建的人脸姿态估计［J］.重庆邮电大学学报:自然科学版，2010，22(3):375－380.

XIONG Lili，WANGGuoyin，GONGXun.Face pose estimation based on 3D face reconstruction［J］.Journal of Chongqing University of Posts and Telecommunications:Natural Science Edition，2010，22(003):375－380.

［6］柴秀娟，山世光，卿来云，等.基于3D人脸重建的光照，姿态不变人脸识别［J］.软件学报，2006，17(3):525－534.

CHAIXiujuan，SHAN Shiguang，QING Laiyun，et al.Pose and Illumination Invariant Face Recognition Based on 3D Face Reconstruction［J］.Journal of Software，2006，17(3):525－534.

［7］YANG P，LIU Q，METAXASD N.Boosting encoded dynamic features for facial expression recognition［J］.Pattern Recognition Letters，2009，30(2):132－139.

［8］COOTES T F，TAYLAR C J，Cooper D H，et al.Active shapemodels:their training and application［J］.Computer Vision and Image Understanding ，1995，61(1):38－59.

［9］COOTEST F，TAYLOR C J，LANITIS A.Multi－resolution search with active shapemodels［C］//IEEE.In Proceedings of the 12th IAPR International Conference on Pattern Recognition.Jerusalem:IEEE Computer Society Press，1994，1:610－612.

［10］WANGWei，SHAN Shiguang，GAOWen，et al.An improved active shape model for face alignment［C］//IEEE.The forth International Conference on Multimodal Interface.Beijing，China:IEEE Computer Society press，2002:523－528.

［11］LIDang，KONG Fanrang.Facial feature point extraction using a new improved active shapemodel［C］//IEEE.Image and Signal Processing(CISP)，2010 3rd International Congress on.Yantai:IEEE Press，2010，2:944－948.

［12］WAN Kwokwai，LAM Kinman，NG Kitchong.An accurate active shape model for facial feature extraction［J］.Pattern Recognition Letters，2005，26(15):2409－2423.

［13］BABENKO B，YANGM H，BELONGIE S.Visual tracking with online multiple instance learning［C］//IEEE.Computer Vision and Pattern Recognition，2009.Miami:IEEE Press，2009:983－990.

［14］夏鹏，张浩然，徐展敏.一种增量PCA算法及其在人脸识别中的应用［J］.计算机工程与应用，2008，44(6):228－230.

XIA Peng，ZHANG Haoran，XU Zhanmin.Novel incremental principal component analysis and its application for face recognition［J］.Computer Engineering and Applications，2008，44(6):228－230.