基于多姿态人脸的关键点定位算法及识别算法∗

白利敏 贾明兴

（1.国家知识产权局审查协作天津中心 天津 300304）（2.东北大学 沈阳 110819）

1 引言

解决多姿态人脸识别的方法主要可以分为三类：基于2D图形的方法、基于3D图像的方法和基于2D和3D混合方法，3D主要有如V.Blanz和T.Vetter［1］提出的 3D Morphable Model（3DMM）方法，利用3D人脸库对输入图像进行3D重构，后利用重构得到的纹理和形状特征进行识别；2D方法解决姿态人脸识别主要利用姿态矫正的技术路线，如Hyung-Soo Lee等［2］提出TAAM方法来合成人脸图像，Huang 等［3］提出ME流型方法，蔡秀娟等［4］提出的LLR（局部线性回归），将姿态人脸先矫正到正面人脸，后按正面人脸进行识别；而2D与3D融合方法如Lei zhen等［5］提出的姿态自适应方法。虽然基于3D方法在姿态人脸识别识别性能可以得到很大提升，但由于其在人脸3D建模时计算量大，重构一张三维人脸需要几分钟或十几分钟，所以无法应用于实际实时人脸识别系统中，而基于2D图像矫正方法，本身来说由一幅单独的图像去重构其对应的3D的形状和纹理是一个病态问题，所以姿态矫正方法不能保证取得很好的矫正效果，尤其当姿态在三个自由度同时旋转难以取得很好的效果。

本文深入研究了姿态作为影响人脸识别的最有挑战因素导致识别率降低的本质原因，识别方法避开计算量大且复杂的3D人脸重建方法和姿态矫正，提出一种多特征点姿态人脸识别方法。方法首先利用zhu等提出的混合树人脸检测和特征点定位方法得到初略的特征点，后建立对应的13种姿态的 AAM（active appearance model），用 zhu_detec⁃tor得到的初始点作为AAM收索的初始点，进一步收索得到精确的关键点，利用多个关键点局部特征来表示人脸，并按照姿态差值和作为阈值提取遮挡最小半脸特征的原则提取对应关键点区域特征，最后进行直方图统计特征对比，得出识别结果。

文章主要贡献有如下三点：

1）深入研究了基于LBP特征提取方法的全局人脸和局部关键点局部特征随姿态变化的统计规律。

2）提出zhu-detector与多姿态AAM结合的多姿态人脸关键点定位方法，实验表明该方法对多姿态人脸具有良好特征点定位性能。

3）提出一种姿态人脸识别方法：“基于多关键点特征最优匹配姿态人脸识别方法”。

2 姿态人脸识别分析

影响人脸识别率最大的两个因素为光照和姿态，而光照技术已经能较好得到解决，然而对于人脸姿态问题始终没有得到很好的解决，姿态成为了识别系统鲁棒与否的决定因素，FERET项目三次测试得出的第二条结论：对于姿态变化的情况，在姿态角度小于25°的时候，性能基本稳定，但是当角度超过40°，识别性能急剧下降。姿态人脸识别成为了人脸识别最大的技术挑战。

采用数据库位pointing‘04人脸数据库，该人脸数据库包含15个人正脸在内的93种人脸姿态，我们选取15个人只包含水平旋转的13种姿态（-90°～90°）共195张图片，如图2所示，图像经人脸检测将人脸归一到120*96像素大小，经光照预处理，提取其LBP特征，每个人得到13个特征向量，每个人非正面人脸与正面人脸距离随旋转角度的统计规律如下图1所示：

图1 13种姿态实验样本示例

分别提取从0°～90°人脸图像的人眼中心30*24 LBP特征，得到每个7个局部特征向量，求取统计直方图，得到各个姿态下人眼局部特征统计直方图与正面人眼特征直方图之间距离的变化规律，如下图2所示：

图2 姿态人脸与正面人脸距离随旋转角度的统计规律

图3 人脸全局、局部特征随姿态变化规律（左）及姿态人脸空间流行分布（右）

由上图3可以看到无论是全局整幅人脸特征或局部关键点特征距离总体随姿态增大而变大，但在旋转超过60°（左右）距离保持最大值，增幅变小。这与prince等得出的姿态人脸图像在姿态子空间里呈流形分布结果一致。不同人脸相同姿态下距离要小于同一个人不同姿态的人脸图像，这样会使得常规算法失效，误判率增大，最终导致在有较大姿态变化的人脸库上难以取得较高的识别率。对比全局人脸和特征点局部区域人脸在姿态变化时，明显可以看出，姿态变化在一定范围内，局部特征变化较小，可以得出人脸的某些局部区域特征在人脸有姿态变化时对识别更有意义。

3 本文提出的特征点定位算法

3.1 AAM特征点定位算法与Zhu-detector特征点定位算法

AAM特征点定位方法最早由T.F.Cootes等［9］提出，该方法分别对人脸的形状和纹理建立统计模型，由一组处于初始位置的形状特征点，通过迭代匹配的方法，精确地获得图像中人脸的特征位置，是目前使用最广泛的特征点定位方法。AAM模型对收索的初始位置都要求在接近目标物体的粗略位置上，虽然通常可以配合一些人脸检测器得到特征点位置，但模型通常搜索不到正确的位置。所以很多时候初始点都是以人为利用计算机鼠标给定初略区域，算法无法达到特征点自动定位。

Zhu-detector［8］也叫混合树结构检测定位方法，该算法通过定义了不同姿态下树结构Tm，m为姿态类别。类似AAM和ASM模型对人脸分别建立形状模型Appm(I ， L )和纹理模型Shapem(L )，I为输入图像，L为特征点位置。在不同姿态m下建立的多姿态混合树结构如下图4所示。

图4 13种不同姿态下的混合树结构

最后利用一个得分Score建立人脸的形状和纹理模型，如下式所示：其中，APP代表纹理模型，Shape代表形状模型，在利用该模型对一幅图像进行人脸检测和特征点定位时，收索策略为图像金字塔模式，比较人脸在不同姿态模型下的拟合情况，利用下式来决定最后结果。

通过比较在m种姿态模型下得到的结果，比较得分最高与训练得到阈值，大于阈值的所有位置即为检测得到的人脸及特征点。

3.2 本文多姿态人脸特征点定位算法

本文提出zhu-detector与多姿态AAM结合的特征点定位方法，方法的主要思想是分别建立多个姿态下的AAM模型以提高模型对人脸姿态的适应性，定位过程中利用zhu-detector检测得到特征点AAM作为初始点，利用建立好多个姿态AAM模型进一步进行拟合，按最小拟合误差输出定位结果。二者的结合，既解决了AAM的初始特征点位置要求，又能进一步提高特征点准确性。实验表明该方法对多姿态人脸具有良好特征点定位性能，算法流程图如图5。

Zhu-detector与多姿态AAM结合的特征点定位算法流程：

step1：输入待测图像，经zhu-detector得到初略特征点位置，求出模型初始参数c0；

step2：循环分别利用13种姿态模型进行特征点收索

step3：第i种姿态AAM模型拟合

step4：循环j=1：T每种姿态下收索T次

step5：计算对应模型形状纹理拟合误差Ei

step6：比较在13个姿态模型下AAM拟合误差Ei，按误差最小输出。

图5 Zhu-detector与多姿态AAM结合的姿态人脸特征点定位流程示意图

3.3 多姿态AAM模型建立具体步骤

本文在建立AAM模型阶段，对应zhu-detector的多姿态模型，分别建立13个姿态下的AAM模型。训练集对30个不同身份，每个人13种不同视角共计390幅人脸图像进行特征点的标记。每幅图像标记68个特征点，分布在人脸的五个特征区域，眉毛、眼睛外轮廓及瞳孔、鼻梁及鼻翼、嘴唇外轮廓、脸颊外轮廓及额头。如下图6所示。

图6 标记的13种姿态图像特征点样本

分别对不同视角下的样本建立独立的统计模型。选取一个特定视角，采用主成分分析的方法，构建该视角下人脸的形状模型。

S是该视角下的一幅人脸图像的形状信息，sˉ是同一视角下不同身份人形状的均值，Ps是利用PCA方法求出的一组形状特征向量，bs为S在这组特征向量下的投影，即形状参数。建立模型之前需要对原始图像进行预处理，并对不同视角的图像分别构建样本集合，针对不同视角的灰度图像，采用PCA的方法，建立人脸纹理模型，式（6）中T表示训练集中指定视角下的一幅图像，T表示该视角下所有训练图像灰度的值，Pt表示利用PCA生成的能够集中反应图像灰度变化的一组纹理特征向量，bt代表图像在特征向量上的投影，即纹理参数，可以重新构建出原图像。

形状和纹理模型建立之后，图像可以分别表示成在各自特征向量上的一组形状参数与纹理参数，为了使后续的优化过程更加简便，我们需要将上述两种参数合二而一，寻找到一种能同时反映形状和纹理变化的复合参数［52］，以及当参数变化时特征向量的新形式。将上述两组参数进行连接，得到一组复合参数b。

从该模型当中可以看出，形状与纹理数据可以由同一个参数c来表示，在训练模型阶段如果能准确地求出特征相量与均值，在匹配阶段，只需要对混合参数c进行迭代直至收敛，就可以实现新图像形状的构建。

3.4 实验（experiments）

将本文特征点定位方法与混合树结构zhu-de⁃tector方法与单一AAM模型在LPFW库进行实验，LPFW库test集含有经手工标记了68个特征点不同姿态人脸共224张，实验主要通过比较三种特征点定位方法得到的68特征点位置与手工标注位置欧式距离作为定位误差。假设库里有N张人脸图像，每种方法定位累积误差可由下式表示：

结果由图7给出，其中横坐标代表累积误差，纵坐标代表人脸图像个数。

经比较，可以得出本文方法定位误差要远小于单一AAM模型和zhu-detector方法，尤其在人脸有较大变化时能得到较精确特征点位置。图8为不同姿态人脸特征点定位结果示例：每行从上到下方法分别为混合树Zhu-detector、单一AAM模型方法，本文定位方法。可以看出，本文方法在较大姿态变化时能取得较精确特征点位置坐标，而单一AAM模型和zhu-detector定位算法都出现了人脸严重变形，特征点收敛到错误的位置。

图7 不同人脸特征点定位方法在LPFW库上定位误差曲线对比

图8 三种特征点定位方法在不同人脸姿态下定位结果

4 本文特征最优匹配策略的姿态人脸识别方法

本文首先对输入图像进行关键点定位，得到68特征点图9（a）由于在姿态变化人脸图像中，关键点局部特征能保持不变或变化很小，如本文第二部分实验得出结论，所以提出多关键点局部区域特征（多关键点特征）来代替原来整幅人脸图像特征。选取的其中34个如图9（a），并以选取的关键点为圆心，提取以R为半径范围的LBP［10，11，12］特征如图9（b）。

图9 多关键点特征提取示意

由于关键点定位无法做到像素级精确定位，尤其在人脸姿态发生变化时，在以该关键点作为圆心提取周围特征时，可能会出现错位，因此本文提出的特征最优匹配策略，来弥补因圆心位置误差引起误匹配。所谓的特征最优匹配策略为：例如对输入的两幅图像，一幅作为probe，另一幅作为gallery，对于选取的关键点，例如25点如图10鼻梁位置，对gallery图像对应特征点为圆心，在c1*c2区域内，圆心以间隔像素1进行上下左右移动如图10矩阵型包含的点，得到n=c1*c2个特征向量，寻找与probe对应位置最近邻的特征向量，作为gallery图像在该关键点的特征向量。特征最优匹配策略如下图10示意图：

图10 最有特征匹配策略示意图

对比圆形区域与其它形状的特征，圆形在对于人脸旋转有一定的不变性，且圆形区域特征计算方便简洁，可以随意调整半径R，所以我们选取圆形区域特征。Probe图像在其以关键点为圆心统计其LBP统一模式下的直方图h，而gallery图像则按照如上图10在对应的圆形区域特征，按照特征最优匹配原则，在所有统计直方图h1～hn中选取与probe对应直方图h距离最小的作为gallery图像直方图。将所有选取的关键点区域的特征级联作为该张人脸的表示，最后得出两张输入图像多特征点直方图距离，若该值大于阈值θ，则判断为

不同人，若小于阈值θ则判断为相同人。本文提出的基于多关键点最优特征匹配的姿态人脸识别方法整体流程框图11如下。

图11 基于多关键点最优特征匹配的姿态人脸识别方法流程框图

5 实验

本文采用的数据库为目前最具挑战性的LFW（Labeled Faces in the Wild），该库人脸照片都在户外非受限情况下采集得到，所以人脸包含多种姿态、光照等不确定变化，而目前姿态人脸库如FE⁃RET 人脸只包含户内拍摄的6种（±15°±40°±60°）固定姿态，对于姿态人脸测试。LFW包含5749个人共13233幅图像。包含两种测试协议view1和view2。view1用于做算法测试的参数选择，view2用于得出最后算法报告，包含类内图像3000对，类间图像3000对，将之均分为10折，每折包含300对类内图像，300对类间图像。识别率为10折交叉验证识 别 率 pi均 值

参数选择（圆半径R，特征点个数N）：本文人脸归一到120*96大小，半径取R=6像素，特征点个数N=34。本文特征提取采用LBP算法，所有实验主要对比了目前在LFW特征提取算法与本文相同方法。也同时与目前在LFW库按LFW-restrict（无监督没有训练下）较好的方法进行了比较。表1为本文识别率及误差对比结果。

表1 LFW-view2协议下识别率对照

对比所有使用LBP特征提取的识别方法，可以看出本文识别方法取得了最高识别率 ，远高于其他基于LBP特征识别方法。无论全局LBP如何分块或改进如TPLBP、FLBP等识别率在有姿态因素干扰时都无法取得较高识别率。比较本文方法（属于同一测试协议）与其较高识别率方法［20，22～25］，本文识别率高于多特征融合［24］和MRF-MLBP，仅略低PEM SIFT。本文识别方法对于姿态人脸识别取得很好的识别效果。

6 结语

本文主要就姿态人脸识别中关键几个问题进行研究，首先，本文提出的zhu-detector与多姿态AAM结合的关键点定位方法，通过训练多个姿态下的AAM模型以适应姿态的变化，并充分利用了各自定位算法的优势，弥补了二者的缺陷，实现了对多姿态人脸特征点自动定位，实验也表明该方法对多姿态人脸特征点定位具有较高的准确性和较强的鲁棒性，为本文多关键点局部特征识别方法的提出提供了基础。最后，本文提出“基于多关键点特征最优匹配”姿态解决方法在LFW库上按view2测试协议得出识别率及标准差，对比利用LBP特征提取的其他识别方法，本文方法识别率远高于其它方法。证明了本文方法在非受限环境下、姿态有较大变化情况下仍能取得良好的识别效果。