基于Candide－3模型的姿态表情人脸识别研究

杜杏菁，白廷柱，何玉青

（1.北京理工大学 光电学院光电成像技术与系统教育部重点实验室，北京100081；2.华北科技学院 计算机系，河北 三河065201）

0 引 言

人脸识别技术目前使用的较多的是二维 （2D）人脸识别，但2D人脸识别受到光照、姿态、表情的影响较大，很难达到满意的效果，因此最近几年人们又转向研究三维（3D）人脸识别。3D人脸建模领域的研究进展和3D数据获取技术的发展为3D人脸识别奠定了基础［1］。3D人脸识别加入了人脸的深度信息，弥补了2D人脸识别的很多缺陷［2－3］，三维人脸识别的方法可以分为基于曲率的方法［4］、基于形状表征的方法［5－6］、基于空域信息的方法［7］和三维可变形模型的方法［8－9］。最近，一种利用三维人脸模型投影进行2D测试图像与3D模板图像结合的识别模式被提出，并取得一定的效果［10］，但该模式需要对每个2D测试图像和模板库中的每个模型做比较，时间效率不高。胡峰松等使用的Candide－3模型与正面人脸配准重建3D模型，对重建3D模型进行各种角度旋转得到姿态不同的数字人脸。本文以Candide－3模型为基础，对该模型进行简化，提取其中的形状和表情关键点与单幅人脸关键点配准，重建人脸几何结构，以重建的几何模型为基础，对各三角网格进行纹理映射，得到较为逼真的特定人脸3D模型。根据文中确定的输入图像的姿态对3D人脸进行旋转后实现人脸识别。实验表明，文中对Candide－3模型的进一步简化实现特定人脸重建提高了重建速度，减弱姿态表情对人脸识别的影响，通过三角网格的纹理映射，得到了更为逼真的人脸模型。

1 Candide－3模型

Candide模型是一种参数化的人脸网格模型，它包含了少量的网格结点和三角面片。Candide－3是由原始的Candide变化来，它由113个顶点、184个三角面片、65个运动单元，如图1所示。每个顶点由三维坐标表示，即Pi＝（xi，yi，zi）T，i∈ ［1，113］，所有113个点的坐标构成标准人脸模型，结合输入图像产生特定人脸的3D模型V。

图1 Candide－3模型

式中：——标准模型；S——形状单元；A——动作单元；R，s、t——姿态变换参数；σ、 ——静态控制参数、动态控制参数。任何输入图像都可以通过调整这5个参数由珚V变换得到输入图像姿态下的模型V。

2 Candide－3模型的改进

针对关键点的数量和类别，去除与重建结果关系小的顶点，如面部不易提取的特征点等，从而减少了标准模型的顶点个数，在不影响重建人脸的效果下提高重建速度。

2.1 特征点标注

输入图像首先要提取特征点才能与标准模型进行拟合，形成特定人脸模型，然后进行插值及纹理合成，最终得到重建人脸3D图像。本文选择了表示人脸形状和姿态表情的正面关键点，替代Candide－3模型的113个点。所选择的关键点如表1所示，标注在人脸上如图2所示。

表1 关键点数据

图2 特征点标注

2.2 姿态确定的方法

人脸姿态就是指人脸相对于3个坐标轴的旋转角度。人脸自由度是指人脸姿态的变化范围。人脸的姿态变化由6个自由度决定，分别是X、Y、Z轴的平移和旋转。当人脸对应的3个自由度都确定时，就得到了人脸的姿态数据。假设α、β、γ是人脸分别绕X、Y、Z轴旋转形成的角度，即人脸的3个自由度：

（1）γ角的确定：人脸绕Z轴的平面旋转形成γ角，可以直接使用两眼连线与水平方向的夹角计算出来，几何关系如图3（a）所示。假设两眼中心坐标分别为 （xl，yl，zl），（xr，yr，zr），那么，γ的计算公式为

（2）β角的确定：人脸沿Y轴左右旋转形成β角。表现在人脸几何特征关系之间是嘴巴中心点到两眼连线的垂直线的交点发生了变化，如图3（b）所示。通过分析w1、w2可以大体推断出人脸绕Y轴旋转的方向，也就是判断出人脸是左转还是右转。当w1＝w2时为正面人脸，当w1＞w2时为左转，相反为右转。一般正面人脸的w1，w2的值约为65°，人脸右转时w1变小，人脸左转时w1变大。

（3）α角的确定：抬头和低头时人脸沿X轴旋转形成α角。此时变化比较大的是嘴巴中心点到两眼连线中心点的距离。当抬头时距离变小，当低头时距离变大，如图3（c）所示，距离变化的本质是鼻尖点到嘴巴中心点距离的变化所致。假设两眼连线中心与鼻尖点的距离为m，鼻尖点与嘴巴中心距离为n，一般情况下m，n的比例为3∶2。

图3 人脸各姿态

2.3 人脸形状重建

在Candide－3中，AUs （Action Units）、AUV （action unit vector）是两个不同但又有联系的概念。AUs是面部的一个肌肉的基本行为单元，而AUV对应的是一个完整行为，一个AUV对应一个或多个AUs，如：AUV6表示一个眨眼动作，它由 AUs42 （Slit）、43 （Eyes Closed）、44（Squint）、45（Blink）共同作用组成，而不同的系数变化过程可以表示不同的动作，睁眼、闭眼也是由AUV6完成的。对于输入图像与3D模型进行配准时，首先选择表示脸部静态特征的关键点，在Candide－3中选择少量的关键点，这些关键点分别确定了脸部高度参数、眉毛垂直位置、眼睛垂直位置、眼睛宽度、两眼距离、鼻子z轴扩展及垂直位置、嘴巴的垂直位置、嘴宽、眼睛的高度、鼻尖高度，经这些关键点配准后相关的姿态参数R、s、t就可以确定。

输入图像与Candide－3模型各顶点之间的配准是特定人脸三维重建的关键，即参数调整和优化的过程。输入图像I0可以近似表示为训练集中所有图像的线性组合

式中：I——训练集中图像，m——训练集图像总数，ω——线性组合系数，ω＊——使输入图像偏差最小的系数，则输入图像自动配准的模型V为

所以R，s，σ，t可按下式计算

ω＊可以按如下计算求得

式中：A——训练图像矩阵，B——输入图像I0的像素点矢量，求得ω＊后，即可用式 （5）结合训练集中手工标定的配准模型的参数，计算输入图像的参数，实现了输入图像与模型之间的自动配准，然后，进行纹理合成即可得到特定人脸的三维模型。最后对模型进行旋转变换得到各种姿态的模型。

2.4 三角形纹理合成

2.4.1 平滑插值

由于人脸具有较多的不规则的凹凸，直接插值效果不理想［12－14］，棱角分明，特别是鼻子、眼睛、嘴部轮廓的插值效果不够理想，为此，将二维薄平面样条函数推广到三维空间，采用薄平面样条函数作为式 （7）的基函数

式中：s——径向基函数，x对应网格顶点的三维坐标，p——低阶多项式，λ——径向基系数，Φ——基函数。使s不仅能满足插值条件，还能最小化其二阶导数平方的积分。

2.4.2 网格分块的纹理映射

基于图像的视角相关纹理映射，在正面、左侧90°、右侧90°分别对模型作一次纹理映射，每个网格点在不同视角下，有纹理重合。正面纹理映射与侧面纹理映射的分界线可以确定清晰有用的纹理和冗余纹理，消除冗余纹理，平滑分界线附近的颜色。对与分界面相交的三角形，纹理映射时将原来的三角形细分成两个，对新三角形分别进行纹理映射。设分界面为z＝zdepth，三角形一边的两个顶点坐标分别为 （x0，y0，z0）（x1，y1，z1），则经过这两个顶点的直线为

此直线和分界面的交点为

得到了新三角形的顶点坐标，进而计算顶点法线，这样就可以用分界面右侧对应的纹理对右侧三角形进行映射，分界面左侧的三角形则用左侧对应的纹理进行映射。

2.4.3 顶点纹理坐标

本文把网格模型和纹理图像结合起来，分别按照网格中的三角片进行纹理映射，对每一个三角片的纹理映射，采用简单的正交映射，其纹理坐标计算如下［15］

式中：（x，y，z）——模型所有顶点平移到第一象限后的坐标， （u，v）的3种形式分别对应了网格模型正面纹理坐标。

2.5 表情处理

人脸表情主要通过人脸局部区域肌肉的变化而产生，3D脸部模型根据网格相关节点的位移实现人脸的表情变换，局部节点的位置变化会引起网格三角片的变化。线形肌肉模型是控制节点相关的有效方法，需要给节点的位移以必要的一种约束。

2.5.1 弹性约束

三维网格人脸表面要保持网格的整体结构，要求三角片自身对外力有反作用，可以采用Y.Zhang定义的非线性函数来模拟作用力和反作用力之间的关系，这种关系用点约束和边约束来描述［16］。

假设模型任意一点xi与相邻点xj采用结构弹性相连，dij为这两点间初始状态的距离，弹性抵抗力可用式 （11）计算

脸部皮肤点C在肌肉收缩力F作用下，当反作用力不能约束C点的运动时，使脸部网格结构遭到破坏，为了避免这种破坏，使用边约束模型。

结合线性肌肉模型、点约束、边约束，可以得到任意点的受力函数

2.6 识别过程

将特定人脸模型根据姿态角进行旋转，进行二维投影，使用PCA算法进行主成分提取，然后与二维健侧人脸图像进行识别。

3 实现过程及结果分析

3.1 人脸三角网格

平面图像经过关键特征眼睛、眉毛、鼻子、嘴巴等的特征点提取，与模型配准，调整参数，得到特定人脸三角网格结构，如图4所示。

图4 人脸网格

由图4可以看出，特定人脸网格比较稀疏，但能够表示人脸的几何结构。

3.2 纹理合成结果

本文选取了基本正面人脸图像做纹理合成，网格模型使用的是简化后的candide－3模型。得到较为逼真的三维特定人脸，如图5所示，根据前面得到的输入图像的姿态角，对三维人脸进行旋转后，再进行识别。

3.3 识别结果

识别图像采用JAFFE图像库中的15个人的214个不姿态、表情的图像进行，采用PCA识别算法，计算机环境为Pentium 4CPU 2.00GHz、512MB内存，Windows XP系统，对图像进行Candide－3模型识别与简化的Candide－3模型识别准确率比较，得到如表2所示数据。

表2 直接识别与姿态校正后识别效果

图5 特定三维人脸

4 结束语

本文分析了Candide－3模型，对该模型进行关键特征点的简化，提出了基于网格模型的三角纹理合成的纹理映射。首先给出了姿态角的几何结构确定方法，然后提取特征关键点并进行标注，与一般的模型进行配准，最后给出结构信息的重建参数模型和纹理的融合算法。通过实验比较，经过姿态表情关键点的重建与Candide－3模型重建明显提高了重建速度，经过姿态表情处理，提高了识别准确率。

［1］Boehnen C，Flynn P J.Accuracy of 3Dscanning technologies in a face scanning context［C］.Washington，DC，USA：Proceedings of the Fifth International Conference on 3－D Digital Imaging and Modeling，2005：310－317.

［2］HU Yiding，ZHU Bin，GAN Junying.Face recognition with multiple pose based on 3－D face model ［J］.Computer Engineering and Design，2009，30 （7）：1728－1731 （in Chinese）.［胡异丁，朱斌，甘俊英.基于三维人脸建模的多姿态人脸识别 ［J］.计算机工程与应用，2009，30 （7）：1728－1731.］

［3］Bowyer K W，Chang K，Flynn P J.A survey of approaches and challenges in 3Dand multi－modal 2D ＋3Dface recognition［J］.Computer Vision and Image Understanding，2006，101（1）：1－15.

［4］CHAI Xiujuan，SHAN Shiguang.Pose and illumination invariant face recognition based on 3Dface reconstruction ［J］.Journal of Software，2006，17 （3）：525－534 （in Chinese）.［柴秀娟，山世光.基于3D人脸重建的光照姿态不变人脸识别 ［J］.软件学报，2006，17 （3）：525－534.］

［5］HU Fengsong，LIN Yaping.Individual 3Dface generationbased on candide－3for face recognition ［J］.Journal of Hunan University（Natural Sciences），2008，35 （1）：69－73 （in Chinese）. ［胡峰松，林亚平.应用于人脸识别的基于Candide－3特定人脸三维重建 ［J］.湖南大学学报，2008，35 （1）：69－73.］

［6］HU Fengsong，ZHANG Maojun.Pose and illumination invariant face recognition based on HMM with one sample per person ［J］.Chinese Journal of Computers，2009，32 （7）：1424－1431 （in Chinese）.［胡峰松，张茂军.基于HMM的单样本可变光照姿态人脸识别 ［J］.计算机学报，2009，32 （7）：1424－1431.］

［7］YANG Jun，LIU Zhifang.Pose invariant face recognition based on 3Dmodel［J］.Opto－Electronic Engineering，2009，36 （1）：140－145（in Chinese）.［杨军，刘直芳.基于三维模型的多姿态人脸识别 ［J］.光电工程，2009，36 （1）：140－145.］

［8］CHANG K，Bowyer K，Flynn P.Effects on facial expression in 3Dface recognition ［C］.Proc of the SPIE，2005：132－143.

［9］ZHAO Minghua，YOU Zhisheng.Novel face recognition method based on 3Dmodel projection ［J］.Opto－Electronic Engineering，2007，34 （12）：77－80 （in Chinese）.［赵明华，游志胜.一种基于三维模型投影的人脸识别新方法 ［J］.光电工程，2007，34 （12）：77－80.］

［10］WANG Chengzhang，YIN Baocai.An improved 3Dface modeling method based on morphable model［J］.Acta Automatica Sinica，2007，33 （3）：232－238 （in Chinese）.［王成章，尹宝才.改进的基于变形模型的三维人脸建摸方法 ［J］.自动化学报，2007，33 （3）：232－238.］

［11］ZHAO Minghua，YOU Zhisheng，LIU Zhifang，et al.Novel face recognition method based on 3Dmodel projection ［J］.Opto－Electronic Engineering，2007，34 （12）：77－81.

［12］TAN X，CHEN S，ZHOU Z H，et al.Face recognition from a single image per person ［J］.Pattern Recognition，2006，39 （9）：1725－1745.

［13］DU Bo，SHAN Shiguang，QING Laiyun，et al.Empirical com－parisons of several preprocessing methods for illuminationin－sensitive face recognition ［C］.Proceedings of the ICASSP，2005：981－984.

［14］O’Toole AJ，Phillips PJ，Jiang Fang，et al.Face recognition algorithms surpass humans matchingfaces over changesinil－lumination ［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2007，29 （8）：532－541.

［15］ZHAO Xiangyang，DU Limin.An automatic and robust image mosaic algorithm ［J］.Journal of Image and Graphics，2004，9 （4）：417－422.

［16］ZHU Yunfeng.Image－based 3Dmodel adaptation for face reconstruction and expression animation ［J］.Journal of System Simulation，2006，18 （8）：409－413 （in Chinese）.［朱云峰.基于图像的脸部模型调整及表情动画技术研究 ［J］.系统仿真学报，2006，18 （8）：409－413.］