改进的三维人脸稠密对齐方法

陆 涛，谭晓阳

(南京航空航天大学计算机科学与技术学院，江苏南京 210016)

目前对人脸图像的研究已逐渐成熟。但姿态和光照仍是二维人脸研究的一个瓶颈问题。由于三维人脸能够较好的解决姿态和光照问题，近年来三维人脸成为该领域的研究热点。三维人脸形变模型由于其具有较好的真实感，自动化的特点，成为三维人脸研究中的一个重要方向。一个大规模的三维人脸数据库，通过标准化人脸来建立人脸形变模型。三维形变模型具有丰富的人脸先验知识，可将其应用到人脸的识别和重建中，而且可以方便地对三维人脸操作，实现三维人脸动画。

目前对建立三维形变模型，已经提出了诸多方法。最常用的方法是由Besl和 McKay［1］提出的ICP(Iterative Closest Point)。通过迭代的方法寻找转移矩阵，使对应点的欧式距离最短。因为所求的矩阵，是刚性形变，这种方法不适合三维人脸对齐。Blanz和Vetter［2］提出了流光法(Optical Flow)。其同时用到了人脸的形状和肤色。而该方法在人脸数据相差大时，效果不好。胡永利等人［6］提出基于网格的人脸稠密对齐，其需要大量的手工操作，交互量较大。Mao［3］提出了一个半自动的人脸标准形变对齐方法。通过形变一张模板人脸来对齐数据库中的每张三维人脸，间接地实现了人脸对齐。首先，在模板人脸上手工标定了5个特征点，运用TPS实现初步地对齐。然后形变模板人脸。后来，Tena等人［4］对这个方法进行了改进。在形变人脸时，采用了迭代的策略，但最后的评估标准单一，不具说服力。与其相似，Amberg［5］提出了 NICP(Nonrigid ICP)。该方法对模板人脸形变从全局形变开始，通过减小折衷因子，使得人脸形变从全局转化为局部。但当人脸稠密时，能量函数较难处理。

在文中，根据非刚性迭代形变算法框架，提出迭代稠密三维人脸对齐算法。其中，为增加人脸匹配点的准确性，在Mao的能量函数，增加了一致性项。其次，针对文中使用BJUT－3D Face Data人脸数据集的不规整性，在局部寻找匹配点时，考虑点的局部法向量，曲率信息来剔除一些异常点，这对人脸的平滑性比较重要。最后，运用文中的迭代稠密对齐算法，在人脸数据库上实验，算法在人脸对齐精度和准确性上的提高，人脸对齐平均误差降为0.3 mm。

1 基于特征点的人脸稠密对齐

为建立三维形变模型，就必需建立人脸稠密点对点对齐。文中用一张模板人脸形变到数据库中的每一张人脸，模板形变后的三维人脸就建立了点对点对齐。算法大致分为3部分。第一，建立两张三维人脸的全局对齐。第二，人脸的局部匹配点搜索。第三，通过最小化能量函数形变人脸。

1.1 全局对齐

不同人脸数据的差异性较大，故文中选取具有较好平滑性质的TPS，进行全局的对齐。具体算法参考文献［6］。

1.2 搜索局部匹配点

对于模板人脸的每一点，Mao在半径为10 mm球体中寻找相似性S最高的点，作为匹配点。没有找到匹配点，则进行插值处理，具体算法见文献［3］。

式中，S是个加权和;a，β，λ是权重值;D是匹配点间距;N表示点的法向量;C是点的曲率。

由于 Tena等人［4］说明。β=0，λ=0时，效果较好。文中按相似标准。但由于BJUT－3D Face Data人脸数据库，三维成像时，图像并不规整。个别处没有扫描，部分区域也出现异常。为此，加入了一些改进。

(1)拒绝没有较好成像地方的匹配点。

(2)匹配点，对应的法向量乘积小于等于特定值，文中取0.6。

(3)匹配点，平均曲率相差不超特定值，文中取0.5。

1.3 能量函数

对于三维人脸对齐，其实是对能量函数E最小化的过程。而形变的过程中，要找到语义上正确的匹配点，且需要保持匹配点间的误差小。为增加匹配点间语义的正确性，文中在传统的能量函数上增加一致性项，且保持原来能量函数的形式，没有加大优化能量函数的难度。

Mao为了建立人脸间的密集对应关系提出了能量函数E，表示为:

为在实验中看清楚匹配点对的正确性，笔者从人脸图像中截取人脸眼睛进行单独的实验。图1(a)是全局对齐后的模板人脸和输入人脸眼睛的图像。图1(b)～图1(d)是其的侧面图。结果发现单从模板人脸寻找最相似点，眼睛的上眼皮和下眼皮点对都有一定的误差如图1(c)所示。为此，加入一致性项，即相反地，对输入人脸中每个点，在半径为10 mm的球中寻找匹配点对。由图1(d)可以看出，加入一致性项后，提高了点的语义匹配正确性。一致性项表述为

其中，Yi是Fscan中的第i个点表示在Fmod中与Yi最相似的点。新的能量函数为

图1 人脸图像截图

1.4 迭代稠密对齐算法

由于人脸形变是非刚性形变，可以利用非刚性形变的迭代优化方法，来对齐输入人脸和模板人脸。综合全局，局部对齐和对能量函数的优化。形成了下面的迭代稠密对齐算法。

(1)使用TPS进行全局的大致对齐。模板人脸形变为 F0。

(2)对于每一个折衷项 ε，ε∈{α1，…，αn}，αi＞αi+1直到M(Fs，Fi)－ M(Fs，Fi－1的值小于阈值 θ时:1)寻找Fi－1与Fs的初始点匹配对。2)最小化能量函数E。其中，M(Fs，Fi)表示匹配点的对数。

算法开始时，折衷项ε值相对较大。因为开始只是大致对齐，很难找出真正正确的匹配点。所以，整体上靠近即可。慢慢地随着的变小，能量函数趋于局部对齐。

2 实验结果与分析

在BJUT－3D Face Data上进行实验，为评估文中算法的性能，将从3个方面对算法实验结果与标准形变算法对比，其中标准形变算法中的参数α，β，λ，取6组进行实验。取其中最优的一组与本算法比较。

2.1 对齐算法的拟合精度

以BJUT－3D Face Data，实验数据，用上述稠密对齐算法，对数据进行对齐，分析模板人脸与输入人脸间的拟合误差。误差越小，说明模板人脸越能够代表输入人脸出现在人脸数据库中。标准形变算法在β=0，λ=0结果最优，由表1可看出，文中算法在平均误差，方差都有明显地减少，仅在＜1 mm的百分比上略差。

表1 文中算法与标准形变算法的比较平均误差

2.2 对齐算法的语义上精度比较

分别在输入人脸和模板人脸，用手工取41个特征点如图2所示，并保持特征点间的一一对应的语义关系。对于模板形变后的人脸，笔者认为根据其对应关系，理想情况下，形变人脸特征点与输入人脸的特征点的欧式距离应该是零。所以认为特征点间的欧式距离是衡量形变算法的一个较好的标准。但由于手工标记，算法本身的误差，会造成偏差。

图2 特征点示意图

图2(a)是模板人脸及标定的特征点，(b)是输入人脸的特征点。

下面对标准形变算法及文中算法对齐结果，计算对应点的欧式距离，如图3所示，图2(b)计算出来的对应点的平均距离为2 mm，而标准形变算法的结果都要约为3 mm。当α=0.4，β=0.3，λ=0.3时，效果最优，图3(a)也说明本算法不仅对齐的精度高，且也保持了语义上的对齐关系。

图3 算法结果

图3(a)是标准形变算法的最优结果。图3(b)是本文算法的结果。其中圆点表示对应点的平均误差，线段表示平均误差加上方差的结果。

3 结束语

根据非刚性迭代形变算法框架，提出迭代稠密三维人脸对齐算法。其中，为增加人脸匹配点的准确性，改进局部匹配点搜索策略和形变能量函数。通过BJUT－3D Face Data实验证明，相比于标准形变算法，文中算法提高了三维人脸的对齐精度和准确性。

［1］BESL P J，MCKAY N D.A method for registration of 3 － D shapes［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，1992，14(2):239 －256.

［2］BLANZ V，VETTER T.A morphable model for the synthesis of 3D faces［C］.In Proc.SIGGRAPH 99，1999:187 －194.

［3］MAO Z，SIEBERT P，COCKSHOTT P，et al.Constructing dense correspon dences to analyze 3D facial change［C］.In Proc.17th International Conference on Pattern Recognition，2004:144－148.

［4］TENA J R，HAMOUZ M，HILTON A，et al.A validated method for dense non － rigid 3D face registration［C］.In Proc.of IEEE Int.Conf.on Advanced Video and Signal Based Surveillance，2006:81 －86.

［5］AMBERG B，ROMDHANI S，VETTER T.Optimal step nonrigid ICP algorithms for surface registration［C］.Minnesota，USA:In IEEE Conference on Computer Vision and Pattern Recognition，IEEE Computer Society，2007:1 －8.

［6］HU Y L，YIN B C，GU C L，et al.3D face reconstruction based on the improved morphable model［J］.Chinese Journal of Computers，2005，28(10):1671 －1679.