一种改进的三维局部约束模型初始化方法

许进文，赵启军，陈 虎

(四川大学 视觉合成图形图像技术国防重点学科实验室，四川 成都 610065)

一种改进的三维局部约束模型初始化方法

许进文，赵启军，陈 虎

(四川大学 视觉合成图形图像技术国防重点学科实验室，四川 成都 610065)

三维局部约束模型(3D Constrained Local Model，CLM-Z)算法，综合利用灰度和深度信息检测三维人脸数据中的特征点(如眼角、鼻尖和嘴角)，实现了较高的检测精度。CLM-Z方法一般使用人脸位置和平均三维人脸模型进行初始化。设计了四个实验定量地分析CLM-Z参数初始化对算法精度的影响：在BU-4DFE库上评估CLM-Z算法精度；通过平移人脸边界框扰动平移参数的初始值；通过缩放人脸边界框扰动尺度参数的初始值；通过给定绕y轴和z轴的旋转角扰动旋转参数的初始值。实验结果表明，CLM-Z算法可容忍平移扰动约为人脸宽的1/6，在(0.75,1.50)缩放范围内算法精度不会下降，可容忍y轴和z轴旋转角约20°。基于以上评估结果，进一步提出在纹理图像上检测特征点作为初始化，然后再进行CLM-Z迭代。在BU-4DFE数据库上的评估结果证明，该初始化方法能有效提升CLM-Z方法的特征点定位精度。

三维人脸特征点定位；三维局部约束模型；初始化；鲁棒级联姿态回归

0 引 言

人脸特征点检测是人脸识别[1-4]、表情分析[5-6]、人脸动画[7]等一个关键的中间步骤。由于光照、姿态、遮挡、表情等因素的影响，人脸特征点检测成为一个充满挑战的研究课题。为了解决这一问题，学术界做出了很多有价值的尝试，提出了不少方法，其中包括CLM(Constrained Local Model)[8]和它之后的各种扩展模型[9-10]。这些方法均构建于人脸检测之上，但是没有评估人脸检测误差对特征点定位结果的影响。

Baltrušaitis等提出的CLM-Z算法[10]，综合利用灰度和深度信息检测三维人脸上的特征点，其优势在于引入深度信息不仅可以降低光照变化的影响，而且还能减少孔径问题的干扰。初始化是应用CLM-Z的一个关键过程，涉及4个参数[s,R,q,t]。其中，[s,t]的初始化依赖于所使用的人脸检测器[11]得到的人脸位置，而且人脸检测偏差普遍存在于现实应用中。因此，文中认为研究初始化改变对CLM-Z检测精度的影响很有必要。

文中通过平移和缩放人脸边界框改变参数[s,t]的初始值，通过给定绕y轴和z轴的旋转角改变参数R的初始值，在BU-4DFE数据库[12]上系统地评估初始化对CLM-Z精度的影响和CLM-Z对初始化扰动的鲁棒性。基于以上评估结果，进一步提出使用RCPR[13]在灰度图上检测结果的近似值初始化CLM-Z的参数[s,t]，使得这些特征点的初始位置更接近其真实值，达到提升CLM-Z检测精度的目的。

1 CLM-Z方法

CLM-Z方法的思想是将灰度和深度信息结合起来应用于人脸特征点检测，该模型可以使用参数集p=[s,R,q,t]来描述。其中，s表示缩放因子；R表示旋转矩阵；t表示二维平移量；q表示人脸形状的非刚性变化参数。模型表达式如下：

(1)

CLM-Z拟合目标的概率表达式如下：

(2)

1.1 Patch Experts

PatchExperts的作用是计算以人脸特征点为中心的周围邻域的响应图，Patch Experts可以选用距离矩阵(如马氏距离)、分类器(如线性支持向量机)或者回归器。CLM-Z选用基于分类器的Patch Experts，表达式为：

P(li|xi,I,Z)=0.5×(P(li|xi,I)+P(li|xi,Z))

(3)

其中

(4)

(5)

(6)

(7)

1.2 初始化方法

参数初始化是应用CLM-Z的必要步骤，该方法的初始化过程构建于人脸检测结果之上，如下：

R=E

2 初始化对CLM-Z精度影响的评估

2.1 实验数据集

文中选用包含101个对象的BU-4DFE数据库，每个对象有6种基本表情：生气、厌恶、害怕、快乐、悲伤以及惊讶。每个表情序列拥有约100帧三维模型以及83个特征点的三维真实位置。由于CLM-Z算法的输入是成对的具有像素级对应关系的灰度和深度图像，因此需要对库中的数据进行预处理。首先，间隔20帧选取三维模型，读取并输出每个三维模型对应的灰度图和深度图。然后，记录纹理和深度有效的位置，得到新的纹理图和深度图(如图1所示)，以及预处理后所有特征点的二维真实位置。因为CLM-Z方法使用66个特征点，所以评估实验将在两个特征点集的交集上进行。图1中灰度图展示了文中使用的20个特征点及其序号，并定义8个白点为关键特征点，初始化改进实验将在8个关键特征点上进行。

图1 预处理后的灰度图和深度图以及20个

2.2 评估指标

计算每个特征点自动检测得到的坐标与二维真实位置之间的欧氏距离，并使用内眼角距离归一化，称作平均归一化拟合误差(简称MNFE)：

(8)

2.3 参数t初始化对CLM-Z检测精度影响的评估

为了定量地评估参数t产生的影响，将通过沿x轴和y轴平移人脸边界框来扰动参数t的初始值，平移范围是(-30,+30)像素，平移步长是10像素。图2(a)展示了沿x轴和y轴分别平移-30像素的情形，结果如表1所示。

假定将CLM-Z使用的人脸检测器[11]返回的人脸区域看作人脸位置的真实值，那么CLM-Z算法能够容忍的人脸边界框偏离范围大约是人脸大小的1/6，如果偏离误差更大，将会导致CLM-Z的检测精度下降。

2.4 参数s初始化对CLM-Z检测精度影响的评估

为了定量地评估参数s初始化扰动对CLM-Z检测精度的影响，将通过缩放人脸边界框来扰动参数s，缩放比例是(0.5,2)，缩放步长是0.05。

表1 在伴有平移参数初始化扰动的情况下

图2为参数初始化扰动示例。

(a)将人脸(黑框)沿x轴和y轴分别平移-30像素(白框)

(b)将人脸(黑框)缩小到原始的0.75倍(白框)

(c)将初始位置(黑点)绕z轴旋转15o(白点)

图3展示了参数s初始值改变对CLM-Z算法拟合精度的影响。

图3 尺度参数初始化扰动对CLM-Z检测精度的影响

由图3可以看出，将原始人脸边界框的宽和高缩小至原来的0.75倍以下，所有特征点MNFE的平均值将会逐渐增大，误差增大幅度也会加大；而将原始人脸边界框的宽和高逐渐放大，直至1.5倍，CLM-Z算法的精度都几乎没有受到影响。但是，当放大比例超过1.5倍时，拟合误差将会再次增大，检测精度的下降速度逐渐加快。这主要是因为当人脸边界框的宽和高缩小至原来的0.5倍时，所有特征点的初始位置变得更接近，CLM-Z算法区分出人脸不同部位的难度将会更大；同样地，当人脸边界框的宽和高放大倍数超过1.5倍时，人脸边界框将不同程度地越过图像边界，使得特征点的初始位置偏离图像过远，最终导致拟合误差变大。

由实验可知，CLM-Z算法在(0.75,1.5)缩放范围内拟合精度稳定，这也说明了它对参数s的初始化扰动具有较强的鲁棒性。

2.5 参数R初始化对CLM-Z检测精度影响的评估

设计该实验的目的是明确参数R初始化对CLM-Z算法精度的影响。CLM-Z的旋转矩阵R与变量orientation一一对应。传统CLM-Z初始化参数R为单位矩阵，即orientation=[0;0;0]，三个0分别表示绕x轴、y轴以及z轴的旋转角。文中将在初始化R时，给定绕y轴和z轴的旋转角，旋转范围是(-30o,+30o)，旋转步长是10o。图2(c)为参数R初始化为单位矩阵和绕z轴旋转15o的特征点初始位置的示例，评估结果如表2所示。

表2 在伴有旋转参数初始化扰动的情况下，

由表2可知，给定y轴旋转[-10o,+10o]同时z轴旋转[-20o,+20o]，对CLM-Z的精度几乎不会产生影响；在z轴[-10o,+10o]范围内，将y轴的旋转角扩展至[-20o,+20o]也没有导致CLM-Z精度的下降。而在y=±30°，z轴在[-30o,+30o]范围内，CLM-Z算法都呈现出较高的拟合误差。

3 初始化方法的改进

文中将利用与图1中8个关键特征点对应的CLM-Z参数(称8点CLM-Z)进行测试，评估实验结果，并与原始CLM-Z(称66点CLM-Z)的8个关键特征点的检测精度进行比较，对比结果见表3。使用66点CLM-Z检测人脸特征点时，其中8个关键特征点的拟合误差远远低于使用8点CLM-Z时的误差，即当模型特征点数减少时，CLM-Z算法的检测精度也随之下降，这很可能是因为特征点数的减少使有价值的相对位置信息减少，并且人脸的全局几何约束和各人脸部位上特征点的交互也无法得到充分利用[14]。

表3 关键特征点的MNFE比较

因此基于上述实验对初始化影响的评估结果，文中进一步提出使用RCPR[13]在灰度图上检测29个特征点，然后提取其中8个关键特征点的检测结果,并用其近似值初始化8点CLM-Z的参数[s,t]以使特征点的初始位置更接近其真实值。当分别使用两种初始化方法时，8个关键特征点初始位置偏离其真实值的归一化距离见表4。紧接着评估在使用文中提出的初始化方法后8点CLM-Z的检测误差，并与使用传统初始化方法时的误差作比较，如表5所示。

表4 使用不同初始化方法时每个关键特征点

表5 使用不同初始化方法时的检测误差比较

从表4、5可以看出，当使用文中提出的初始化方法时，8点CLM-Z在序号1、4、12以及18上的拟合误差尽管略高于初始化的误差，但是总体来说，所有特征点MNFE的平均值比初始化误差的平均值降低了0.03。更重要的是，8点CLM-Z使用文中提出的初始化方法后总体误差比使用原始初始化方法降低0.47，可见文中提出的初始化方法能够显著提升8点CLM-Z的检测精度，这也充分证明了该方法的有效性。

4 结束语

在BU-4DFE数据库上系统地评估了CLM-Z模型对参数初始化误差的敏感程度，详细地评估了原始CLM-Z算法的检测精度，并将其作为后续实验的对比基准，紧接着通过三个实验定量地评估了参数初始化对CLM-Z算法精确度的影响。基于实验对初始化影响的评估结果，进一步提出采用RCPR检测结果的近似值初始化CLM-Z参数的方法，实验结果证明该方法能够有效提升CLM-Z的检测精度。

[1] 谢文浩,翟素兰.基于加权稀疏近邻表示的人脸识别[J].计算机技术与发展,2016,26(2):22-25.

[2] 祝 磊,朱善安.基于二维广义主成分分析的人脸识别[J].浙江大学学报：工学版,2007,41(2):264-267.

[3] 孔万增,朱善安.基于正交补空间的人脸识别[J].浙江大学学报：工学版,2008,42(4):571-573.

[4] 赵武锋,严晓浪.基于多尺度梯度角和SVM的正面人脸识别方法[J].浙江大学学报：工学版,2008,42(4):590-592.

[5] 李文书,何芳芳,钱沄涛,等.基于Adaboost-高斯过程分类的人脸表情识别[J].浙江大学学报:工学版,2012,46(1):79-83.

[6] 高 文,金 辉.面部表情图像的分析与识别[J].计算机学报,1997,20(9):782-789.

[7] 姜大龙,高 文,王兆其,等.面向纹理特征的真实感三维人脸动画方法[J].计算机学报,2004,27(6):750-757.

[8]CristinacceD,CootesTF.Featuredetectionandtrackingwithconstrainedlocalmodels[C]//Britishmachinevisionconference.[s.l.]:[s.n.],2006:929-938.

[9]GuL,KanadeT.Agenerativeshaperegularizationmodelforrobustfacealignment[C]//Europeanconferenceoncomputervision.Berlin:Springer,2008:413-426.

[10]BaltrušaitisT,RobinsonP,MorencyLP.3Dconstrainedlocalmodelforrigidandnon-rigidfacialtracking[C]//IEEEconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEE,2012:2610-2617.

[11]ZhuX,RamananD.Facedetection,poseestimation,andlandmarklocalizationinthewild[C]//IEEEconferenceoncomputervisionandpatternrecognition.[s.l.]:IEEE,2012:2879-2886.

[12]YinL,ChenX,SunY,etal.Ahigh-resolution3Ddynamicfacialexpressiondatabase[C]//8thIEEEinternationalconferenceonautomaticface&gesturerecognition.Amsterdam:IEEE,2008:1-6.

[13]Burgos-ArtizzuXP,PeronaP,DollárP.Robustfacelandmarkestimationunderocclusion[C]//ProceedingsoftheIEEEinternationalconferenceoncomputervision.Sydney:IEEE,2013:1513-1520.

[14]ZhouE,FanH,CaoZ,etal.Extensivefaciallandmarklocalizationwithcoarse-to-fineconvolutionalnetworkcascade[C]//ProceedingsoftheIEEEinternationalconferenceoncomputervisionworkshops.Sydney:IEEE,2013:386-391.

An Improved Initialization Method for 3D Constrained Local Model

XU Jin-wen,ZHAO Qi-jun,CHEN Hu

(National Key Laboratory of Fundamental Science on Synthetic Vision,Sichuan University, Chengdu 610065,China)

3D Constrained Local Model (CLM-Z) achieves high accuracy in detecting 3D facial landmarks (e.g., eye corners,nose tip and mouth corners) via taking full advantage of both intensity and depth information.CLM-Z is conventionally initialized based on the location of face and mean 3D facial model.The effect of CLM-Z initialization on detection accuracy is evaluated quantitively by carrying out the following experiments:assessing the accuracy of CLM-Z with the conventional initialization method on the BU-4DFE database,translating the face to perturb the initial value of translation parameter,varying the size of detected face to perturb the initial value of scale parameter,varying the rotation angles around y-axis and z-axis to perturb the initial value of rotation parameter.Experimental results show that CLM-Z can tolerate translations up to approximately 1/6of the width of the face,scalings between 0.75 and 1.50,and rotations within 20 degrees.Based on the above evaluation results,a novel initialization method is proposed further that exploits facial landmarks detected firstly on 2D texture images.Experiments on the BU-4DFE database show that the proposed initialization method can successfully improve the 3D landmark localization accuracy of CLM-Z approach.

3D facial landmark localization;3D Constrained Local Model (CLM-Z);initialization;Robust Cascaded Pose Regression (RCPR)

2016-03-18

2016-06-22

时间：2017-01-04

国家自然科学基金资助项目(61202160，61202161)；科技部重大仪器专项(2013YQ49087904)

许进文(1992-)，女，硕士生，研究方向为三维人脸特征点检测；赵启军，副教授，硕士生导师，研究方向为模式识别、机器学习以及计算机视觉等；陈 虎，讲师，硕士生导师，研究方向为模式识别、图像处理等。

http://www.cnki.net/kcms/detail/61.1450.TP.20170104.1102.090.html

TP

A

1673-629X(2017)01-0030-04

10.3969/j.issn.1673-629X.2017.01.007