基于特征提取的脸部建模动画系统

杨金秋　童立靖　付孝琴

摘要：脸部建模是特效电影和电脑游戏中展现现代视觉效果的关键。本文针对三维人脸模型的动态建模，提出一种基于特征提取的建模方法。对于捕获的人脸图像，首先定位其人脸区域，然后提取人脸区域的人脸特征点，同时根据提取得到的人脸特征点对标准三维人脸模型进行形变处理，最后得到一个实时的三维人脸动画系统。实验结果表明，该方法针对三维人脸建模能够实时稳定地完成相应表情的人脸建模，具有较高的实时性、准确性。

关键词：人脸建模；特征提取；径向基函数网络；动画系统

中图分类号：TP391 文献标识码：A 文章编号：1007-9416（2018）09-0034-03

1 介绍

在人脸建模问题上，Moeini A，Moeini H等人提出了一种三维面部表情通用弹性模型（3D FE-GEM）[1]，该模型仅使用具有面部表情的单个2D正面图像来重构当前数据库中每个人脸表情的3D模型。Guo，Yudong等人在提出了一种新颖的人脸数据生成方法[2]。Lin K，Wang X等人提出了一种视觉传感器网络中的协同多视图非合作三维人脸重建方法[3]，提出了一种轻量级的人脸图像质量评估方法来搜索最优人脸图像并实现建模。

本文的算法思路为：首先将图像中人脸定位出来，然后对人脸区域提取出特征点信息，同时根据提取得到的人脸特征点对标准三维人脸模型进行形变处理，最后得到一个实时的三维人脸动画系统。本文的算法流程图如图1所示。

2 人脸定位

人脸定位是人脸特征点提取的第一步，也是关键一步，能否准确定位出人脸区域是整个特征点提取过程的必要前提，本文使用的是检测快速准确的基于haar特征和图像预处理相结合的人脸定位方法。具体操作是在调用检测器前首先对图像进行预处理操作。首先将彩色图像转化为灰度图像，然后进行直方图均衡化（Histogram Equalization）處理，最后显示人脸定位的处理结果。本文方法处理流程如图2所示。

在相同的实验环境下，本文分别采用传统基于haar特征的人脸定位方法与本文提出的图像预处理相结合的人脸定位方法进行对比，结果如图3所示。

从实验结果中可以看出，当人脸角度发生偏转、周围环境灯光噪声较多时，基于haar特征的方法产生的人脸定位结果发生错误，而本文提出算法的定位结果是正确的。

3 人脸特征点提取

landmark算法具有计算速度快、性能稳定特点，因此本文基于mark算法进行了人脸特征点的提取，在算法中，采用多个回归器级联，每个回归器的预测基于前一次图像的预测得到。公式（1）中向量S表示形状。我们使用来表示我们当前对S的估计。级联中的每个回归γt （.，.）的预测值来自图像的更新向量和添加到当前形状估计的值：

假设我们有训练数据（I1，S1），...，（In，Sn），其中每个Ii是一个脸部图像和Si它自身的形状向量。要学习在级联中的第一个回归函数r0我们要从训练数据三元组中得到一个人脸图像，从而得到初始形状估计和目标更新步骤，对于一个训练集，学习率设为0

4 个性化人脸建模

个性化人脸模型建立在Candide-3中性人脸模型的基础上，首先通过将视频图像中提取的人脸特征点与Candide-3模型中的五官的特征点进行绑定，实现三维人脸模型特征点的初步位移，然后通过RBF插值算法对模型进行细致形变最后附加纹理信息得到最终的富有真实感的三维人脸模型。

Candide-3中性模型中的每个顶点都对应3个坐标值x、y、z，顶点坐标为）Pi=（xi，yi，zi），Candide-3模型可以用公式形式化的表示为：

为了能够对人脸网格模型经行细致变形，本文使用径向基函数网络（Radial basis function network）[4]。首先需要选取有限的特征点并计算其位移，然后选取适当的散乱数据插值方法，通过求解适当的空间插值函数，来计算其他特征点的位移，这样就完成了对整个人物头像网格模型的弹性变形。

绑定纹理可以使模型效果更加形象逼真。本文采用的方法是调用openGl的绑定纹理函数。具体步骤是启用纹理、载入纹理以及纹理的显示。其中纹理的显示部分如下：

（1）显示某个纹理之前先绑定glBindTexture（GL_TEXTURE _2D，texGround）；

在进行绑定之前对纹理图像和Candide-3模型进行对齐操作，保证五官的位置与模型中五官的位置与比例是相等的。

（2）指定绘制方法glBegin（GL_TRIANGLES）；

基于Candide-3模型是由三角网格构成，故使用三角网格的形式进行一一对应的绑定。

（3）指定纹理坐标和对应顶点glTexCoord2f（0.0f， 0.0f）；gl Vertex3f（-8.0f， -8.0f， 0.0f）。

5 实验结果

实验环境为：Inter（R） Core（TM） i7-6820HQ CPU @ 2.70 GHz，16 GB内存，Windows 7 64位操作系统，Microsoft Visual Studio 2015。使用语言为C++、OpenGL和OpenCV。

图4显示了本文完成的三维人脸建模动画系统的运行结果页面。系统运行后（需允许打开内置或外接的摄像头），随着操作者的表情变化，即可实时得到相应的三维人脸模型。

6 结语

本文针对人脸建模动画提出了一种基于特征提取的方法。对于捕获的人脸图像，首先定位其人脸区域，然后提取人脸特征点，同时根据提取得到的人脸特征点对标准三维人脸模型进行形变处理，最后得到一个实时的三维人脸动画系统。实验结果表明，该方法针对三维人脸建模能够实时稳定地完成相应表情的人脸建模，具有较高的实时性、准确性。该技术在影视特效、电脑游戏以及虚拟现实等领域具有较好的应用前景。

在本課题的研究过程中发现，在人脸表达细微表情时人脸的动态建模发生了形变失真。针对形变失真问题[5]，提出相应的形变处理算法是下一步需要研究的具体内容。

参考文献

[1]Moeini， Ali （2015）Multimodal Facial Expression Recognition Based on 3D Face Reconstruction from 2D Images.Face and Facial Expression Recognition from Real World Videos.DOI： 10.1007/978-3-319-13737-7_5.

[2]Y. Guo， J. Zhang， J. Cai， B. Jiang and J. Zheng（2018）CNN-based Real-time Dense Face Reconstruction with Inverse-rendered Photo-realistic Face Images.IEEE Transactions on Pattern Analysis and Machine Intelligence.DOI：10.1109/s20182837742.

[3]Kuicheng Lin， Xue Wang， and Yuqi Tan（2016.）Self-adaptive morphable model based collaborative multi-view 3d face reconstruction in visual sensor network. Multimedia Tools Appl. 2016：11469-11491.

[4]Li Shuqin（2012）Research on 3D character avatar generation technology based on photos.Dissertation， North China University of Technology.

[5]Xia，Chen， Wang， XiaoHua （2018）Facial expression recognition under partial occlusion based on fusion of global and local features. Ninth International Conference on Graphic and Image Processing， Regal Oriental Hotel， Hong Kong，24-26 February 2018.