对人脸表情迁移与分析方法的探讨

胡诗琦



对人脸表情迁移与分析方法的探讨

胡诗琦

（郑州大学，河南 郑州 450000）

人的面部表情是表达思想情感的重要渠道，人脸表情迁移则是通过先进的技术方法，再现人脸表情，以满足艺术设计等领域的需要。首先对人脸表情迁移与分析的研究现状进行了介绍，然后分别研究了静态人脸表情迁移的频域分析方法和动态人脸表情迁移的非线性TensorFace分析方法，并给出了具体的模型及算法。

人脸图像；面部表情；表情迁移；迁移方法

人的面部表情是一种十分微妙的形体语言，对其进行分析，可以洞察人的内心世界。在影视、动漫等艺术设计领域，要塑造一个逼真的人物形象，对人的面部表情刻画十分重要。在计算机技术的快速发展下，已经能够通过采用相应的模型和算法再现人脸表情，实现人脸表情迁移。但不同算法各有优缺点，还需要对其进行进一步研究。

1 人脸表情迁移与分析的研究现状

人脸的生理结构非常复杂，从外部的皮肤层到中间的肌肉层，再到内部的骨架层，都会对人的表情产生一定影响。一个表情的产生过程是脸部肌肉复杂运动的结果，常伴随着眼轮匝肌、皱眉肌、口轮匝肌等的运动。有学者通过对不同种族的人脸表情进行分析，通过构建人脸表情编码系统，将人脸划分为44个独立运动单元，并对各个运动单元的特征进行分析，指出不同运动单元的控制面区和对人脸表情的影响等。目前关于人脸表情迁移的研究较多，作为一个跨学科研究课题，其涉及的领域主要包括图像处理、模式识别、计算机视觉、计算机图形学、机器挖掘等。近年来，虚拟现实技术也在人脸表情迁移中得到了应用，并成为制作虚拟人物的重要技术手段。人脸表情迁移的应用领域十分广泛，包括数字娱乐领域、企业办公领域、医疗领域、刑侦领域等[1]。总体而言，对人脸迁移与分析方法进行研究具有多方面的意义。同时，由于人脸表情的复杂性，对其进行迁移或合成也具有较高的难度。目前已有的研究成果包括基于面部表情产生原理的肌肉模型、模拟人脸生理结构的有限元方程模型、基于行为驱动的视频流获取方法、三维人脸形变模型等。本次研究将在已有研究成果的基础上，重点探讨基于频域分析方法的静态人脸表情迁移和基于非线性TensorFace的动态人脸迁移方法。

2 静态人脸表情迁移的频域分析方法

2.1 人脸表情静态迁移的特点

人脸是非刚性结构，在表情变化的过程中，存在自遮挡现象。比如产生高兴和惊恐等表情，会引起人脸的眼部、嘴部发生非线性形变。人脸静态迁移方法就是基于形变合成技术，通过训练待迁移的表情形状，将人脸表情纹理信息等映射到目标状态下。但如果在迁移过程中，只关注于局部特征点的运动，而没有实现对诸多微小褶皱信息的迁移，则会导致迁移图像失真。因此，可采用将表情比率图与形变模型结合的方法，使迁移图像能够最大化地保持人脸表情的特点。从目前已有的研究成果来看，有学者利用参数表观模型（AAM）和主成分分析技术（PCA）对人脸表情的形状、纹理分量等进行处理，然后通过合成再现人脸表情细节。也可以采用梯度下降搜索及其他优化方法，拟合人脸形状与纹理分量。这些方法都对人脸表情静态迁移提供了很好的思路。基于频域分析的静态人脸表情迁移，先对输入的人脸图像进行AAM处理，得到形状和纹理分量，然后利用小波分解方法，将其变换到频域，进一步合成人脸表情细节，最后完成人脸表情的合成。由于频域中的图像细节表现更加明显，所以采用这种从时域变换到频域的迁移方法可以获得更好的人脸表情迁移效果[2]。

2.2 小波变换理论

在人脸表情分解和频域变化的过程中，主要以小波变换理论为基础。小波变化理论是由法国工程师J.Morlet率先提出的，属于信号时间尺度分析方法，具有多分辨率分析的特点。相比于窗口傅里叶变换等，小波变换理论在时序和频域都具有较好的局部化特性，非常适用于图像信息提取，拥有“数学显微镜”之赞誉。在图像处理方面，小波变化的基本流程是图像信号输入、小波正变换、频域图像处理、小波逆变化、图像输出。在人脸表情迁移过程中，还需要使用到连续小波变化，即对基本小波的尺度进行伸缩和平移。由于数字图像具有二维离散信号的特征，也涉及到离散小波变化，即尺度和位移两个参数是离散的，需要针对其具体参数进行离散化，而不是对时间变量.再加上实际观测的信号是非连续的，所以必须要利用离散小波变化进行处理。目前在离散小波变换算法中，效率较高的是塔式算法，将输入信号分为高频与低频一部分，高频部分包含边缘、突变信息，低频部分包含输入信号主要特征信息。

2.3 基于频域分析的迁移方法

基于频域分析的人脸表情迁移方法就是利用上述离散小波变化算法，将人脸图像分为高频、低频两部分分量，用高频分量表现人脸纹理的详细信息，用低频分量表现人脸脸型和几何结构特征信息。这种迁移方法的基本流程是采用AAM模型完成输入图像的形状信息与纹理信息分离，然后将人脸形状对齐到平均形状下。选择目标人脸中性表情后，经过仿射变化，将中性表情图像映射到源人脸表情状态下，得到形变后的目标人脸图像。此时该图像还缺少表情细节，需要对形变表情图像进行二维离散小波分解。通过频域变化得到源表情图像与形变表情图像之间的差异，计算合成图形所需权值，然后通过频域处理，提取出表情细节。最后将表情细节转移到目标人脸图像中，完成图像合成。采用这种方法，能够较好地保持源人脸表情图像的细节，同时完美地嵌入到目标人脸的外貌特征中。

3 动态人脸表情迁移的非线性TensorFace分析方法

3.1 动态人脸表情迁移需求

人脸表情变化伴随着复杂的肌肉运动，一些表情持续时间较长，一些表情可能转瞬即逝，研究动态面部表情迁移方法需要充分考虑这些特点。而且从应用角度来看，掌握脸部动态变化比在静态下完整的提取人脸表情特征更加重要。在动态人脸表情的研究中，需要同时关注人脸的特征信息及面部运动。其中，运动信息对合成真实感较强的人脸表情有重要影响。目前人脸表情迁移在影视和游戏制作方面已经得到了广泛应用，比如《长江7号》中的“七仔”就是迁移了喜剧演员周星驰的人脸表情，这种技术在《阿凡达》《指环王》《金刚》等作品中都得到了广泛应用。动态人脸表情迁移主要是通过构建人脸三维模型或建立人脸表情流，实现人脸表情的迁移与合成。在游戏制作领域具有出色表现的韩国研究机构利用计算机图形学合成三维人脸动画模型，在模型克隆过程中，可以较好地保持人脸个性特征。在借鉴已有方法的基础上，本次研究主要采用非线性TensorFace模型完成动态人脸表情迁移，以多线性分析张量理论为基础，满足面部运动变化等方面的迁移需求[3]。

3.2 张量基本理论

张量基本理论研究的是多维矩阵，是在矢量与矩阵概念基础上形成的一种确定类型，用来表达多线性概念。其中，张量维数称为阶数，三阶以下的张量形象可以用图示表示，三阶以上则无法用图示表示，统称高阶张量。张量的本质是多线性函数，在传统线性方法基础上，由矩阵奇异值分解（SVD）概念发展为张量SVD。利用张量人脸模型进行人脸表情迁移，可以在光照、姿势、角度等多因素影响下，成功获取人脸图像特征，而且非线性较强。向量不能替代全部人脸表情信息，采用张量模型进行表征可以获得更自然的模型数据。早期张量模型将人脸表情图像的影响因素排列为高阶张量，给定一组人脸图像序列，将图像按照像素信息、表情变化、结构特征等排列成张量D，用张量SVD对其进行分解，依次扩展到表情参数空间、像素基空间。相比于传统线性分析方法，采用张量模型可以在人脸表情受多因素影响时，仍然采用统一基向量表示，分别利用不同模矩阵代表不同影响因素。最后在不同影响因素的相互作用下，生成人脸表情图像。

3.3 基于非线性TensorFace的迁移方法

面部表情运动会同时引起人脸形状及纹理信息的变化，可以采用AAM模型实现对人脸表情图像中形状、纹理的分离。其中，显著特征点包括眼睛、嘴巴、鼻子、眉毛和脸轮廓等，表示为向量，纹理信息表示为向量，为描述动态表情序列，引入表情流，并与张量模型结合，可以同时解决人脸表情的线性与非线性问题。首先对人脸表情进行预处理，然后将中性表情纹理信息映射到表情平均形状下，采用静态处理的方法完成人脸图像对齐，再进行归一化，确保各图像大小一致。接下来在给定人脸图像训练集上按结构特征、表情、像素信息等对人脸图像进行排列，得到三阶张量T。经过张量SVD分解后，样本图像被分解到结构特征空间、表情空间和像素空间中。其中，表情系数都是离散的，按从中性到峰值顺序排列，采用样条拟合方法进行插值。最后得到平滑的表情流结构，可代表表情动态变化过程，保持在表情邻域结构中，此时可以用非线性TensorFace模型生成表情动态变化序列图，为影视、游戏人物头像制作等提供支持。

4 结束语

综上所述，人脸表情图像迁移由于人脸表情的复杂性以及运动过程中的复杂肌肉变化，导致其难度较高。通过在已有研究成果的基础上，分别采用基于频域的静态迁移方法和基于非线性TensorFace模型的动态迁移方法，可以较好地再现人脸表情细部特征，反映其运动变化过程。本次研究提出的两种迁移方法，可以为实际应用领域提供支持，满足人脸表情迁移需求。

［1］刘春平，高翔，张建伟，等.基于人脸关键点的表情实时动态迁移［J］.现代计算机（专业版），2019（02）：41-45.

［2］翟懿奎，刘健.面向人脸表情识别的迁移卷积神经网络研究［J］.信号处理，2018，34（06）：729-738.

［3］姜慧.基于迁移学习的人脸识别研究［D］.青岛：青岛科技大学，2018.

2095－6835（2019）05－0096－02

TP391.44

A

10.15913/j.cnki.kjycx.2019.05.096

〔编辑：王霞〕