基于改进Morphing算法的人脸动画生成算法

黄晓瑜

摘  要： 针对人脸渐变动画真实性和过渡效果难以提高的问题，文中基于图形渐变动画技术，提出一种改进的Morphing算法。该算法通过多次使用Adaboost算法以提高人脸特征定位的准确性和效率，同时又通过彩色和灰色图像的混合交叉渐变处理提高了人脸图像渐变效果的稳定性和真实性。经过测试与实验结果表明，该算法在未大幅提高计算量的同时，获得了真实性、稳定性和普适性较好的人脸渐变动画效果，且渐变过渡较为自然，为当前人脸动画生成的需求提供一种较为理想的技术解决方案。

关键词： 人脸动画; Morphing算法; 图像渐变; Adaboost算法; 人脸特征定位; 混合交叉渐变

中图分类号： TN911.73?34; TP393                文献标识码： A                     文章编号： 1004?373X（2020）22?0082?04

Abstract： In allusion to the problem that it is difficult to improve the authenticity and transition effect of facial morphing animation， an improved Morphing algorithm is proposed based on graphics morphing animation technology. The accuracy and efficiency of facial feature location are improved by means of the Adaboost algorithm for more times， and the hybrid cross morphing processing of color and gray images is performed to improve the stability and authenticity of the morphing effect of the facial image. The testing and experimental results show that the algorithm not only does not greatly increase the amount of computation， but also achieves the effect of facial morphing animation with good authenticity， stability and universality， and more natural morphing transition， which provides an ideal technical solution for the current demand of facial animation generation.

Keywords： facial animation; Morphing algorithm; image morphing; Adaboost algorithm; facial feature location; hybrid cross morphing

0  引  言

人臉作为面对面直观沟通的信息传播载体，能够通过丰富、复杂的细节变化传递个人的个性和情绪信息，也是动画领域关注的长期焦点[1?3]。在计算机出现之后，利用计算机人脸动画技术，如人脸渐变动画技术对人脸进行模拟和生成，有力推动了人脸动画的发展[4]。然而，由于人脸通常呈现出较多且复杂的细节特征（光照特性、色彩特征、背景特征等），人脸动画技术在如何提高真实性和过渡效果方面仍是计算机动画待解决的困难问题[5?6]。

因此，本文基于图形渐变动画技术提出一种改进的Morphing算法。通过提高人脸特征定位与图像渐变效果的稳定性和准确性，得到更加真实、稳定和自然的彩色人脸动画。

1  人脸渐变相关技术分析

图像渐变，即从两个方向对两幅图像（分别为源图像和目标图像）进行变形，再通过灰度融合产生中间图像，进而实现两幅图像间平滑渐变的操作过程。而人脸渐变意味着两幅图像皆为人脸图像的渐变过程，再添加颜色属性，即可成为彩色人脸渐变。在彩色人脸渐变中，主要使用到的技术分别为特征定义与提取、中间帧图像融合及图像变形技术。其典型架构如图1所示[7]。

具体而言，人脸渐变的实现流程为：选择目标图像和源图像的人脸特征，包括人脸特征网格、线段或点，产生DCF目标控制点及SCF源控制特征，并进一步对ICF中间控制特征信息进行描述：

在人脸特征定义过程中，需要依次定义人脸特征范围（包括基本器官、头部轮廓等）、确定精细程度（主要为特征点个数）和确定定义形式（可以选择特征网格、特征线段或特征点三种类型信息）;在特征提取过程中，则主要考虑使用自动或是手工提取方式[8]。

在人脸图像变形过程中，主要涉及重采样（包括领域平均插值、最近邻插值和双线性插值等）及空间映射（包括后向和前向映射）两种技术。前者用于映射关系函数计算像素值的取整，后者用于图像变形前后像素点映射关系的建立[9?10]。考虑到人脸动画的真实性，本文的重采样选用了双线性插值技术;为了避免“空洞”和“交叉”问题，本文的空间映射选用了后向映射。

在中间帧图像融合过程中，一般采用交叉溶解技术用于实现图像混合，即根据透明度对Image_D目标图像及Image_S源图像进行线性插值融合：

目前，常用的人脸图像渐变算法主要为基于点特征（主要为径向基函数变形算法）、基于线段特征及基于网格特征（规则和不规则网格）的渐变算法[11]。这3类算法虽均可实现人脸渐变，但也存在用户操作不友好、复杂背景操作困难等问题。考虑到点特征具有较容易的映射关系指定和数据获取，本文在基于点特征的渐变算法基础上，对其进行改进。

2  改进的Morphing算法的分析和设计

2.1  改进的MR?ASM算法

ASM算法是基于形状分离、灰度和统计学提出的一种可变形模型，可以用于实现汽车图像跟踪、器官分割和特征定位等功能。但该算法在计算速度、效率及检测准确性上均存在较大的不足[12]。而MR?ASM算法则通过引入多分辨率分析来改善上述问题，其基本思想可描述为：通过较大跳跃寻找粗糙图像（原始图像的基础上缩小后的图像）中的指定目标，从而进行粗略定位;不断提高图像的清晰度，通过越来越小的移动即可实现比传统的ASM算法更快速、更准确的定位操作。但是令人遗憾的是，MR?ASM算法的人脸区域检测和搜索范围仍过大，因此本文通过引入Adaboost算法来进一步提高人脸特征定位的准确性和效率，该算法可描述为：

1） 输入待检测图像Imag 0。

2） 定义临时变量Temp 0和Temp 1，分别用于表示搜索前后的人脸区域。

3） 用待检测图像初始化Temp 0。

4） 对Temp 0进行人脸检测（i层），若检测成功，令Temp 0=Temp 1，并对Temp 0的区域进行中心不变的缩小（缩小0.20）;否则，跳出循环，并将Temp 0作为最终人脸区域进行输出。

值得注意的是，本文改进的MR?ASM算法多次使用Adaboost算法。在首次使用时，选用较大的搜索尺度，从而提高搜索速度;在后续使用时，先减小搜索范围再使用Adaboost算法，从而提高搜索效率和准确性。

2.2  改进的渐变控制算法

传统的交叉溶解技术主要在合成图像质量、对比度等方面存在较大的不足，因此本文在渐变过程中对源图像的色彩处理（淡入和淡出）与目标图像的色彩处理分离开来。在保证色彩的连贯性和自然性的同时，分离了两者的色彩干扰[13]。具体而言，首先需要将彩色图像转换为灰度图，以及需要将RGB模式转换为HSI模式。其中，灰度图由式（5）给出，从而实现彩色像素到对应像素灰度值的转化。

在上述处理完成后，对图像进行渐变处理。在这一过程中，以中间时刻为分界线，用A与B分别代表源图像和目标图像，用C与D分别代表由源图像和目标图像转化得到的灰度图像。分析可知，A与B分别在前、后半周期内的中间帧M占据着视觉优势，且在远离中间帧的过程中逐渐变弱。因此，可以通过混合渐变A与D及B与C来实现A～B的顺滑渐变。此外，考虑到中间帧附近的过渡问题，本文引入HSI模型进行处理并调整饱和度分量，从而保证前后半周期的自然过渡。其相应的算法描述如下：

3  实验测试与结果分析

本文实验的硬件环境为Core i9 9900处理器，1 TB硬盘，16 GB内存;软件环境为Windows 7平台下的VC++ 6.0。此外，测试所用的源图像和目标图像皆为PNG格式，大小为385×228，共200张。

图2为本文使用改进的MR?ASM算法对人脸进行特征点提取和定位的效果图。从图中可以看到，本文的特征点提取效果良好，提取出的特征点位置能够较好地描述人脸图像中的五官形状，且在彩色和灰色图像下提取的特征点基本一致，表明本文人脸特征点提取与定位具有较高的稳定性和可行性。

图3为本文算法及利用交叉溶解技术实现的人脸渐变动画效果图。易知，本文算法具有更自然的过渡效果，受源图像和目标图像色彩差异的影响较小，且只比交叉溶解技术算法多消耗了42 ms的时间。

本文针对其他图像同样采用Morphing算法进行人脸动画生成测试，如图4所示。从测试结果可以看到，本文算法具有普遍的适用性和稳定性，人脸动画效果较为真实，渐变过渡较为自然。

4  结  语

为了提高人臉渐变动画的真实性，本文基于图形渐变动画技术提出一种改进的Morphing算法。该算法借助Adaboost算法提高人脸特征定位的准确性和效率;借助彩色与灰色图像的混合交叉渐变处理方法，提高人脸图像渐变效果的稳定性和准确性。经过测试，该算法对于人脸渐变动画真实性和稳定性的提高具有较好的效果，且渐变过渡较为自然，能够给人脸动画的生成提供一定的技术指导。

参考文献

[1] 闫衍芙，吕科，薛健，等.基于深度学习和表情AU参数的人脸动画方法[J].计算机辅助设计与图形学学报，2019，31（11）：1973?1980.

[2] 李俊龙，章登义，黄珺.Kinect驱动的人脸动画合成技术研究[J].计算机工程，2015，41（3）：237?241.

[3] KONSTANTINOS Vougioukas， STAVROS Petridis， MAJA Pantic. Realistic speech?driven facial animation with GANs [J]. International journal of computer vision， 2019（6）： 1?16.

[4] TERO Karras， TIMO Aila， SAMULI Laine， et al. Audio?driven facial animation by joint end?to?end learning of pose and emotion [J]. ACM transactions on graphics， 2017， 36（4）： 1?12.

[5] HAI X Pham， SAMUEL Cheung， VLADIMIR Pavlovic. Speech?driven 3D facial animation with implicit emotional awareness： a deep learning approach [C]// IEEE Conference on Computer Vision and Pattern Recognition Workshops. Boston： IEEE， 2017： 25?37.

[6] CHRISTOS Ouzounis， ALEX Kilias， CHRISTOS Mousas. Kernel projection of latent structures regression for facial animation retargeting [C]// Workshop on Virtual Reality Interaction & Physical Simulation Vriphys. San Francisco： VRIPHYS， 2017： 611?622.

[7] 董兰芳，王建富，夏泽举，等.多张人脸图像的自适应渐变动画[J].小型微型计算机系统，2015，36（12）：2754?2759.

[8] ROTSHTEIN P， HENSON R N A， TREVES A， et al. Morphing marilyn into maggie dissociates physical and identity face representations in the brain [J]. Nature neuroence， 2005， 8（1）： 107?113.

[9] SEIBOLD C， SAMEK W， HILSMANN A， et al. Detection of face morphing attacks by deep learning [C]// 16th International Workshop on Digital Forensics and Watermarking. Cham： Springer， 2017： 71?79.

[10] BUI T D， POEL M， HEYLEN D， et al. Automatic face morphing for transferring facial animation [C]// Iasted International Conference on Computer Graphics & Imaging. Portland： ACTA Press， 2003： 12?24.

[11] HILDEBRANDT M， NEUBERT T， MAKRUSHIN A， et al. Benchmarking face morphing forgery detection： Application of stirtrace for impact simulation of different processing steps [C]// 2017 5th International Workshop on Biometrics and Forensics. Richmond： IEEE， 2017： 314?326.

[12] LANFANG D， ZEJU X I A， WU Y， et al. Method and device for generating morphing animation： US8531484 [P]. （2013?09?10）[2019?01?24].

[13] RAGHAVENDRA R， RAJA K， VENKATESH S， et al. Face morphing versus face averaging： Vulnerability and detection [C]// 2017 IEEE International Joint Conference on Biometrics. Salt Lake City： IEEE， 2017： 79?91.