结合人脸表情和变形技术的人脸卡通动画系统设计与实现

伍菲

摘 要： 针对实时生成人脸卡通动画的需求，设计和实现一种结合人脸表情与变形技术的人脸卡通动画系统。该系统包括人脸检测、特征点定位、人脸表情生成和人脸变形4个部分，首先，使用Haar特征和级联AdaBoost分类器检测人脸，并使用主动形状模型定位人脸特征点;然后，根据人脸特征和已有的卡通素材器官合成与真实人脸所对应的卡通人脸，并合成动态表情;最后，使用图像变形技术对人脸进行夸张变形处理，生成具有幽默、夸张效果的人脸图像。基于Matlab的实现效果表明，该系统能实时、高效地处理真实人脸图像。

关键词： 卡通人脸; 图像处理; 人脸表情; 图像变形; 人脸检测; AdaBoost

中图分类号： TN911.73?34; TM76 文献标识码： A 文章编号： 1004?373X（2018）12?0056?03

Abstract： In allusion to the real?time generation demand of human face cartoon animation， a human face cartoon animation system combining face expressions and deformation technology is designed and implemented. The system includes four parts of face detection， feature point location， face expression generation， and face deformation. The Haar feature and concatenated AdaBoost classifier are used to detect faces， and the active shape model is used to locate face feature points. The cartoon face corresponding to the real face is synthesized according to the face features and the existing cartoon material organs， and the dynamic expressions are synthesized. The image deformation technology is used to exaggerate and distort faces to generate humorous and exaggerated face images. The realization effect based on Matlab shows that the system can process real face images in real time and with high efficiency.

Keywords： cartoon face; image processing; face expression; image deformation; face detection; AdaBoost

0 引 言

隨着网路、手机等多媒体技术的发展，数字娱乐的形式越来越丰富多彩，内容也更加多样化[1?3]。其中，以卡通、动画、视频和游戏等为代表的动漫产业及其衍生品带来了约5 000亿美元的产值，已成为众多国家或地区的经济增长点[4?6]。

近年来，涌现了诸多与人脸卡通相关的应用和软件，如“魔漫相机”“脸萌”等均使用图像处理的方法得到卡通人脸，并将人脸以卡通形象的方式展示出来，受到了广泛欢迎[7]。

目前，人脸卡通化大致可以分为基于模型的方法和基于图像的方法。基于图像的方法即使用卡通纹理绘制真实人脸，将真实人脸使用特定的艺术风格表现出来[8]。基于模型的方法又可分为基于匹配和基于生成的方法[9]，基于匹配的方法使用卡通模板组件来匹配合成卡通画以保证美观性和卡通效果;而基于生成的方法使用机器学习和图像处理技术生成卡通画，具有明显的风格特点。

基于以上分析，本文设计和实现了一种结合人脸表情与变形技术的人脸卡通动画系统。该系统包括人脸检测、特征点定位、人脸表情生成和人脸变形4个部分，使用图像处理技术能实时、高效地处理真实人脸图像，并生成具有幽默、夸张效果的人脸卡通图像。

1 系统整体架构

人脸卡通动画系统设计包括人脸动画和卡通肖像两大内容。首先，使用Haar特征和级联AdaBoost分类器检测人脸，并使用主动形状模型定位人脸特征点;然后，根据人脸特征和已有的卡通素材器官合成与真实人脸所对应的卡通人脸，并合成动态表情;最后，使用图像变形技术对人脸进行夸张变形处理，生成具有幽默、夸张效果的人脸图像。该系统整体原理结构如图1所示。

2 系统设计与实现

2.1 人脸检测与特征点定位

人脸含有丰富的表征身份、年龄和性别等信息的特征，为了生成具有个性化的人脸卡通图像，需要先提取出人脸图像的特征。对于一张输入图像，需要先检测和定位人脸在图片中的具体位置。然后，定位人脸的特征点便于后续提取及分析人脸各器官的特征。

本文使用Viola和Jones提出的基于特征的人脸检测方法实现人脸检测。该方法首先使用积分图从一系列人脸图像训练样本中提取Haar?like特征;然后，使用AdaBoost分类器从所提取的特征中选择出最能代表人脸的特征，并生成弱分类器[10?11]，再根据弱分类器的具体分类精度，为其赋予不同的权重;最后，根据生成的弱分类器的权重，级联这些分类器得到具有较高检测精度的强分类器。该人脸检测算法具有检测率高和速度快的特点，能有效且鲁棒地检测出输入图像中的人脸。

人脸特征点表征了人脸各个关键位置的形状信息，使用这些特征点可准确地定位出眼睛、眉毛、嘴巴、鼻子和外轮廓的位置[12?13]。本文使用主动形状模型算法定位人脸特征点，该算法首先需要搜集和标定人脸关键特征点，构建样本库;然后使用平移、旋转和缩放等仿射变换归一化处理样本;最后，使用主成分分析法对样本向量进行降维，并用样本向量的主成分表示任意一组特征点集。

2.2 人脸表情生成

人脸表情生成模块根据人脸特征和已有的表情素材库合成人脸所对应的卡通表情，包括人脸特征提取、卡通动画生成和动态表情生成3个步骤：

1） 人脸特征提取：使用上述方法检测和定位人脸，并提取人脸的纹理和形状特征作为后续流程的输入。

2） 卡通动画生成：该步骤首先构建卡通器官与真实器官间的映射关系。然后，将输入人脸划分为如图2所示的层次器官组件，并找到各个器官所对应的卡通素材器官。最后，拼接所有的卡通素材器官得到合成的卡通人脸。

3） 动态表情生成：该步骤使用已有的表情模型库合成卡通表情，首先使用上一步合成的卡通人脸将各器官嵌入到Bezier曲面中。然后，使用表情动作所对应的参数来改变Bezier曲面的控制点，从而合成各种器官丰富的动态表情。

2.3 基于变形技术的卡通动画生成

图像的变形即使用比例变换、平移变换和旋转变换等将一幅图像平滑地转换为另一幅图像。常用的图像变形方法有图像映射算法、样条函数的曲面变形方法和基于轮廓的多边形变形方法。

为了实现卡通人脸的夸张效果，本文使用数字图像的映射方法对输入的卡通人脸进行收缩、拉伸和扭曲等变换。该方法将原始图像S和输出图像A均看作一个矩形区域，并实现S向变形区域P的映射。由于P区域明显小于输入图像S，所以映射过程通常会发生挤压或拉伸等现象，从而得到了输入图像S的变形效果。映射结束后，需要使用皮肤颜色或背景色填充空白像素点，实现图像的平滑过渡，从而避免出现模糊或马赛克的现象。具体的图像变形过程如下所述：

1） 使用线性插值法将S全部映射到A中，由于在插值过程中每一行或列处理的像素点数量不同，故可以得到图像放大或缩小的效果。

2） 根據输入图像A的宽度w1和其所对应的变形区域宽度w2的比值[α=w1w2]与1的关系确定是对输入图像的拉伸变换还是挤压变形。当α<1时为挤压变形，有[A=i=0m-1Bim]。其中，m为输入图像S中需要挤压的像素点的数目，[Bi]为其所对应的值;当α>1时则为拉伸变换，有[A=1-iW*B0+iW*B1]。其中，W为需要插值的像素点数目，[B0]和[B1]分别为插值区域的起始与终止点像素，i为插值点。

3 试验与结果分析

本文使用Matlab实现具体的人脸卡通动画系统，并使用摄像头实时采集视频作为输入，视频图像的输入帧率为30 f/s，大小为640×480。系统整体界面如图3所示。系统平均处理时间统计如表1所示。

图3所示界面的左上角为系统实时获取的输入图像，左下角为最终得到的人脸卡通肖像图，右边为人脸器官组件素材库，当用户对系统生成的图像不满意时可手动从素材库中选择动画素材。从表1可以看出，本系统处理所需要的时间不超过25 ms。因此，可实时获取不同人脸的卡通图像。

4 结 语

本文设计和实现了一种结合人脸表情与变形技术的人脸卡通动画系统。该系统包括人脸检测、特征点定位、人脸表情生成和人脸变形4个部分。首先，使用Haar特征和级联AdaBoost分类器检测人脸，并使用主动形状模型定位人脸特征点。然后，根据人脸特征和已有的卡通素材器官合成与真实人脸所对应的卡通人脸，并合成动态表情。最后，使用图像变形技术对人脸进行夸张变形处理，生成具有幽默、夸张效果的人脸图像。基于Matlab的实现效果表明，该系统能实时、高效地处理真实人脸图像，并生成具有幽默、夸张效果的人脸卡通图像。

参考文献

[1] 李君涵.针对视频的人脸卡通化方法研究[D].成都：电子科技大学，2016.

LI Junhan. Research on video based face cartoon method [D]. Chengdu： University of Electronic Science and Technology of China， 2016.

[2] 宋阳，刘艳丽.基于照片的可编辑光照效果卡通人脸生成算法[J].图学学报，2015，36（1）：83?89.

SONG Yang， LIU Yanli. An algorithm generating human face cartoon portrait including light editing based on photo [J]. Journal of graphics， 2015， 36（1）： 83?89.

[3] 刘胜.基于Gabor小波的人脸表情识别研究[D].武汉：华中科技大学，2015.

LIU Sheng. Studies on facial expression recognition based on Gabor wavelet [D]. Wuhan： Huazhong University of Science and Technology， 2015.

[4] 郭耸，顾国昌，蔡则苏，等.基于特征融合与决策树级联结构的多姿态人脸检测[J].沈阳工业大学学报，2012，34（2）：203?208.

GUO Song， GU Guochang， CAI Zesu， et al. Multi?pose face detection based on feature fusion and decision tree cascade structure [J]. Journal of Shenyang University of Technology， 2012， 34（2）： 203?208.

[5] 王寅.基于局部自适应核回归的AdaBoost人脸检测算法研究[D].南京：南京航空航天大学，2012.

WANG Yin. Research on AdaBoost face detection algorithm based on local adaptive kernel regression [D]. Nanjing： Nanjing University of Aeronautics and Astronautics， 2012.

[6] ZHOU J， TONG X， LIU Z， et al. 3D cartoon face generation by local deformation mapping [J]. Visual computer， 2016， 32（6?8）： 717?727.

[7] 李帅.风格化人脸肖像漫画生成技术的研究与实现[D].桂林：桂林电子科技大学，2015.

LI Shuai. Research and implementation of stylized face portrait cartoons generation technology [D]. Guilin： Guilin University of Electronic Technology， 2015.

[8] 范玉磊.基于AdaBoost与SVM的人脸表情识别研究[D].太原：中北大学，2011.

FAN Yulei. Face expression recognition based on AdaBoost and SVM [D]. Taiyuan： North University of China， 2011.

[9] 牛连强，赵子天，张胜男.基于Gabor特征融合与LBP直方图的人脸表情特征提取方法[J].沈阳工业大学学报，2016，38（1）：63?68.

NIU Lianqiang， ZHAO Zitian， ZHANG Shengnan. Extraction method for facial expression features based on Gabor feature fusion and LBP histogram [J]. Journal of Shenyang University of Technology， 2016， 38（1）： 63?68.

[10] 高娜，彭亚丽，高佳美，等.结合主成分分析和局部导数模式的人脸识别方法[J].现代电子技术，2014，37（18）：1?5.

GAO Na， PENG Yali， GAO Jiamei， et al. Face recognition method combining principal component analysis with local derivative pattern [J]. Modern electronics technique， 2014， 37（18）： 1?5.

[11] KNUTSEN D， ROS C， BIGOT L L. Generating references in naturalistic face?to?face and phone?mediated dialog settings [J]. Topics in cognitive science， 2016， 8（4）： 796?818.

[12] GILANI S Z， MIAN A， EASTWOOD P. Deep， dense and accurate 3D face correspondence for generating population specific deformable models [J]. Pattern recognition， 2017， 69： 238?250.

[13] DU Y， WANG Y. Generating virtual training samples for sparse representation of face images and face recognition [J]. Journal of modern optics， 2016， 63（6）： 1?9.