面向数字娱乐的人脸线条画生成

张兰敏+张剑

摘 要： 针对互联网环境下的数字娱乐应用，提出一个人脸线条画效果自动生成方法。该方法首先利用主动外观模型（AAM）在给定图像上提取人脸几何特征，进而根据几何特征提取人脸主要器官的局部图像块，然后利用自适应阈值方法对提取的图像块进行二值化处理，最后将各个局部二值化图像组合在一起形成人脸线条画效果。该方法能根据多种尺度的图像实现优化的线条画效果生成，这表明该方法具有较好的适用性，在二维卡通动画制作方面具有潜在的应用价值。

关键词： 自动特征提取； AAM方法； 自适应阈值； 人脸线条画

中图分类号：TP391 文献标志码：A 文章编号：1006-8228（2016）04-70-04

Generation of face line drawing for digital entertainment

Zhang Lanmin， Zhang Jian

（School of Science and Technology， Zhejiang International Studies University， Hangzhou， Zhejiang 310012， China）

Abstract： A method of automatic generation of face line drawing is proposed in this paper for the digital entertainment applications. The method uses AAM （Active Appearance Model） to extract facial geometric features which helps to extract the local image patches containing facial organs， then the adaptive threshold method is adopted to process the image patches binarization， and the final face line drawing is obtained by assembling all the local binary image patches. The method can generate fine face line drawings according to the face images with multiple scales， which indicates that the method has good applicability and has potential application value in making 2D cartoon animation.

Key words： automatic feature extraction； AAM method； adaptive threshold； face line drawing

0 引言

近年来，二维人脸动画生成已经越来越多地出现在影视制作与交互娱乐中，相关技术也受到了产业界和学术界的广泛关注。目前已有一些支持三维人脸动画制作的软件系统，如3D Max和Maya。然而在二维人脸动画生成方面却始终缺少自动化和个性化的动漫效果生成技术。

本文提出了一个基于图像的人脸线条画自动生成系统，能基于可变尺度的图像提取人脸特征，进而根据人脸特征提取局部图像块并用自动阈值化的方法生成相应的二值图像，最后将二值图像块集成起来以得到最终的人脸线条画效果。

1 相关工作

1.1 基于图像的人脸特征获取

人脸特征获取是表情和姿态识别、人脸识别等研究的基础。Snakes方法[1]由Kass等于1987年提出，它是一种边界检定和图像分割的方法，用于脸部特征定位取得了不错的效果[2]。其缺点是运算量很大，并且当存在局部变形、噪音和遮挡等干扰时容易出错。Yuille[3]等提出使用参数化的可变模板来定位眼和嘴。使用一个能量函数作为匹配度评价函数，可通过设定不同的权值使能量函数最小化从而实现特征定位。点分布模型（PDM）用一组离散的控制点来描述对象的形状，并用主成分分析（PCA）方法建立起各个控制点的运动模型[4]。Lanitis首先将这一方法应用于脸部特征定位及人脸识别[5]。PDM仅考虑了人脸的形状特点，而未利用图像的纹理特征，因此准确性有时难以保证。

1.2 人脸图像的分析与合成

人脸图像的分析包括人脸识别以及人脸表情的识别。Zhang建立人脸图像的Gabor小波特征，用一个两层感知器实现人脸识别[6]。文献[7]首先对输入人脸图像进行PCA降维，再采用神经网络进行识别。Guo等通过线性规划进行特征提取和分类器训练，取得了比SVM、神经网络以及线性判别分析方法更好的效果[8]。人脸图像的合成包括人脸表情合成和人脸外观合成。Zhang等人开发了基于样例的人脸表情合成系统，采用类比推理的方法根据样例表情图像自动生成新的表情图像[9]。Liu 提出了一个人脸幻想方法，能够基于样例学习根据一张低分辨率人脸图像推测出相应的高分辨率人脸图像[10]。然而上述技术并非为实现二维人脸动漫效果生成而提出。

2 人脸特征的自动提取

2.1 基于OpenCV的人脸自动检测

本文利用开源代码库OpenCV实现图像中人脸的自动定位。为增强人脸检测的稳定性，我们用不同大小的人脸图像作为训练样本训练分类器，以实现针对常见尺度图像的人脸自动检测。在自动定位人脸位置后，利用人脸皮肤颜色分布的先验知识确定人脸区域的大小，并自动剪裁出合适大小的人脸图像。人脸自动检测与剪裁的效果如图1所示。

2.2 基于主动外观模型的人脸特征自动提取

主动外观模（AAM）是广泛应用于模式识别领域的一种特征点提取方法。基于AAM的人脸特征定位方法在建立人脸模型过程中，综合考虑全局形状和纹理信息，通过对人脸形状特征和纹理特征进行统计分析，建立人脸混合模型。在图像的匹配过程中，为了能够既快速又准确地进行人脸特征标定，在对被测试人脸对象进行特征点定位时采取一种图像匹配拟合方法。在搜索过程中，利用训练得到图像纹理变化与模型参数变化的线性关系，不断调整模型参数以及二维几何位置和尺度等参数，直至模型生成的人脸纹理与图像中的人脸纹理能达到理想匹配。此时模型生成的形状特征即可代表图像中人脸的几何特征。

AAM建模过程的形式化表示：假设样本图像的形状及纹理信息分别用矢量s和g来表示。用Cootes提出的方法进行形状的建模。在进行纹理建模时，首先将图像归一化，亦即将图像进行扭曲，使其特征点与平均形状中的特征点重合，进而得到一个与形状无关的人脸图像，然后将其并存于矢量g中。

在使用AAM外观模型时，给定图像上人脸的形状（特征点的集合）和纹理（或灰度级）可以用矢量a和t表示，则外观模型可以表示如下：

其中，分别为形状和纹理的均值，Qs和Qg分别为描述形状和纹理变化模式的矩阵，a，t，Qs，Qg都是通过对训练集的学习得来的，c为控制参数矢量，同时控制形状和纹理的变化。这样，若已知c，就可以通过g生成人脸的纹理，然后根据图像中的特征点进行扭曲，由此可合成人脸的图像。同理，我们将调整模型参数，使得模型图像与给定图像相吻合，则对应的c即可用来描述给定图像上的人脸特征。

本文在训练AAM时为每幅图像标注65特征点，共采用30幅人脸图像进行训练。用AAM根据给定图像得到人脸特征后，把提取到的特征点用几何线段连接起来，构成人脸特征的轮廓线，人脸特征提取的轮廓线效果如图2所示。

2.3 基于自适应阈值的图像二值化

本文的人脸线条画生成通过图像的自适应阈值化实现。当人脸特征已提取时，根据人脸各个主要器官的几何位置把人脸图像划分出若干局部图像块，使得每个图像块包含一个主要器官，然后基于图像块进行图像的二值化。

在进行图像二值化时，采用了自适应阈值方法，即根据给定图像自动确定阈值，将像素值大于阈值的像素看作白色，而将像素值低于该阈值的像素看作黑色。为此，将局部图像中人脸器官所在区域看作前景，将剩余区域看作背景。前景的选择可以根据人脸特征点的位置确定。阈值的确定采用如下手段。

假设：

t：阈值；

w0：当前前景象素数目/总象素数目；

u0：前景象素的亮度均值；

w1：当前背景象素数目/总象素数目；

u1：背景象素的亮度均值；

u=w0·u0+w1·u1：所有象素的平均值；

则自适应的阈值t可按下式计算：t=argmaxt（w0·（u0-u）2+w1·（u1-u）2）

将各个局部图像块分别二值化后，再按照特征点位置拼接在一起，形成最终的人脸线条画效果，如图4所示。由于头发与背景图像有鲜明的颜色区分度，因此头发区域是直接根据原始图像进行二值化得到的。当脸颊与背景色区分不明显时，脸颊轮廓线的二值化将变得较为困难，本文利用AAM提取脸颊周边特征点，并用几何线段将其连接起来形成脸颊轮廓线并直接使用。

3 人脸线条画自动生成实验结果

我们用多幅不同图像作为输入图像，分别进行人脸线条画自动生成，效果如图5。第一行图像为输入的人脸图像，第二行图像为自动生成的相应的人脸线条画效果图，第三行图像包含了自动提取的人脸特征轮廓线。图5表明本文方法能适用于不同图像，具有较强的适用性与稳定性。

4 结束语

本文提出了一套人脸线条画自动生成方法，能从多尺度图像中自动检测人脸并剪裁出人脸区域。利用AAM方法进行自动特征提取，然后根据人脸主要器官特征点对图像进行局部区域的提取与自适应阈值的二值化处理，以得到二值化图像，最后把各个部分的二值图像拼接在一起形成最终的人脸线条画效果。本文方法的优点在于，能对多尺度的图像进行线条画生成，同时自适应阈值的二值化方法较为稳定，能适用于多样的人脸图像。

参考文献（References）：

[1] Kass M.， Witkin A.， Terzopoulos D.. Snakes：active contour

models [A]. In： Proceedings of the International Conference on Computer Vision[C]. Los Alamitos：IEEE Computer Society Press，1987.1：259-268

[2] Huang C.L.， Chen C.W.. Human facial feature extraction

for face interpretation and recognition， Pattern Recognition[J]，1992.25（12）：1435-1444

[3] Yuille A.L.， Cohen D.S.， Halliman P.W.. Feature

extraction from faces using deformable templates[A]. Proceedings of the International Conference on Computer Vision and Pattern Recognition[C]. Los Alamitos： IEEE Computer Society Press，1989：104-109

[4] Sirovich L.， Kirby M.. Low-dimensional procedure for the

characterization of human faces， Journal of the Optical Society of America A[J]，1987.4：519-524

[5] Lanitis A.， Taylor C.J.， Cootes T.F.. A unified approach to

coding and interpreting face images [A]. Proceedings of the International Conference on Computer Vision[C]. Los Alamitos： IEEE Computer Society Press，1995：368-373

[6] Zhang Z.， Lyons M.， Schuster M.， Akamatsu S..

Comparison between geometry-based and Gabor-

wavelets-based facial expression recognition using multi-layer perceptron[A]. Proceedings of the International Conference on Automatic Face and Gesture Recognition[C]. Los Alamitos： IEEE Computer Society Press，1998：454-459

[7] Matthew N. Dailey. Computational models of high-level

visual perception and recognition. Ph.D. thesis， Computer Science and Engineering Department， University of California， San Diego， 2002.

[8] Guo G.， Dyer C.R.. Simultaneous feature selection and

classifier training via linear programming： a case study for face expression recognition [A]. Proceedings of the International Conference on Computer Vision and Pattern Recognition [C]. Los Alamitos： IEEE Computer Society Press，2003：346-352

[9] Zhang Q.， Liu Z.， Guo B.， Terzopoulos D.， Shum H..

Geometry-driven photorealistic facial expression synthesis. IEEE Transactions on Visualization and Computer Graphics[J]，2006.12（1）： 48-60

[10] Liu C.， Shum H.， Zhang C.. A two-step approach to

hallucinating faces： global parametric model and local nonparametric model[A]. Proceedings of the International Conference on Computer Vision and Pattern Recognition[C]. Los Alamitos： IEEE Computer Society Press，2001：192-198