云南重彩画人脸肖像生成算法

卢丽稳， 普园媛， 刘玉清， 钱文华， 徐 丹

（云南大学信息学院，云南 昆明 650091）

云南重彩画人脸肖像生成算法

卢丽稳， 普园媛， 刘玉清， 钱文华， 徐 丹

（云南大学信息学院，云南 昆明 650091）

通过对云南重彩画作画风格的研究，论文提出了云南重彩画人脸肖像生成算法。首先从云南重彩画绘画作品中学习云南重彩画人脸绘制特点，引入特征比例对云南重彩画人脸特征进行描述，发现云南重彩画人脸绘制特点，并归纳总结云南重彩画人脸绘制规律。然后对输入的人脸照片进行轮廓线提取、特征点标定、特征值及特征比例的计算，将特征比例与云南重彩画人脸特征比例进行比对，发现变形程度并进行变形。最后，根据主观辨识后的经验值对五官特征的位置进行调整，再进行风格转换处理。运用该算法生成的云南重彩画风格的人脸肖像，既与原图相似，又符合云南重彩画人脸绘制特点。

非真实感绘制；云南重彩画；肖像；FDOG；移动最小二乘法

非真实感绘制是计算机技术和绘画艺术相结合的一个研究领域，其主要内容是用计算机软硬件手段来模拟具有不同绘画风格的画面和动画，如铅笔画、水彩画、油画等。以丁绍光为代表的云南重彩画融合了东西方古典艺术和现代艺术特色，具有很强的艺术美感和装饰性，在国内外享有很高的盛誉。对云南重彩画进行非真实感绘制研究，其成果可用于广告行业、室内装修、数字娱乐等很多领域。在已开展的云南重彩画风格化绘制算法研究中，普园媛等开发了一个基于重彩画图形元素的云南重彩画白描图数字模拟和仿真合成系统，从重彩画作品中提取具有重彩画特点的图形元素，并将它们应用到人物造型绘制中，以达到模仿云南重彩画人物绘制特点的效果[1]。但该方法不能生成与真人面貌相似的人物造型。本文从基于照片的云南重彩画风格绘制算法研究出发，提出云南重彩画人脸肖像生成算法，对人脸照片进行重彩画风格转换，该算法作为基于照片的云南重彩画风格化绘制研究中的一个重要部分，其结果将影响到整体风格绘制效果。

近年来，在非真实感绘制领域，诸多研究者已对人脸肖像风格化转换进行了许多研究，如周仁琴等提出基于特征变形的卡通人脸肖像生成算法[2]；阎芳等提出了基于分阶段变形漫画风格的人脸肖像生成算法[3]；陈文娟等提出一种漫画中人脸特征的夸张以及相像度优化算法[4]；闵锋等提出基于与或图表示的多风格肖像画自动生成方法[5]；邓维等提出基于构建径向基函数神经网络将标准网格变形，分别与人脸和卡通人脸匹配校准，生成二者的个性化网格，再通过纹理映射，产生个性化卡通人脸[6]；Lee等提出了多极自由形状变形方法，并在 1996年提出了能量最小化方法[7-8]；Koshimizu等提出的以模板为基础的夸张肖像产生系统PICASSO[9]。目前，云南重彩画人脸肖像绘制方面的研究还未见报道。

在基于照片的云南重彩画风格化绘制过程中，需对输入的人物照片进行风格化转换，其中人脸的重彩画风格转换对绘制效果具有重要影响。本文对云南重彩画风格化的人脸绘制进行研究，首先学习以丁绍光为代表的云南重彩画绘画作品中人脸绘制特点，归纳总结云南重彩画人脸绘制规律；然后对输入的人脸照片按照归纳总结的云南重彩画人脸绘制规律进行变形，最后生成既与原图相似，又具有云南重彩画人脸绘制特点的人脸肖像图。

1 云南重彩画人脸肖像生成算法

1.1 算法流程

本文算法分为两部分，第一部分是学习云南重彩画人脸绘制特点，归纳总结人脸绘制规律；第二部分根据人脸绘制规律对输入人脸照片的五官特征进行变形，然后对五官位置进行相应的调整，再进行风格转换处理，最后生成即与原图相似，又具有云南重彩画风格化的人脸肖像图。算法流程如图1所示。

图1 算法流程

1.2 云南重彩画人脸绘制规律的发现

本文所选用的图片来自云南重彩画最具代表性的丁绍光绘画作品集[10]，从中挑选出可以反映云南重彩画人脸特征分布规律的正面人脸及大于等于1/2人脸的38张图片的人脸截图作为样本集，云南重彩画部分人脸截图样本如图2所示。

通过观察，我们发现云南重彩画人脸具有如下特点：眉毛倾斜度很小呈水平状，正面及大于1/2人脸的鼻型为倒梯型，樱桃小嘴，眉毛、眼睛、鼻子、嘴巴4者的分布比较集中。

图2 云南重彩画及云南重彩画人脸截图

为对云南重彩画人脸绘制特点进行客观描述，我们设定了14个特征值来描述其绘制特点，并在脸部标定 17个关键特征点来计算特征值。关键特征点及 14个特征数值在人脸模型上的表示如图3所示。

图3 特征点标定与特征数值表示

特征数值的描述如表1左所示。每个特征数 值通过计算对应的特征点之间的欧氏距离得到。

表1 特征数值

另外我们发现，脸部特征数值不同对人脸视觉有一定的影响，但对人脸视觉影响起主要作用的是各个特征数值之间的比例关系。本文设定了12个特征比例值描述脸部特征的大小及位置关系，如表1右所示，前4个特征比例为脸型、眼、鼻、嘴单个人脸特征的比例关系，后8个特征比例为其他特征数值之间的比例关系。

我们在选取的38张云南重彩画人脸截图上，标定 17个关键特征点，根据标定的关键特征点计算出14个特征数值和12个特征比例。对正面人脸及大于等于1/2人脸的图片进行分类，计算每类图片中人脸截图的脸型、眉、眼、鼻、嘴单个人脸特征的平均特征比例，即可获得云南重彩画脸型、眉、眼、鼻、嘴单个人脸特征的绘制规律，如表2所示。

表 2 云南重彩画人脸单个特征绘制规律

除了云南重彩画脸型、眉、眼、鼻、嘴单个人脸特征具有如表2所示的绘制规律外，云南重彩画人脸其他特征数值之间的比例关系也呈现一定的规律，如表3所示。

表3 云南重彩人脸特征数值之间的比例关系

为了比较云南重彩画人脸与标准人脸的差别，我们给出标准人脸各项特征比例[3]和标准人脸图像，如表4与图4所示。

表4 标准人脸特征比例

图4 标准人脸和重彩画人脸图对比图

由以上表格可以看出，云南重彩画正面人脸的长宽比h:w在区间[1.42, 1.46]之间，标准人脸的长宽比为1.25；云南重彩画人脸上庭与脸长比为1:2.5，标准人脸上庭与脸长比为1:3；云南重彩画人脸上庭、中庭、下庭 3者的比例为1.7:1:1.5，标准人脸中3者的比例为1:1:1等。通过比对人脸各项特征比例可得出云南重彩画人脸绘制具有一定的规律，例如云南重彩画人脸脸型为细长型，额头较宽、下巴较长，眉、眼、鼻、嘴4者的分布比较集中。

1.3 云南重彩画风格的人脸肖像生成

基于 1.2节得到的云南重彩画人脸绘制规律，我们构建云南重彩画人脸肖像生成算法，包括人脸轮廓生成、变形程度发现、脸型变形、五官特征变形、五官位置调整、风格转换等几个关键步骤。

1.3.1 人脸轮廓生成

云南重彩画具有鲜明的线条画特点，其人脸也是由线条构成的，所以要对输入的人脸照片先进行轮廓线的提取。本文采用基于流的高斯差分滤波器（Flow-based Difference- of- Gaussians，FDOG）提取人脸肖像轮廓线[11]，该算法是在DOG（Difference- of-Gaussians，DOG）滤波器[12]的基础上改进的。FDOG算法提取人脸轮廓线的步骤如下所示：

1） 输入一张正面人脸照片，为突出图像特征，对输入的照片采用对比度自适应直方图均衡化方法进行预处理，增强图像的对比度，得到图像I(X)。

2） 根据I(X)构建边缘向量t(X)，记为ETF。t(X)垂直于图像的梯度 g(X)=▽I(X)，X=(x,y)为图像I(X)上的像素点坐标。

3） 根据边缘向量图ETF，我们采用基于流的高斯差分滤波器沿 ETF得到的边缘线进行积分，从而得到人脸轮廓。

图5给出了canny算子、图像未预处理及图像预处理后提取的人脸轮廓对比图。

图5 人脸轮廓线生成

通过对图 5(b)与图 5(d)的对比发现，运用FDOG滤波器提取的人脸轮廓线比常用的canny边缘检测算子能更有效地提取重要的边缘信息，去除虚假的边缘信息；对图5(c)与图5(d)对比发现，对输入图片先进行图像预处理，然后再提取边缘轮廓线，可以提高线条的连续性。

1.3.2 变形程度发现

对输入的人脸照片进行人脸轮廓线提取后，为使其脸型、眉、眼、鼻、嘴单个人脸特征及它们之间的比例关系符合云南重彩画人脸绘制规律，需要在人脸肖像轮廓图上标定 17个关键特征点，根据标定的特征点计算 14个特征数值和12个特征比例值，然后与1.2节中发现的云南重彩画人脸绘制规律对比，发现变形程度，然后变形。

为达到较好的变形效果，本文采用分步变形，先对脸型进行变形，后对五官特征进行变形。

1.3.3 脸型变形

脸型的变形是通过拉伸或压缩的比例变换方式进行的。首先计算输入照片人脸的长宽比，如果该比值在云南重彩画人脸绘制规律范围内，则对人脸不予调整，反之调整到云南重彩画人脸长宽比所允许的范围内。

设原图像中人脸的长、宽分别为h和w，变形后符合云南重彩画人脸特点的人脸长、宽分别为 h′, w′，在脸型转换过程中，脸宽保持不变，只进行纵向的拉伸或压缩，则h, w与h′, w′有如下关系：

其中d为云南重彩画人脸长宽比允许的范围值。

图6 脸型的变形

图6(b)是对人脸肖像轮廓的脸型变形后得到的效果图，与图6(a)进行对比，发现后者脸部轮廓明显被拉伸，脸型变为细长型。

1.3.4 五官特征变形

脸型变形后，输入照片的脸型符合云南重彩画的脸型关系，但输入人脸照片的眉、眼、鼻、嘴单个特征的形状所呈现的规律与云南重彩画不一定相符，比如图6(b)中的输入人脸照片的眉毛是弯曲型的，而云南重彩画人脸的眉毛呈水平状；输入人脸照片的鼻子较宽，而云南重彩画人脸中鼻子是细长型的等。为此，我们根据得到的云南重彩画单个脸部特征所表现出来的规律，对输入人脸照片的单个特征进行相应程度的变形。本文所用到的五官特征变形方法为移动最小二乘法(Moving Least Square，MLS)[13]，其步骤为：

1） 交互标定图像变形前五官特征的关键控制点集q，计算w1:h7, h6:w2, w3:h4，并与表2对应的特征进行比对，如在比例允许范围内，则不予以变形；否则按照步骤2）、3）进行变形。

2） 根据得到的云南重彩画人脸特征绘制规律，计算五官特征变形后对应的控制点集s。

3） 求出变形函数f使公式（2）取得最小值：

其中si和qi为控制点集中像素点的坐标，wi为权重，其表达式为：

v是变形前图像中任一像素点，α为调节参数，本文中取值为1。权重wi的取值与v到si的距离成反比，即v距离si越远，受变形的影响越小。

一般地，变形函数f (x)可以分为线性变换项和平移变换项，分别用M和T表示，则有：

将式（4）代入（2）并求最小值，即对f的变量求导数且令其等于零有：

矩阵 M可以视为一般化的仿射变换，包含了平移、旋转等变换成分。

图7 五官特征变形

基于以上步骤对脸型变形后得到效果图进行五官变形，得到图7(b)所示的效果。两者相比可以发现，后者眉毛被拉平了，鼻子、嘴巴变小了；图7(a)中的眼睛长宽比w1:h7在云南重彩画比例允许范围内，因此未变形。

1.3.5 五官位置调整

通过对图7(b)观察发现：单个脸部特征所表现出来的规律比较接近云南重彩画人脸特征规律的分布，比如脸型由原来的圆脸变为长脸；眉毛倾斜度较小，呈水平状等；但是五官特征之间的比例关系还明显不符合云南重彩画人脸所呈现出来的规律，基于此，我们需要对五官特征的位置进行调整。

通过观察以丁绍光为代表的云南重彩画绘画作品，发现五官位置比较集中，约集中在脸部的2/5至4/5处。如果只考虑眉、眼、鼻、嘴单个脸部特征的大小关系，而不考它们之间的位置关系，将直接影响到最终效果图。为此，需要对变形后图像的五官位置进行调整，根据表4所发现的规律，在单个脸部特征变形的基础上再采用平移变换对五官特征的位置进行调整。本文中五官位置的调整指眉、两眼、鼻、嘴沿着垂直方向的移动。但在实验中我们发现，五官位置的调整对人脸辨识影响较大，位置移动太大，则会使移动后的人脸不象原来的人脸，移动量太小，又达不到重彩画风格化的目的，所以我们要在相像性和重彩画风格之间进行折中，找到一个最优移动量。经过大量主观辨识实验，我们发现当眉、眼、鼻、嘴单个脸部特征的移动量为最大移动量（由表4计算出来）的一半时，效果图达到最优。超过最优移动量时，效果图与原图的相象性变得越来越差，小于最优移动量时，最终效果图又不符合云南重彩画人脸绘制规律。对五官特征的位置进行移动调整后的效果图如图8所示。

对图8(a)和图8(b)进行比较，可以发现后者眉毛、眼睛均向下移动，嘴巴、鼻子向上移动，调整后的效果图更接近于云南重彩画人脸特征的分布。

图8 五官位置调整

1.3.6 风格转换处理

经过以上步骤处理后，输入照片的五官特征及它们之间的比例关系已经比较符合云南重彩画的人脸特征规律分布。但是在色彩及发型上，还未进行任何处理。观察以丁绍光为代表的云南重彩画，可以发现：头发主要由发髻和长发组成，用流动交错的线条刻画长风随风飘动的灵感，用规则排列的线条刻画发髻规整紧凑的形状；线条常为中空轮廓线，中空部分多为金色、白色或灰色，它们被黑线或其它颜色的线条包围，形成独特的中空轮廓线效果；脸部特征中嘴唇、眼影的色彩比较鲜艳。

为更符合云南重彩画的风格，接下来，我们对调整后的效果图的嘴唇、眼影进行着色处理，对头发进行转换，并同时对线条进行中空处理。

我们运用普园媛等[14]研发的云南重彩画着色和渲染系统，如图9所示，首先对调整后的图像进行发型转换，然后对轮廓线进行中空处理；同时对嘴唇运用填充绘制方式进行点块状色彩绘制，对眼影采用笔刷绘制的方式进行着色处理。得到的效果图如图10所示。

图9 云南重彩画白描图着色和渲染系统

图10 着色处理后的效果图

通过图 8(b)与图10的对比，发现通过增加金色中空轮廓线及对嘴唇和眼影分别进行点块状、刮痕状纹理合成得到的效果图更符合云南重彩画的风格特点。

2 实验结果

我们对正面免冠照片进行云南重彩画的风格化模拟，首先根据1.2节得到的云南重彩画人脸绘制规律对输入照片的脸型、眉、眼、鼻、嘴单个脸部特征进行变形，再按主观辨识后的经验值对眉、眼、鼻、嘴单个脸部特征之间的位置关系进行优化，并对优化后的效果图进行风格化处理，得到的最终效果图既与原图相似，又符合云南重彩画人脸特征规律的分布，得到的效果图如图11所示。

图11 采用本文算法生成的最终效果图

其中原图2来自西安交通大学人工智能与机器人研究所的东方人脸数据库。图11中原图1、原图2、原图3、原图4是采用的图2(b)中的发型，原图5是采用的是图2(c)的发型。

3 结 论

本文提出云南重彩画人脸肖像绘制算法。通过学习云南重彩画人脸绘制特点，采用 17个关键特征点、14个特征数值和12个特征比例值来描述重彩画人脸绘制特点，总结归纳了云南重彩画人脸特征绘制规律；对输入照片进行关键特征点标定，计算特征数值和特征比例并与云南重彩画人脸绘制规律进行比对，发现变形程度后对脸部特征变形，根据主观辨识后的经验值对五官特征之间的位置进行优化，然后对发型、线条进行风格转换，最终生成即保持原图相像性又符合云南重彩画人脸特征分布的正面人脸肖像。本文采用FDOG滤波器对图像轮廓线进行提取，得到的轮廓线比较连续、光滑，为接下来的脸部特征变形提供了基础。本文在人脸相像度方面，还需进一步研究。

[1] 普园媛, 苏 迤, 魏小敏, 等. 云南重彩画白描图绘制系统[J]. 计算机工程与设计, 2011, 32(2): 607-610, 614.

[2] 周仁琴, 周经野, 陈益强, 等. 基于特征发现的卡通人脸肖像生成[J]. 计算机辅助设计与图形学学报, 2006, 18(9): 1362-1366.

[3] 阎 芳, 费广正, 柳婷婷, 等. 漫画风格的人脸肖像生成算法[J]. 计算机辅助设计与图形学学报, 2007, 19(4): 442-447.

[4] 陈文娟, 石民勇, 孙庆杰. 人脸漫画特征关系夸张及相像度优化[J]. 计算机应用, 2009, 29(z2): 301-304.

[5] 闵 锋, 桑 农. 一种基于与或图表示的多风格肖像画自动生成方法[J]. 计算机学报, 2009, 32(8): 1595-1602.

[6] 邓 维, 魏迎梅, 张友根. 利用图像变形生成个性化人脸卡通[J]. 计算机工程与应用, 2011, 47(24): 132-135.

[7] Lee S Y, Chwa K Y, Hahn J, et al. Image morphing using deformation techniques[J]. Visualization and Computer Animation, 1996, 7(1): 3-23.

[8] Lee S Y，Chwa K Y, Shin S Y，et al. Image metamorphosis using snakes and free form deformations [C]//Computer Graphics Proceedings, Annual Conference Series, ACM SIGGRAPH, New York: ACM Press, 1995: 439-448.

[9] Koshimizu H, Tominage M, Fujiwara T, et al. On Kansei facial processing for computerized facial caricaturing system Picasso [C]//Proceedings of IEEE International Conference on Systems, Man, and Cybernetics, Tokyo, 1999: 294-299.

[10] 刘秉江, 丁绍光. 现代云南重彩画集[M]. 北京: 北京工艺美术出版社, 2002.

[11] Kang H, Lee S, Chui C K. Coherent line drawing [C]// Proceedings of the ACM International Symposium on Non-Photorealistic Animation and Rendering (NPR07), pp.43-50. ACM, New York (2007).

[12] Winnemöller H, Olsen S C, Gooch B. Real-time video abstraction[C]//Proceedings of the ACM SIGGRAPH ’06, ACM, New York, 2006: 1221-1226.

[13] 华顺刚, 刘 婷. 利用移动最小二乘法实现图像变形[J]. 计算机应用, 2009, 29(1): 71-73.

[14] 普园媛. 云南重彩画艺术风格的数字模拟及合成技术研究[D]. 昆明: 云南大学, 2010.

A Portrait Generation Algorithm of Yunnan Heavy Color Painting

Lu Liwen, Pu Yuanyuan, Liu Yuqing, Qian Wenhua, Xu Dan
( School of Information Science and Engineering，Yunnan University, Kunming Yunnan 650091, China )

A portrait generation algorithm of Yunnan heavy color painting is presented in this paper. First, the painting characteristics of Yunnan heavy color painting are summarized by extracting facial features from Yunnan color painting works and calculating the proportion between facial features. Second, the extent to deformation is calculated by comparing features of real face and painting characteristics and the real face is deformed. Finally, the positions of eyes, the nose and so on are adjusted according to subjective experiences. The portrait generated by this algorithm is similar to the original picture and fits the distribution feature of facial characteristics of Yunnan heavy color painting.

non-photorealistic rendering; Yunnan heavy color painting; portraits; FDOG; moving least square

TP 391

A

2095-302X (2013)03-0126-08

2012-09-02；定稿日期：2012-09-07

国家自然科学基金资助项目（61163019，61271361）；高等学校博士学科点专项科研基金资助项目（20095301110006）；云南省教育厅重点资助项目（2012Z056）

卢丽稳（1987-），女，陕西渭南人，硕士，主要研究方向为非真实感图形绘制。E-mail：422012979@qq.com

普园媛（1972-），女，云南昆明人，博士，副教授，主要研究方向为非真实感图形绘制，多媒体信息处理。E-mail：km_pyy@126.com