一种融合区域笔划和梯度笔划的油画生成方法

叶 鹏， 王长波， 朱巧明， 张 康， 刘玉华

（1. 苏州大学 计算机科学与技术学院，江苏 苏州 215006；2. 华东师范大学软件学院，上海 200062；3. 天津大学软件学院，天津 300072）

一种融合区域笔划和梯度笔划的油画生成方法

叶 鹏1， 王长波2， 朱巧明1， 张 康3， 刘玉华2

（1. 苏州大学 计算机科学与技术学院，江苏 苏州 215006；2. 华东师范大学软件学院，上海 200062；3. 天津大学软件学院，天津 300072）

基于笔划的油画生成是油画生成中最为重要的技术，它模拟真实画家使用笔划的创作过程，以达到逼真的手绘作品的效果。分析了基于图像分割的区域笔划生成油画的优缺点，提出一种融合区域笔划和梯度笔划的油画生成方法，首先通过图像分割生成区域笔划，然后根据图像分割水平确定梯度阈值筛选出梯度笔划。通过实验可以看出，该方法生成速度较快，不仅使笔划更加灵活多变，而且可以弥补区域笔划生成所产生的缝隙。

油画；图像分割；区域笔划；梯度笔划

非真实感生成（non-photorealistic rendering,简称NPR）的研究包括两个主要方面：一方面是模拟艺术媒介的物理特性，例如：笔划、画布等；另一方面是模拟艺术创造过程来自动生成绘画[1-2]。而后者往往是众多研究者的兴趣所在。

在自动生成艺术画中，由于油画具有更强的色彩和情绪表现而得到了更多的关注。而基于笔划的油画自动生成无疑是油画生成中最为重要的技术，由于它模拟真实画家使用笔划的创造过程[3-4]，更容易产生各种令人惊讶的逼真手绘效果。

在自动生成油画的过程中，如何一步步地放置笔划是一个非常重要的问题。Haeberli[5]在1990年开创了基于笔刷进行油画生成的方法，并且使用图像梯度方向来确定笔划的方向。文献[6-9]都是在图像梯度笔划的基础上改进实现的。基于梯度的笔划绘制方法容易生成长而弯的笔划，特别是在颜色变化较大的区域效果显著。但是，在平坦的区域，梯度接近于0，笔划方向往往难于确定。

还有一些研究者认为，将特定的笔划放在特定的区域是一个自然的想法，因此，很多研究者基于图像分割的技术生成笔划。Gooch[1]等人在2002年提出了一种基于笔划的手绘风格作品的生成方法，该方法首先通过图像分割生成不同区域，然后提取出各个区域的中轴，最后根据中轴生成笔划。Kasao等[10]提出一种将图片生成艺术效果作品的方法。它是在文献[11]的基础上引入与纹理有关的3个参数：纹理方向，方向度量和纹理长度，来对图像进行分割，并且使得分割后的图像每一区域都可以用一笔划来代替，笔划的方向与纹理信息有关。但由此生成的笔划并不具有灵活多变的笔划形势，所以，生成的结果比较僵化，为此，Kasao等[12]在上面研究的基础上对图像分割进行了改进，更加注重了分割区域的方向，加入了分割区域弯曲度等参数进行分割区域向量化，并进行了分割后区域的归类和优化。改进后的方法使得笔划更加灵活，生成的结果更具自然性。文献[13]也提出一种使用真实绘画样本来进行艺术风格化生成，该方法也是基于图像分割技术，使用该方法容易产生某一特定风格化的艺术作品。

基于图像分割的笔划生成技术优点是明显的：在各个分割区域内可以较快的生成笔划，特别是在一些平坦区域，可以使用大的笔划快速填充。但是，基于图像分割技术生成的笔划往往比较僵硬，特别是分割的区域越来越多的时候，笔划趋向于点划法，缺失了笔划的灵活性。另外,在分割区域的交界处会出现裂缝的情况，而如果通过更细的分割解决裂缝，又大大增加了时间开销。

本文提出了一种融合区域笔划和梯度笔划生成油画的方法。该方法结合了上述两种技术的优点，既能在平坦区域快速生成笔划，又可以使得笔划较为灵活多变，在图像的显著区域可以生成长而弯曲的笔划，并且通过梯度笔划生成可以解决分割笔划产生的裂缝问题。

1 区域笔划生成

区域笔划的生成过程是首先对图像进行分割，形成一个个的区域，然后抽取出每个区域的中轴，最后根据区域的中轴形成笔划。

1.1 图像分割

文献[1]中使用的是区域增长的分割方法，如图1所示，是基于图像亮度值的分割。首先，选出一个未被访问的像素点，然后，访问其相邻像素点，如果该像素点与其相邻像素点的亮度值差的绝对值小于某一阈值T，则两点被认为同属一个区域。阈值T的大小由分割水平决定，分割越多，则T越小，反之越大。

经过上面的操作后，图像中会出现一些孔洞，还需要填充孔洞的操作。分割的区域被放在布尔型的数组中并被标记为true，检查每一个被标记为false的点，它有几个标记为true的邻居，如果大于5，则该点被标记为true。如果小于5，而且被一个全部标记为true的区域包围，则该点也被标记为true。

图1 图像分割

1.2 区域中轴提取

每个分割区域的中轴被提取出来作为笔划生成的基础。由中轴变换生成笔划的一大优势是具有尺度不变性和旋转不变性。首先通过距离转换算法求出分割区域中每个点到边界的最短距离[14]，然后估算出分割区域的中轴。

如图2所示，先初始化分割区域中每个点值为 1，不在该区域中的点为 0。如果该点的所有非0邻居小于等于该点的值，则该点的值加1，重复这样的过程直到没有值再变化而止。最后抽取出分割区域的中轴，这种离散的中轴被称为脊集。该分割区域中的点属于脊集当且仅当该点的值大于等于它的所有8个邻居点的值。

图2 通过距离转换算法计算出中轴点

1.3 区域笔划生成

上述的中轴被抽取出来后，可以基于这些中轴点来生成分割区域的笔划。首先，将中轴点放入一个点列表中，对该点列表中的所有点求出他们的法线方向以及他们到区域边缘点的宽度，然后，依次将所包围的区域填充，如图3所示。最后，生成一个笔划，其完整过程，如图4所示。

图3 求出各点法线方向并填充区域

图4 根据中轴点生成区域笔划

2 梯度笔划结合分割区域笔划生成

通过图像分割建立区域笔划的方法速度比较快，生成的笔划具有尺度和旋转不变性，并且容易在平坦的局域放置笔划。但是，由该方法生成的笔划往往比较僵硬，特别是在分割比较多的时候，笔划会趋向于点状，并且这种区域笔划的绘制常常受制于图像分割的质量产生一些缝隙情况。因此，本文引入梯度笔划结合区域笔划来进行油画绘制，以使得既能在较为快速地绘制，又能增大笔划的灵活性，在一些显著的区域生成长而弯去的笔划。

2.1 梯度图生成

其中H1和H2分别为水平和竖直卷积模板，和分别是x方向和y方向差分，为点处的梯度大小，θφ(x,y)为点处的梯度方向。由此，可以建立图像的梯度图，如图5所示。

图5 梯度图生成

2.2 梯度笔划生成

梯度笔划是基于图像梯度生成的，梯度笔划在图像变化剧烈的区域可以绘制出长而弯曲的笔划，但是在平坦的区域，梯度笔划是难以确定的，如图6所示。

在图像分割生成区域笔划后，将根据分割的水平来选取梯度阈值M，只有大于阈值M的梯度会被利用绘制梯度笔划。分割得越细，则我们选取的M越大，反之则选取的M越小。

梯度笔划的具体生成如下：

1） 判断给定点的梯度值是否大于M。

2） 如果小于等于M，则寻找新的点并返回1)；否则继续执行3）；

3） 在当前点梯度的法线方向上以步长L前

进一步到达一个新的点，如果该点的前面有两个走过的点则将三点画成一个三角面，三角面的颜色为初始给定点的颜色，并以新的点作为当前点，重复上面的过程直到步数大于一个阈值且当前点与初始点的亮度值之差大于某一阈值。

4） 选择新的点转到1)。

梯度方向的法线方向有两个，选择的规则是当前方向与未来的方向夹角小于 90º，即笔划不会产生畸弯曲。具体如下图所示：

图6 梯度笔划示意

3 实验结果与分析

下面给出了3组图片的实验结果，每组图片的第一张为原图像，中间为基于图像分割的区域笔划绘制（如文献[1]生成的方法），第3张为本文中所提方法的绘制，每组实验都是在相同图像分割水平下进行。

可以看出第1组图片，如图7所示，文献[1]中的笔划在一些地方比较僵化，比如女孩的发梢、脖颈处，而本文的方法笔划更加灵活，且弥补了生成区域笔划时造成的缝隙。第2组图片，如图8所示，可以看出本文的方法在一些色彩变化较剧烈的区域绘制的笔划更加细长弯曲，灵活更好，如瀑布，水的漩涡等处。从第3组图片，如图9所示，可以看出本文的方法生成的笔划连贯性更好，特别在麦穗的麦芒处比较明显。

其相关实验数据对比，如表1所示。

表1 相关实验数据对比

图7 女孩图片结果对比

图8 瀑布图片结果对比

图9 麦穗图片结果对比

4 总结与展望

本文提出了一种结合区域笔划和梯度笔划绘制油画的方法，首先通过图像分割生成区域笔划，然后根据图像分割水平确定梯度阈值筛选出梯度笔划，完成最终绘制。该方法可以在平坦区域快速的生成笔划，又使得笔划在一些显著区域更加的灵活，并且笔划的连贯性也更好。实验证明，本文的方法可以快速有效地实现油画绘制。

由于图像分割可能对最终的绘制产生较大影响，本文下一步研究使用不同的图像分割算法评估效用，来增强绘制效果，另外，将研究基于图像分类的油画绘制方向[15]。

[1]Gooch B, Coombe G, Shirley P. Artistic vision：painterly rendering using computer vision techniques [C]//Proceedings of the NPAR 2002 Symposium on Non-Photorealistic Animation and Rendering (Annecy,France), 2002：83-90.

[2]赵 杨, 徐 丹. 运用流体模拟的油画生成方法[J].软件学报, 2006, 17(7)：1571-1579.

[3]Pham B. Expressive brush strokes. Computer vision,graphics and image proc essing [J]. Graphical Models and Image Processing53, 1991：1-6.

[4]Saito S, Kani A, Chang Y. Curvature-based stroke rendering [J]. The Visual Computer, 2008, 24：1-11.

[5] Haeberli P. Paint by numbers：abstract image representations [C]//Computer Graphics, SIGGRAPH Annual Conference Proceedings, 1990：207-214.

[6]Hertzmann A. Painterly rendering with curved brush strokes of multiple sizes [C]//Proceedings of SIGGRAPH, 1998：453-460.

[7]Park Y, Hyun Y K. Dynamic brush stroke generation for an impressionist effect [J]. Computational Science and Its Applications-ICCSA, 2006：402-409.

[8]Hays J H, Essa I. Image and video based painterly animation [C]//Proceedings of the NPAR：3rd International Symposium on Non-Photorealistic Animation and Rendering, 2004：113-120.

[9]Xiao Liang, Wei Zhihui, Wu Huizhong. Novel method for computer create van Gogh’s oil style painting [J].Edutainment 2007, LNCS 4469, 2007：740-750.

[10]Kasao A, Nakajima M. A resolution independent nonrealistic imaging system for artistic use [C]//Proc.of the International Conference on IEEE Multimedia Computing and Systems, 1998：358-367.

[11]Kasao A, Nakajima M. K-means algorithm using texture directionality for natural image segmentation [C]//Proceedings of the International Workshop on Advanced Image Technology, 1998：23-28.

[12]Kasao A, Miyata K. Algorithmic painter：a NPR method to generate various styles of painting [J]. The Vis. Computer, 2006, 22(1)：14-27.

[13]Yan Chengren, Chi Mingte , Lee Tongyee, et al.Stylized rendering using samples of a painted image[J]. IEEE Transactions on Visualization and Computer Graphics, 2008, 14(2)：468-480.

[14]Jain R, Kasturi R, Schunck B. Machine vision [M].McGraw-Hill, 1995.

[15]Zeng Kun, Zhao Mingtian, Xiong Caiming , et al.From image parsing to painterly rendering [J]. ACM Trans. on Graphics, 2009, 19(1)：1-11.

A Method of Oil Paintings Rendering Based on Combining Region Brushstrokes with Gradient Brushstrokes

Ye Peng1, Wang Changbo2, Zhu Qiaoming1, Zhang Kang3, Liu Yuhua2
( 1. College of Computer Science and Technology, Soochow University, Suzhou Jiangsu 215006, China;2. Software Engineering Institute, East China Normal University, Shanghai 200062, China;3. School of Software Engineering, Tianjin University, Tianjin 300072, China )

Oil paintings rendering based on brushstrokes is the most import technology in oil paintings rendering which simulates real artists’ painting process that use brushes to paint. This paper analyzes advantages and disadvantages of oil paintings rendering based on region brushstrokes through image segmentation, and presents a new method of oil paintings rendering based on combining region brushstrokes with gradient brushstrokes. Firstly, render region brushstrokes through image segmentation and then set gradient threshold through image segmentation level and render gradient brushstrokes. Experimental results confirm that the method has a rapid rendering speed, and not only makes brushstrokes more flexible but can fill up some gaps rendered due to region brushstrokes.

oil painting; image segmentation; region brushstrokes; gradient brushstrokes

TP 391

A

2095-302X (2013)04-0024-05

2012-09-02；定稿日期：2013-03-06

叶 鹏（1984-），男，山东莱州人，博士研究生，主要研究方向为NPR，可视化。E-mail：yepeng2007fei@163.com

王长波（1976-），男，湖北随州人，博士生导师，教授，主要研究方向为计算机图形学，虚拟现实，人机交互，可视化。E-mail：cbwang@sei.ecnu.edu.cn