基于自适应噪声模型和线积分卷积的铅笔画模拟

刘 磊， 陈 越， 盛 蕴， 张桂戌

(华东师范大学信息科学技术学院计算机科学技术系, 上海 200241)

基于自适应噪声模型和线积分卷积的铅笔画模拟

刘 磊， 陈 越， 盛 蕴， 张桂戌

(华东师范大学信息科学技术学院计算机科学技术系, 上海 200241)

提出一种铅笔画模拟的方法。和传统的铅笔画步骤类似，经过轮廓提取和色调合成，产生铅笔画模拟图像。轮廓提取通过L0平滑后，用四向索贝尔算子提取边界，借助线积分卷积实现色调合成。与现存方法不同的是，给出一种自适应噪声模型，根据源图像产生自适应的噪声，将其作为线积分卷积的输入图像。实验证明提出的方法可以用来产生具有艺术效果的铅笔画模拟图像。

非真实感图像绘制；铅笔画模拟；线积分卷积；自适应噪声

非真实感图像绘制是一种通过计算机模拟各种艺术形式图像的渲染技术，如铅笔画和油画等。这种技术已成为连接计算机科学和艺术表达之间的桥梁。与传统的计算机图形学不同，非真实感图像绘制可运用各种方法将一幅数字图像转换为具有艺术效果的图像。

铅笔画模拟是非真实感图像绘制的一个重要分支，现存的铅笔画模拟方法主要可以分为两大类[1]：基于图像的渲染和基于三维模型的渲染。与基于三维模型的渲染相比，基于图像的渲染只需考虑二维图像艺术化[2]。在基于图像的渲染中，轮廓和色调是两个重要的元素。轮廓即图像的主要边缘，通过对输入图像计算梯度可以得到[3-5]。色调在铅笔画中，就是用线条来营造画面的空间立体感。

Son等[6]提出了基于似然函数估计的提取 2D图像中轮廓线的方法。该方法先计算梯度信息得到图像的边界，再从边界中提取特征点，然后通过似然函数局部拟合成轮廓曲线。而Zhao等[7]提出的方法是用数学形态学对轮廓线进行细化，然后用深度优先搜索寻找相邻的边界点，将像素点转换为线条的路径，最终将轮廓曲线变成多个线段达到抽象化的目的。对于边界复杂的图像，这种计算会变得复杂。Doug和Santella[8]提出用对源图像进行颜色分割后所得到的边缘进行粗化，再用一个感知模型渲染来产生抽象的轮廓图像。

在色调合成上，Li和Huang[9]提出了先根据颜色信息将输入图像分割成区域，根据区域的几何特征和区域的纹理特性来生成相应的向量场，使用线积分卷积产生色调。除此之外，Yamamoto等[10]和Chen 等[3]也都使用线积分卷积(line integral convolution, LIC)产生色调。文献[10]提出的是先将输入图像按灰度值进行分割，分为三种区域，对其用三个方向不同的向量场来进行 LIC。文献[3]的方法中没有提到分割，但也是根据灰度值的不同选择不同方向的向量场，本质上与文献[10]的方法类似。

LIC是一种常用的色调产生方法[11]，常通过在给定向量场方向卷积带有白噪声的输入图像来产生铅笔色调。但用白噪声产生的色调无法根据输入图像模拟笔触明暗渐变的效果，其结果缺乏艺术感。Lu等[1]人提出从真实铅笔画色调作映射可以得到很好的色调合成结果，然而这种方法需要真实的铅笔画色调纹理，并不是纯粹依靠计算机产生的。

本文提出分步的轮廓提取方法。先对输入图像进行L0平滑去掉不必要细节，同时保留主要边缘信息。为了得到更强烈的边缘响应，还提出采用四向的索贝尔算子提取边界。在色调合成过程中，本文使用了 LIC进行色调模拟。为了解决白噪声在LIC中的问题，本文提出自适应的噪声模型，对源图像加上自适应的高斯噪声代替白噪声作为LIC的输入图像，从而更好地模拟铅笔画艺术效果。

1 轮廓提取

1.1 L0平滑预处理

L0平滑是 Xu等[12]提出的一种边界保留平滑方法。传统图像平滑方法大多是基于局部的低通滤波，而L0是基于图像梯度零范数的全局平滑。L0的思想是：使得平滑后的图像梯度的零范数更小，其优化的目标函数如式(1)：

其中，I为输入图像，S为平滑后的图像，C ( S)为平滑后图像的零范数，即：

第一项为保真项，第二项为正则项，λ控制平滑的程度。图1显示了L0平滑的结果，从图中可以看出，很多细节被平滑了，同时主要的边缘依然保留下来。

图1 L0平滑结果图

1.2 边界提取

在图像处理中一种常用的梯度提取算子是二向的索贝尔算子。为了加强边缘响应，可将索贝尔算子拓展到四向，即计算每个像素点在四个方向的一阶差分，并将其相加。

其中，x1 ， …，x 4分别代表平面上四个间隔为 45°方向。输入图像经过L0平滑后，细节已经被去掉了。对其使用四向的索贝尔算子，就可以得到输入图像的主要边缘。

图 2显示了轮廓提取的结果。比较图 2(b)和2(c)，可以看出L0平滑能够去掉不必要的细节。图2(d)是用四向索贝尔算子提取出的边界，与图2(c)相比，边缘信息更加丰富。

2 色调合成

2.1 色调转换

根据灰度直方图的统计，普通数字照片和铅笔画图像的色调分布是不同的。普通数字照片由于不同的场景和拍摄时不同的光照效果，色调分布没有一定的规律。而对于铅笔画图像，色调分布通常符合一定的规律。因此，在进行色调合成之前，需要对输入图像进行色调转换。

图2 轮廓提取结果图

本文提出一种色调分布模型，由一个高斯分布和一个均匀分布组成，如图 3所示。本文使用的色调分布模型为：

图3 色调分布模型图

其中， p( v)是像素值等于v时出现的概率， u1是均匀分布和高斯分布的分隔点， u2是高斯分布的均值，是高斯分布的方差。图4显示了色调转换的结果。得到该结果时采用u1= 198, u2= 228, σ0= 0.048。该数据经过实验计算而来，因此被用于本文其他铅笔画模拟结果的产生。

图4 色调转换结果图

2.2 线积分卷积

LIC[6]是由 Cabral和 Leedom[11]提出的一种基于向量场的纹理可视化技术。它的结果和铅笔画的纹理很相似，所以常被用来模拟铅笔画的色调。通常以一个二维向量场和一幅白噪声图像作为输入，然后通过在白噪声图像中进行低通滤波，即对向量场流线对应的像素点进行低通滤波，产生可视化的向量场图像。整个LIC的结果表示为：

其中， (,)F x y为LIC的输出结果， ()F I是曲线上的像素值，ih表示沿着向量场正方向上的卷积结果，ih′表示沿着向量场反方向的卷积结果。

一般情况下，将白噪声作为 LIC的输入图像，在事先定义好的向量场上进行线性卷积。LIC的示意图如图5所示，WN代表白噪声输入图像，V代表向量场，LIC表示线积分卷积。

图5 线积分卷积示意图

2.3 自适应噪声

在真实色调绘制过程中，画面中较暗的区域会产生强的视觉效果，而较亮的区域会产生弱的视觉效果。为了模仿真实绘画的特性，需要本方法具有自适应性。

传统的 LIC是以白噪声为输入。白噪声是完全随机的噪声，因此不具有自适应性。在本文中提出对输入图像加上自适应的高斯噪声来替换白噪声。该噪声可以用加性噪声表示：

其中，ω是控制噪声的权重，关于对应像素值的函数。I( x, y)是像素点(x, y)原始像素值，G N( x, y)是通过原始像素值产生的噪声，符合高斯分布：

其中 μ= 0， σ2= f( I( x, y ))。

为了使噪声具有自适应性，提出一个模拟像素值和噪声方差之间关系的模型。方差应随着像素值的增大而单调递减，即越亮的区域噪声越少。且像素值越接近于 255时，即越接近白色，方差的递减趋势也减缓。使用逻辑斯蒂函数来模拟这种关系。

α和β为模型的系数，该模型的函数图像如图6。

图6 方差关于像素值的函数图像

图7 线积分卷积结果图

有了式(6)～(8)，自适应噪声可根据色调转换后的图像计算出来。图 7显示的是给一幅图像加上自适应噪声再进行LIC。从结果中可以看出，颜色较黑的区域产生的噪声幅度较大，而较色较浅的区域产生的噪声幅度较小。

3 实验结果

将轮廓提取的结果和色调合成的结果做点积运算，就可以产生最终的铅笔画模拟图像。将本文的结果和其他的方法产生的结果进行比较。图8显示的是本文的结果和文献[10]的结果对比图，矩形区域内是局部放大的效果图。从局部放大的对比中可以看出，文献[10]用白噪声产生的色调结果在不同灰度值的区域产生的笔触效果是相同的，而本文在不同灰度值区域的笔触效果有明显的差异。在图像越暗的区域，产生的笔触效果越明显。该特性使得本文方法能够更好地模拟真实铅笔画的效果。图 9显示的是将本文结果和文献[1]和文献[13]的结果比较。文献[1]使用的是从真实铅笔画的色调纹理进行映射的方法，文献[13]用一种混合擦除模型产生的效果，而本文是采用基于自适应噪声和LIC的色调合成方法。

本文的方法不仅可以用在灰度图像的处理，同样可以用于彩色图像的处理。将输入图像转为YUV通道后，只对亮度通道进行处理，可以得到彩色结果。图10显示了一组输入图像原图像和彩色结果。

图8 结果比较

图9 结果比较

图10 更多结果

4 结 论

本文提出了一种铅笔画模拟的方法，在轮廓提取时，首先通过L0平滑去掉输入图像中的一些细节，为了得到较强的边缘响应，本文使用四向的索贝尔滤波器提取边缘。在色调合成过程中，提出了一个由均匀分布和高斯分布组成的色调分布模型。另外，为了使得模拟结果具有自适应性，还提出了自适应的噪声模型，产生的噪声图像作为 LIC的输入图像。实验证明，本文提出的方法可以产生具有较好艺术效果的铅笔画模拟图像。下一步将进行以下研究工作：首先，在色调合成时，本文使用的 LIC的向量场较为单一。在真实作画中，色调的笔触方向应随着画面中物体的形状、光照方向等因素的改变而改变。解法之一是根据输入图像的梯度切线方向调整向量场的方向，从而增强渲染的艺术效果[14]。其次，在轮廓提取方面，可将现在得到的结果再进行曲线拟合，得到更抽象的线条，从而增加轮廓表现力。

(在论文写作过程中，香港中文大学Lu Cewu耐心解答很多重要问题，在此表示感谢！)

[1]Lu Cewu, Xu Li, Jia Jiaya. Combine sketch and tone for pencil drawing production [C]//Proceedings of the Symposium on Non-Photorealistic Animation and Rending, Annecy, France, 2012： 65-73.

[2]Kyprianidis J E, Collomosse J, Wang Tinghuai, et al. State of the 'art'： a taxonomy of artistic stylization techniques for images and video [J]. IEEE Transactions on Visualization and Computer Graphics, 2012, 19(5)：866-885.

[3]Chen Zhenyu, Zhou Jingye, Gao Xingyu, et al. A novel method for pencil drawing generation in non-photorealistic rendering [C]//Advances in Multimedia Information Processing-PCM, Tainan, 2008： 931-934.

[4]Wang Jin, Bao Hujun, Zhou Weihua, et al. Automatic image-based pencil sketch rendering [J]. Journal of Computer Science and Technology, 2002, 17(3)：347-355.

[5]Zhou Jin, Li Baoxin. Automatic generation of pencilsketch like drawings from personal photos [C]// Proceedings of the Symposium on Multimedia and Expo, Amsterdam, 2005：1026-1029.

[6]Son M J, Kang H, Lee Y J, et al. Abstract line drawings from 2D images [C]//Proceedings of the 15th Pacific Conference on Computer Graphics and Applications, Maui, 2007： 333-342.

[7]Zhao Jingxiu, Li Xinghua, Chong Feng. Abstract line drawings from 2D images based on thinning [C]// Congress on Image and Signal Processing, Sanya, China, 2008： 466-470.

[8]Doug D C, Santella A. Stylization and abstraction of photographs [J]. In ACM Transactions on Graphics (TOG), 2002, 21(3)： 769-776.

[9]Li Nan, Huang Zhiyong. A feature-based pencil drawing method [C]//Proceedings of the 1st International Conference on Computer Graphics and Interactive Techniques, 2003： 135-ff.

[10]Yamamoto S, Mao Xiaoyang, Imamiya A. Enhanced LIC pencil filter [C]//Proceedings of the Computer Graphics, Imaging and Visualization, Aachen, Germany, 2004： 251-256.

[11]Cabral B, Leedom L C. Imaging vector fields using line integral convolution [C]//Proceedings of the 20th Annual Conference on Computer Graphics and Interactive Techniques, 1993： 263-270.

[12]Xu Li, Lu Cewu, Xu Yi, et al. Image smoothing via L0 gradient minimization [J]. ACM Transactions on Graphics (TOG), 2011, 30(6)： 174.

[13]Sousa M C, Buchanan J W. Observational model of blenders and erasers in computer-generated pencil rendering [C]//Graphics Interface, San Francisco, 1999：157-166.

[14]Kang H, Lee Seungyong, Chui C K. Coherent line drawing [C]//Proceedings of the 5th International Symposium on Non-photorealistic Animation and Rendering, San Diego, 2007： 43-50.

Pencil Drawing Simulation Based on Adaptive Noise Model and Line Integral Convolution

Liu Lei, Chen Yue, Sheng Yun, Zhang Guixu
(Department of Computer Science, School of Information Science Technology, East China Normal University, Shanghai 200241, China)

A method for pencil drawing simulation is proposed in this paper. As the conventional procedure of pencil drawing, our method performs line drawing followed by tonal drawing. Line drawing is implemented by L0smoothing and four-directional Sobel gradient operators, while tonal drawing is simulated by using of a line integral convolution method. Unlike the existing methods, an adaptive noise model is given, which can be added to the source image replacing white noise as the input to line integral convolution. The experimental results show that the proposed method can closely imitate real pencil drawing with artistic effects.

non-photorealistic rendering; pencil drawing simulation; line integral convolution; adaptive noise

TP 391

A

2095-302X(2015)01-0077-06

2014-08-11；定稿日期：2014-08-20

国家自然科学基金青年科学基金资助项目(61202291)；中央高校基本科研业务费专项资金资助项目

刘 磊(1991-)，男，安徽芜湖人，硕士研究生。主要研究方向为非真实感图像绘制、图像分割等。E-mail：qingshi5230@163.com

盛 蕴(1979-)，男，湖南长沙人，副教授，博士。主要研究方向为三维几何重建、三维人脸及动画合成、非真实感图像绘制。E-mail：ysheng@cs.ecnu.edu.cn