计算机自动生成梵高油画风格的视频处理算法

赵杨+杨剑兰

摘要：本丈提出一种计算机生成具有梵高油画风格的视频渲染处理算法。本文提出以图像结构张量的特征向量值作为画笔方向，对输入视频帧进行多层绘制，以有效模拟梵高油画的流体感；同时提出一种改进的局部光照模型，该方法通过运用bump-mapping技术从而增强绘制视频帧的涂料层叠感。为了使生成的视频帧具有梵高油画的色彩风格，通过运用颜色转换方法将梵高原画的色彩特征转换到渲染视频帧上。实验结果表明，对于给定的输入视频，该算法能够有效地生成具有梵高风格特质的渲染视频。

【关键词】油画 梵高风格 结构张量 笔刷模型 光照模型 颜色转换

1 引言

传统油画创作通过观照现实，表达创作者的创意。随着世界文化一体化进程的加快，计算机图像艺术迅速融入普通百姓的生活，给受众带来全新的审美体验。

当今计算机技术己发展成为油画创作的一种技术手段。许多艺术家运用数码相机采集照片并运用计算机作为创作和图像处理的工具，新生代油画家已经开始对此进行有益的探索。运用计算机技术辅助进行油画创作，将传统艺术与现代科技融合到一起，使得创作的理念多元化，创作思维更加开阔，己发展成为数字艺术媒体的新形式。

运用计算机辅助进行油画绘制，主要分为两种形式：

（1）运用现有的专业图像处理软件进行创作。其中使用最为广泛的是Adobe公司的Photoshop系列、Corel公司的Painter系列等。利用上述软件能快速实现真实照片到油画风格的快速转化。

（2）开发全新的油画绘制算法，运用计算机模拟真实的油画创作过程。

随着研究的深入，目前的研究热点，已经从对单幅静止图像的风格化渲染转移到研究如何实时地对输入视频进行油画风格化渲染方向。传统的非实时的视频油画绘制算法主要是按照时问序列对视频帧进行逐帧渲染，但由于视频相邻帧问具有一定的时空相关性，这样的处理方法会产生严重的帧问不连续，造成渲染画而出现视觉闪烁现象。因此，在实时对视频进行风格化渲染时不仅要解决计算速度的问题，同时也要兼顾绘制质量的问题。2计算机模拟梵高油画风格发展研究概况

Litwinowicz首次提出对输入视频进行油画风格化渲染的算法。算法在首帧绘制完成后，沿光流方向进行传递，得到第二帧笔画的初始位置，通过不断迭代完成对整段视频的渲染。但算法渲染稳定性较差，对含有复杂场景的视频进行渲染时仍会产生闪烁现象。

与Litwinowicz的算法模型不同，Hays同样采用光流法在视频各帧之问传播画笔。不同之处在对每一帧进行滤波后，根据图像频率的不同，将其分解为不同的层进行分层绘制于画笔传播，从而得到最终的绘制效果。该方法对于包含简单场景的视频，能够生成连续性较好的结果。

赵杨等提出基于物理模型的流体模拟算法，并将其应用到生成具有梵高艺术风格的油画绘制方而。该算法首先对流体进行模拟，得到流体参考图；其次，通过计算流体参考图的梯度方向，并将其作为画笔方向，对输入图像进行分层渲染。不足之处在于：

（1）若流体参考图的流线不佳，则会出现流线越出梯度边界的情况；

（2）基于物理模型的流体模拟算法计算量过大，影响实时处理的应用推广。

钱小燕采用自适应LIC卷积绘制流体方法，对算法进行了改进。其算法的核心思想为：首先提取图像的结构张量场；其次利用结构张量场进行自适应的LIC积分生成具有梵高绘画特征的流体艺术图。但不足之处在于随机扰动的函数确定了最终生成的流体效果图，流体效果形式较为单一。

Olsen等人开发出一种新颖的算法，该算法通过物理模拟的方法来构造实时变化的流体，并根据流体的方向来控制笔刷绘制的方向，从而生成具有梵高艺术风格的视频动画。但是该算法并没有实现实时的视频处理和计算。

Winnemoller等人则提出了一个基于视频的卡通风格化渲染系统，首次实现了实时的视频卡通化渲染。随后赵杨，徐丹等人在此基础上设计了一个实时的渲染系统，该系统可将输入视频渲染为具有卡通，水彩及铅笔画特效的风格化视频。但是以上系统没有实现对视频的油画风格的转换与渲染。

文献[5]回顾并梳理了图像和视频油画风格化绘制相关技术的发展进程，同时讨论了上述研究存在的难点和新的研究方向。

通过计算机辅助绘制技术可以为用户提供较好的算法接口，但渲染效果与真实艺术作品相较仍存在一定差距。因此，如何在算法执行速度，提供渲染效率，与此同时如何解决视频渲染中的帧问一致性问题，是未来的研究重点。为了解决以上问题，本文提出了一种基于结构张量计算的生成梵高油画风格的视频渲染算法。

3 计算机生成梵高油画风格的视频处理算法

实现计算机自动，快速地生成梵高风格的油画，需对其在笔刷模型，流线模型进行定义及模拟。同时需要生成油画所具有的特殊的涂料层叠感，另外还需要使得生成的视频在顏色特征上与梵高油画高度相关及一致。本节将详细介绍算法的设计与实现原理。

3.1 笔刷模型的定义

笔刷模型可从各种油画作品中提取或者通过艺术家使用Photoshop等图像处理软件进行后期制作和加工。一个笔刷对象包含如下属性：长度，宽度，透明度，颜色，中心点，笔刷方向。其中笔刷中心点为随机落笔点在渲染视频当前帧中的坐标位置；笔刷颜色为落笔点处的颜色值；笔刷方向则由渲染视频帧的结构张量的特征向量的方向构成，如图3所示。

3.2 结构张量的定义及实现

计算输入视频当前帧基于结构张量的特征值和特征向量，以特征向量的方向作为画笔的落笔方向进行渲染即可得到具有梵高油画风格的输出视频帧。具体计算方法可参考陈添丁等的工作。

图4为通过运用LIC方法对输入图像的结构张量进行卷积操作获得的流场图。通过实验发现，图像的结构张量能较好的反映图像的流场特征。运用图像的结构张量及其特征向量的方向作为笔刷的绘制方向能较好的模拟具有梵高绘画风格的图像，该方法也可拓展到对视频的绘制渲染方而。endprint

以下为基于OpenCV的计算结构张量的特征向量及其方向的代码实现。

computeBrushDirection（const Mat& frame，Mat& direction）{ vector《loat> tensor，

computeTensor（frame， tensor）；

vector eig（2*tensor.size（》；

fioat* tensor_data= tensor.data（）；

fioat* eig_data 2 eig.data（）；

eigen2x2（tensor_data， eig_data， tensor.size（）/3）；

direction.create（frame.rows， framecols， C.V_32F）；

for （inti=0；i

for （int.j=O；j

int index=6*（i*w+j）；

float arg= atan2f（eig_data[index+3]， eigdata[index+2]）；

a rg

/=3.1415926；

directionat（i，j）= arg；

}

}

}

3.3 油画涂料层叠感的生成

本文在brunp-mapping技术思想的启发下对简单的光照模型进行改进，通过计算机生成了具有色彩层叠感效果的油画绘制图像。光照模型的推导过程可参考赵杨，钱文华的研究工作。本节设计的基于图像的光照模型形式化为

P_（ij）= I_ek_e+ I_p [k_d cosθ+kscos^mα]（5）

为了提高运算速度，能快速对输入的视频帧进行油画涂料层叠感的渲染，本文运用GPU对视频帧进行并行加速渲染。以下是对油画涂料层叠感算法的伪码实现。

double computeEmboss（）

{

double azimuth= 20.0：

double elevation= 45.0；

double Nx=O，Ny=O，Nz=O，NdotL=O：

double Lx， Ly， Lz

double shade=O，background=O；

Lx= cos（azimuth）* cos（elevation）*pixelScale；

Ly= sin（azunuth）*cos（elevation）*pixelScale；

Lz= sin（elevation）* pixelScale；

Nz =1530/3：

background= Lz；

Nx= SobelX；

Ny= SobeIY；

if（ Nx—O&&Ny==O）

shade= background；

else if（ （NdotL= Nx*Lx +Ny*Ly +Nz*Lz）

shade=O：

else

shade= NdotL/sqrt（Nx*Nx+ Ny*Ny+NZ4NZ、：

return shade；

}

3.4 色彩传输与转换

为了使光照渲染后的输出帧从视觉感知上与其他名家的油画作品相似。本节通过线性映射，使得输入视频帧各颜色通道与参考图各对应通道分布一致，如图8所示。为了降低各通道之问的相关性，需在lαβ颜色空问中进行操作，具体实现原理可参考文献[12]：

4 总结

运用计算机技术模拟生成具有梵高风格的视频图像效果，进一步拓宽了计算机动画的创作领域。实验表明，运用本文设计的算法模拟具有梵高风格油画的表现技法，其相似度较高，同时有着制作成本低，制作周期短的特点。

参考文献

[1]秦芳.传统文化背景下的中国意象油画[D].河北：河北师范大学，2010：1-38.

[2]李芟.计算机图形艺术在油画创作中的运用[D].辽宁：沈阳师范大学，2014： 1-24.

[3]李春生，袁玉珍.油画创作中计算机图像处理技术的应用[J].电子测试，2013No.11：284-285.

[4]颜彬彬.图像（视频）风格化技术研究[D].浙江：浙江工业大学，2011：1-65.

[5]黄华，臧或，张磊，图像和视频油画风格化研究[J].计算机科学，2011，38（06）：1-6.

[6]赵杨，徐丹，运用流体模拟的油画生成方法[J].软件学报，2006，17 （07）：1571-1579.

[7]钱小燕，肖亮，吴慧中，一种流体艺术风格的自适应LIC绘制方法[J].计算机研究与发展，2007，44 （09）：1588-1594.

[8] Holger Winnemoeller.， Sven C.Olsen.. Bruce Gooch. Real-t ime video abs traction [J]. ACM Transactions on Graphics （TOG） -Proceedings of ACM SIGGRAPH 2006， 25 （03）： 12 21-12 26.

[9]Yang Zhao， Dan Xu. Automatic and Real-Time Video Stylization[C]. In Proceedings of lOth IEEE International Conference on Computer- Aided Design and Computer Graphics2007， 2007： 505-508.

[10]陳添丁，金炜炜，陈英旦，吴涤.真实图像转换的水墨图像绘制模拟[J].中国图像图形学报，2014，19 （06）： 946-95.

[11]钱丈华.重要度引导的抽象艺术风格绘制[J].计算机辅助设计与图形学学报，2015， 27 （05）： 915-923.

[12] Reinhard E，Ashikhmin M，Gooch B，Shirley P，Color transfer between images.IEEE Computer Graphics and Ap plications， 2001， 21（05）： 34-41.