一种新的基于二尺度分解的图像和谐融合方法

韩丽茹

(浙江水利水电专科学校 计算机与信息工程系,杭州310018)

1 引 言

在图像和视频编辑应用中,图像融合是一个很有用的操作,旨在产生逼真的融合结果。近几年来,在计算机图形和图像领域已经提出了一些相关的图像融合技术,其中基于梯度域的图像融合技术是简单并被广泛应用于图像编辑的一种算法。梯度域技术通过在梯度域里求解泊松方程来得到无缝融合的结果,在梯度域中解决图像融合问题就是利用了人们在观察图像时往往更注重局部图像的强度差而非强度本身的特点。基于梯度域的无缝融合技术最早由Pérez 等人[1]提出,Jia 等人[2]利用优化混合边界改良了混合的结果,Lalonde 等人[3]介绍了一种混合遮罩的方式来移除边界污点,Tao 等人[4]提出了一种容错的方式使得在不改变边界位置的情况下预防变色,Chen 等人[5]提出了一种结合改良的泊松融合与alpha 混合的图像合成方法。

近来,二维重心坐标——均值坐标被用来解决图像融合中的插值问题。Farbman 等人[6]用均值坐标法获得极其相似的泊松图像融合结果, Lee 等人[7]提出了一种改良的采样方法来解决Farbman 等人[6]没有解决的均值坐标凹域问题,还有一些结合了均值坐标和抠图技术的方法[8-9]也被提出。此外,Wang 等人[10]介绍了调和融合方法,该方法在图像融合中用调和坐标代替均值坐标。

上述方法通常都可以获得比较好的图像融合结果。但是,如果源图像和目标图像拥有不同的外观(如在不同的条件下使用不同的相机拍摄),基于梯度域的技术和基于坐标的方法将不能够得到逼真的结果。显然,理想的结果满足如下目标:应当边界无缝, 而且视觉效果上与目标图像匹配。近来,Sunkavalli 等人[11]明确解决了在图像融合中图像协调的问题。他们通过在一个大的滤波器输出当中重构图像并将和谐化整合到合成结果中扩展梯度域技术。他们的方法使用多尺度技术来自动更正图像中不一致的地方。

图像和谐融合需要合成区域的全局外观跟背景图像和谐。这涉及到3 个方面:首先,结果图像的亮度应当与目标图像的亮度匹配,对于结构相似的区域,结果图像和目标图像应该在这些区域上亮度相似;其次,合成后结果图像的细节纹理应当是逼真的;最后,合成区域的颜色应当是和谐的。我们观察到,多数情况下如果源图像和目标图像在融合区域内具有相似的结构,以及相似细节和颜色,融合后的图像看起来也更加和谐;而如果融合区域里结构不同,保持源图像的颜色,其融合结果通常看起来更为和谐。

基于上述考虑,本文提出了一种新颖的图像融合方法。该方法使用不同的方式来满足前面的3 个方面,算法首先将图像分解为基层、细节层和颜色层。为了能够在合成图像上得到和谐的亮度分布,算法将目标图像基层的亮度统计特性迁移到源图像的基层上。融合后图像逼真的细节是由区域修复技术和加权混合技术得到的。一旦和谐的亮度层被计算出来,算法运用均值融合技术在各层上生成最终的合成结果。由于每个像素的均值融合处理是完全独立于融合区域内部的其他像素点,因此算法使用并行方式来实现均值融合从而加快整个处理过程。

2 算法概述

本文算法主要分为4 步。首先,分别将源图像和目标图像分解为基层、细节层和颜色层3 层;其次,算法使用不同的方式来处理各层信息:通过将目标图像基层的亮度直方图迁移到源图像的基层从而能够达到亮度平衡,使用孔修复方法来修改目标图像在融合区域的细节层,由此产生的细节将随之获得;第三,在每对相应的层上使用均值融合;最后,通过合成这三层结果来获得最终结果。亮度层上的工作流程如图1 所示。

图1 亮度层的工作流程图Fig.1 Workflow of brightness layer

2.1 层分解

首先将源图像和目标图像转换到CIELAB 颜色空间,然后将亮度通道分解为基层和细节层。基层是包含了图像结构信息的结构层。双边滤波[12]和加权最小二乘法(WLS)滤波[13]等边缘平滑方法可以实现基层和细节层的分解问题。本文算法使用加权最小二乘法,因为它在解决靠近边缘的模糊水平上具有出色的表现。

给定一个亮度通道L, L 中的基层B 可以通过解下面的最小值得到:

式中,p 代表融合区域中的各个像素点,B 表示平滑后的基层,L 表示图像亮度通道,Lx(p)、Bx(p)表示在x 方向上的梯度,Ly(p)、By(p)表示在y 方向上的梯度。第一项旨在使B 尽量与L 保持相似,第二项通过最大限度地减少B 的偏导数来使之平滑。系数λ是用来平衡这两项:λ的值越大,基层将越平滑。下标x 和y 分别代表在横坐标和纵坐标上求偏导数。系数α决定了L 梯度的敏感度。为了防止被0 整除将系数ε设置为0.000 1。在本文的试验中α=1.2,λ=1。

随后,算法使用减法来分别获得源图像和目标图像的细节层。其中,D 表示图像的细节层。

2.2 亮度匹配

基层包含了亮度空间的分布信息。算法尝试将目标图中的亮度空间分布加载到源图像中,这样在匹配融合区域时能够得到理想的结果。直方图匹配是修改源图像强度从而使源图像的强度统计能够与目标图像相似的一种主要解决方法。给定一个具有直方图hbs的源图像基层Bs 和目标图像基层的直方图hbt,和谐的源图像基层Bhs就可以由以下公式计算得到:

其中, Bs表示源图像的基层,hbt表示图标图像的基层的直方图, Bhs表示和谐的源图像基层。这里histmatch()表示将目标图像的基层直方图hbt迁移到源图像基层Bs上。

直方图匹配是匹配图像外观的一种有力工具[11]。由于本文算法在具有少噪声和细节的基层上运用直方图匹配,因此会最小化一些瑕疵,例如噪音的扩大。

2.3 细节操作

如果直接将源图像的细节层和目标图像的细节层融合在一起,融合区域当中将包含很多目标图像的细节层结构信息,从而产生瑕疵。协调的结果应当是在融合的结果里融合区域中不包含目标图像的原始结构细节。一种直观的方式是从目标图像的细节层中将结构信息分离出来。但是,在单独的一层当中直接分离这些信息相对于前面的转换来说是很困难的。所以,算法假设融合的结果只需在视觉上逼真就可以了,这也就意味着只需将融合区域内的像素同周围像素点的细节在外观上匹配好即可。基于这种假设,算法用两个步骤来处理细节协调,首先,从目标图像的细节层移走融合区域的细节部分并填充这个孔洞;然后,用一种加权方式将源图像细节层和目标图像细节层混合在一起,从而得到结果细节层。

修复目标细节图像中的孔洞就是填充那些丢失的像素点,解决这个问题有两种方式:纹理合成和图像修复方法。纹理合成在处理具有随机性的二维图案上效果很好;而图像修复则致力于线性结构,这种结构可以认为是一维模式的。本文采用了基于Criminisi 等人[14]提出的方法,该方法综合了纹理合成和图像修复的优点。为了产生合理的结果,算法使用孔洞边缘周围的图像像素作为纹理片并在融合区域得到修改后的目标细节D′t。

其中,Dr表示结果图像的细节层,Ds表示源图像的细节层, D′t 表示孔修复后的目标图像的细节层。γs, γt∈[0,1] ,这两个系数控制着每个细节的比重,不同的γs 、γt 值能够产生不同的融合效果。对于无缝融合,因为其结果只包括源图像的细节并且目标图像的细节应当被隐藏。于是,可以取γt=0 来隐藏D′t,并且取γs=1 来将Ds 转换到Dr。在本文的和谐融合应用中,可以取γt>0 来保留一些目标图像的细节。注意两者的权重之和不能太小,否则就会因为缺少太多的细节而使结果看起来不真实。

2.4 并行均值融合

一旦得到了源图像的基层Bhs和混合后的细节层Dr,新的源图像亮度通道L′s就可以由L′s=Bhs+Dr计算得到。随后新的亮度通道用均值坐标法融合到目标图像的亮度层上。

给定一个待融合的区域Ψ和它用逆时针顺序给出的边界像素点构成的链 Ψ(t0, t1, …, tm=t0),每一个像素p ∈Ψ的均值坐标(MVC)就是权重ki,ki用下面的公式计算出:

其中,βi是∠tipti+1,图2 显示了βi的定义。

图2 关于均值坐标角度的说明Fig.2 Illustration of mean value coordinate angle

使用这些像素的均值坐标,均值插值r(p)可以定义如下:

结果的亮度层Lr就定义为

因为融合区域内每一个像素点的均值插值只和边界坐标有关,因而每个像素点的插值可以各自处理。在CPU 上实现均值插值法很耗时间,为了解决这个性能瓶颈,本文使用CUDA 技术来实现插值加速。

前面通过公式Lr=L′s+r 得出的结果可能超出了亮度范围[0,100] ,这可能导致图像在视觉效果上内容的损失,所以应当把这些值转换到显示范围内。算法将目标亮度Ls的强度直方图迁移到当前亮度Lr中,成功保留了结果图像的丰富细节。

2.5 颜色层融合

对于颜色通道的融合,算法直接把源图像的as和bs用于均值融合处理。最后, 算法将图像从CIELAB 颜色空间转换为RGB 颜色空间并得到最终和谐的融合结果。

3 实验和结果

本文实现了一个新颖的图像和谐融合方法。提出的方法是使用MATLAB 实现的,电脑配置为:CPU(Inter Core2Duo 2.66 GHz)、2G 主内存、显卡为1G 图形内存的NVIDIA GeForce GTS250。该方法需要两个参数:γs 和γt。不同的融合目标可以通过不同的参数得到。

在算法实现过程中最耗时的步骤是区域修复和计算像素点的均值坐标(Mean Value Coordinate,MVC)。因为每个像素点的均值插值是独立于其他像素点计算的,所以这一步非常适合在图形处理器(Graphic Processing Unit,GPU)中并行实现。算法在计算均值坐标的性能如表1 所示,其中N-b 代表融合区域边界点的数目,N-r 代表融合区域内部像素点的数目。注意,表中GPU 的运行时间是包括硬盘输入输出的。

表1 计算均值坐标的性能Table 1 The mean value coordinate performance

本文和原始的均值融合方法进行了比较。图3中,源图像的脚印被剪切出来融合到目标图像中,图3(c)显示了使用原始均值融合方法产生的结果。尽管结果是无缝的,但由于融合结果缺少与目标图像相似的细节致使在融合区域和其他像素点之间具有不和谐的外观,因而图像看起来不自然。在本文方法里,区域修复和细节的加权混合被适当运用到产生无缝边界和获得逼真的细节效果,这样获得的结果是和谐的,其结果如图3(d)所示。

图3 源图像中的脚印Fig.3 Footprint in source image

尽管原始的均值融合在多数情况下工作得很好,但本文算法提供了在原始的均值融合中缺乏的特性,细节混合在获得和谐结果中至关重要,算法允许细节层和基层独立操作。图4 显示了另一个例子:源图像面部被融合到目标图像中。原始的均值融合方法产生不够逼真的结果如图4(c)所示。本文结果如图4(d)所示,在融合区域显示了视觉上逼真的细节纹理。正如图4 所示,本文提出的新方法同原始的均值融合方法相比能够产生更为逼真的结果。

图4 一个图像和谐融合的例子Fig.4 An example of harmonious cloning

注意,MVC 算法结果脸部太过于光滑,而本文算法的结果在视觉上具有更合理的细节纹理。

4 结 论

本文提出了一种基于二尺度分解的图像和谐融合的新颖算法,该方法使用区域填充和加权混合的方法产生视觉上逼真的融合图像细节,算法整合了高度并行的均值融合技术。实验结果显示了本文提出的方法能够在细节上与目标图像匹配完好。

尽管该算法具有上述优势,它仍然有一些局限性,例如当前的实现只是部分并行并且区域填充消耗了很多CPU 时间。因此,在未来的工作中,应尝试用GPU 来处理整个过程,从而提高算法的计算效率。

[ 1] Pé rez P, Gangnet M, Blake A.Poisson image editing[ J] .ACM Transactions on Graphics, 2003,22(3):313-318.

[ 2] Jia J, Sun J, Tang C-K,et al.Drag-and-drop pasting[ J] .ACM Transactions on Graphics,2006,25(3):631-637.

[3] Lalonde J-F, Hoiem D, Efros A A, et al.Photo clip art[ J] .ACM Transactions on Graphics, 2007, 26(3):1-10.

[4] Tao M W, Johnson M K, Paris S.Error-tolerant image compositing[C]//Proceeding of the 11th European Conference on Computer Vision.Heraklion,Crete,Greece:IEEE,2010:31-44.

[ 5] Chen T, Cheng M M,Tan P,et al.Sketch2photo:internet image montage[ J] .ACM Transactions on Graphics, 2009, 28(5):124-134.

[ 6] Farbman Z, Hoffer G, Lipman Y,et al.Coordinates for instant image cloning[ J] .ACM Transactions on Graphics,2009, 28(3):1-9.

[7] Lee S -Y, Lee I-K.Improved coordinate-based image and video cloning algorithm[ C]//Proceedings of ACM SIGGRAPH Asia.New York:ACM,2009:1-5.

[8] Xie Z-F, Shen Y, Ma L-Z,et al.Seam less video composition using optimized mean -value cloning[ J] .The Visual Computer,2010, 26(6-8):1123-1134.

[9] Ding M,Tong R-F.Content-aware copying and pasting in images[J] .The Visual Computer,2010, 26(6-8):721-729.

[10] Wang R, Chen W-F, Pan M-H,et al.Harmonic coordi nates for real-time image cloning[ J] .Journal of Zhejiang University Science, 2010(11):690-698.

[11] Sunkavalli K, Micah K J, Matusik W, et al.Multi-scale image harmonization[ J] .ACM Transactions on Graphics,2010, 29(4):125-134.

[12] Tomasi C, Manduchi R.Bilateral filtering for gray and color images[C]//Proceedings of the Sixth International Conference on Computer Vision.Bombay, India:IEEE,1998:1-5.

[13] Farbman Z, Fattal R,Lischinski D, et al.Edge-preserving decompositions for multi-scale tone and detail manipulation[ J] .ACM Transactions on Graphics, 2008, 27(3):1-10.

[14] Criminisi A, Pé rez P, Toyama K.Region filling and ob ject removal by exemp lar-based inpainting[ J] .IEEE Transactions on Image Processing, 2004,13(9):1200-1212.