基于结构相似性感知的引导图像滤波

韩 博 孙忠贵

(聊城大学 数学科学学院，山东 聊城 252059)

0 引言

信息社会，数字图像的应用已渗透到交通运输，城市安防，医疗诊断，工业检测，航空航天，气象预测等人类生产生活的各个领域.然而，由于成像设备，环境和传输条件的限制，现有图像获取过程难免会受到噪声，光照，天气，遮挡等因素的影响，从而造成成像质量下降，并给后续图像分析，检测，识别等任务带来较大困难和挑战.图像滤波则是改善数字图像质量的一种重要技术手段.给定一幅待处理的目标图像，根据滤波过程中有无引导图像的参与，可以将现有滤波算法大致分成两类，即自引导滤波与(他)引导滤波.

所谓自引导滤波，即在对目标图像进行处理的过程中仅依赖其自身结构信息的一类方法.比较有代表性算法包括双边滤波(Bilateral filtering，BF)[1]，非局部均值(Non-local means，NLM)[2]滤波，区域协方差(Region covariance，RC)滤波[3]，如全变分(Total variation，TV)[4]，加权最小二乘(Weighted least square，WLS)[5]，L0范数梯度最小化(L0 gradient minimization，L0GM)[6]，相对全变分(Relative total variation，RTV)[7]等.其中，BF，NLM，RC通过加权均值的方式完成对目标图像的处理; TV，WLS，L0GM，RTV分别通过优化采用1范数，2范数，0范数和加权1范数对滤波输出的梯度进行约束的目标函数完成处理过程.尽管这些方法在图像去噪[1,2,4]，去纹理[5-7]，细节增强[5,6]等任务中有着广泛的应用，然而，它们通常也存在着对噪声不够鲁棒，滤波输出过光滑，不易加速等缺陷[8].此外，在现实生活中，受诸多因素的干扰，目标图像自身往往不能提供准确可靠的结构信息.这无疑给上述自引导滤波方法的应用带来了较大限制.自然地，借助一幅相对可靠的引导图像的结构信息指导对目标图像进行处理的方法，即引导滤波(或称联合滤波)引起了研究者的广泛关注.

在引导滤波方法中，一个代表性算法为Petschnigg等人提出的联合双边滤波(Joint bilateral filtering，JBF)[9]和He等人提出的引导图像滤波(Guided image filtering，GIF)[10].从某种意义上说，JBF是对BF的直接推广，它将BF从目标图像自身获取权重的方式转向从引导图像获取.这一思想首先在闪光灯-非闪光灯图像去噪[9]任务中获得了巨大成功，随后被广泛应用于彩色-近红外图像增强[11]，彩色-深度图像超分辨[12]等任务.然而，由于其非线性性，JBF不仅具有较高的计算复杂度，也容易导致滤波输出边缘处产生亮暗交替现象，即梯度反转(Gradient reversal)[5,10].与此相反，GIF假定滤波输出与引导图像成局部线性关系，确保了图像滤波前后梯度方向的一致性，克服了JBF面临的梯度反转.此外，GIF的计算复杂度与滤波窗口半径无关，这也使它成为了当前最为高效的图像滤波算法之一.最近，Li等人提出的加权引导图像滤波(Weighted guided image filtering，WGIF)[13]对GIF进行了改进.具体来说，通过引入边缘感知权重，WGIF能够对GIF中的正则化参数进行自适应调整，在抑制光晕的同时实现锐化边缘的更好保护.

需要指出的是，上述引导滤波算法均假设引导图像与目标图像的结构一致.然而，这一假设在实际应用中并不总是成立，尤其当这两幅图像是由不同传感器或在不同条件下获得时.一旦引导图像包含了未出现在目标图像中的结构，这些结构极易被错误传递到滤波输出，从而导致纹理复制(Texture copy)的缺陷[14,15]，并不可避免会对后续的图像处理任务造成干扰.

为解决这一问题，本文首先提出了结构相似性感知(Structure similarity aware，SSA)，以准确刻画引导图像与目标图像结构差异，继而提出一种改进的引导滤波方法，即基于结构相似性感知的引导图像滤波(Guided image filtering based on structure similarity aware，SSA-GIF).为验证所提方法的有效性，本文在彩色-深度图像数据集[16]进行了一系列实验.结果表明，相对现有算法，SSA-GIF有效避免了滤波输出中的纹理复制缺陷.

1 联合双边滤波与引导图像滤波

1.1 联合双边滤波(Joint bilateral filtering，JBF)

给定一对配准后的图像，包含待处理的目标图像I和引导图像G，对其中任意像素i，JBF[9]与BF[1]一样将其滤波输出表示为以i为中心，半径为r的局部窗口ωi内像素灰度值的加权平均，即

(1)

其中Ki=∑j∈ωiSijRij为归一化常数;Sij和Rij分别度量像素i和j之间的空间相似性和灰度相似性，通常被称为空间核和值域核，数学表达如

(2)

这里xi和xj分别为像素i和j的空间坐标，Gi，Gj为引导图像G在像素i和j的灰度值;σs和σr为两个可调整的平滑参数.

1.2 引导图像滤波(Guided image filtering，GIF)

不同于JBF[9]的非线性模型，GIF[10]假定目标图像I的滤波输出q与引导图像G在局部窗口中成局部线性关系，即

qi=akGi+bk,∀i∈ωk，

(3)

其中ak，bk为线性系数，在滤波窗口ωk中为常数，通过最小化如下目标函数求解

(4)

这里ε是正则化参数，用于对较大的ak施加惩罚.令上述目标函数对ak，bk的偏导数为零，可得

(5)

(6)

(7)

(8)

(9)

其中|ω|为ωk中的像素个数.

需指出，由于滤波窗口重叠，即像素i通常被包含在多个窗口中.故，通过公式(3)将得到多个滤波输出.为解决这一问题，GIF将i所有可能的滤波输出的平均值作为其最终滤波输出，即

(10)

根据窗口的对称性[10]，公式(10)可以重写为

(11)

(12)

2 基于结构相似性感知的引导图像滤波

在现实生活中，引导图像G和目标图像I通常是由不同成像设备或传感器在不同成像条件下获得，因此，这两幅图像通常存在着较大的结构差异，如图1所示的彩色图像(a)比其深度图像(b)包含更丰富的纹理信息.由于忽略了两图像的间结构差异，JBF[9]和GIF[10]直接采用彩色图像的结构指导对深度图像进行滤波的过程，使得原本未出现在深度图像的结构出现在了其滤波输出中，即纹理复制现象，如(g),(h)中黑色矩形区域所示.本文旨在克服JBF与GIF的这一缺陷.为此，首先提出了一种能够更加精确度量引导图像与目标图像的结构差异的指标.

2.1 结构相似性感知

给定一半径为r中心像素为k的局部滤波窗口ωk，现存常用度量引导图像G和目标图像I在ωk的结构关系的指标为归一化交叉相关(Normalized cross correlation，NCC)[17]，即

(13)

(14)

2.2 目标函数

与JBF和GIF不同，本文遵循不完全依赖引导图像结构的准则，在结构相似性感知λ的帮助下，假设引导图像G，待滤波的目标图像I及其滤波输出q成如下线性关系

qi=ak(λkGi+(1-λk)Ii)+bk,∀i∈ωk,

(15)

其中ak，bk为ωk中的线性系数.相应地，为最小化如下目标函数

(16)

并分别对ak，bk求导并令其导数为零可得

(17)

(18)

类似于GIF，为解决窗口重叠，最终滤波输出qi有如下形式

(19)

(20)

为方便起见，本文将这种改进后的方法称之为基于结构相似性感知的引导图像滤波(Guided image filtering based on structure similarity aware，SSA-GIF).事实上，若G和I在ωk中的结构不一致，即λk=0，由公式(15)(17)(18)可得

(21)

它们均与引导图像G无关,此即SSA-GIF对目标图像I执行自引导滤波过程; 若其结构一致，即λk=1，则

(22)

这时SSA-GIF对I执行传统引导滤波过程.因此，SSA-GIF能够自适应选择引导图像中与目标图像相一致结构用于对其滤波过程的指导，从而在去除图像噪声，恢复图像边缘的过程中避免JBF和GIF面临的纹理复制，如图1(i)所示.

算法1基于结构相似性感知的引导图像滤波

算法1给出了本文所提改进算法SSA-GIF实现的伪代码.由于该过程中的每一步计算均可通过具有O(N)复杂度的盒子滤波(Box filtering)[10]快速实现，因此，SSA-GIF与GIF一样，计算复杂度仍为O(N).在运行时间方面，对一幅大小为370×463的图像，JBF，GIF和SSA-GIF完成其处理过程分别约需1.78秒，0.06 s和0.15 s.可见,SAA-GIF是一个十分高效的改进方法，有利于实际推广应用.

3 实验

2.1中图1呈现的滤波输出及相应放大结果已初步表明所提算法SSA-GIF能够有效避免纹理复制.为进一步对其有效性进行验证，本文在彩色-深度图像数据集[16]进行了一系列实验(其中深度图像含有均值为零方差为10的高斯白噪声)，并将其与JBF[9]，GIF[10]和近年提出的WGIF[13]的滤波输出进行比较.为保证实验的公平，分别从主观视觉效果与客观峰值信噪比(Peak Signal to Noise Ration，PSNR)两方面对实验结果进行评价.所有算法均在MATLAB R2017a中实现，并在一台配置为Intel(R) Core(TM) i5-7200U CPU @2.50GHz 2.70 GHz，内存为8GB的PC中执行，且各算法中的参数均调到最优水平，如表1所示.此外，在实验过程中，多通道图像被分开处理，且每个通道中的像素灰度被归整为[0,1]的范围内.

表1 不同引导滤波方法中的参数设置

如图2，图3(d),(e),(f) 中的黑色矩形框区域所示，由于忽略了图像间的结构差异，JBF，GIF和WGIF将彩色图像中未出现在深度图像中的结构传递到了滤波输出中，使其存在着纹理复制.与此相反，如图2，图3(g)所示，本文所提算法SSA-GIF在结构相似性感知的帮助下能够自适应筛选与深度图像相一致的彩色图像结构对其进行指导，从而避免了纹理复制.此外，滤波输出的PSNR指标也表明SSA-GIF在比较算法中取得了最好的去噪效果.

4 结论

为克服联合双边滤波，引导图像滤波等现有引导滤波方法所面临的纹理复制缺陷，本文通过充分考虑两图像结构差异，提出了一个新的滤波方法，即基于结构相似性感知的引导图像滤波.相比现有算法，本文所设计的滤波器能够根据图像间的结构相似性，自适应地选择引导图像中的结构信息进行引导滤波，从而有效避免了现有引导滤波器中的纹理复制缺陷.