权值动态化约束的跨模态非局部均值滤波器*

蔡郁青 孙忠贵

(1.聊城大学季羡林学院,山东聊城 252000;2.聊城大学数学科学学院,山东聊城 252000)

0 引言

数字图像的应用已经渗透到生物医学[1-2]、信息科学[3]、交通运输[4-5]、航空航天[6]、气象预测[7]、工业[8]、农业[9]等各个生活领域与行业。然而,由于受成像设备、环境和传输条件的限制,现有的图像获取过程难免会受到噪声的影响,从而使成像质量下降,并给后续的图像识别、分析、检测等任务带来挑战。

近年,非局部均值滤波器(NLM)[10]因其优良的去噪性能吸引了越来越多研究者的关注。与传统去噪算法相比,NLM滤波器主要有两个方面的改进:(1)将滤波窗由局部拓展至非局部,更好地利用了图像的周期性;(2)像素间的相似性计算通过其所在的图像片,增强了算法对噪声的鲁棒性。NLM滤波器已被广泛的应用于图像去噪[11-15]、图像超分辨、视频增强等多个领域。

借助不同成像设备,可获取同一目标多种模态的图像[16],我们将其称为多模态图像。这些模态可以是可见光、近红外等,它们从不同角度描述同一目标的不同统计信息,从而具有互补性。自然,如何在不同模态之间进行跨模态处理,已成为近年图像处理的一个研究热点[17-19]。本文重点对传统的非局域均值滤波器算法进行改进,借助结构相似性度量,对滤波器权值施加动态正则化约束,从而将其应用范围由单模态推广至跨模态。本文将所得到新型滤波器称为权值动态正则化约束的跨模态非局部均值滤波器(Non-local Means for Cross-modal Filtering Based on Dynamic-regularized Weights,NLM-CMDW)。相对于传统的NLM滤波器,本文所提NLM-CMDW滤波器的优点主要体现在两个方面:一方面,滤波器中核权值的获取在较为可靠的模态上进行,使其更为可信。另一方面,引入相关系数进行不同模态间的结构相似性度量[20]并将其用于滤波器权值的动态正则化约束,在一定程度上避免滤波输出的纹理复制现象。实验的视觉效果与量化指标均表明,本文所提算法在实现跨模态去噪的同时有效避免了纹理复制现象。

1 理论基础

1.1 NLM算法

NLM算法的基本原理是设定的相似窗在搜索窗中移动以获取领域的相似性,再根据邻域的相似性来确定像素的滤波权值。相似窗与搜索窗的关系图如图1所示。

假设Y为含噪图像,X为原始(无噪声)图像,即要恢复的目标;图像大小为N×N;搜索窗大小为S×S,其半窗宽度记为D;相似窗大小为L×L,其半窗宽度记为d。NLM算法主要实验过程如下。

首先,计算邻域块之间高斯加权的欧式距离d(i,j)。d(i,j)值越小,图像块之间的相似度越大,反之,相似度越小。

式中:Yi和Yj分别为搜索窗内以i和j为中心像素点的图像块;α为高斯核向量;h为滤波参数。

其次,根据(1)式中所求的高斯加权的欧式距离,确定相似块的权值,相似度越大,则权值越大。

式中:C(i)为归一化因子,将w(i,j)都处理到[0,1]之间。

式中:Y(j)表示图像中第j个像素的值。

1.2 Pearson相关系数

Pearson相关系数,是一种统计学方法,主要用于定量衡量随机变量之间的线性关系,在本文改进算法中,我们将使用该统计量来进行不同模态间的结构相似性度量。Pearson相关系数输出范围一般在[-1,1],其中负值表示为负线性相关,正值为正线性相关,0则表示两个随机变量之间无相关性。

式中:cov(x,y)为x、y的协方差;μx和μy表示为x,y均值;σx和σy分别表示为x、y的标准差;E(x)和E(y)分别表示x、y的期望。

2 NLM算法改进

本文提出了一种基于结构相似性度量的跨模态NLM算法,在其传统NLM算法的基础上,实现了跨模态场景应用,并引入相关系数来度量引导图像与目标图像的结构差异,从而有效避免了纹理复制现象,我们的改进主要体现在两个方面:(1)对传统NLM算法进行跨模态实现;(2)引入Pearson相关系数避免纹理复制现象。本文算法的流程图如图2所示:

图2 NLM-CMDW流程图Fig.2 NLM-CMDW Flowchart

2.1 跨模态NLM算法(NLM-CM)的初步实现

传统的NLM算法可以使去噪后图像更好地保持纹理、边缘等细节部分,但其不能实现跨模态操作,受双边滤波器的启发,本文对传统的NLM算法进行跨模态拓展。相对于当前待处理的含噪模态Y,我们选用一个更为可靠的模态Z进行权值的计算,并将相应的权值表示为w(i,j):

式中:Zi和Zj分别为彩色图像搜索窗内以i和j为中心像素点的图像块。

2.2 基于相关系数的权值动态正则化约束

由文献[21],公式(6)中的权值可解释为下面公式(7)所定义的优化问题:

由上式可以看出,对所有权值我们施加了参数恒为h2的香农熵正则化约束。然而实际中,引导图像Z和输入图像Y的结构可能存在差异。由于这种差异的存在,若直接采用公式(6)算法进行跨模态滤波,势必导致纹理复制现象,即引导图像中的纹理被错误地复制到滤波输出中。这促使我们根据两幅图像的纹理一致程度不同对权值施加动态正则化约束。具体实现时将h2改进为一个基于图像间结构性相似性的自适应正则化参数λ,即:

其中ρ(Zj,Yj)代表图像块Zj和Yj相关系数;为防止分母为零,引入参数β(在本文经验取值为0.006)。显然当ρ(Zj,Yj)越小,即两图片纹理越不一致时,λ越大,从而使相应信息熵变大,权值分散,从而降低当前像素对中心像素的影响;反之,即两图片纹理一致时本文的动态正则化会增强当前像素对中心像素的影响。

为对动态正则化问题进行优化求解,构造如下拉格朗日函数:

故有:

因此:

基于上述权值本文所得到的权值动态正则化约束的跨模态非局部均值滤波器(NLM-CMDW)模型如下:

3 实验

为测试所提NLM-CMDW滤波器的性能,本文在Reindeer与Book两组经典深度与彩色的跨模态图像上进行实验。彩色图像相对应的灰度图像为引导图像,深度加噪图像为输入图像。高斯噪声的不同污染程度即标准方差由10到50。所有算法的搜索窗大小均为7×7,相似片大小均为3×3。分别从主观视觉效果、客观峰值信噪比(Peak Signal to Noise Ration, PSNR)以及结构相似性度量(Structural Similarity Index Measurement,SSIM)三方面对实验结果进行评价。所有算法均在MATLAB R2017a中实现,并在一台配置为Intel(R) Core(TM) i7-8750U CPU@2.20GHz2.21GHz,内存为8GB的PC中执行,且各算法中的参数如表1,表2所示。

表1 驯鹿(Reindeer)场景图三种算法的实验对比指标Tab.1 Experimental comparison index of reindeer scene chart

表2 书(book)场景图三种算法的实验对比指标Tab.2 Experimental comparison index of three algorithms for book scene graph

3.1 客观指标对比

从实验结果可以看出本文的算法在PSNR和SSIM两个指标上都要优于传统的NLM算法以及跨模态NLM算法(NLM-CM)。

3.2 主观视觉效果对比

如图2,图3的(d)所示,使用传统NLM算法进行修复后的图像较为浑浊,然而使用改进后的跨模态非均值滤波器算法后的结果图(图3,图4的(e))则较为清晰,但是由于其忽略了图像间的结构差异性,将彩色图像中未出现在深度图像的结构传递到了滤波输出中,产生了纹理复制现象。与此相反,如图3,图4的(f)所示,本文所提算法能够在相关系数的帮助下能够自适应筛选与深度图像相一致的彩色图像结构对其进行指导,从而避免了纹理复制。

图3 彩色-深度图像修复Fig.3 Color-depth image restoration

图4 彩色-深度图像修复Fig.4 Color-depth image restoration

4 结语

本文将经典NLM滤波器的应用由单一模态推广到跨模态场景,并通过对权值施加不同的正则化约束,所提NLM-CMDW滤波器有效克服了传统引导滤波纹理复制的缺陷。主观与客观实验结果均表明了所提算法的有效性。然而,应当指出,与经典NLM算法类似,本文算法亦有较大的运算复杂度,如何对其进一步加速,这是下一步值得探索的工作。将所提滤波器推广到图像增强之外的像分割等其他跨模态应用场景,也在值得今后工作中进行尝试。