基于RGF改进显著性检测与SCM相结合的图像融合

巩稼民,吴成超,郭刘飞,刘 威,裴梦杰,卢姣姣,高睿杰

(西安邮电大学通信与信息工程学院,陕西 西安710121)

1 引 言

作为图像融合技术的一条重要分支,可见光与红外图像融合技术因其共享互补特性以及应用的广泛性而备受国内外学者的关注。可见光图像捕获物体的反射光,具有较高的空间分辨率以及丰富的细节信息,但易受烟雾、气候、光照等因素影响[1]。红外图像通过捕获物体自身的热辐射从而抵抗天气、光照等因素干扰,但图像分辨率低且纹理较差。因此,将两种图像融合可以得到信息丰富且互补的融合图像[2]。目前,可见光与红外图像融合技术被普遍应用于军事、安防监控、搜救等众多领域。

基于多尺度变换的方法因其时频局部化特性而成为当前研究的焦点。非下采样剪切波变换(NSST)作为多尺度变换中最具代表性的方法之一,不仅可以避免由于移变性而造成的吉布斯效应[3],而且还具有比非下采样轮廓波变换(NSCT)更小的运算量和更好的实时性。除此之外,NSST还可以有效地提取出图像中所包含的纹理细节信息。姜等人[4]提出了一种基于NSST变换的红外偏振图像融合算法,解决了以往融合图像中边缘细节信息不够充分的问题。

根据人眼视觉感知机制,基于显著性检测的融合方法可以保持显著目标区域的完整性,并提高融合图像的视觉质量[5]。Hou等[6]提出基于谱残差的方法,通过对图像进行傅里叶变换去消除冗余信息从而提取显著目标部分。该方法虽然能以较高效率输出显著图,但其显著区域比较模糊,视觉效果较差。Achanta R等[7]提出的Frequency Tune(FT)显著性检测算法由于可以输出全分辨率的显著图而被广泛用于图像融合领域。但FT算法在使用高斯滤波平滑小尺度目标时还容易模糊大尺度目标边缘,导致融合图像显著目标边缘信息的丢失。而Zhang等[8]提出的滚动导向滤波(RGF)在平滑小尺度目标后,通过迭代来恢复大尺度目标的边缘,具有良好的边缘和亮度保持特性。因此,本文设计了一种利用RGF来对FT进行改进的显著性检测算法。

此外,在图像融合时,融合规则的选取十分重要。其中采用脉冲发放皮层模型(SCM)来融合图像,既可以保持源图像的信息,又能抑制融合图像的像素失真。如,巩等人[9]提出了一种对NSST分解后的高频和低频子带图像采用SCM进行融合的方法,得到的融合图像包含了丰富的纹理细节信息。根据以上思想,本文提出一种基于RGF改进的显著性检测与SCM相结合的可见光与红外图像融合方法。为保证红外目标的清晰完整,利用RGF改进的Frequency Tuned算法提取出显著图,通过投影方式指导低频部分融合；为保留更多纹理细节信息,采用SCM结合区域能量与改进的拉普拉斯能量和融合高频部分。与其他几种算法相比,提出算法所得融合图像红外目标更清晰,背景细节更丰富。

2 基本原理

2.1 非下采样剪切波变换

非下采样剪切波变换[10](NSST)相较于非下采样轮廓波变换[11](NSCT)有更高的计算效率和更好的融合效果。NSST对图像的分解主要由以下两个过程组成:

NSST对图像分解的具体过程如图1所示。图中展示了k=2时的分解过程,其中,f表示子带图像系数,上标中1,2表示尺度因子k的不同取值,l表示不同的方向,下标a和b分别代表低频和高频。

图1 NSST分解流程图

2.2 FT算法原理

FT算法有以下优点[12]:1)能有效过滤噪声以及纹理的高频成分；2)能较好地定义出目标的边界；3)可以突显出最显著的目标；4)能够输出与原图像相同大小的显著性图；5)能比较均衡地呈现出显著区域。因此,FT算法被普遍应用于图像融合领域。FT算法通过频域高斯差分滤波(Difference of Gaussians,DoG)的方式来进行显著性检测,其中选择的频率范围为(0,π/2.75),高斯差分滤波器公式为:

=G(x,y,σ1)-G(x,y,σ2)

(1)

(2)

令k=ρN由公式(2)可知,取大的k值可以获得与同时使用多个DoG滤波器一样的效果。在FT算法中,为取大的k值将ρ趋于无穷大,并且再使用一个小的高斯核函数对图像中的高频噪声以及对显著目标造成干扰纹理细节进行过滤。因此,用FT算法对图像进行显著检测的过程可表示为:

M(x,y)=‖Iμ-Iwhc(x,y)‖

(3)

式中,Iμ为输入图像I的平均灰度值;Iwhc(x,y)为输入图像I经高斯滤波后在像素点(x,y)处的灰度值;‖·‖表示L2范数。

2.3 基于滚动导向滤波改进的算法RGF-FT

由于原FT算法在采用高斯滤波滤除输入图像中噪声和纹理的同时还容易造成图像边缘信息的丢失,而滚动导向滤波(Rolling Guidance Filter,RGF)不仅可以去除复杂背景,还能保证显著目标边缘的准确性,因此本文采用RGF对原FT算法进行改进。RGF算法可用公式表达如下:

(4)

式中,

(1)当t=0时,设J0为常数,此时RGF相当于高斯滤波主要执行小尺度消除功能。对于尺度小于σs的结构RGF会将其消除,由此可以消除输入图像中的噪声和纹理信息,但同时也会一定程度上模糊大尺度结构边缘。

(2)当t>0时,RGF主要执行大尺度边缘恢复功能,此过程主要分为迭代和导向滤波两部分。RGF将经过小尺度消除处理后的输出J1作为引导图像,原始输入I作为输入图像,进行导向滤波；然后将导向滤波的输出J2作为下一次导向滤波的引导图像再进行导向滤波,以此进行迭代直到迭代次数完成,恢复出含有清晰的大尺度边缘图像Jt+1。

利用RGF改进后的显著性检测算法RGF-FT提取显著图可表达为:

M(x,y)=‖Iμ-IRGF(x,y)‖

(5)

式中,IRGF(x,y)为滚动导向滤波后像素点的灰度值,其他参数同公式(3)。

不同算法提取显著图结果如图2所示。其中,SR为文献[6]基于谱残差的算法。由图2(e)与(f)可以看出本文改进算法在提取出完整显著目标的同时,还保留了原FT算法所不具备的目标边缘细节信息,并且目标人物更清晰,与源图像目标人物更相近。

图2 不同算法显著图

2.4 脉冲发放皮层模型与赋时矩阵

脉冲发放皮层模型[13](SCM)是由脉冲耦合神经网络[14](Pluse Couple Neural Network,PCNN)简化而来。SCM继承了PCNN与人眼视觉机制一致的优点,相比于比PCNN,SCM具有更低的复杂度和更高的计算效率,并且SCM在处理图像时对于图像的细节信息具有比PCNN更强的表达能力[15]。

SCM的原理图如图3所示,SCM神经元是由接收域、调制域和脉冲发生域三块区域构成。在接收域中,神经元接收外部激励Sij并根据邻域神经元的输出Ypq计算链接输入Lij；在调制域中,将来自接收域的外部激励Sij和链接输入Lij进行非线性调制,再将调制后的结果作为神经元内部活动Uij输出；最后,神经元通过对比内部活动项Uij与脉冲发生阈值Eij来决定神经元的脉冲输出Yij。当脉冲输出为1时,神经元被激活并产生点火；输出脉冲为0时,神经元不产生点火。

图3 SCM结构原理图

SCM模型可用数学表达式表示为:

(6)

式中,(i,j)为神经元位置坐标；n为迭代次数；F为反馈输入；S为外部激励；L为链接输入；VL为放大系数；(p,q)为区域范围；Wij,pq为神经元间连接权重系数矩阵；U为神经元内部活动；Y为神经元输出；k和g为衰减系数；h为阈值活动系数。

对于SCM而言,迭代次数n的大小会直接影响整个模型的性能,选择一个合适的迭代次数可以有效地提升融合图像的质量。为此,选择在SCM的输出端添加一个赋时矩阵[16]。赋时矩阵可用来记录神经元完成第一次点火时的迭代次数n并且能有效地避免SCM迭代次数过多的问题。最后,将赋时矩阵的输出作为SCM的点火映射矩阵输出,赋时矩阵可用数学表达式定义为:

(7)

式中,(i,j)为神经元位置坐标；T为点火映射矩阵；n为迭代次数；S为外部激励；Y为神经元输出。

3 融合算法

本文的融合算法整体流程如图4所示。步骤如下:

(1)将可见光图像与红外图像使用NSST分解,得到各自的低频和高频子带图像。

(2)采用改进的显著性检测算法RGF-FT提取出红外源图像的目标显著图。

(3)将红外目标显著图投影到红外低频子带图像上,从而映射出红外低频图像的目标区域和背景区域。

(4)针对可见光低频、红外低频目标区域、红外低频背景区域使用不同的规则进行融合；对可见光高频和红外高频采用SCM结合区域能量与改进的拉普拉斯和(SML)进行融合。

(5)对融合后的低频和高频子带图像使用逆NSST变换,得到最终融合图像。

图4 融合算法整体流程图

3.1 低频融合规则

低频子带图像是源图像的一种近似,其中包含了大部分的源图像能量。对于红外源图像而言,能量主要集中在亮度较高的红外目标区域。因此,利用RGF-FT算法检测出红外图像目标显著图并将其投影到红外低频图像上,可以准确的将红外低频子带图像中的目标区域与背景区域分离开。为了让最终融合图像保留更完整的红外目标信息,将投影映射出的红外低频目标区域对应的子带系数作为最终融合图像对应区域的低频子带系数。具体过程如下:

设红外源图像系数为R(x,y),RGF-FT算法检测出的目标区域为θ,则红外源图像显著目标区域系数可表示为:Rθ(x,y)；根据投影像素的位置关系,得出红外低频子带图像显著目标区域系数和红外低频子带图像背景区域系数为:

(8)

式中,(x,y)为像素点坐标；Rl(x,y)为红外低频子带图像系数；Rlo(x,y)和Rlb(x,y)分别为红外低频子带图像目标区域系数和背景区域系数。最后得出最终融合图像的目标区域低频子带系数Flo:

Flo(x,y)=Rlo(x,y)

(9)

可见光低频子带图像中包含了比红外低频图像更多的背景信息,这些信息对于融合图像的背景来说尤为重要。在传统方法中往往仅选择可见光低频图像的背景信息作为最终融合图像的背景。然而,红外低频图像中的背景信息也不可忽略,为此采用对比可见光低频图像与红外低频图像信息熵IE的方法,去选择信息熵较大的那类图像去作为最终的融合结果。因此,最终融合低频子带图像的背景区域融合系数Flb:

(10)

式中,Vl(x,y)为可见光低频子带图像系数；IE为图像的信息熵,其定义式为:

(11)

式中,pi表示图像中第i级灰度值出现的概率。

3.2 高频融合规则

经NSST分解后的高频子带图像携带了丰富的纹理细节信息。为了突出最终融合图像的纹理细节并减少噪声信息的影响,采用高频子带系数所对应邻域的能量作为纹理细节信息突出程度的度量指标；同时,为了减少信息丢失,将改进的拉普拉斯能量和[17](Sum-Modified Laplacian,SML)作为图像清晰度的度量指标。最后,将区域能量与SML相结合作为SCM的外部激励。具体表达式为:

(12)

(13)

式中,Epq为区域能量；SML为改进的拉普拉斯能量和；H为高频子带系数；M和N取值为3；ML为拉普拉斯算子,其计算公式如下:

ML(x,y)=|2H(x,y)-H(x+1,y)-H(x-1,y)|+

|2H(x,y)-H(x,y+1)-H(x,y-1)|

(14)

将区域能量Epq与改进的拉普拉斯能量和SML的乘积作为SCM的外部激励S,进而得出赋时矩阵输出T。外部激励的表达式为

S(x,y)=Epq(x,y)·SML(x,y)

(15)

对于融合图像高频子带系数Fh选取规则如下:

(16)

式中,Vh(x,y)为可见光高频子带系数；Rh(x,y)为红外高频子带系数；TVh和TRh分别为可见光高频子带图像和红外高频子带图像的赋时矩阵输出。

最后将得到的各个融合系数Flo,Flb,Fh进行逆NSST变换,从而得到最终融合图像。

4 实验结果及分析

为验证所提出图像融合方法的可行性以及有效性,实验从TNO数据集中选取三组图像进行融合仿真实验。实验仿真环境采用配置为Intel Core i5-6300H CPU,运行内存8 GB,搭载64位Windows 10系统和MATLAB 2014b的PC机。同时,选取其他显著性融合算法MST[18]、VSM-WLS[19]以及其他神经网络融合算法NSCT-PCNN[20]进行对比,MST、VSM-WLS和NSCT-PCNN三种方法的参数设置均和原文献保持一致。本文方法的NSST分解尺度参数nlevel为[2,2,4,4],滤波器参数为“maxflat”；RGF-FT算法中σs、σr和t分别设置为4、0.1、4；所使用SCM模型中衰减系数k和g分别设置为e-1和e-0.5,阈值活动系数h为20,权重系数设置为:

4.1 主观评价

第一组图像融合结果如图5所示。图(c)背景的边缘信息以及纹理细节信息较为丰富,树木比较清晰,但目标人物偏暗并且较为模糊,人物的显著度不够。图(d)中目标人物清晰完整并且比较突出,但是环境背景对比度偏低。相较于可见光图(b),图(d)树木与地面的清晰度和立体感较差。图(e)虽然对可见光图像(b)的背景信息保留较好,但目标人物部分的融合不彻底,目标人物不明显,难以和树木分辨开来。同时,融合后的图像还引入了大量的噪声,视觉效果较差。综合来看,本文提出方法的融合图像(f)中目标人物突出且完整,背景的边缘和纹理细节信息较为丰富,从整体上来看,融合图像也更具有立体感和层次感,同时融合后的图像表现也更加自然,更加符合人眼视觉对场景的观测效果。

图5 第一组图像融合结果

第二组图像的融合结果如图6所示。根据融合结果可以看出,图(c)中车辆和路面以及路灯等背景信息较为清晰,但目标人物不够突出和完整,汽车受灯光影响较为严重,图像的层次不太明显。图(d)中目标人物和汽车较为清晰,路面上纹理细节信息也较为丰富,但图像整体偏暗,对比度较低,目标人物显著度不足,人物上半身不明显。图(e)的整体对比度较高,但目标人物不够突出,人物上半身也比较模糊,路面等背景区域上还出现一部分阴影,从整体上来看,图像的清晰度也较低。与其他三种方法相比,本文提出方法的融合图像不仅能完整的突显人物和保留清晰的路面纹理细节信息,而且图像的整体清晰度较高,视觉效果更好。

图6 第二组图像融合结果

第三组图像的融合结果如图7所示。通过融合结果可以看出,所有融合图像都表达出了该场景中的人物、交通灯和汽车等显著性特征,但图(e)中的路面以及建筑物等区域出现了不同大小阴影,视觉效果较差。图(c)和图(d)中广告牌、路面以及建筑物的纹理细节比较清晰,但图(d)的整体亮度偏暗并且对比度也较低。图(c)与图(f)相比,图(f)场景中的热源物体更显著且图像的清晰度更高。

图7 第三组图像融合结果

4.2 客观评价

主观评价虽然能比较直接的评判出融合图像的优劣,但是由于每个人的视觉敏感度存在差异,其主观的评价结果具有一定的片面性。因此,本文选用了6种客观评价指标来检验本文所提出融合方法的性能。6种客观评价指标分别是:平均梯度(AG)、标准差(STD)、信息熵(IE)、互信息(MI)、结构相似度(SSIM)和边缘保留因子(QAB/F)。以上6种评价指标均为正向指标,其值越大越好。四种方法的三组融合图像评价指标如表1、表2及表3所示。

表1 第一组融合图像评价指标

表2 第二组融合图像评价指标

表3 第三组融合图像评价指标

表1中本文提出的方法除AG指标没有MST方法高外,另外5项评价指标均比其他三种方法高。说明本文方法的融合图像保留了大量的源图像显著目标信息和背景细节信息；表2中本文方法只有SSIM指标比VSM-WLS稍低,其他各项评价指标均高于三种对比方法,其中边缘保留因子领先幅度最大,表明本文方法所得融合图像具有丰富的边缘细节信息；表3中本文提出方法的6项评价指标均高于其他三种方法,说明本文方法所得融合图像具有较高的对比度和清晰度,视觉效果较好,更加符合人眼视觉系统对实际场景的观测。|总体来说,客观评价结果与主观评价结果大致相同,表明了本文所提出方法较三种对比方法具有一定的优势。

5 总 结

本文了提出一种基于RGF改进显著性检测和SCM相结合的可见光与红外图像融合方法,利用改进的RGF-FT算法提取出红外源图像的目标显著图并将其映射到低频图像上,用来指导低频子带的融合能够有效突出图像清晰完整的显著性目标；采用SCM结合区域能量与SML融合高频子带能够有效的保留图像的背景纹理细节信息。实验结果表明,本文提出的方法相比于其他几种方法在主观视觉上和客观评价上均具有一定优势。但本文提出的方法在融合图像的结构相似度方面仍有提升的空间,下一步的研究将会在突出显著性特征和保留细节信息的方向上继续努力,同时全力改善融合图像的结构相似度。