基于双边与高斯滤波混合分解的图像融合方法
2016-01-21周志强李立广
周志强, 汪 渤, 李立广, 李 笋
(1. 北京理工大学自动化学院, 北京 100081; 2.空军驻华北地区军事代表室, 北京 100086)
基于双边与高斯滤波混合分解的图像融合方法
周志强1, 汪渤1, 李立广2, 李笋1
(1. 北京理工大学自动化学院, 北京 100081; 2.空军驻华北地区军事代表室, 北京 100086)
摘要:针对红外与可见光图像融合时,两种异质图像信息容易相互干扰,造成融合图像出现模糊、信息混乱和对比度降低等问题,提出了一种基于双边与高斯滤波混合分解的融合方法。首先采用双边和高斯滤波器对输入的红外与可见光图像进行混合信息分解,得到小尺度纹理细节、大尺度边缘和底层粗略尺度图像信息;其中的大尺度边缘信息包含红外图像的主要特征,依据该特征确定各分解子信息的融合权重,从而将重要的红外特征信息注入到可见光图像;最后通过对各融合子信息进行组合重构出融合图像。实验结果表明,该算法融合效果要优于传统基于多尺度分解的图像融合算法。
关键词:高斯滤波; 双边滤波; 信息分解; 图像融合
0引言
红外与可见光图像融合是多传感器图像信息融合领域中的一项重要技术。由于红外成像传感器能够探测到人眼不可见的红外波段热辐射信息,将红外图像信息与可见光图像有效融合于一起,可以增强人们在遮挡、微光和恶劣天气条件下的场景感知和目标识别能力。因此,红外与可见光图像融合技术在近几十年来被广泛研究和应用。
目前,红外与可见光等多源图像融合中应用最为广泛的是基于多尺度分解的图像融合方法[1],包括早期的拉普拉斯金字塔变换(Laplasse pyramid transform, LAP)方法[2]和后来发展起来的离散小波变换方法(discrete wavelet transform, DWT)[3]等。文献[4]基于人类视觉系统对局部对比度敏感的特性,在LAP方法的基础上,又提出了基于对比度金字塔变换(ROLP)的多尺度融合算法,能够很好地融合红外与可见光图像中的高对比度特征信息。由于普通的离散小波变换不具有平移不变性,学者们又提出了其他性能更好的多尺度分解方法。其中,双树复数小波(dual tree complex wavelet,DT-CWT)由于比一般小波具有更好的平移不变性和方向选择性,基于双树复数小波变换的图像融合方法取得了更好的融合效果[5]。更为复杂的非降采样曲波变换(nonsubsampled contourlet transform,NSCT)在分解过程中没有经过降采样,且具有更多的方向选择性,被证明融合效果要优于其他多尺度分解方法[6]。此外,shearlet变换近些年来也被有效应用于图像融合中[7-9]。
红外图像主要反映的是场景里物体的热辐射信息,其成像特性与可见光波段的自然图像具有很大的差异,可表现为图像的局部灰度极性相反,对比度不自然,图像信息整体较为模糊等。由于这些因素的影响,红外与可见光图像融合时,两种异质图像信息往往容易形成相互干扰,使融合图像出现信息混乱、背景模糊和对比度下降等情况。上述多尺度分解方法并不能对红外图像特征进行有效提取和分离,因此也无法依据红外与可见光图像特性的不同分析和解决上述融合问题。
与传统的多尺度分解方法不同,本文利用双边与高斯滤波器对输入图像进行混合信息分解,在达到尺度分离的同时还可以得到不同尺度的图像纹理细节和边缘信息。其中,大尺度边缘信息里包含了红外图像的主要特征,依据该特征可确定各分解子信息的融合权重,将重要的红外图像信息注入到可见光图像,避免相互出现干扰。最终的融合图像既能突出显著的红外目标特征,又能保持可见光图像清晰的背景、纹理细节和对比度信息,并且通过参数的控制,可以方便地调整融合结果中的红外图像信息量。
1双边滤波及其图像信息分解
双边滤波是一种非线性滤波方法,对图像信号具有良好的边缘保持作用[10]。双边滤波器采用两个高斯滤波核,不仅在空间域上考虑邻近像素点距离对滤波中心点的影响,还在图像灰度域上考虑了灰度值间的相似度对滤波结果的作用。以gσ代表标准偏差为σ的高斯函数,表示为
(1)
则原始图像I在某点p处的双边滤波定义如下:
(2)
由式(2)可知,双边滤波器可以看作是由两个高斯滤波器组合而成。在空间域由于高斯核函数gσs的作用,噪声和高频信息能够有效被滤除。同时,由于灰度域高斯核函数gσr的作用,与滤波中心点灰度值相差较大的邻域像素点对滤波结果影响较小,从而能够保留原始图像中较大的灰度突变特征。因此,双边滤波在去除高频纹理信息的同时,可以有效保留图像边缘。基于这种特性,可应用双边滤波器对图像进行不同尺度信息分解,得到包含图像边缘的大尺度图像信息BF(I)和小尺度图像纹理细节信息D(I),其中
(3)
应用式(2)、式(3)能够在保持边缘的基础上达到大尺度图像信息和小尺度纹理信息的有效分离,进而可以对不同信息分别进行处理。这种双尺度图像信息分解方法被广泛运用于多种图像处理算法中,包括图像去噪、纹理增强[11]、高动态范围压缩[12]、色调和光照处理[13]等,并被证明能够有效避免相关图像处理过程中的“光晕”现象。
2双边与高斯滤波混合信息分解
在图像平滑和去噪处理中,高斯滤波器是最广为应用的基本工具之一。它在空间域上通过高斯滤波函数对滤波中心点周围像素进行加权处理,滤波公式可表示为
(4)
由式(2)可知,当σr取值较小而σs取值较大时,双边滤波器将能够保留更多的大尺度边缘信息。因此,在式(3)分解的基础上,结合高斯和双边滤波器可进一步得到如下的混合图像信息分解:
(5)
上述分解过程如图1所示,分解后可得到小尺度的纹理细节信息D(I)、大尺度边缘信息E(I)以及底层的粗略尺度图像信息A(I)(其中A(I)=G(I))。
图1 双边与高斯滤波混合图像信息分解过程
与可见光图像相比,红外图像通常成像较为模糊,图像中主要以大尺度信息为主,缺乏丰富的纹理细节信息,并且对于热辐射显著的红外目标,边缘特征较为强烈。因此,红外图像在经过双边与高斯滤波混合信息分解后,显著的红外特征信息将主要体现在E(I)分量中。以图2(a)所示的红外图像为例,对其进行双边与高斯滤波混合信息分解,为使分解出的大尺度边缘特征信息更为突出,令σs=8、σr=0.1(双边滤波时使图像灰度归一化于[0,1]),得到的纹理细节信息、大尺度边缘信息以及粗略尺度信息分别如图2(b)~图2(d)所示。其中,纹理细节信息D(IR)和大尺度边缘信息E(IR)都表示为其绝对值形式,并为显示方便经过了一定的亮度变换。从图中可以看出,图2(a)的红外图像信息主要集中于场景中的人物、房屋和树木等目标上,且细节信息较少,边缘信息较为突出。因此,图像经过分解后,只得到少量有用的纹理特征,除底层的粗略尺度低通滤波信息外,重要的红外特征信息集中反映在大尺度边缘信息分解结果中(见图2(c))。
图2 红外图像信息分解结果
由以上分析可知,采用上述双边与高斯滤波混合分解方法能够通过不同尺度和类型信息分解的方式,提取和分离出图像中的显著红外特征。因此,为避免红外与可见光图像融合时出现信息干扰,可利用这种分解方式在子信息融合的过程中设法将显著的红外图像信息注入到可见光图像中,使融合图像既能突出显著的红外目标特征,又能保持可见光图像清晰的背景、纹理细节和对比度信息。具体融合过程可简述为:首先,对源图像分别进行双边与高斯滤波混合信息分解;然后,根据分解出的红外特征确定各子信息的融合权重;最后,通过对融合后的子信息进行组合重构出融合图像。
3分解子信息的融合
对红外图像IR和可见光图像IV进行双边与高斯滤波混合信息分解,得到的分解信息分别表示如下:
对于红外与可见光图像融合,上述分解不但可以达到不同尺度纹理、边缘以及底层粗略尺度图像信息的有效分离,从而在不同尺度上实现各子信息的融合处理,而且便于选取显著红外图像信息,将其注入到可见光图像中。
为使可见光图像在注入红外图像信息的同时,既能突出红外图像中的显著目标,又能保持可见光波段的清晰背景和纹理细节,在对各尺度子信息进行融合时,利用大尺度边缘分解信息所表征的红外图像特征确定各子信息的融合权重。
首先,结合红外与可见光图像中的大尺度边缘信息E(IR)和E(IV),判断图像各区域是否存在显著的红外特征:
(6)
对于图像中的某点x,R(x)>0表示该点存在重要的红外信息,并且其值越大,红外特征越显著。然后,对所有点处的R(x)进行归一化和非线性变换处理:
(7)
式中,函数Sλ:[0,1]→[0,1]为非线性变换函数,定义为
(8)
按式(7)计算得到图像融合过程中红外特征的显著性强度C后,再按如下公式分别确定红外图像中各子信息的融合权重:
式中,W0、W1和W2分别表示红外图像的小尺度纹理信息、大尺度边缘信息和底层粗略尺度图像信息的融合权重;高斯函数gσ1、gσ2用来对权重系数进行平滑处理,使其适应不同尺度子信息的融合,其中σ1=2,σ2=2σs。
令DF、EF和AF分别表示红外与可见光图像中各子信息的加权融合结果,其计算公式分别为
最后,对这些融合子信息进行累加,可重构出最终的融合图像IF:
(9)
图3给出了非线性变换函数Sλ(α)(见式(8))在不同参数λ下的曲线形状。增大参数λ时,曲线形状缓慢变陡峭,相应的非线性变换逐渐变剧烈,最终通过式(7)在融合过程中引入的红外特征也逐渐变得强烈。因此,通过调整参数λ,上述方法可以方便地对融合进的红外图像信息量进行控制。另外,在依据红外特征显著性强度对不同尺度子信息进行加权融合时,通过对权重系数进行不同程度的高斯平滑处理,可消除尺度因素的影响,使不同尺度子信息都能够自然融合。
图3 不同参数情况下的非线性变换函数曲线
4实验结果及分析
下面通过在不同测试数据上的实验检验和评估本文方法的融合效果。图4给出了本文方法在常用红外与可见光图像融合测试数据“UN Camp”上的融合结果。其中,融合图像图4(c)和图4(d)的λ参数取值分别为λ=5和λ=50。从图中可以看出,本文方法能够将红外图像中的显著目标和可见光图像中的背景与细节信息很好地融合于一起,并且λ越大,融合图像中的红外特征信息越强烈。实际使用时,可根据观察者的需要,对参数λ进行进一步调整。
图4 本文方法在测试数据“UN Camp”上的融合结果
图5给出了不同融合方法在“Trees”测试数据上的实验结果。其中,GRAD表示基于梯度金字塔分解的图像融合方法[15]。如图5(c)~图5(g)所示,LAP、GRAD、ROLP、DT-CWT和NSCT融合方法通过不同的多尺度分解实现图像信息融合,得到的融合结果中虽然都能够突出目标人物信息,但是原可见光图像中的树木、道路等背景与细节信息融合出现混乱,在融合结果中难以辨认。本文方法通过双边与高斯滤波混合分解,实现红外特征及不同尺度信息的有效分离,从而在融合过程中能够通过显著红外图像信息的注入,有效避免两种信息相互干扰。从图5(h)可以看出,本文方法在融合进红外图像中显著的人物目标的同时,保持了可见光图像中远处明亮的背景信息,人物目标两旁的树木枝叶在融合图像中也更加容易分辨,整体融合的视觉效果要明显优于其他方法。
图5 不同方法在测试数据“Trees”上的融合结果比较
图6所示的是各种融合方法在“Octec”图像数据上的融合结果比较。从图6(d)中的融合结果可以看出,通过利用多尺度梯度分解,GRAD方法能够有效地融合红外与可见光图像。但是GRAD在分解过程中不能分离出显著的红外目标特征,造成在融合结果中引入了过多的红外背景信息,形成强烈干扰,使融合图像整体上变模糊。相同的问题同样发生于LAP、DT-CWT与NSCT等方法融合结果中,由于可见光图像中未加选择地引入了过多的红外背景干扰信息,融合图像的背景和细节变模糊,对比度显著降低。图6(e)中的ROLP方法融合结果则出现过增强现象,使图像整体对比度不太自然。相比之下,本文方法的融合图像(见图6(h))不但突出了被烟雾遮挡的红外图像目标,而且很好地保持了可见光图像清晰的背景、细节以及对比度信息,整体融合效果要优于其他方法。
采用互信息(mutual information, MI)作为融合性能客观评价指标,对不同方法的融合结果进行比较。MI指标用来衡量所有转化到融合图像中的源图像信息量,指标值越高表示有更多的信息转化到融合图像中,融合效果越好。文献[16]证明MI指标能很好地适用于红外与可见光图像融合性能评价。表1给出了各种方法在不同测试数据上的MI指标评价结果。从表中可以看出,本文方法对不同测试数据的融合性能指标值均要显著高于其他方法。
图6 不同方法在测试数据“Octec”上的融合结果比较
测试数据融合方法LAPGRADROLPDT-CWTNSCT本文方法UNCamp0.22250.23640.22420.20720.22020.5952Trees0.32030.36760.31390.33370.33860.6283Octec0.35820.43530.35540.37740.39900.7353
5结论
传统的多尺度图像分解方法主要注重不同尺度信息的分离,在进行红外与可见光图像融合时,容易造成两种图像信息相互干扰,使融合图像背景和细节不清晰。本文利用双边与高斯滤波器对源图像进行混合信息分解,在达到尺度分离的同时还可以得到不同尺度图像纹理细节和边缘信息。应用这种混合分解方式,根据红外图像大尺度边缘信息较为突出,而可见光图像背景和细节信息较为丰富的特点,将重要的红外图像信息注入到可见光图像中,使融合图像既能突出显著的红外目标特征,又能保持可见光图像清晰的背景、纹理细节和对比度信息。实验结果证明,本文方法融合性能要明显优于传统基于多尺度分解的图像融合方法。
参考文献:
[1] Jing Z L, Xiao G, Li Z H.Imagefusion:theoryandapplication[M].Beijing: Higher Education Press, 2007.(敬忠良,肖刚,李振华. 图像融合—理论与应用[M].北京:高等教育出版社,2007.)
[2] Burt P J, Adelson E H. The Laplacian pyramid as a compact image code[J].IEEETrans.onCommunications,1983,31(4):532-540.
[3] Chipman L J, Orr T M, Graham L N. Wavelets and image fusion[C]∥Proc.oftheSPIE,1995: 208-219.
[4] Toet A, Van Ruyven L J, Valeton J M. Merging thermal and visual images by a contrast pyramid[J].OpticalEngineering, 1989, 28(7): 789-792.
[5] Lewis J J, O’Callaghan R J, Nikolov S G, et al. Pixel-and region-based image fusion with complex wavelets[J].InformationFusion, 2007, 8(2): 119-130.
[6] Zhang Q, Guo B. Multifocus image fusion using the nonsubsampled contourlet transform[J].SignalProcessing, 2009, 89(7): 1334-1346.
[7] Miao Q G, Shi C, Xu P F, et al. A novel algorithm of image fusion using shearlets[J].OpticsCommunications, 2011, 284(6) : 1540-1547.
[8] Liu X, Zhou Y, Wang J J. Image fusion based on shearlet transform and regional features[J].AEU-InternationalJournalofElectronicsandCommunications, 2014, 68(6): 471-477.
[9] Kong W W, Zhang L J, Lei Y. Novel fusion method for visible light and infrared images based on NSST-SF-PCNN[J].InfraredPhysics&Technology, 2014, 65(7):103-112.
[10] Tomasi C, Manduchi R. Bilateral filtering for gray and color images[C]∥Proc.ofthe6thInternationalConferenceonComputerVision, 1998: 839-846.
[11] Fattal R, Agrawala M, Rusinkiewicz S. Multiscale shape and detail enhancement from multi-light image collections[C]∥Proc.oftheACMSIGGRAPH, 2007: 51-59.
[12] Durand F, Dorsey J. Fast bilateral filtering for the display of high-dynamic-range images[C]∥Proc.oftheACMSIGGRAPH, 2002:257-266.
[13] Bae S, Paris S, Durand F. Two-scale tone management for photographic look[C]∥Proc.oftheACMSIGGRAPH, 2006, 25: 637-645.
[14] Bennett E P, Mason J L, McMillan L. Multispectral bilateral video fusion[J].IEEETrans.onImageProcessing,2007,16(5):1185-1194.
[15] Burt P, Kolczynski R. Enhanced image capture through fusion[C]∥Proc.ofthe4thInternationalConferenceonComputerVision,1993:173-182.
[16] Hossny M, Nahavandi S, Creighton D. Comments on “information measure for performance of image fusion”[J].ElectronicsLetters,2008, 44 (18): 1066-1067.
周志强(1982-),男,讲师,博士,主要研究方向为多源图像融合,计算机视觉。
E-mail:zhzhzhou@bit.edu.cn
汪渤(1964-),男,教授,博士,主要研究方向为导航、制导与控制。
E-mail:wangbo_bitauto@gmail.com
李立广(1980-),男,工程师,主要研究方向为空军军通装备质量。
E-mail:53801057@qq.cn
李笋(1987-),男,博士研究生,主要研究方向为图像处理、目标识别。
E-mail:lsbit@foxmail.com
网络优先出版地址:http://www.cnki.net/kcms/detail/11.2422.TN.20150917.1659.006.html
Image fusion based on a hybrid decomposition via
bilateral and Gaussian filters
ZHOU Zhi-qiang1, WANG Bo1, LI Li-guang2, LI Sun1
(1.SchoolofAutomation,BeijingInstituteofTechnology,Beijing100081,China; 2.AirForce
MilitaryRepresentativeOfficeinHuabeiArea,Beijing100086,China)
Abstract:The fusion result of infrared and visible images tends to become blurred, confused and suffers contrast degradation due to different characteristics of the two sources of information. To solve these problems, a fusion algorithm based on a hybrid decomposition via bilateral and Gaussian filters is proposed. Bilateral and Gaussian filters are applied firstly to achieve a hybrid decomposition for infrared and visible images. Small-scale texture details, large-scale edges and coarse image information of the input images are obtained. The sub-information is then merged to inject prominent infrared image features into the visible image, for which the fusion weights are determined according to the infrared image features represented by the decomposed large-scale edges. Finally, all the merged sub-information is assembled to reconstruct the fused image. Experiments demonstrate that the proposed fusion method obviously outperforms the image fusion algorithms based on the conventional multi-scale decomposition.
Keywords:Gaussian filter; bilateral filter; information decomposition; image fusion
作者简介:
中图分类号:TP 312
文献标志码:A
DOI:10.3969/j.issn.1001-506X.2016.01.02
基金项目:国家自然科学基金(61403033)资助课题
收稿日期:2014-12-03;修回日期:2015-09-09;网络优先出版日期:2015-09-17。