基于方向导波增强的红外与可见光图像融合

张 慧,常莉红

(宁夏师范学院数学与计算机科学学院,宁夏 固原 756000)

1 引 言

图像融合主要是将来自同一传感器在不同条件,或者不同传感器获取的同一场景中的多幅源图像进行合并[1]。红外线和可见光图像融合可以综合两种图像的优点[2],获取更多的场景信息与目标指示,所以近些年被广泛应用于军事、监控、安防等领域。

基于多尺度分解的方法在红外线与可见光图像融合较为流行,多尺度分解能够实现图像尺度和空间特征的自动定位,正好符合人类视觉神经对物体的处理机理。传统的多尺度方法包括小波变换、非下采样轮廓波变换,四元数小波变换等,这些方法在图像融合中取得较好的效果[3-5],但是在空间一致性表现一般。李等人在文献[6]中提出了一种基于方向导波分解的图像融合方法,提高了像素显著性和空间一致性。随着红外线与可见光图像融合方法的深入研究发现,在同一场景下红外线图像与可见光图像对比度反馈可能截然不同,一般的多尺度分解将会降低可见光图像中包含的原始的视觉信息。文献[7]中提出同时利用多尺度高斯滤波和双边滤波分解源图像为多尺度纹理细节和边界特征,能够增强背景中目标的可视度和可见光图像的细节,更加适应人类的视觉效果。所以在选取分解方法时应该综合文献[6]、[7]方法的优点,既能提高像素显著性和空间一致性,又能获得更加适应人类视觉效果。

在较暗的光线条件下,可见光图像的对比度比较低,直接融合红外线与可见光图像融合后视觉效果不佳,所以增强可见光图像的信息是非常有必要的。如文献[8]～[10]中提到几种增强方法都取得的不错的效果,但还是有弊端,例如计算成本高,或者会产生伪影等。

在图像融合中融合规则也起到了决定性的作用,多尺度分解中最常用的基础层融合规则就是取平均值的方法[11]。但能量大多包含在基础层,基于平均值的融合规则往往使融合图像中的能量损失,导致对比度降低。经改进后的融合规则,如刘等人在文献[12]中将稀疏表示作为基础层的融合规则,很好的解决了对比度下降的缺点；但是,基于稀疏表示的融合方法一般都采用滑动窗口的技术,因此在融合的过程中往往会对图像的细节过于平滑,致使图像细节模糊。所以在基础层融合规则中需要解决能量保存和细节提取的问题。

基于以上的描述,本文提出一种基于方向导波的夜视背景内容增强的红外线与可见光图像融合的方法:首先,在图像融合前对可见光图像的内容进行增强,接下来使用方向导波多尺度分解可见光与红外线图像,将图像分解后再分别合成大尺度层、小尺度层和基础层。在大尺度层的信息合成过程中利用视觉基础上的正则化参数来决定融入红外线光谱特征的相对数量,实现红外线图像的信息加到可见光图像的过程。最后,在基础层使用能量保护与细节提取法作为融合规则,同时解决能量保存和细节提取的问题。实验结果表明,本文所提出的融合方法在主观评价和客观评价上都取得了较好的效果。

2 相关理论

2.1 利用方向导波的图像增强

为了增强较暗光线下可见光图像的夜视背景,文献[6]给出了一种有效的方法—基于方向导波的高动态范围压缩的图像增强方法。为了方便描述,我们标记方向导波算子为GFr,ε(·),r与ε是关于导波尺寸和保护图像边缘程度的参数,则基本步骤可以表述如下:

(1)对输入图像I先利用方向导波算子进行分解得到基础层Ib=GFr,ε(I)。

(3)增强后的图像为:

(1)

图1给出了两组不同夜视背景下可见光图像的增强示例,图1(a)中源图像照明条件较弱,利用式(1)进行增强的结果为图1(b),从中可以看出区域的夜视背景下细节部分明显得到了增强。但是,图1(c)有较好照明条件,增强后的效果一般。因此,图像的增强效果依赖于可见光图像本身成像时的光照条件。

图1 两组可见光图像的增强结果Fig.1 Visibility enhancement results for two set of test visible images

2.2 基于多尺度分解的方向导波

给定待滤波图像P,引导滤波将输出图像O,引导图像假定为),则根据文献[6],方向导波算子记为GFr,ε(·) 。文献[13]中曾证明,如果引导图像I与输入图像P完全相同,方向导波具有良好的保边性,在多尺度分解中用方向导波可以代替双边滤波；另一方面,如果ε的值足够大,方向导波能够在多尺度分解过程中反复转移高频的信息,在这种情况下方向导波可以用来替代高斯滤波。所以采用基于多尺度分解的方向导波进行分解不仅可以满足文献[7]里的混合多尺度分解,还可以满足文献[6]里的方向导波分解的要求。

根据文献[13],新的基于方向导波的尺度分解框架结构如图2所示。

图2 基于多尺度分解的方向导波融合流程图Fig.2 Flow chart of fusion based on MSD of the guided filter

Ir,Iv是输入的红外线图像与可见光图像,首先,给出两组方向导波:

最后,可以通过式(2)和式(3)来获得多尺度纹理细节及边界特征。

(2)

(3)

2.3 基于视觉的正则参数选择

本文提出一种基于视觉的正则参数选择方法,即描述人类视觉系统对于各种视觉刺激偏好的敏感度函数(CSF),参数选择方法如下[13]:

(1)使用索贝尔算子获得输入图像的每一个像素x的梯度强度G(x)。同时,输入图像被分为不重叠的窗口,在每一个局部的窗口中的原始图像的信息被转变在频域。

(3)在每个窗口中视觉能量Ei都通过Ci(u,v)平方的和获得,输入图像的视觉显著性(PS)被定义为所有原始视觉能量的加权平均。

最后,参数τ的值由相对的视觉显著性的值来决定。

(4)

当Rs<0.8时,我们假定红外线图像与可见光图像相比缺乏足够的视觉信息,所以参数τ选择参数值为100,最大的参数值不超过2000。参数τ可以全局性的决定加入可见光图像的红外线光谱信息的相对数量。τ的值越大时,越多的红外线光谱信息融入可见光图像中。

3 分解后的信息合成

3.1 小尺度层的信息合成

图2展示了整体的红外线与可见光图像基于方向导波的图像分解与信息合成,Ir,Iv经过分解后依据不同的尺度层:大尺度层,小尺度层和基础层,通过不同的权重选择进行来进行信息的合并。

顶层的分解信息被选中作为小尺度层的合并,在这一层的融合权重是由绝对值最大的选择方法决定的。

那么在尺度层的复合信息利用下式进行计算:

(5)

3.2 大尺度层的信息合成

大尺度层包含从j=2到j=n的分解层,大尺度层包含红外线图像边缘特征信息的大尺度特征。红外线被压缩的边缘特征常常对于红外线重要的光谱特征,并且可以用来决定红外线图像信息的融合权重。

首先,红外线光谱在每一层中重要的特征利用以下公式确定的:

(6)

融合权重计算如下:

(7)

在大尺度层被分解的信息通过如下方法来合成:

(8)

3.3 基础层的信息合成

在这里根据文献[14]提出基础层上基于能量保护和细节提取的合成权重:

首先给出一个活跃水平的测量方法称为WLE,定义如下:

LS(i+m,j+n)2

(9)

由于分解层数的有限性,导致在基础层中仍然包括一些细节信息,为了从源图像中完全提取细节信息,可以利用WSEML来测量活跃水平,定义如下:

(10)

EML如下定义:

EMLS(i,j)=|2S(i,j)-S(i-1,j)-S(i+1,j)|+|2S(i,j)-S(i,j-1)-S(i,j+1)|

(11)

基础层的最终活跃水平测量被定义为WLE和WSEML的乘法,因此基础层权重的计算如下:

(12)

最后,被分解的基础层通过下式被合成：

BF=CbBr+(1-Cb)Bv

(13)

4 实验结果与分析

4.1 测试集与所比较的算法

为了验证本文所研究方法与所比较算法的融合效果,选取如图3所给的6组红外线与可见光图像的测试集(来源于http://www.imagefusion.org/),第一行的图片所给的是可见光图像,第二行所给的是同一场景中的红外线图像。本文所提方法(记为EGFF)和所要比较的算法分别为拉普拉斯变换方法、对偶数复小波变换方法、曲波变换方法、小波变换方法和非下采样轮廓波变换。分别记为LP 、DTCWT、 CVT和 DWT,以及NSCT,所有的尺度分解都选4层分解。

图3 测试集Fig.3 Test set

4.2 图像质量评价指标

为了更加客观地评价融合的效果,本文采用6种常见的融合指标对各种融合方法进行客观质量评价。六种融合指标分别为度量图像中信息丰富程度的熵(Entropy,EN),度量融合图像中结构信息的标准偏差(Standard deviation,SD),度量保留源图像信息量的互信息(Mutual information,MI)[15]、基于结构相似度的梯度评价指标QG[16],和描述图像边缘信息的相位一致性的度量指标QP[17],以及融合图像结构相似度的度量QY[18]。在评价的过程中,这些评价指标的数值越大说明融合效果越好。

4.3 融合后的主观评价

由于篇幅原因,我们从实验结果中任意选出一组示例图。从融合结果可以看出:几种融合方法都实现了红外线图像和可见光图像的融合,但在目视效果上还是有一定的差别。从图4 中可以看到,本文提出的方法对于远处树木的处理效果最好,与其他几种方法相比较树木的纹理更清晰,轮廓更清楚。经本文所提出的方法处理后的地面,与其余方法相比较,在对比度上表现最优,并且地面物体轮廓也最清晰。总体上本文所提出的方法将红外线图像中的很多信息在融合后的图像中被保留,并且在细节处理上也是非常好,对比度得到了提升。

图4 一组实验结果图Fig.4 A set of experimental results

4.4 实验结果与讨论

表1给出的是6组图像经不同融合方法后客观评价指标的结果,由于篇幅原因,表中的数据是6组图像在同一方法、同一指标下六组数据取平均值。通过梳理六种客观评价指标的测试数据(加粗数据表明结果最好),可以看出本文给出的融合方法在处理细节、能量保护方面都有以及在保留源图像的信息方面有非常好的效果。

表1 用LP、DTCWT 、DWT 、NSCT、CVT和EGFF方法融合得到的指标Tab.1 Comparison with LP、DTCWT 、DWT 、NSCT、CVT and EGFF of different processing results

5 结 论

本文提出一种基于夜视背景增强的可见光与红外线图像融合方法,首先利用方向导波对可见光图像的内容进行增强,提高可见光图像在照明条件不好情况下的融合效果。同时,为了提高空间一致性与像素显著性、实现将红外线图像的信息加入到可见光图像中去,本文利用方向导波的多尺度分解将源图像分解后,再分别合成小尺度层、大尺度层和基础层。在大尺度层的信息合并中,依据基于视觉的正则参数选择将红外线图像的信息加入到可见光图像中去。为了确保源图像中细节完全的提取,在基础层的信息合成过程中使用了基于细节保护和能量提取的融合方法。实验结果也验证了本文方法的有效性。