基于CSR和能量特征的红外与可见光图像融合

王 昭,杜庆治,龙 华,邵玉斌,彭 艺

(昆明理工大学信息工程与自动化学院,云南 昆明 650500)

1 引 言

红外图像反映的是目标在红外热辐射下的能量分布,然而,其可视性并不是很理想,细节信息表现不明显。可见光图像与目标场景的光反射有关,能真实反映目标细节特征,但易受外部环境影响。因此,红外与可见光图像融合是十分有意义的,该研究在视频监控、军事、航空航天以及低质勘测等领域[1]都有着广泛的应用前景。

非下采样轮廓波变换(non-subsampled cont-ourlet transform,NSCT)拥有多方向、各向异以及平移不变等特性,同时,在一定程度上减少了“伪吉布斯”现象的产生。董等[2]提出了一种基于脉冲耦合神经网络(PCNN)的NSCT域红外与可见光图像融合算法,解决了稀疏表示的“块效应”问题。Zhang等[3]采用了基于局部拉普拉斯能量(Local Laplace energy,LLE)和共现滤波的融合规则,来融合非下采样剪切波变换(NSST)域的两幅图像,有效地保存了源图像的细节特征。卷积稀疏表示(convolution sparse repres-entation,CSR)是稀疏表示的卷积形式,Liu[4]使用CSR实现对整幅图像的完整稀疏编码,但对比度较低。

针对上述问题分析,本文综合NSCT变换、CSR模型以及LLE模型的互补特性,提出了基于CSR和能量特征结合的红外与可见光图像融合算法(简称为NSCT-CSR-LLE算法)。

2 相关工作

2.1 非下采样剪切波变换

NSCT主要组成为非下采样金字塔滤波器组(non-subsampled pyramid filter banks,NSPFBs)和非下采样方向滤波器组(non-subsampled directio-nal filter banks,NSDFBs)。若进行k层分解,可得与其大小相同的k+1个子图像。

2.2 卷积稀疏表示

CSR的基本思想是将源图像建模为特征响应系数xm与滤波器字典dm间的一组卷积和[5],从而取代冗余字典与稀疏系数乘积的表达方式。CSR模型可以表示为:

(1)

其中,{dm}表示M维卷积字典；*为卷积运算符号；{xm}意为特征响应；s表示源图像；λ>0表示自定义参数；对于该分布式凸优化问题求解,可以采用交替方向乘子算法(ADMM)来解决:

s.t.‖dm‖2=1

(2)

3 提出的方法

NSCT-CSR-LLE算法首先对源图像使用NSCT变换,将其分解成单个低频子图和多个高频子图。然后,选用高斯低通滤波器将单个低频子图分解成低频基础分量和细节特征分量,低频基础分量选用LLE融合,细节特征分量采用CSR策略融合。其次,根据源图像的邻域相关性函数来融合NSCT域高频子图。最后,采用NSCT逆变换重建得到融合结果图(见图2)。

图2 基于NSCT-CSR-LLE的图像融合框架Fig.2 Image fusion framework based on NSCT-CSR-LLE

3.1 低频子带系数融合规则

(3)

(4)

(5)

选取Ck,m在空间域中位置(x,y)的一个多维向量Ck,1:M(x,y)的L1范数作为活性水平测度[7]。活动级映射Gk(x,y)可为:

Gk(x,y)=‖Ck,1:M(x,y)‖1

(6)

(7)

对于多聚焦和多模态图像融合,窗口尺寸r分别固定为9和3[8],并选择最大值策略实现融合系数映射:

(8)

细节特征分量重构结果为:

(9)

为充分保存低频子带的结构、细节信息,选用LLE来获取低频基础分量的能量信息。采用了两种活性水平测度方法,分别为加权局部能量(WLE)和八邻域加权和(WSEML):

L(x+m,y+n)2

(10)

L(x,y)表示图像位置(x,y),若设矩阵半径r为1,正则化矩阵W为:

(11)

使用WLE来保存结构化信息,WSEML用来度量细节提取值:

(12)

式中EML定义为:

EML(x,y)=|2L(x,y)-L(x-1,y)-L(x+1,y)|+|2L(x,y)-L(x-1,y)-L(x+1,y+1)|+

(13)

低频基础分量结果:

(14)

合并后的低频部分:

(15)

3.2 高频子带系数融合规则

为了使高频子带图像边缘纹理更丰富,采用一种无量纲的图像显著性度量(PC)来实现,图像锐度值PC越大特征越显著:

(16)

其中,θk为k处的方向角;An,θk表示第n个傅里叶分量和角度θk上的振幅,参数ε设为0.001[9],Eθk(x,y)可以计算为:

(17)

(18)

(19)

(20)

Ω0表示(x,y)处的局部区域,(x0,y0)为像素点。与此同时,为计算邻域比,LSCM表示为:

(21)

为弥补局部亮度信息缺陷,引入局部能量(LE)[9]公式:

(22)

综上,设计了一种新活性度量方法(NAM)来互补测量图像信息:

NAM(x,y)=(PC(x,y))α1·(LSCM(x,y))β1·(LE(x,y))γ1

(23)

α1、β1和γ1分别设置为1、2、2[10],高通子带图像融合结果可得:

(24)

(25)

(26)

(27)

对低频子带和高频子带融合图像进行NSCT逆变换[11]可得最终的融合结果。

4 实验结果与分析

4.1 实验说明

本实验选用了大小为256×256预配准的4组红外与可见光图像进行实验,并挑选了具有对比性的5组融合算法进行性能比较:文献[12](简称NSCT-T算法)、文献[13](简称NSCT-PAPCNN-C算法)、文献[14](简称SR-C&L算法)、文献[15](简称PCNN-C算法)及文献[16](简称SF-Energy-Q算法)。

对于NSCT分解部分,金字塔滤波器和方向滤波器设置为“pyrexc”和“vk”,分解级别皆设为4,分解级数为[2,3,3,4](其他参数根据文献设定)。

4.2 融合评价

选用主观视觉与客观指标结合来评价融合结果。6个客观评价指标:互信息量(MI)[17]、空间频率与清晰度(SF & SP)、边缘信息传递因子(QAB/F)[18]、结构相似性(SSIM)和视觉信息保真度(VIFF)[19]。指标值越大,融合效果与质量越好[20]。

实验源图像“forest”为图3(a)～(b),融合对比算法结果如图3(c)～(h)。可以看出,NSCT-T算法亮度适中,SR-C & L则较为阴暗,二者边缘细节信息分辨率低。NSCT-PAPCNN-C算法较纯PCNN-C算法“网状”化阴影弱,但与SF-Energy-Q算法都出现的“块状”阴影,视觉效果较差。

图3 “forest”图像不同算法的融合结果Fig.3 Fusion results of different algorithms for forest image

而本文的NSCT-CSR-LLE算法明显优于前几种方法,视觉效果和对比度良好,物体轮廓纹理清晰。前算法丢失的有关源图像的细节信息,都在本方法中得到了良好保留。

关于“forest”融合实验的客观评价指标值如表1所示,相应的客观指标对比柱状图见图4 。

表1 “forest”客观质量评价指标Tab.1 Objective quality evaluation indicators of forest

图4 “forest”评价指标柱状图Fig.4 Evaluation index curves of forest

通过对比分析表1可以看出,与其他5种方法相比,本文算法在6个指标中有4个达到了最高水平。NSCT-T算法的MI值、SF-Energy-Q算法的VIFF值皆高于本文算法,但相差无几。

综合图4评价指标柱状图可以看出:本文算法仅MI指标和VIFF指标相对略低,其余指标均领先占据高峰。说明了本文算法的优越性,有效地提取了源图像的特征信息,提升了清晰度。

综上,说明NSCT-CSR-LLE算法具有良好的鲁棒性,表现出了良好的图像融合性能优势。

“store”实验源图像如图5(a)～(b)所示,图5(c)～(h)为不同的对比算法结果。该组实验目标场景较复杂,可以看出NSCT-PAPCNN-C算法与NSCT-T算法图像较为模糊,目标的轮廓信息损失严重。SR-C&L算法和PCNN-C算法甚至出现了“阴影块”,行人和车辆分辨率较差,“块效应”影响较大,甚至无法辨识商铺上的“广告牌”。NSCT-CSR-LLE算法清晰度较高,对目标的捕捉较为良好,克服了“伪吉布斯”现象和“振铃”效应,能有效识别“广告牌”与不同行人,视觉效果良好。表2为关于“store”实验的客观质量评价指标,相应的对比柱状图见图6。

图5 “store”图像不同算法的融合结果Fig.5 Fusion results of different algorithms for store image

表2 “store”客观质量评价指标Tab.2 Objective quality evaluation indicators of store

图6 “store”评价指标柱状图Fig.6 Evaluation index curves of store

分析表2可得,本文算法除了SP指标略低于PCNN-C算法之外,其余5项均高于其他5种对比算法结果,说明该算法能有效刻画场景。

而且,从图6可看出,本文算法的SF、QAB/F和SSIM与其他方法相近,但MI和VIFF指标占据明显优势,能很好地实现能量特征提取。

图7(a)～(b)为“tree”源图像,图7(c)～(h)分别为各对比实验结果。SR-C&L算法与PCNN-C算法指示牌上出现明显的“污点”。NSCT-PAPCNN-C算法和NSCT-T算法的树叶特征信息较差,SF-Energy-Q算法场景稍暗而导致分辨率较低。

图7 “tree”图像不同算法的融合结果Fig.7 Fusion results of different algorithms for tree image

相比而言,NSCT-CSR-LLE算法融合结果辨识度高,树叶纹路清晰,整体的层次感较强,目标清晰,能够有效地描述源图像的结构特征。

第三组关于“tree”源图像的实验客观指标值见表3,相应的对比柱状图见图8。

从表3中可看出,NSCT-CSR-LLE算法在4项指标上占据主要地位,仅SF与SP值略低于PCNN-C算法,但是PCNN-C算法实际出现了严重的“伪吉布斯”效应。此外,本文算法的其余指标值都能良好地体现出较好的清晰度和对比度特性。

表3 “tree”客观质量评价指标Tab.3 Objective quality evaluation indicators tree

图8的评价指标柱状图上,各个指标的占比高度较为明显,总体相差不大,但是MI、VIFF、QAB/F和SSIM有着明显的优势,客观体现了NSCT-CSR-LLE算法的优越性。

图8 “tree”评价指标柱状图Fig.8 Evaluation index curves of tree

图9(a)～(b)为“grove”实验的源图像,图(c)～(h)为其余对比实验的融合结果图。可以看出,六种算法都能有效的实现融合,但SR-C & L算法、PCNN-C算法和SF-Energy-Q算法的融合结果都产生了“块效应”现象。NSCT-PAPCNN-C算法不仅物体分辨率低,还产生了类似PCNN-C算法的“网状”阴影。NSCT-T算法整体层次结构特征显著,但是对比度较低。NSCT-CSR-LLE算法对树木特征描述细致,清晰度较高,物体的边缘纹理细节特征显著。

图9 “grove”图像不同算法的融合结果Fig.9 Fusion results of different algorithms for grove image

第四组关于“grove”融合实验的客观评价指标见表4,相关的对比柱状图见图10。

图1 两级NSCT分解示意图Fig.1 Schematic of a two-level NSCT decomposition

表4 “grove”客观质量评价指标Tab.4 Objective quality evaluation indicators grove

对比分析可以发现,NSCT-CSR-LLE算法仅QAB/F略低于SR-C&L算法,其余5项指标均为最高,主观视觉上也得以验证。

图10的“grove”评价指标对比柱状图可以有效的看出各个指标的占比差距,NSCT-CSR-LLE算法的QAB/F值略低于SR-C & L算法,但MI指标优势最为明显,其余4项指标也都高于其余的对比算法。整体而言,本文算法有效地结合了源图像的特征信息,物体信息保存完好,轮廓纹理、分辨率和对比度上皆占据主要优势地位。

图10 “grove”评价指标柱状图Fig.10 Evaluation index curves of grove

5 结 语

此篇文章中,通过结合CSR和局部拉普拉斯能量法的特性,提出了一种基于NSCT-CSR-LLE算法的红外与可见光图像融合框架。本方案中,首先利用NSCT将每个源图像分解成一个低频子图和多个高频子图,其次,采用不同的融合算法和活度测量方法进行各方面的融合处理,最终结合得到红外与可见光图像融合图像。实验结果表明,NSCT-CSR-LLE算法克服了传统“SR”的“块效应”问题和“伪吉布斯”现象,弥补了图像块之间关联性差的劣势,能够良好的实现边缘细节提取与能量保存。

算法框架上,首先利用NSCT的平移不变性优势,将图像分解为高频、低频子带图像。其次采用高斯低通滤波器将低频子带进一步分解为低频基础分量和细节特征分量,针对不同的图像部分采用不同的融合策略,其间使用CSR算法来融合细节特征分量,利用局部拉普拉斯能量法来融合低频基础分量。通过基于能量特征的活性测度算法来提取源图像的特性,根据活性测度来进行相关的高频特征融合。本文算法结合了有关NSCT、CSR算法的优势和经验,设计了有关局部拉普拉斯能量法的融合规则,使得最终的融合结果图不仅有着良好的视觉特性,图像的对比度也得到了巨大的提升。

实验结果表明本文所提算法无论是主观视觉还是客观评价上都优于目前的先进水平,实验也验证了该算法的有效性和优越性。如何进一步发展CSR算法的优势,实现图像边缘纹理细节的特征提取,提升图像的鲁棒性和视觉清晰度是下一步研究的重点。