基于视觉显著性的红外与可见光图像融合

华玮平+赵巨峰+李梦+高秀敏

摘要：

多波段图像融合可以有效综合各个波段图像中包含的特征信息。针对可见光和红外图像，提出了一种结合红外图像视觉显著性提取的双波段图像融合方法，一方面旨在凸显红外图像的目标信息，另一方面又尽可能的保留了可见光图像的丰富细节信息。首先，在局部窗口内实现红外图像的显著性图提取，并通过窗口尺寸的变化形成多尺度的显著性图，并对这些显著性图进行最大值的优选叠加，以获取能反映整幅红外图像各个尺寸目标的显著性图；其次，通过结合显著性图与红外图实现显著性图的加权增强；最后，利用增强的红外显著性图进行双波段图像的融合。通过两组对比实验，数据表明该方法给出的融合图像视觉效果好，运算速度快，客观评价值优于对比的7种融合方法。

关键词：

图像融合； 红外图像增强； 视觉显著性

中图分类号： TN 911.73文献标志码： Adoi： 10.3969/j.issn.1005-5630.2016.04.005

Abstract：

Dual-band image fusion is able to well synthesize the feature information from the different bands.To fuse visible and infrared images，in this paper，an infrared image visual saliency detection-based approach was proposed.This method aimed to highlight the target information from infrared image，meanwhile preserve abundant detail information from visible one as much as possible.Firstly，visual saliency map was extracted within a local window，and multiple window-based saliency maps could be obtained by changing the size of local window.And the final saliency map was generated by selecting maximum value，and this map could mirror all target information in the infrared image.Secondly，the saliency map was enhanced by combining infrared image and the previous saliency map.Finally，the enhanced saliency map was used for dual-band image fusion.Comparing with other seven methods，the experimental results demonstrate that the proposed approach could rapidly produce fused image with good visual effect，and the objective evaluation is better.

Keywords：

image fusion； infrared image； visual saliency

引言

图像融合旨在将不同图像的信息进行综合，以便进一步的理解和处理。20世纪90年代以来，图像融合技术在军事探测、医疗成像、图像水印等方面都有着广泛的应用[1]。通常情况下，红外传感器检测到发热的区域一般是人们关注的目标物体，但其保持图像细节的能力较差，而可见光图像则包含丰富的细节信息，因而两者互补可以有效综合信息。

较为常用图像融合方法是基于多尺度分解的思路，包括拉普拉斯金字塔变换（LP）[2]、双树复小波变换（DTCWT）[3]、非下采样轮廓波变换（NSCT）[4]、Curvelet变换[5]等方法。这些方法需要进行上采样和下采样，使得图像中的细节容易被平滑。NSCT具有多尺度、多方向选择性、多分辨率分析和平移不变性的特点。但变换过程中各部分的系数选择仍是一个问题，计算速度也相对较慢。

随着神经科学、心理学等学科的发展，在研究人类视觉机制的过程中视觉显著性和视觉注意的概念被提出。观察者能够利用视网膜中央凹的高分辨率感知机构，主动地探索环境中的重要视觉信息[6]，即人眼视觉系统（human visual system，HVS）。视觉显著性反映的是视觉系统从场景中提取一系列视觉信息的能力，其能够像滤波器一样选择感兴趣的信息。由于视觉显著性的提取能够自动化地代替人眼视觉系统快速准确的搜索到场景中的显著目标，其产生的显著性图能够反映人眼视觉系统对不同场景的关注程度，这些都使得视觉显著性的研究具有广阔的应用前景。

在上述研究的基础上，国内外科研人员提出了利用视觉显著性进行图像融合的方法。华中科技大学的陈艳菲等人通过在红外图像和可见光图像中分别提取视觉显著性的方法对双通道图像进行融合，取得了优于传统图像融合方法的结果[7]。浙江大学的研究人员也结合视觉显著性与NSCT进行图像融合[8]，也取得了较好的成果。

受到上述方法启发，本文提出了中心周围像素差异计算局部显著性图，并变化局部窗口尺寸以实现图像的不重叠的显著性提取，能够有效的凸显不同尺寸目标的信息；在进一步增强显著性图的基础上，实现了基于显著性图的红外与可见光图像的融合。通过实验结果的对比分析，本文方法融合效果好，计算速度快。