基于NSCT的自适应可见光与红外图像融合方法

高永光，宋志娜，蔡肖芋

（1.61683部队，北京 100094；2.武汉大学 遥感信息工程学院，湖北 武汉 430079；3.武汉大学测绘遥感信息工程国家重点实验室，湖北 武汉 430079）

基于NSCT的自适应可见光与红外图像融合方法

高永光1，宋志娜2，蔡肖芋3

（1.61683部队，北京 100094；2.武汉大学 遥感信息工程学院，湖北 武汉 430079；3.武汉大学测绘遥感信息工程国家重点实验室，湖北 武汉 430079）

针对可见光与红外图像的融合问题，基于 NSCT 多方向、多尺度分解和平移不变性等优点，提出了一种基于NSCT的自适应可见光与红外图像的融合方法。通过 NSCT 对可见光与红外图像进行分解，在各分解层上根据图像质量评价指标来选取融合规则，并通过评价指标的自适应控制 NSCT 分解层数使最终融合图像具有最优的效果。实验结果表明，与传统融合算法相比，该方法在主观和客观评价方面均优于其他融合方法。

红外图像；图像融合；NSCT；质量评价

图像融合是将多个图像传感器或同一图像传感器以不同工作模式获取的关于同一场景的图像信息加以综合，以获得更准确的场景描述[1]。可见光影像是由传感器接收地物反射的可见光波段光谱来成像，具有空间分辨率高、细节丰富的特点，但可见光影像受云层状况、成像时间等天气条件影响。 与可见光影像的成像机理不同，红外影像是将红外传感器接收到的红外辐射映射成灰度值并转化为红外影像。红外传感器是被动工作方式，具有抗干扰性强、目标识别能力强、能全天候工作的特点。但红外影像也有对比度低、边缘模糊、信噪比低、成分复杂等缺点，受大气热辐射、作用距离远、探测器噪声等因素影响。因此通过图像融合使得融合图像中既包含可见光图像中的丰富细节信息，又包含了红外图像中的目标信息，从而便于识别和后续分析处理，具有很重要的现实意义[2-4]。

近些年来出现了多尺度分析工具——非下采样Contourlet变换NSCT（nonsubsampled contourlet trasnform），该工具来源于Contourlet变换，具有多方向、多尺度分解和平移不变性，能够很好地捕捉图像中潜在的几何结构信息，应用在可见光与红外图像融合中具有较强优势[5-7]。但现有基于NSCT的多源图像融合方法多数是将NSCT分解后的子带图像划分为低频部分和高频部分，忽略了高频部分包含的细节信息；另一方面，现有图像融合的一般流程为图像融合完成后再对图像进行质量评价，很少将图像效果评价的信息加入到融合规则的选取和参数的选择过程中。考虑到上述两个方面，本文将质量评价指标应用在低频、次高频和高频部分的融合规则选取中，提出了一种基于 NSCT变换的自适应可见光与红外图像融合算法，将图像质量评价指标应用到NSCT变换的规则选取中，通过自适应的方式得到最优表示的融合图像。

1 NSCT变换理论

NSCT变换由非下采样金字塔滤波器组（nonsubsample pyramid filter banks，NSPFB）和非下采样方向滤波器组（non-subsample pyramid directional banks，NSDFB）组成，是借鉴Atrous算法实现的一种多尺度变换方法[8]。NSCT变换首先由NSPFB进行多尺度、多分辨率变换，再由NSDFB进行多方向变换，且两组滤波器都可以重构。NSCT变换能完成对图像多尺度、多方向的分解和重构，适合于多尺度图像处理。

图1 NSCT分解结构图

NSCT变换过程中对分解滤波器先作上采样操作，再将信号输入分解滤波器；在NSCT变换的重构过程中对合成滤波器先作上采样操作，再将信号输入合成滤波器。由于NSCT变换的分解和重构是对相应的分解滤波器和合成滤波器作上采样操作，所以使NSCT变换具有平移不变的特性，并且经过NSCT变换后的子带信号与原始输入信号大小是相同的。

2 基于NSCT的自适应可见光与红外图像融合

2.1 NSCT分解层数对融合结果的影响

在基于NSCT变换的多源图像融合中，如果分解级数K取值过小，NSCT变换相对于其他多尺度分析工具的优势就得不到体现；如果K取值过大，NSCT算法在程序运行过程就会占用较大内存，从而导致运算效率低，因此正确选取分解级数K对图像融合有着直接的影响。总结其他研究成果，分解级数K的取值范围一般为 2＜K＜7。本文采用循环迭代自适应的方法来确定K的取值，当K的取值满足以下三个条件其中一个时停止迭代，并得到最终的融合图像。

1）NSCT变换分解级数K达到某一上限，即当K=7。

2）当K=n和K=n+1时的二次图像融合效果质量评价指标

3）E（K）取值达到最优。E（K）计算公式如下：

其中，SSIM为基于结构相似度的融合图像评价指标[9]，该指标反映的是图像的亮度、对比度和结构3个方面的信息；Q为基于边缘信息传递量的因子[10]，反映的是图像中的边缘信息。

2.2 融合规则的选取

源图像经过NSCT变换分解的低通子带部分包含了图像的大部分信息，为了使融合的图像更清晰，并且保留两幅图像中的细节信息，低频子带部分采用平均梯度加权方法来作为融合规则。如果直接采用两幅图像的平均梯度作为选取规则，难免会将高频部分的信息当作低频选取的依据，故在此构建平均梯度矩阵并对该矩阵进行NSCT分解，取其低频部分系数作为源图像低频部分融合规则选取的依据。平均梯度矩阵的构成规则如下：

式中，f (x, y)位于边框位置。

源图像经过NSCT分解后的次高频部分既包含了图像中的边缘信息，又包含了一部分的细节信息。本文次高频部分的融合规则选取对NSCT分解后的次高频子带系数采用局部方差取大的方法，能最大限度地保留源图像中的边缘信息和细节信息，计算方法为：

式中，M1（x，y）和 M2（x，y）分别为可见光与红外图像经过 NSCT 分解后的次高频子带系数，局部方差范围选择5×5的窗口。

质量评价指标因子Q反映了融合图像中保留源图像边缘信息量的多少，因此为了使融合图像保留更多的源图像边缘信息并方便后续目标信息的提取，源图像经NSCT分解后的高频子带系数融合采用Q因子作为选取依据。在融合过程中，为了确定是从源图像X还是Y中提取的信息以及提取了多少，构建了非归一化的Qxy/y和Qyy/x矩阵。该矩阵反映了源图像X相对Y和源图像Y相对X所包含的边缘信息量的大小。矩阵经NSCT分解后的高频子带系数记作C1（x，y）和 C2（x，y），图像经NSCT分解后的高频系数融合计算方法为：

其中，H1（x，y）和H2（x，y）分别为可见光图像和红外图像经 NSCT 分解后的高频子带系数。

2.3 自适应可见光与红外图像融合

基于NSCT变换的自适应可见光与红外图像融合算法的步骤为：

1）对源图像可见光图像和红外图像进行N层NSCT变换，并构建平均梯度和Q因子矩阵，分别得到源图像分解的低频子带部分、次高频子带部分和高频子带部分。

2）对第一步构建的平均梯度矩阵和Q因子矩阵同样进行NSCT变换，并对各个子带部分采取不同的融合规则重构图像，然后以图像质量评价指标SSIM和Q因子构建一个新的质量评价指标Evaluation，并以此作为NSCT变换分解层数的控制参数。

3）当新的质量评价指标E（K）达到最优时停止迭代，并得到最终的融合图像。

3 实验与分析

本次实验选取了两组实验数据，第一组为Landsat7卫星ETM+传感器获取的全色波段0．4～0．9 μm影像，空间分辨率为30 m；红外影像为热红外波段10～14 μm影像，空间分辨率为60 m。第二组数据为西安阎良机场地区的可见光与机载红外图像数据，其中可见光图像为全色波段8 bit的灰度图像（波段范围为0．4～0．9 μm），红外图像为单波段16 bit的灰度图像（波段范围为3～5 μm），两幅图像空间分辨率均为1 m。将本文提出的方法与简单加权平均（WA）[11]、小波变换融合（WT）、NSCT 变换融合方法进行对比[6,12]，并进行客观质量评价来验证本文方法的优越性。融合图像的质量采用均值、信息熵、标准差、SSIM和Q因子作为评价指标。融合结果如图2、图3所示。

图2 实验一融合结果

图3 实验二融合结果

从融合结果图可以看出，本文的算法结果不仅包含了可见光影像中丰富的细节信息，也使得红外图像的热目标信息得以凸显。相比加权平均法，本文方法更能捕捉图像的细节信息，验证了多尺度分析工具用于图像融合的优越性；与小波变换法、NSCT 变换融合相比较，NSCT 变换融合方法有着更好的视觉效果，而本文的融合算法主观上比 NSCT 变换融合算法更优。

本文从均值、信息熵、标准差、SSIM和Q因子共5个图像质量评价指标对上述实验结果进行客观评价，表1、表2为质量评价结果。图像均值反映了对图像在平均亮度上的要求，信息熵反映了对图像细节表现能力的要求，标准差反映了对图像灰度分布上的要求，SSIM反映了图像结构相似程度，Q因子为图像质量因子。从表中结果可以看出，本文算法在信息熵、标准差、SSIM、Q因子指标上均优于其他算法，取得了最佳的融合效果，统计数据得到的评价结果与理论分析、视觉效果一致，验证了本文算法的有效性。

表1 实验1图像质量评价

表2 实验2图像质量评价

4 结 语

本文针对可见光与红外图像的融合问题，充分利用了NSCT变换的优势并采用图像质量评价体系作为指导，提出了一种基于NSCT的自适应可见光与红外图像的融合方法，该方法将图像质量评价指标应用于图像融合规则的选取过程中，并通过最终的图像质量评价指标控制NSCT变换的分解层数，使得融合图像达到最佳的效果。在实际图像融合过程中，随着传感器种类的增多，多源图像、多种融合方法相结合得到更好的融合效果将是今后重要的研究方向。

[1] 敬忠良,肖刚,李振华．图像融合:理论与应用[M]．北京:高等教育出版社,2007

[2] TOWNSEND D W, BEYER T． A Combined PET/CT Scanner: the Path to True Image Fusion [J]．British Journal of Radiology, 2002, 75(9): 24-30

[3] 田思．微光与红外图像实时融合关键技术研究[D]．南京：南京理工大学,2010

[4] 李俊山,杨威,张雄美．红外图像处理、分析与融合[M]．北京：科学出版社,2009

[5] 向静波,苏秀琴,陆陶．基于Contourlet变换和形态学的图像增强方法[J]．光子学报,2009,38(1):224-227

[6] 张强,郭宝龙．一种基于非采样 Contourlet 变换红外图像与可见光图像融合算法[J]．红外与毫米波学报,2007,26(6):476-480

[7] 刘兴淼,王仕成,赵静．结合统计分布和非下采样Contourlet变换的红外小目标检测[J]．光学精密工程,2011,19(4):908-915

[8] DO M N, VETTERLI M． The Finite Ridgelet Transform for Image Representation [J]． IEEE Transactions on Image Processing, 2003, 12(1):16-28

[9] STARCK J L,MURTAGH F, CANDÈS E J,et al． Gray and Color Image Contrast Enhancement by the CurveletTransform [J]．IEEE Transactions on Image Processing, 2003, 12(6): 706-717

[10] BURT P J, ADELSON E H． The Laplacian Pyramid as a Compact Image Vode [J]．IEEE Transactions on Communications, 1983, 31(4): 532-540

[11] 李伟．像素级图像融合方法及应用研究[D]．广州：华南理工大学,2006

[12] 刘倩,杜宏．一种基于小波变换的可见光与红外图像融合算法研究[J]． 车辆与动力技术,2011(3): 73-80

P237

B

1672-4623（2016）12-0030-03

10.3969/j.issn.1672-4623.2016.12.011

高永光，博士，工程师，研究方向为遥感应用。

2015-06-29。

项目来源：国家重点基础研究发展规划项目（2012CB719906）；国家高技术研究发展计划资助项目（SS2013AA122301）。