基于NSCT红外与可见光图像融合算法优化研究

肖中杰



基于NSCT红外与可见光图像融合算法优化研究

肖中杰

（青海民族大学 网络管理中心，青海 西宁 810007）

为了在一定程度上为后续图像处理提供更为有效的信息，针对红外与可见光图像融合，提出了一种改进的算法。NSCT用于分解红外图像和可见光图像，采用像素特征能量加权融合规则和邻域方差特征信息融合规则得到其低频和高频系数，最后通过逆NSCT进行图像重构得到融合图像。优化后的算法在融合图像清晰度上比Contourlet算法提高了2.22%，在图像信息丰富程度上提高近3.1%。实验结果表明，该算法可以有效地提高图像融合质量。

图像融合；NSCT变换；红外图像；可见光图像

0 引言

通常情况下，从不同传感器得到的图像信息往往具有一定的互补性和冗余性，通过提取信息互补的部分，舍去冗余的部分，可以得到对信息或场景的更为完整的描述。图像融合则是将两个或多个传感器在同一时间或不同时间拍摄的同一场景的图像或图像序列组合成单一图像的过程。红外传感器捕获的红外图像聚焦于场景中的目标，所含边缘等细节偏少，可见光又容易受外部环境干扰，其图像则可以更好地描述背景信息。将红外图像与可见光图像融合在一起，可以得到全景描述，而且所生成的图像将比任何一个输入图像的信息更丰富[1]，融合图像符合人或机器的视觉特性，为图像进一步分析、识别等提供基础[1]。

基于像素级层次图像融合具有较好的效果，常用的有基于空间域的算法和基于变换域的算法。基于多尺度变换的图像融合的多尺度几何分析，是一种具有方向性和各向异性的多分辨率图像分析方法，在图像融合中能取得较好的效果，是一种基于变换域的算法。在多尺度分析方法中，小波变换由于其局部化特性而广泛用于图像融合[2]，但是小波变换不能识别自然图像中固有的线奇异性和表面奇异性，并且其捕获的方向性信息受到限制，只能将源图像在水平、垂直和对角3个方向进行分解[3]，导致融合图像通常产生细节模糊。

NSCT不仅有效地捕捉图像中的几何特征[4]，而且具有多尺度和时频定位特性，还具有多方向的特性，图像能量在稀疏表示之后更集中。在NSCT分解之后，每个子带图像具有相同的大小，方便了融合计算。在离散域中，NSCT采用滤波器组来实现图像多尺度和多方向分解，提高了融合图像效果和计算速度。

1 算法理论分析

1.1 Contourlet变换

Contourlet变换是一种二维图像表示模式，它将多尺度分解与方向分解相结合。对于输入图像信息，首先用拉普拉斯金字塔[5-6]（LP）分解产生低频分量和高频分量，其次对各尺度的高频分量应用方向滤波器组（DFB）分解，高频分量被分解为若干方向子带，对于低频子带，再重复上述过程以进行多分辨率和多向分解。Contourlet变换在LP分解过程中，对图像使用隔行扫描，这个过程在很大程度上减少了变换的冗余，同时它导致Contourlet变换不具有平移不变性特征的结果，致使在奇异性方面导致pseudo-Gibbs现象，限制了其应用范围。为此，Cunha等人提出了非下采样Contourlet变换（NSCT），以改变这种情况。

1.2 NSCT变换

图1 NSCT变换示意图

根据NSCT变换不变特征和对图像几何特征，尤其是其边缘方向信息完美的描述能力，本文提出了一种改进的红外图像与可见光图像融合算法。对低频子频带系数它采用了像素特征能量加权融合规则，对高频子带系数它采用邻域方差特征信息融合规则。

该融合算法包括4个步骤[8]：首先，对原始图像A和B进行多级NSCT变换，得到不同尺度的NSCT系数，即低频系数和高频系数；其次，通过像素特征能量加权融合规则融合低频效率，得到低频系数；再次，通过邻域方差特征信息融合规则融合高频效率，得到高频系数；最后，重建每个尺度的低频和高频系数，通过逆NSCT重建图像，得到融合图像。

2 改进的图像融合算法

2.1 低频子带系数融合

低频子带包含图像大部分能量，代表图像轮廓。红外和可见光图像融合的主要目的是抽象的目标，目标有很大的能量。因此，低频系数融合规则的选择对于红外和可见图像融合是至关重要的，本文采用像素特征能量加权融合规则。

这里，方差表示图像的详细信息，像素平均值表示像素的平均亮度，窗口平均值表示特定区域中的像素的亮度。图像方差、像素平均值和窗口平均值的计算公式如下：

式中：()、()和R()分别表示以点(,)为中心的局部方差、像素平均值和窗口平均值；和表示窗口大小；和在和之间。由于红外图像和可见光图像之间的相应像素的物理意义是不同的，如果仅仅计算像素窗口能量而不考虑区域特性，则将失去目标轮廓和背景轮廓之间的差异。因此，有必要考虑图像像素能量和定位区域特征之间的相关性。在此基础上，定义出如下基于异常区域特征的像素能量：

式中：

和分别表示红外和可见光图像；2()表示主像素能量。

则有如下融合后的低频子带系数：

C,0F(,)＝1C,0I＋2C,0V(6)

式中：自适应调整系数1、2为：

2.2 高频系数融合

由NSCT分解得到的高频表示图像的细节。区域方差越大，原始图像的对应区域将变得越清晰。因此，高频系数的选择可以依据邻域方差特征信息得到。某系数的邻域方差可以定义如下：

选择具有较大的邻域高频系数方差的原始图像作为融合图像的高频系数：

式中：F(,,)是层分解点(,)中的图像的高频系数。

2.3 图像融合

每个尺度中的每个方向子图可以通过上述方法处理以完成图像融合。然后，对融合子带系数使用逆NSCT以获得重建的融合图像。

F,j,k×C,0F＝(10)

3 实验结果和分析

红外图像、可见光图像和通过不同算法融合的结果图像如图2所示。其中，图2(a)和图2(b)分别是红外图像和可见光图像；图2(c)～图2(f)分别是通过拉普拉斯金字塔法（LP）、小波法（WT）、Contourlet方法和本文方法融合的结果图像。在LP方法中，金字塔分解层的数量为2，融合规则是通过平均法融合顶层上的子图像，并且通过选择较大的像素值的方法来融合其他层上的子图像；在WT方法中，在高频层中取最大值，并且在低频层中取平均值；Contourlet方法和该算法的每一层中的分解方向是1、2、2。

图2 红外图像，可见光图像，不同算法融合图像对照

从主观的观点来看，图2(a)目标较清晰，但其他场景模糊；图2(b)在低光环境，所以目标是模糊的，但是背景较清楚；虽然通过LP方法和WT方法获得的融合图像保留了主要场景，但是边缘是模糊的；Contourlet方法获得的融合图像具有比LP和WT方法更清晰的边缘，但是其背景不如通过该算法获得的融合图像那样清楚。从视觉效果来看，通过该算法获得的融合图像更好地获得可见图像中的场景特征信息，以及红外图像中的目标信息和边缘细节，得到的融合图像中的目标比其他三个融合图像中的目标清晰。

从目标的角度评价，熵、互信息和平均梯度被用作图像融合效果的评估因素。熵是图像信息丰富程度的一个重要因素；互信息用于计算有多少信息传递到融合结果；平均梯度用于描述图像的清晰度。3个值越大，融合结果越好。表1显示，本文方法融合图像熵、互信息和平均梯度都高于其他3种方法。因此本文中的方法优于其他3种方法。

表1 各种算法融合图像参数对照

4 结论

由红外和可见光图像提供的互补或冗余信息可以有效地提高信噪比并获得可靠的图像信息。本文提出的改进的NSCT融合方法，优化了高频系数和低频系数融合规则，融合实验结果表明该算法具有良好的鲁棒性，它可以有效地提取边缘和纹理信息，融合图像具有丰富的场景信息和清晰的目标。因此该算法是一种有效的红外和可见图像融合方法。

[1] 周锋飞, 陈卫东. 一种基于区域生长的红外与可见光的图像融合方法[J]. 应用光学学报, 28(6): 737-741.

ZHOU Fengfei,CHEN Weidong. An image fusion method of infrared and visible light based on regional growth[J]., 2007, 28(6): 737-741.

[2] 王红梅, 张科. 基于小波变换的图像融合算法[J].红外与激光工程, 34(3): 328-332.

WANG Hongmei, ZHANG Ke. Image fusion algorithm based on wavelet transform[J]., 2005, 34(3): 328-332.

[3] 程英蕾, 赵荣椿. 一种基于小波变换的多传感器图像融合优化方法[C]//第七届国际信号处理会议论文集, 北京: 电子工业出版社, 2004.

CHENG Yinglei, ZHAO Rongchun. A multi-sensor image fusion optimization method based on wavelet transform[C]//, Beijing: Electronic Industry Press, 2004.

[4] Da Cunha A L, ZHOU J P, DO M N. The nonsubsamp-led contourlet transform: theory, design, and applications[J]., 2006, 15(10): 3089-3101.

[5] Do M N, Vetterli M. Framing pyramids[J].., 2003, 51(9): 2329-2342.

[6] Bamberger R H, Smith M J T. A filter bank for the directional decomposition of images: Theory and design[J].., 1992, 40(4): 882-893.

[7] HUANG Qingqing, JI Yuan, YANG Jian. Improved fusion method for infrared and visible remote sensing imagery using NSCT[C]// 6t(), 2011: 1012-1015.

[8] YIN Songfeng, CAO Liangeai, TAN Qiaofeng, et al. Infrared and visible image fusion based on NSCT and fuzzy logic[C]//2010(), 2010: 671-675.

Improved Infrared and Visible Light Image Fusion Algorithm Based on NSCT

XIAO Zhongjie

(,810007,)

In order to provide more efficient information for subsequent image processing, an improved algorithm has been proposed for infrared and visible image fusion. Non-subsampled contourlet transform(NSCT) was used to decompose an infrared image and a visible light image. The pixel feature energy weighted fusion rule and the neighborhood variance feature information fusion rule were used to obtain the low-frequency and high-frequency coefficients. Finally, the inverse NSCT was used to reconstruct the image to obtain a fused image. The fused image resolution of the optimized algorithm is 2.22% higher than that of the Contourlet algorithm, and nearly 3.1% better in terms of image information richness. The experimental results demonstrate that this algorithm could effectively improve image fusion quality.

image fusion，NSCT，infrared image，visible light image

TP391.41

A

1001-8891(2017)12-1127-04

2017-03-08；

2017-03-28.

肖中杰（1967-），男，副教授，研究生，研究方向：计算机应用。

青海省创新基金（2016-ZJ-Y04）。