基于非下采样Contourlet变换红外和可见光图像的融合方法

詹玲超++刘瑾

摘要：本文提出了一种基于非下采样Contourlet变换（NSCT）红外和可见光图像的融合方法。首先对红外和可见光图像进行多尺度、多方向分解，得到低通子带和各个高频子带。对于低通子带，采用基于局部区域能量的方法进行融合；对于带通子带，采用基于局域标准差取大的方法进行融合；最后通过NSCT逆变换得到融合图像。实验结果表明，相比同类研究方法，该算法具有不错的融合效果。

关键词：图像融合 红外图像 可见光图像 NSCT 区域能量

中图分类号：TN911.73 文献标识码：A 文章编号：1007-9416（2016）10-0045-02

Abstract：For infrared and visible images， An image fusion method based on Nonsubsampled Contourlet Transform （NSCT） is proposed here. First， the infrared and visible images are decomposed in multi-scale and multi-directional to get the low-pass sub-band and several band-pass sub-bands. For the low-pass sub-band， the fusion method is based on the regional energy. For the band-pass sub-bands，the fusion method is based on the local standard deviation. Finally， the fused image will be obtained by the inverse NSCT. The result proves that， compared with the similar research methods， the performance of the proposed method is better.

Key Words： image fusion； infrared image； visible image； NSCT； regional energy

1 引言

图像融合就是将两幅或者是多幅图像融合成一幅图像。目前，常用的融合方法有PCA、金字塔变换、小波变换[1]和非下采样Contourlet变换[2-3]等融合方法。本文针对红外和可见光图像的特点，提出了一种基于非下采样Contourlet变换（NSCT）的图像融合方法。本文算法的融合结果与几种算法的融合结果作对比，采用熵、平均梯度和互信息三种客观评价标准进行评价，结果表明本文算法有不错的效果，融合结果更加清晰。

2 非下采样Contourlet变换

Arthur L.Cunha等受到构造非下采样小波变换思想的启发，在2005年提出了一种具有时移不变性和良好方向选择性的变换，即非下采样的Contourlet变换（NSCT）。NSCT是基于一种非下采样金字塔（Non-subsampled Pyramid，NSP）结构和一个非下采样方向滤波器组（Non-subsampled directional filter bank，NSDFB）结构的变换，实现一种灵活的多尺度、多方向且平移不变的快速展开。

3 本文融合算法

设待融合的两幅图像分别是图像A和图像B，将两幅图像分别进行非下采样Contourlet变换，两幅图像分别会有一个低通子带系数和若干个带通子带系数。设这两幅图像的低通子带系数分别为和，带通子带系数分别为和，表示尺度上第个方向子带系数。融合后的低通子带系数为，带通子带系数为。

具体算法描述如下：

（1）低通子带系数融合方法。将、两幅图像的低通子带系数的分别划分成离散的的区域窗口，然后计算每个窗口的能量。假设用表示图像低通子带系数每个窗口的能量，其中为或，能量公式如式（1）所示。

其中N=3。根据以上的能量公式，就可以得到一个初步的融合图（initial fusion decision map）。融合规则是，如果图像的区域窗口能量大于图像的区域窗口能量，则对应的融合图里的值就是1，否则就是0。对于之前得到的初步融合图，如果在一个大小的窗口区域内，中间的是0，其他大部分是0，这时中间的值不变；如果中间的为0，其他大部分是1，这时将中间的值改为1。

下面利用区域的能量计算对应区域的匹配度，匹配度即对应区域的匹配程度。使用中的匹配度的计算公式。

的取值在0～1之间，对选一个阈值为0.65。当时，以上得到的融合图不变，当时，将融合图中对應点的值改为2，这样就得到最终的融合图。得到最终的融合图之后，可以根据最终的融合图来得到低通子带系数的融合结果，其结果如式（2）所示。

如果在最终的融合图中值为2，融合后的低通子带系数用图像和的低通子带系数加权和来表示，如果值为1，表示这个位置取图像的低通子带系数，如果值为0，则取图像的低通子带系数。

（2）带通子带系数融合方法。由于带通子带系数反映的是图像的边缘和细节信息，图像的局部区域标准差反映了这方面，标准差越大包含更多的边缘和细节信息。先将高频分量分割成离散的的区域窗口，假设用表示图像的带通子带系数的局部区域标准差，其中为或，每个窗口标准差的计算公式如式（3）所示。

以上公式中的即为3，即为窗口均值。

根据公式（3）计算出的局部区域标准差，得到一个初步的带通子带系数融合图。融合规则是，如果图像的局部区域标准差大于图像的局部区域标准差，则对应的融合图里的值就是1，否则就是0。

最终的融合图（final fusion decision map）同样是通过滤波运算的一致性验证得到的。对于之前得到的初步融合图，如果在一个大小的窗口区域内，中间的是0，其他大部分是0，这时中间的值不变；如果中间的为0，其他大部分是1，这时将中间的值改为1。

得到最终的融合图之后，可以根据最终的融合图来得到带通子带系数的融合结果，其结果如式（4）所示。

如果在最终的融合图中值为1，表示这个位置取图像的带通子带系数，如果值为0，则取图像的带通子带系数。对融合后的低通子带系数和带通子带系数进行NSCT逆变换，得到最终的融合结果。

4 实验及结果分析

4.1 融合结果

本文算法在MATLAB环境中进行实验。实验中红外和可见光图像完全配准，在同一场景同一时间拍摄。如图1列出了其中一组红外和可见光图像，其中（a）是红外图像，（b）是可见光图像。实验结果如图2所示。实验里有三组对比实验分别是像素取平均值法（P_avg），如图2（a）所示；小波变换低频分量取平均，高频分量取大值法（DWT_avg_max），如图2（b）所示；NSCT变换低通子带系数取平均，带通子带系数取大值法（NSCT_avg_max），如图2（c）所示；本文算法如图如图2（d）所示。

4.2 结果分析

本文采用信息熵、平均梯度和互信息这三个客观评价标准对图像进行评价。表1是对融合结果的评价。从表1可以看出，将本文提出的融合方法和另外三种融合方法相比，本文方法都是最优的。

5 结语

本文提出了一种基于NSCT变换红外和可见光图像的融合方法。对于低频子带，采用基于局部区域能量取大的方法进行融合；对于高频子带，采用基于局域标准差取大的方法进行融合。结果表明不管是从视觉效果方面来看，还是从融合结果的客观评价来看，相对同类研究方法，本文方法获得的图像都更好，更为清晰，达到较为满意的结果。

参考文献

[1]陈浩，王延杰.基于小波变换的图像融合技术研究[J].微电子学与计算机，2010（5）：39-41.

[2]A.L.da Cunha， J.Zhou，and M. N. Do.The nonsubsampled contourlet transform：Theory， design， and applications[J].IEEE Trans Image Process，2006（10）：3089-3101.

[3]Padma Ganasala，Vinod Kumar.CT and MR Image Fusion Scheme in Nonsubsampled Contourlet Transform Domain[J].J Digit Imaging，2014（3）：407-418.

收稿日期：2016-09-06

作者简介：詹玲超（1983—），女，江苏仪征人，硕士研究生，金城学院专职教师，讲师，研究方向：软件工程，数字图像处理。E-mail：

496043955@qq.com；刘瑾（1979—），女，新疆克拉玛依人，硕士研究生，讲师，研究方向：軟件工程。