基于邻域统计信息的红外与可见光图像融合

孙新德，薄树奎

(郑州航空工业管理学院计算机科学与应用系，河南郑州450015)

1 引言

图像融合就是综合利用各成像传感器得到的不同图像的互补信息和冗余信息，获得对该场景更为全面、准确的图像描述［1］。图像融合技术已经应用在军事、遥感、医学图像处理、自动目标识别以及计算机视觉等领域。

近年来，有不少学者提出了各种图像融合方法，特别是基于多尺度分析的方法被广泛应用［2］。一幅图像经过多尺度分解后可以得到多个子带。各个子带反映图像特征的侧重点不同。通常低频子带集中了图像的大部分能量，决定图像的轮廓;高频子带含有丰富的边缘和细节信息。因此，在基于多尺度分解的图像融合中，应该根据低频子带和高频子带的特点采用不同的方法进行融合。因此本文在对系数邻域统计分析的基础上，提出了针对不同子带采用不同融合策略的红外与可见光图像融合方法。低频子带采用基于目标参数和场景参数的自适应加权融合规则;高频子带采用受邻域统计信息调制的系数比较取大融合规则。本文把这种融合规则用于红外与可见光图像融合实验，得到了具有更好视觉效果和更优量化指标的融合图像。

2 图像融合算法分析

一幅图像经过多尺度分解后可以得到多个子带。各个子带反映图像特征的侧重点不同。通常低频子带集中了图像的大部分能量，决定图像的轮廓;高频子带含有丰富的边缘和细节信息。因此，在基于多尺度分解的图像融合中，需要根据低频子带和高频子带的特点采用不通用的方法进行融合。

2.1 低频子带系数融合

图像的低频子带决定了图像的轮廓，因此低频子带系数的融合必定是基于能量的融合。最常见的方法是加权平均，见式(1):

式中，C1(m，n)为第一幅图像的低频子带系数;w1为第一幅图像的低频子带的融合权重系数，C2(m，n)为第二幅图像的低频子带系数;w2为第二幅图像的低频子带的融合权重系数。w1和w2为非负小数，且w1+w2=1。

可见光成像传感器与红外成像传感器是根据不同的机理成像的。前者主要是根据物体的光谱反射特性成像，而后者主要是根据物体的热辐射特性成像。因而，通常可见光图像很好地描述了场景信息，而红外图像很好地给出了目标的存在特性［3］。因此，我们把权重系数w1和w2分别与红外图像和可见光图像的物理特征相联系，制定了基于图像物理特征的低频子带系数融合策略。

在红外图像应用中，目标往往是一些高亮度的连续斑块，融合时应该给以高权重。这些斑块通常具有特征:局部区域均值高于整体均值，并且局部区域方差小。因此可以定义目标特征参数为:

式中，EL(m，n)为局域均值;E为低频子带均值;σL(m，n)为局域方差;α和β为调节系数且0＜α，β≤1;局域取点(m，n)的邻域。在融合过程中调整α和β的值可以微调融合图像的质量。

可见光图像含有较丰富的场景信息。一幅图像中，场景信息丰富的区域方差会比较大，融合时也应该给以高权重。因此可定义场景特征参数:

所以可以把加权平均融合的权重系数w1和w2分别定义为:

显然，w1和w2是图像像素位置坐标(m，n)的函数。因此，在根据公式(1)进行红外与可见光图像低频子带系数融合过程中，w1和w2随(m，n)邻域统计特性变化而变化，即随像素坐标(m，n)变化自适应地调整。

2.2 高频子带系数融合

图像经过多尺度分解后得到的高频子带系数含有丰富的边缘和细节信息。子带系数携带图像信息量与系数大小相关，一些人在进行融合时采用了系数比较取大策略［4－5］。实际上，图像信息量除与子带系数大小有关，还与子带系数邻域的系数空间分布有关［2］。本文制定了综合考虑子带系数大小和邻域系数分布的高频子带系数融合规则。

高频子带中，某系数邻域的系数分布越杂乱，其携带图像信息量就会越大。某系数的邻域系数分布杂乱程度可以用该系数与其邻域系数符号相同的概率来描述。设P(m，n)为高频子带系数C(m，n)与其邻域内系数具有相同符号的概率，其定义为:

即P(m，n)等于邻域内与C(m，n)符号相同的系数个数除以邻域内总的系数个数。显然，当C(m，n)与其邻域内系数符号均相同时P(m，n)=1;当C(m，n)与其邻域内系数符号均不相同时P(m，n)=0。这两种极端情况对应着邻域系数分布杂乱度最低，因此邻域系数分布杂乱度高低与P(m，n)×(1－P(m，n))的大小对应。所以，定义高频子带系数融合参数为:

T(m，n)包含了系数自身大小信息和邻域系数分布信息。如果系数C(m，n)的T较大，则其携带信息量就大，那么其对融合的贡献就应该多。于是，受邻域统计信息调制的系数比较取大的图像融合规则为:

式中，CF(m，n)为融合图像高频系数;Ci(m，n)为红外图像高频系数;Ti(m，n)为红外图像高频子带系数融合参数;Cv(m，n)为可见光图像高频系数;Tv(m，n)为可见光图像高频子带系数融合参数。

3 图像融合算法流程

根据上面的分析，可总结出红外与可见光图像融合算法流程如下:

1)分别对已经配准的红外与可见光图像多尺度分解。

2)根据式(4)计算红外图像低频子带融合权重系数w1(m，n)和可见光图像低频子带融合权重系数w2(m，n);根据式(1)进行低频子带系数融合。

3)根据式(6)分别计算红外图像和可见光图像高频子带系数融合参数Ti(m，n)和Tv(m，n);根据式(7)进行高频子带系数融合。

4)利用融合的低频和高频系数重构融合图像。

4 融合效果仿真实验与性能评价

为了检验本文算法的有效性，以来自www.imagefusion.org的UNcamp和 Trees图像为例，在Matlab R2006平台上进行了测试。

图1 UN Camp图像测试结果

图1 和图2分别为基于为UN Camp和Trees图像的测试结果。其中，(a)是待融合的红外图像，(b)是待融合的可见光图像，(c)是低频简单平均高频取大的融合图像，(d)是低频简单平均高频进行邻域统计的融合图像，(e)是根据文献［6］算法的融合图像，(f)是根据本文算法的融合图像。实验中，图像多尺度分解采用的是单层二维离散小波分解，小波为db2;本文算法中的调节系数α和β的取值:α =0.5，β =1(UN Camp)，α =0.5，β =0.9(Trees);像素邻域大小为4邻域。从测试结果可以看出，几种算法都很好地保留了可见光图像的背景信息和红外图像的目标信息。但仔细比较可以看出，本文方法得到的融合图像能够在目标和场景细节表现上达到更好的平衡。比如图2中虽然本文算法融合图像的目标不是最清晰(并不影响识别)，但是像树林、山雾等场景信息最接近原来的可见光图像。

图2 Trees图像测试结果

采用了四种客观评价指标对融合图像的质量进行客观评价。四种评价指标分别是平均梯度(AG)、信息熵(IE)、平均互信息(MMI)以及平均结构相似度(MSSIM)［7］。平均梯度(AG)可以敏感地反映图像的微小细节，还可以反映图像的纹理变换特征，常用来评价图像的清晰度，平均梯度越大表示图像越清晰。IE反映融合图像包含信息的丰富程度。MMI则是融合图像分别与两幅原始图像互信息(MI)的平均值，反映从原始图像继承信息的多少。MSSIM是融合图像分别与两幅原始图像SSIM的平均值，用来衡量融合图像的信息保留程度。

表1 融合图像性能评价

表1是融合图像客观评价指标的实验结果。从表1数据可以看出，采用本文方法的融合图像(图1(f)和图2(f))的评价参数均为最好，得到的融合图像最清晰，细节最丰富，包含的信息量最大。

5 结论

红外图像与可见光图像融合技术应用非常广泛。本文在图像多尺度分解的基础上，分析了红外和可见光图像的成像特点，定义了反映图像物理特性的目标特征参数和场景特征参数以及邻域系数分布特征参数，提出了一种基于邻域统计信息的高低频子带规则不同的图像融合算法。实验结果表明本文所提算法能够将红外图像与可见光图像中的重要信息提取并注入到融合图像中，而且融合图像质量量化指标优于其他一些算法。

［1］ Han Chongzhao，Zhu Hongyan，Duan Zhansheng，et al.Multisource information fusion［M］.Beijing:Tsinghua U-niversity Publishing Company，2006.(in Chinese)韩崇昭，朱洪艳，段战胜，等.多源信息融合［M］.北京:清华大学出版社，2006.

［2］ Ma Donghui，Xue Qun，Chai Qi，et al.Infrared and visible images fusion method based on image information［J］.Infrared and Laser Engineering，2011，40(6):1168 －1171.(in Chinese)马东辉，薛群，柴奇，等.基于图像信息的红外与可见光图像融合方法研究［J］.红外与激光工程，2011，40(6):1168－1171.

［3］ Zhang Qiang，Guo Baolong.Fusing of infrared and visible light images based on nonsubsampled Contourlet transform［J］.Journal of Infrared and Millimeter Waves，2007，26(6):476 －480.(in Chinese)张强，郭宝龙.一种基于非采样Contourlet变换红外图像与可见光图像融合算法［J］.红外与毫米波学报，2007，26(6):476 －480.

［4］ Zou Rong，Li Lingling，Li Cuihua.Multi－ focus image fusion algorithm based on nonsubsampled Contourlet transform［J］.Journal of Xiamen University:Natural Science，2009，48(6):812 －817.(in Chinese)邹蓉，李玲玲，李翠华.基于非子采样Contourlet变换的多聚焦图像融合方法［J］.厦门大学学报:自然科学版，2009，48(6):812 －817.

［5］ Yang Yuetao，Zhu Ming，He Baigen，et al.Fusion algorithm for infrared and visible light images based on region segmentation and NSCT［J］.Laser ＆ Infraed，2010，40(11):1250 －1257.(in Chinese)杨粤涛，朱明，贺柏根，等.基于区域分割和非采样Contourlet变换的红外和可见光图像融合［J］.激光与红外，2010，40(11):1250 －1257.

［6］ Zhang Ying，Li Yanjun，Zhang Ke，et al.Fusion of infrared and visible images based on nonsubsampled Contourlet transform［J］.Computer Engineering and Applications，2011，47(3):196 －198.(in Chinese)张莹，李言俊，张科，等.基于NSCT的红外与可见光图像融合［J］.计算机工程与应用，2011，47(3):196－198.

［7］ Wang Z，Bovik A C，Sheikh H R，et al.Image quality assessment:from error visibility to structural similarity［J］.IEEE Trans.on Image Processing，2004，13(4):600－612.