基于Contourlet变换的红外与可见光图像融合方法

2015-03-15于振海张珍明

无线电工程 2015年8期

关键词：子带金字塔标准差

于振海,张珍明,陈　茹

(第二炮兵指挥学院,湖北武汉 430012)

基于Contourlet变换的红外与可见光图像融合方法

于振海,张珍明,陈茹

(第二炮兵指挥学院,湖北武汉 430012)

摘要针对红外与可见光图像的特点和Contourlet变换的多分辨率和多方向的特性，提出了一种基于Contourlet变换的红外与可见光图像融合方法。该方法将源图像做Contourlet变换，获得低频分量和各带通方向子带的高频分量，根据低频和高频分量各自的特点采用不同融合规则。低频分量反映源图像的平均特性，包含源图像的光谱信息和大部分的能量信息，对低频分量采用基于块的标准差加权的融合规则；针对高频分量包含大量有用的边缘和纹理等细节信息，对融合图像质量影响较大，考虑到不同尺度上的高频系数包含的信息量不同，对高频分量的不同尺度的系数制定不同的融合规则，在较大尺度上采用系数绝对值取大的方法，在较小尺度上采用小系数区域能量取大的方法和大系数绝对值取大的方法。最后经Contourlet逆变换重构获得最后的融合图像。仿真结果表明，通过主观视觉效果和客观评价指标进行评价，与传统图像融合算法相比，该方法能有效提取源图像的有用信息，取得较好的融合图像结果。

关键词Contourlet变换;图像融合;红外图像;可见光图像

A Method for Fusion of Infrared and Visible Images

Based on Contourlet Transform

YU Zhen-hai,ZHANG Zhen-ming,CHEN Ru

(TheSecondArtilleryCommandCollege,WuhanHubei430012,China)

AbstractAiming at the features of infrared and visible images and the advantages of multi-scale and multiple directions in the Contourlet transform,this paper proposes a method for fusion of infrared and visible images based on Contourlet transform.Firstly,the original images are decomposed by using Contourlet transform to obtain low and high frequency coefficients.The different fusion rules are used based on the different features of low and high frequency coefficients.For low frequency coefficients,the weighted regional standard variance fusion rule is adopted in view of the image average characteristics.For high frequency coefficients,and a fusion rule based on multi-scale is adopted in the view of different scale with different information.The maximum absolute coefficients are used with bigger scales.The rest scales are divided into two parts:small and big coefficients.This paper chooses the biggest absolute coefficient with big coefficients,and adopts the coefficients with maximum regional power of small coefficients.Finally,the final fusion image is acquired through Contourlet inverse transform.The simulation results show that the proposed method is superior both in vision and in objective evaluation compared with traditional image fusion methods,and can get more useful information from original images and better image fusion.

Key wordscontourlet transform;image fusion;infrared image;visible image

0引言

图像融合是通过一定技术手段，综合2幅或多幅来自不同信源的图像信息以及其他信息，以获得对同一场景更精确、全面、可靠的图像描述[1]。将不同模式下同一个场景的多幅信源图像融合成一幅图像，使融合图像具有各信源图像所包含的有用信息。图像融合并不是简单的叠加，它可以消除多信源之间可能的冗余与矛盾，降低信息不确定性和模糊度，将有用信息重点突出出来，增强图像中信息的透明度，提高图像解释的可靠性和准确性。图像融合要在尽量保留源图像信息的基础上，将多幅图像的信息综合到一幅图像中。红外与可见光图像融合是图像融合领域的重要组成部分，经过图像融合可以提高红外目标的可识别度和图像的清晰度，在军事领域有广泛的应用价值[2]。

近年来，大部分发展出来的像素级图像融合算法都是基于图像多分辨率技术的算法[3]，尤其是基于多尺度几何分析的图像融合方法被广泛的运用。最经典的有金字塔变换和小波变换[4]，以及其后陆续提出的Ridgelet、Curvelet和Contourlet等后小波变换方法(也称X-let算法)[5]，已成为像素级图像融合中的一类主流方法。基于金字塔分解的图像融合方法能在不同尺度和频率空间上有针对性的突出图像的重要特征和细节信息，但其变换无方向性，融合后容易出现模糊现象；小波变换保持了金字塔分解的优点，有一定的方向选择性、正交性和可变的时频分辨特性，但变换只有有限的3个方向，不能有效增强空间细节信息。Contourlet变换[6]具有多分辨率、局域性和方向性的优点[7]。这些优良特性，使它在图像融合领域也有很好的应用。Contourlet变换具有更加灵活的多方向性、多尺度特性和各向异性，能更好地提取特性的边缘、方向等细节信息，获得比金字塔分解和小波变换更好的融合效果。本文基于Contourlet变换的优势提出了一种红外与可见光图像的融合方法。

1Contourlet变换理论

Contourlet变换又称为塔形滤波器组(Pyramidal Directional Filter Bank,PDFB)分解。PDFB是由一个拉普拉斯金字塔滤波器(LP)和方向滤波器组(DFB)级联而成的。所产生的支集为长方形，具有各向异性[7]，所以能很好地满足奇异曲线的各向异性尺度关系。Contourlet变换的流程图和频率分解图如图1所示。

图1　Contourlet变换流程图及频率分解

由图1可以看出，Contourlet变换是用2个步骤实现多尺度分析和方向分析，即先用LP变换对图像做多尺度分解来“捕获”点奇异，接着用方向滤波器组(DFB)将散布在同方向上的奇异点合成一个集，Contourlet变换的最终结果是把原图像用类似轮廓线段的基结构来逼近[8]。

由于Contourlet变换的基函数是在二维连续空间中定义的多方向基，所以它能用各个尺度上的基结构对原图像进行良好的非线性逼近。并且在每一尺度上都可以分解为2j(j为任意正整数)个方向子带，因而可以实现灵活多变的多分辨多尺度分析，能有效提取图像中具有局部性和多方向性的几何特征。用小波变换和Contourlet变换对奇异曲线进行逼近的比较如图2所示。图2(a)是由一维小波张成的二维小波基具有正方形的支撑区间，在不同分辨率下，其支撑区间为不同尺寸大小的正方形，二维小波逼近奇异曲线的过程，最终表现为用“点”来逼近线的过程[7]，因此具有各向同性和无方向性。图2(b)为用Contourlet变换来逼近奇异曲线的过程，其支撑基表现为具有多方向的长条形结构，因为在不同分辨率下，其支撑区间为不同尺寸、不同方向的长条形，因而能用比小波更少的系数来描述奇异曲线。因而Contourlet变换较小波变换而言能对曲线进行更稀疏的表示。

图2　小波和Contourlet变换曲线逼近示意

2基于Contourlet变换图像融合

2.1　融合步骤

本文所做的工作是在源图像已经配准的情况下进行的，其融合基本框架[9]和具体的步骤如下：

① 对源图像分别做J层Contourlet变换，获得各自的Contourlet系数，该系数包含低频子带系数和高频子带系数；

② 对低频和高频子带系数分别采用本文制定的融合规则做处理，获得融合图像的Contourlet系数；

③ 对融合后的低频和高频子带系数做Contourlet逆变换获得最后的融合图像。

图像融合过程如图3所示。

图3　基于Contourlet图像融合框架

2.2　低频分量融合规则

经变换后的低频分量是源图像的近似分量，反映图像的轮廓特征，包含了图像的大部分能量，对低频子带的处理要尽可能地保留这些整体概貌特征。使用传统的像素值极值法、像素值平均法会造成融合图像的边缘相对模糊，无法反应像素之间的相关性。所以本文采用基于块的标准差加权的方法[10]进行低频子带的融合。图像的标准差能反映局部像素灰度值的离散水平，标准差越大灰度级分布越分散，局部图像所含的信息量越大。用基于块的标准差加权的方法能够有效地提取源图像中的有用信息。具体规则如下：

(1)

分别在对应的块中依据各自标准差的权值来确定该块中的低频系数，最后得到整个融合图像的低频子带系数。

2.3　高频子带分量融合规则

因为经Contourlet变换得到的高频子带系数含有丰富的图像细节信息，包括纹理和边缘等[11]。对高频子带系数进行融合，其目的就是尽可能保留源图像中的清晰细节。考虑到随着变换尺度的不同，高频子带系数所包含的信息有所不同，在较大尺度上，系数越大，表示的纹理和边缘等细节越丰富，因此在高频子带中的较大尺度上采用系数绝对值取大的融合规则，如式(2)所示。

(2)

在高频子带的较小尺度上，设定一个阈值来区分大系数和小系数，该阈值是通过多次实验选定的经验值，针对小系数采取局部能量取大的方法，针对大系数直接采用系数绝对值取大的方法。具体融合规则实现如下：

① 小系数的融合规则。考虑到一个区域内各系数的相关性较强，对小系数的选择采用基于区域能量特征来选取。选取掩模窗口算子如下：

(3)

相同尺度高频子带位置(x,y)处的区域能量可表示为：

(4)

(5)

② 对于较大系数，仍然采取系数绝对值取大的融合规则，如式(2)所示。

2.4　融合评价指标

本文选取了信息熵、标准差、空间频率和平均梯度[12，13]作为评价融合图像质量的指标。

2.4.1信息熵(E)

信息熵描述了图像信息的多少，定义为：

(6)

式中，H为图像的信息熵；L为图像的灰度级数；pi为灰度值为i的像素数与总的像素数之比。信息熵是衡量一幅图像信息量丰富程度的一个主要指标，熵值越大表明图像所含的信息越丰富，融合质量越好；反之，融合质量差。

2.4.2标准差(SE)

标准差是一种表示分散程度的统计量，反映了图像灰度值的分布情况。计算公式为：

(7)

2.4.3空间频率(SF)

空间频率表示图像空间的总体活跃水平。其定义如下：融合后的图像F的大小为M×N，则融合后的空间行频率(RF)和空间列频率(CF)如式(8)和式(9)所示，在RF和CF的基础上定义图像的空间频率(SF)如式(10)所示。

(8)

(9)

(10)

空间频率值越大，表明图像中的细节信息越丰富，融合质量越好。

2.4.4平均梯度(AG)

平均梯度是对图像细节对比表达能力的描述，也称为图像的清晰度，其计算公式为：

(11)

3实验结果与分析

为了验证所提算法的有效性，选择两组图像进行验证。 Contourlet变换选择‘9-7’LP滤波器和‘pkva’方向滤波器组，分解层数为5，方向数分别为2,4,8,16,32。系数阈值通过多次实验选取为1，即系数值≥1的判定为大系数，<1的判定为小系数。通过实验与小波局部能量的融合方法、DBSS(2，2)小波的融合方法和拉普拉斯金字塔融合方法进行了对比。而且探索了尺度大小对融合效果的影响，本文实验中的方法1、2、3分别是第5层系数绝对值取大、第4层和第5层系数绝对值取大和第3层、第4层和第5层系数绝对值取大。针对第1组图像的实验结果融合表1和图4所示，第二组图像的实验结果融合表2和图5所示。

在第1组实验中,由表1可以看出本文方法的各项评价指标比小波方法都有所提高，虽然信息熵和标准差比拉普拉斯算法略低，但是由图4可以看出本文方法融合图像视觉效果比拉普拉斯金字塔的视觉效果要好，可以明显地发现拉普拉斯金字塔方法融合图像中屋顶部分有较大失真，灌木丛部分较为模糊，本文算法则较好地解决了这种失真和模糊现象。

表1　第1组图像不同融合方法的融合评价

图4　第1组图像经不同融合方法处理后的结果

融合方法信息熵标准差空间频率平均梯度小波局部能量7.276643.089816.76806.8898DBSS(2,2)小波7.228437.829018.95608.0501拉普拉斯金字塔7.405450.070619.30128.1294本文方法17.436447.279319.35098.5841本文方法27.440647.343619.53858.6392本文方法37.441547.417619.58048.6448

对第2组图像，由表2可以看出本文方法的各项指标都比小波方法有较大提高，虽然标准差较拉普拉斯金字塔方法偏小，但是其他3项指标均高于拉普拉斯金字塔算法，而且从图5的结果可以发现，本文方法视觉效果更优，拉普拉斯金字塔方法的融合图像目标区域太亮而导致目标不清晰，本文算法在细节体现上更有优势。

图5　第2组图像经不同融合方法处理后的结果

4结束语

提出了一种基于Contourlet变换的红外与可见光图像融合方法，将Contourlet变换后的高频子带系数根据变换尺度的大小加以区分，不同的尺度上运用不同的融合规则，在较大尺度上用系数绝对值取大的方法，在较小尺度上的大系数用系数绝对值取大，小系数采取区域能量取大的方法；低频子带采用基于块的标准差加权的方法，得到了比传统方法好的结果。在融合图像视觉效果和客观评价指标上都有所提高，达到了从源图像提取更多有用信息和使融合图像更加清晰的目的，提高了红外目标的可识别度。

参考文献

[1]POHL C.Multisensor Image Fusion in Remote Sensing:concepts,method and applications[J].International Journal of Remote Sensing,1998,19(5):823-854.

[2]沈永玲，薛毅.战场侦察图像融合技术[J].无线电工程，2011,41(5)：43-35.

[3]杨思天.基于小波变换的图像融合技术[J].无线电工程，2006,36(8)：19-21.

[4]朱炼，孙枫.图像融合研究综述[J].传感器与微系统，2014,33(2)：14-18.

[5]DO M N,VETTERLI M.Contourlet:A Directional Multiresolution Image Representation[C]∥Processings of IEEE International Conference on Image Processing,2002:357-360.

[6]DO M N,VETTERLI M.Contourlets:A Directional Multi- resolution Image Representation[C]∥IEEE International Conference on Image Processing,NY:Rochester,IEEE,2002:357-360.

[7]焦李成，谭山.图像的多尺度结合分析：回顾和展望[J].电子学报，2003,31(12A)：1 975-1 981.

[8]倪伟，郭宝龙，杨镠.图像多尺度几何分析新进展：Contourlet[J].计算机科学，2006,33(2):234-236.

[9]张鑫，陈伟斌.Contourlet变换系数加权的医学图像融合[J].中国图形图像学报，2014,19(1):133-140.

[10]欧阳洪波.基于Contourlet变换的自适应图像去噪及图像融合研究[D].长沙：湖南大学，2012:48-54.

[11]赵飞翔，陶忠祥.基于NSCT的红外与可见光图像融合[J].电光与控制，2013,20(9)：29-33.

[12]郭雷，李晖晖，鲍永生.图像融合[M].北京：电子工业出版社，2008：183-248.

[13]牛轶峰，赵博欣.像素级图像优化融合客观评价指标分析[J].计算机与数字工程，2010,38(3)：116-122.

于振海男，(1986—)，硕士研究生。主要研究方向：图像融合与目标识别。

张珍明男，(1971—)，副教授，博士。主要研究方向：数字图像处理、模式识别。

作者简介

收稿日期：2015-05-13

中图分类号TN911.73