基于非下采样Contourlet 变换和稀疏表示的红外与可见光图像融合方法

王珺，彭进业，何贵青，冯晓毅，阎昆

(1.西北工业大学 电子信息学院，陕西 西安710072;2.中国空间电子信息技术研究院，陕西 西安710000)

0 引言

红外图像是根据目标场景散发或反射的热辐射信息成像，图像整体反映目标场景的轮廓特征，细节信息不丰富，基本不受照明条件的影响。可见光图像根据目标场景光谱反射特性成像，包含了场景的边缘、纹理等丰富的细节信息，但是受场景照明的影响较大。将红外与可见光图像进行融合，可以充分利用其信息的互补性，更加全面、准确地描述场景信息，在国防、航空、遥感等领域有着重要的应用[1－2]。

近年来，基于非下采样Contourlet 变换(NSCT)以其具有平移不变、多分辨率、多方向和各向异性的图像表示能力[3]，并且能有效克服传统小波变换不能处理2D 或更高维奇异性的问题，成功用于图像融合领域并取得较优的融合效果[4]。然而，在图像融合问题中，研究人员希望提取的图像表示系数具有优秀的稀疏性与特征保持性，从而只需融合少量的系数就能获得较优的融合结果[5－6]。但是，经NSCT 变换得到图像低频子带系数近似为零项十分有限，即不能稀疏地表示图像的低频信息。若直接对其融合，不利于提取源图像的特征。考虑到低频子带包含了图像的主要能量，在很大程度上决定了融合结果的质量，所以希望通过提高低频子带系数的稀疏度，以得到更优的融合结果。

本文提出一种基于NSCT 和稀疏表示的红外与可见光图像融合方法。利用NSCT 有效捕捉源图像低频子带与高频方向子带的信息。根据稀疏表示理论对低频子带系数稀疏地表示，再在其基础上提取共有和特有系数，加以融合，以显著提高融合效果。经仿真验证，该方法在主观视觉效果和客观评价方面均具有显著优势。

1 NSCT 变化与稀疏表示

1.1 NSCT 及其构造

NSCT 是一种具有平移不变性和灵活的多尺度、多方向的图像分解方法。NSCT 是将多尺度分解与方向分解分开进行:首先采用非下采样金字塔(NSP)对图像进行多尺度分解，得到不同尺度的子带系数;然后采用非下采样方向滤波器组(NSDFB)对各尺度子带系数进行方向分解，从而得到不同尺度、方向的子带图像(系数)。图1 为NSCT 示意图。

图1 NSCT 示意图Fig.1 Schematic diagram of NSCT

NSCT 与Coutourlet 变换的区别在于NSCT 采用的是非子采样金字塔和非子采样DFB，NSCT 利用Z变换的等效移位性质，去掉了LP 分解和DFB 分解中信号经分析滤波后的下采样以及综合滤波前的上采样，而改为对相应的滤波器进行上采样，再对信号进行分析滤波和综合滤波[7]。NSCT 所采用的二通道非子采样滤波器组结构如图2 所示。

图2 NSCT 采用的双通道非下采样滤波器组结构Fig.2 Two－channel non－subsampled filter banks in NSCT

由图3 可看出，图像低频子带系数是非稀疏的，而高频各个方向子带系数都在零值附近波动，是近似稀疏的，并且能明显观察到高频方向子带的多方向性特点。

图3 NSCT 对红外图像分解的示例Fig.3 Infrared image decomposition by NSCT

1.2 NSCT 域的稀疏表示

稀疏表示理论基于以下假设:自然信号可以由字典中少量原子的线性组合表示或近似表示。对给定的信号Y，可以用如下近似的方法找出其稀疏表示:

式中:Y∈Rn×m;D∈Rn×k为由红外和可见光图像的低频子带系数采用k－SVD 方法[8]共同学习得到字典，其中每一列称作一个原子;α∈Rk×m为向量，‖α‖0表示向量α 中非零元素的个数;ε 为允许偏差的精度，解决这个优化问题的过程通常称作稀疏编码。

根据文献[9]多尺度字典学习的思想，不仅可以在图像域中训练字典，也可以在变换的域中训练字典。即(1)式可以等价地写为

式中:WA为变换分析算子。(2)式说明，可以对NSCT 后的低频子带系数通过训练字典的方式求解其稀疏表示，从而使其具有更优秀的稀疏性与特征保持性。

2 图像融合方法

2.1 基于联合稀疏表示的低频子带系数融合

联合稀疏表示是指所有来自同一个字典的信号，由他们共同的稀疏表示和各自特有特征的稀疏表示组成[10]。由于来自同一场景的红外图像与可见光图像之间存在相关性，经NSCT 后的系数也存在相关性，可以由统一的字典表示。因此每幅源图像的系数Vi可以看做由两部分组成:共有系数Vc，它包含于所有源图像中;特有系数Vui，它只包含于相应一幅源图像中。根据联合稀疏表示理论，这两部分可以分别用共有稀疏表示系数ac和特有稀疏表示系数aui表示，则有

所有源图像NSCT 域系数的联合稀疏表示为

为了求解最稀疏解，即使得a 最稀疏，估计(6)式:

式中:代价函数l0范数非凸且高度不可微，该优化问题是一个NP 难问题，通常考虑用近似解代替，本文采用较为常用的正交匹配追踪(OMP)算法求解。

图4 为提取共有和特有特征图例。将源图像非稀疏的低频子带系数，通过上述方法提取其稀疏表示形式，并用共有系数和特有系数表示。图4(e)～图4(g)分别为提取源图像低频子带系数的特有和共有特征后再重构的图像。可以看出，有效地提取出红外低频子带中特有的人物和树木轮廓与可见光低频子带中房顶道路等特有特征，以及他们共有的建筑墙壁和道路等特征。

图4 提取共有和特有特征图例Fig.4 Extraction the common and innovation features

融合的图像应该集合各个源图像的共有与特有特征，因此，为了考虑到所有源图像对融合图像的贡献，融合图像的低频子带系数应为共有特征与线性叠加的特有特征之和

式中:ni表示系数的活动因子，其反映了特征的能量大小，即重要程度

融合图像低频系数可以重构为

2.2 高频方向子带系数的融合

NSCT 不仅对图像提供了多尺度分析，它的基还具有丰富的方向和形状，能够在高频方向子带上捕获红外与可见光图像中的显著特征，如边缘、线性特征和区域边界。由于高频方向子带的稀疏性，这些显著特征在同一尺度所有方向子带上都表现出较大的模值，而其他非显著特征系数模值几乎为0.所以根据每个像素同一尺度上的方向子带信息足以区分并提取该像素上的细节信息。此外，由于红外与可见光图像在图像细节上往往存在互补关系，如红外图像轮廓更加明显而可见光图像的纹理更加清晰。综合上述因素，对高频方向子带系数采用如下融合策略。

将源图像在尺度为2－l上的方向子带信息定义为

如果源图像A，如图4(a)所示，在尺度2－l上像素位置(n，m)的方向子带信息和大于等于源图像B，如图4(b)所示，即，那么选取源图像A 在尺度2－l上(n，m)像素位置方向子带系数作为融合图像F，如图4(f)所示，在相应位置上的NSCT 分解系数，所以高频方向子带的融合规则为

式中:0≤l≤L－1，1≤i≤2kl.

2.3 融合步骤

1)输入红外与可见光图像，并分别对其进行NSCT 变化，分解成低频子带与高频方向子带。

2)对低频子带采用k－SVD 方法学习字典，再采用基于联合稀疏表示的方法提取红外与可见光图像的特有特征(系数)和共有特征(系数)，并按照特有特征的权重对低频子带的稀疏表示系数进行融合;最后结合学习的字典与融合的稀疏表示系数，重构出融合图像的低频子带系数。

3)对各个方向上的高频子带，按照(11)式对其进行融合。

4)对融合图像F 的低频子带和各个尺度上的高频方向子带作NSCT 逆变换，得到最终的融合图像F.

3 实验结果与分析

将本文提出的方法与传统基于DWT 的图像融合方法、目前性能较为优越的基于NSCT 图像融合方法[4]、基于稀疏表示的图像融合方法SOMP[5]及JSR 方法[6]进行比较。前2 种方法是基于变换域的方法，后2 种是基于图像域稀疏表示的融合方法。实验中采用图像大小为240 像素×320 像素且经过对准的红外与可见光图像，其中DWT 分解的小波类型为3 级db4 小波，NSCT 参数设置与文献[4]相同，即“9 －7”塔形分解和“c－d”方向滤波器组，高频层所取的方向数依次为24、23、22、21.稀疏表示的字典大小均为64 ×256，ε=0.01.

融合结果如图5 所示，可看出，DWT 融合结果的房屋与周围景物对比度减弱;NSCT 融合结果中树木道路层次感较强，但是纹理不清晰，人物和房屋也不够突出;SOMP 和JSR 人物较为突出，但对树叶等纹理特征明显的区域融合得过于平滑;本文方法则将栏杆、房屋、树叶和道路等地物融合得更为清晰，人物也较为明显，连贯性好，视觉效果最佳。

图5 5 种方法的融合结果Fig.5 Fusion results by five methods

为了定量评价不同融合方法用于红外和可见光图像融合的性能，本文采用比较方法中指标均方根交叉熵(RCE)、QW、QE和Qabf进行评价[11－13]。其中，指标RCE 用来评价融合图像与源图像间的综合差异，越小越好;QW为源图像与融合图像窗口加权的融合质量评价;QE和Qabf分别从局部和整体反映了融合图像融合源图像边缘的情况;Q0、QW、Qabf的值均在[0，1]之间，越接近1 表明融合质量越好。

表1 为5 种融合方法的性能指标。从表1 可看出，相对于在变化域直接融合的方法DWT、NSCT 与在图像域单尺度基于稀疏表示的方法SOMP、JSR，本文提出的方法既能对源图像进行多尺度分析，又能进一步提高图像表示系数的稀疏度，增强了融合图像的细节表现能力，从源图像提取更多的有用信息并加以融合，所以具有更优的融合效果。

表1 5 种融合方法的性能指标Tab.1 Performance indices of the different fusion methods

4 结论

本文提出了一种基于NSCT 和稀疏表示的红外与可见光图像融合算法，针对NSCT 变化后包含图像主要能量的低频子带稀疏度较差，不利于提取有用信息进行融合的问题，对低频子带系数学习字典，并提取红外与可见光图像的特有和共有特征，再按照特有特征系数活动水平赋予各个源图像融合的权重进行融合。对稀疏度较好的高频方向子带系数采用同一尺度下方向子带系数活动水平最大的策略融合。实验结果表明，该方法同时具有NSCT 多尺度、多方向的特点和稀疏表示有效提取特征的特性，在主观视觉效果与客观评价指标上均取得了更优的融合效果，是一种有效可行的融合方法。

References)

[1]Mahyari A G，Yazdi M.Panchromatic and multispectral image fusion based on maximization of both spectral and spatial similarities[J].IEEE Transactions on Geoscience and Remote Sensing，2011，49(6):1 －10.

[2]赵诚，付梦印，王立平.基于粒子群优化的多分辨率图像融合[J].兵工学报，2010，31(2):171 －176.ZHAO Cheng，FU Meng－yin，WANG Li－ping.Multi－resolution image fusion using particle swarm optimization[J].Acta Armamentarii，2010，31(2):171 － 176.(in Chinese)

[3]Do M N，Vetterli M.The coutourlet transform:an efficient directional multiresolution image representation[J].IEEE Transactions on Image Processing，2005，14(12):2091 － 2106.

[4]常霞，焦李成，贾建华.基于非下采样Contourlet 的多传感器图像自适应融合[J].计算机学报，2009，32(11):2229 －2237.CHANG Xia，JIAO Li－cheng，JIA Jian－hua，Multisensor image adaptive fusion based on nonsubsampled contourlet[J].Chinese Journal of Computers，2009，32 (11):2229 －2237.(in Chinese)

[5]Yang B，Li S T，Pixel－level image fusion with simultaneous orthogonal matching pursuit[J].Information Fusion，2012，1(13):10 －19.

[6]Yu N N，Qiu T S，Bi F.Image features extraction and fusion based on joint sparse representation[J].IEEE Journal of Selected Topics in Signal Processing，2011，5(5):1074 －1082.

[7]Cunha A L，Zhou J，Do M N.The nonsubsampled contourlet transform:theory，design，and applications[J].IEEE Transactions on Image Processing，2006，15(10):3089 －3101.

[8]Aharon M，Elad M，Bruckstein A.K－SVD:an algorithm for designing overcomplete dictionaries for sparse representation[J].IEEE Transactions on Signal Processing，2006，54(11):4311 －4322.

[9]Ophir B，Lustig M，Elad M.Multi－scale dictionary learning using wavelets[J].IEEE Journal of Selected Topics in Signal Processing，2011，5(5):1014 －1024.

[10]Duarte M F，Sarvotham S，Baron D，et al.Distributed compressed sensing of jointly sparse signals[C]∥Computer Society.Conference Record of The Thirty－Ninth Asilomar Conference on Signals，Systems and Computers.US:Institute of Electrical and Electronics Engineers Computer Society，2005:1537 －1541.

[11]Piella G，Heijmans H，A new quality metric for image fusion[C]∥Proceedings of IEEE International Conference on Image Processing.Barcelona:IEEE，2003:173 －176.

[12]Petrovic V.Subjective tests for image fusion evaluation and objective metric validation[J].Information Fusion，2007，8(2):208 －216.

[13]Xydeas C S，Petrovic V.Objective image fusion performance measure[J].Electronics Letters，2003，6(4):308 －309.