基于NSST和稀疏表示的多源异类图像融合方法

王志社，杨风暴，彭智浩



基于NSST和稀疏表示的多源异类图像融合方法

王志社1,2，杨风暴1，彭智浩1

（1.中北大学信息与通信工程学院，山西 太原 030051；2.太原科技大学应用科学学院，山西 太原 030024）

针对SAR、红外和可见光图像的灰度差异性大，融合图像感兴趣目标不突出的问题，提出一种基于NSST和稀疏表示的多源异类图像融合方法。首先将训练图像进行NSST变换，在低频系数上构建多尺度学习字典；对SAR、红外和可见光图像进行NSST变换，利用滑动窗口分解低频系数为图像块序列，对图像块序列零均值化后再稀疏分解，采用稀疏系数绝对值取大的融合规则；高频子带系数采用局部方向信息熵显著性因子取大的融合规则；最后对融合系数进行NSST逆变换得到最终的融合图像。

图像融合；NSST；多尺度学习字典；稀疏表示；方向信息熵

0 引言

合成孔径雷达SAR（Synthetic Aperture Radar）、红外和可见光传感器由于成像波段范围和成像方式的不同，在图像上反映了地物光谱特征的差异性。SAR图像通过微波反射成像，对人造目标（如金属、建筑物）比较敏感，反映了目标的结构信息，具有丰富的纹理特征；红外图像通过热辐射成像，对热目标比较敏感，反映了目标的轮廓信息；可见光图像通过光反射成像，反映了地物的大致轮廓和光谱信息。因此，对SAR、红外和可见光图像进行融合，才能充分利用三者的互补信息，从而更加全面、准确地描述目标或场景信息，在军事应用、遥感监测、航空航天等领域有着重要的应用[1]。

近年来，基于多尺度变换如Ridgelet变换[2]、Curvelet变换[3]、Contourlet变换[4]、非下采样Contourlet变换（NSCT）[5-7]和非下采样Shearlet变换（NSST）[8-10]等被广泛应用到图像融合领域。其中，NSST因具有更灵活的结构和更高的计算效率，在融合领域取得了更优的融合结果。但是，经过多尺度变换得到图像低频系数反映了图像的近似特征，近似为零的个数很少，不能稀疏地表示图像的低频信息，不利于提取图像的显著特征。文献[11]提出了基于NSCT和稀疏表示的红外与可见光融合方法，但由于NSCT变换和稀疏分解的特性，其运算数据量大，计算复杂度较高；另外，考虑到SAR、红外和可见光图像的灰度差异性和SAR图像斑点噪声的影响，若直接融合，易造成图像像素混淆，导致融合图像感兴趣目标不突出，融合效果差。

为此，本文提出一种基于NSST和稀疏表示的多源异类图像融合方法。对SAR、红外和可见光图像进行NSST分解，在低频系数上利用滑动窗口方法得到图像块序列，并对其进行零均值化后再稀疏分解，有效提取了低频图像的显著特征并大大提高了运算效率；在高频子带系数上的融合，构建了局部方向信息熵显著性因子，有效减少了图像噪声的干扰，获得了更佳的融合效果。

1 NSST原理与稀疏表示

1.1 NSST原理

文献[10]指出，当维数＝2时，具有合成膨胀的仿射系统定义为：

式中：∈2(2)，和为2×2可逆矩阵，|det|＝1。如果A()具有紧框架，则A()中的元素成为合成小波。称为各向异性膨胀矩阵，与尺度变换相关联；为剪切矩阵，与保持面积不变的几何变换相关联。特别地，当＝[4 0 0 2]，＝[1 1 0 1]时，此时的合成小波成为剪切波。

NSST离散化过程分为基于非下采样金字塔（nonsubsampled pyramid，NSP）滤波组的多尺度分解和基于改进的剪切波滤波器组（shearlet filter，SF）的多方向分解2个部分，分解原理图如图1所示，具体算法参见文献[10]。

图1 NSST分解原理图

1.2 NSST域上的稀疏表示

对于给定的信号，其稀疏表示可以由如式(2)表示。

式中：∈R×1，∈R×（＞）为超完备字典；∈R×1，||||00表示向量中非零元素的个数；为允许偏差的精度。

上述模型的一个根本问题就是字典的选择，本文选择k-SVD[12]方法来构建训练字典，其数学优化目标函数由式(3)所示。

式中：＝[1,2, …,y]∈R×表示训练样本集；∈R×表示稀疏系数矩阵，x为的第列；表示稀疏度。

为了更好地融合源图像的显著特征，这里，在NSST分解的低频系数上进行字典学习。式(3)可以等价地写成：

式中：s为变换分析算子；表示分解尺度；表示由SAR、红外和可见光图像构成的图像训练集。

显然，这样构建的多尺度学习字典，一方面使得到的字典具有NSST的多尺度分析的能力，另一方面，在NSST低频系数的基础上进一步稀疏，达到双重稀疏的效果，从而使其具有更优秀的稀疏性和特征保持性。

2 融合方法

本文提出的多源异类图像融合过程如图2所示。主要步骤如下：

1）随机选取几组SAR、红外和可见光图像作为训练图像，构建多尺度学习字典D；

3）低频系数融合上，采用滑动窗口把低频系数分解成图像块序列，并对其零均值化后再稀疏分解，采用稀疏系数绝对值取大的融合规则；

4）高频子带系数采用基于局部方向信息熵显著化因子取大的融合规则；

5）对低频融合系数和高频子带融合系数进行NSST逆变换得到最终的融合图像。

图2 本文融合方法结构框图

Fig.2 The framework of the proposed image fusion method

2.1 低频系数融合规则

不难看出，式(5)中的优化问题是一个NP难问题，通常考虑用近似解代替。本文采用SOMP算法[14]来求解低频系数的稀疏表示系数。低频系数的融合过程如下：

3）采用绝对值取大的融合规则，对SAR、红外和可见光图像相应图像块的稀疏系数x进行融合，得到融合系数x。

5）依据步骤1）的块图像划分策略重构，得到最终的低频融合系数。

2.2 高频子带系数融合规则

高频子带系数主要反映图像的边缘或细节等信息，都在零值附近波动，是近似稀疏的。但由于SAR和红外的噪声，若直接采用绝对值取大的融合规则，容易误作为有用信息被保留，进而会影响融合的效果。为此，本文构建了方向信息熵显著因子，采用取大的融合规则，减少源图像噪声的影响[15]。

图像在尺度下方向上以(,)中心的区域能量为：

设V(,)表示图像在尺度下维方向向量上位置(,)处的能量强度为：

将V(,)用局部能量归一化，可以得到局部方向能量密度分布：

这样，定义在尺度下位置(,)处方向信息熵DE(,)为：

在此基础上，构建方向信息熵显著性因子为：

从式(10)可以看出，若|E,l(,)|值较大，同时DE(,)值较小，表明位置(,)处具有较大的能量且在各方向上较为剧烈，说明此位置具有较明显的图像特征；反之，表明该位置处信号趋于噪声。

因此，对于SAR图像s、红外图像i和可见光图像v高频系数的融合，融合规则如式(11)所示。

3 实验结果及其分析

实验选取3组SAR、红外和可见光图像（大小都为206×206）进行仿真实验。将本文算法与以下算法进行比较：基于DWT的融合算法（DWT）、基于NSCT的融合算法（NSCT）、基于NSST的融合算法（NSST）、基于稀疏表示的融合算法（SR）、基于NSCT和稀疏表示的融合算法（NSCT_SR），这些算法均采用低频系数取平均，高频子带系数取绝对值最大的融合规则。本文中NSST的分解尺度为3，方向分解依次为21、22、23，稀疏表示的字典大小为64×256，＝0.01，滑动窗口大小为8×8。

定量评价选用图像对比度（IC）、0、W、E和Q/F5个指标进行评价。其中，IC反映了图像的清晰程度[16]；0是一个结构相似度图像质量评价指标，是从相关性丢失、亮度失真、对比度失真3个方面对图像的失真度进行模型[17]；W是反映局部结构相似度的融合质量评价[18]；E和Q/F分别从局部和整体反映了融合图像融合源图像边缘细节信息的情况[18-19]；0、W、E和Q/F的值均在[0, 1]之间，越接近1表明融合质量越好。

第一组实验图像如图3(a)、(b)、(c)所示，可以看出SAR图像、红外图像的目标（红色标记）比较突出，可见光的地物轮廓信息清楚，这些信息在融合结果中非常重要。从图3(d)～(i)的融合结果来看，DWT和NSCT的融合图像中，SAR和红外图像的感兴趣目标模糊，对比度不高。NSST和SR的融合图像中，SAR和红外图像的感兴趣目标对比度有所提高，但图像的地物轮廓模糊，特别是SR的融合结果出现了失真现象。NSCT_SR和NSST_SR的融合图像中，感兴趣目标突出，对比度高，而且图像地物轮廓清晰，细节信息明显。表1给出了不同方法的客观评价指标，可以看出，NSST_SR法在指标W略低于NSCT_SR方法，其他指标都高于其他方法。

图4是第二组实验图像，图4(a)SAR图像的飞机和建筑目标、图4(b)红外图像的掩体目标（红色标注）是融合的重要信息。从融合结果上来看，NSST的融合效果优于DWT和NSCT的融合效果，但感兴趣目标对比度不高。SR的融合图像中背景信息丢失严重，细节不清楚，出现失真现象。NSCT_SR和NSST_SR的融合图像中，感兴趣目标突出，对比度高。表2给出了不同方法的客观评价指标，可以看出，NSST_SR融合图像的IC指标稍低于NSCT_SR的融合图像，其他指标都高于其他方法，指标E和Q/F分别为0.1207和0.3504，说明NSST_SR融合图像的边缘保持性更好，细节轮廓清楚。

图5是第三组实验图像结果，从主观视觉效果上来看，NSST_SR的融合效果要优于其他算法。表3给出了这组实验图像的客观指标评价，可以看出，NSST_SR的综合性能最优，表明本文方法的优越性。

表1 第一组实验图像的客观指标评价

表2 第二组实验图像的客观指标评价

表3 第三组实验的客观评价指标对比

表4给出了不同融合算法的平均CPU运算时间，从中可以看出，相比NSCT方法，NSST法的运算速度提升了接近3倍。SR、NSCT_SR和NSST_SR法的平均运行时间分别为51.15s、94.79s和34.97s，这说明，在稀疏分解时，进行滑动窗口分块和零均值化处理，可以大大减少运算时间，表明本文方法具有更高的运算效率。

表4 不同方法的平均CPU运算时间

4 结论

本文提出了一种基于NSST和稀疏表示多源异类图像融合方法。针对SAR、红外和可见光图像的灰度差异性大，直接融合容易造成图像像素混淆，导致融合图像感兴趣目标不突出，对源图像经NSST变换后的低频系数上进行稀疏表示，可以有效地提取源图像的显著特征；同时，利用滑动窗口把低频系数分解成图像块序列，对其零均值化后再稀疏表示，可以大大提高运算效率；对于高频子带系数的融合，构建了局部方向信息熵显著性因子，可以有效地减少图像噪声的干扰。实验结果表明，该方法在主观视觉效果、客观指标评价以及运算效率都具有显著优势，说明了本文方法的优越性。

图3 第一组实验结果比较

图4 第二组实验结果比较

图5 第三组实验结果比较

[1] Byun Y. A texture-based fusion scheme to integrate high-resolution satellite SAR and optical images[J]., 2014, 5(2): 103-111.

[2] M. N. Do, M. Vetterli. The finite ridgelet transform for image representation[J]., 2003, 12(1): 16-28.

[3] F. Nencini, A. Garzelli, S. Baronti, et al. Remote sensing image fusion using the curvelet transform[J]., 2007, 8(2): 143-156.

[4] M. N. Do, M. Vetterli. The contourlet transform: an efficient directional multi-resolution image representation[J]., 2005, 14(12): 2091-2106.

[5] Arthur L. Cunha, Zhou Jian-Ping, Minh N. Do. The nonsubsampled contourlet transform: theory, design, and applications[J]., 2006, 15(10): 3089-3101.

[6] Chen Yong, Xiong Jie, Liu Hua-lin, et al. Fusion method of infrared and visible images based on neighborhood characteristic and regionalization in NSCT domain[J]., 2014, 124(17): 4980-4984.

[7] Adu Jian-hua, Gan Jian-hong, Wang Yan, et al. Image fusion based on nonsubsampled contourlet transform for infrared and visible light image[J]., 2013, 61(12): 94-100.

[8] Yin Ming, Liu Wei, Zhao Xia, et al. A novel image fusion algorithm based on nonsubsampled shearlet transforms[J]., 2014, 125(10): 2274-2282.

[9] Kong Wei-wei, Zhang Long-jun, Yang Lei. Novel fusion method for visible light and infrared images based on NSST-SF-PCNN[J]., 2014, 65(7): 103-112.

[10] Easley G, Labate D, Lim W Q. Sparse directional image representations using the discrete shearlet transform[J]., 2008, 25(1): 25-46.

[11] 王珺, 彭进业, 何贵青, 等. 基于非下采样Contourlet变换和稀疏表示的红外与可见光图像融合方法[J]. 兵工学报, 2013, 34(7): 815-820.

Wang Jun, Peng Jin-ye, He Gui-qing et al. Fusion method for visible and infrared images based on non-subsampled contourlet transform and sparse representation [J]., 2013, 34(7): 815-820.

[12] Aharon M, Elad M, Bruckstein A. K-SVD: an algorithm for designing over complete dictionaries for sparse representation[J]., 2006, 54(11): 4311-4322.

[13] 薛模根, 刘存超, 徐国明, 等. 基于多尺度字典的红外与微光图像融合[J]. 红外技术, 2013, 35(11): 696-701.

Xue Mo-gen, Liu Cun-chao, Xue Guo-ming, et al. Infrared and low light level image fusion based on multi-scale dictionary[J]., 2013, 35(11): 696-701.

[14] Yang B, Li S T. Pixel-level image fusion with simultaneous orthogonal matching pursuit [J]., 2012, 13(1): 10-19.

[15] 王志社, 杨风暴, 陈磊等. 基于纹理分割和Top-hat变换的合成孔径雷达与可见光图像增强融合[J]. 光学学报, 2014, 34(10): 1010002.

Wang Zhi-she, Yang Feng-bao, Chen Lei, et al. SAR and visible image enhanced fusion based on texture segmentation and top-hat transformation[J]., 2014, 34(10): 1010002.

[16] 王宇庆, 王索建. 红外与可见光融合图像的质量评价[J].中国光学, 2014, 7(3): 396-401.

Wang Yu-qing, Wang Suo-jian. Quality assessment method of IR and visible fusion image[J]., 2014, 7(3):396-401.

[17] Wang Zhou, A Bovik. A universal image quality index[J]., 2002, 9(3): 81-84.

[18] G Piella, H Heijmans. A new quality metric for image fusion[J]., Barcelona, Spain, 2003: 173-176.

[19] C S Xydeas, V Petrovic. Objective image fusion performance measure[J]., 2000, 36(4): 308-309.

Multi-source Heterogeneous Image Fusion Based on NSST and Sparse Presentation

WANG Zhi-she1,2，YANG Feng-bao1，PENG Zhi-hao1

（1.，，030051，；2.,，033024，）

This paper proposes a multi-source heterogeneous image fusion method based on NSST and sparse presentation to solve the problem that the interested targets are not prominent caused by great grey difference among SAR image, infrared image and visible image. Firstly, multi-scale study dictionary is built on the low frequency coefficients through carrying on NSST for the training image. SAR image, infrared image and visible image are transformed by NSST, and the low frequency coefficients are decomposed into image block sequence with sliding window method. Sparse decomposition is used for image block sequence after zero mean processing, and the fusion rule of the low frequency coefficients is that absolute value of sparse coefficient is larger. The fusion rule of high frequency subband coefficients is that significant factor of local orientation information entropy is larger. Finally final fusion image is obtained by NSST inverse transformation for fusion coefficients.

image fusion，NSST，multi-scale study dictionary，sparse presentation，directional entropy

TP391.41

A

1001-8891(2015)03-0210-08

2014-12-02；

2015-02-09.

王志社（1982-），男，讲师，博士研究生，主要研究方向多源图像配准与融合技术。E-mail：wzs2003@163.com。

国家自然科学基金项目，编号：61171057；教育部高等学校博士学科点专项科研资助项目（博导类），编号：20121420110004。