基于NSCT与DWT的压缩感知图像融合

袁金楼，吴 谨，刘 劲



基于NSCT与DWT的压缩感知图像融合

袁金楼，吴 谨，刘 劲

（武汉科技大学 信息科学与工程学院，湖北 武汉 430081）

针对基于非下采样轮廓波变换（NSCT）的压缩感知图像融合算法，存在融合图像局部细节信息表达不足的问题，提出一种基于NSCT与离散小波变换（DWT）的压缩感知图像融合算法。首先，对图像进行NSCT变换，得到低频系数和高频系数；然后，对高频系数进行压缩融合，并通过重构算法恢复融合的高频系数；而对低频系数，采取基于小波变换的融合方法；最后，对融合的高频系数和低频系数进行NSCT逆变换，得到最终的融合图像。实验结果表明：本文算法使融合图像的质量，在主观和客观方面都得到了明显改善，最终的融合图像具有更多的细节特征和更清晰的边缘轮廓。

非下采样轮廓波变换；小波变换；压缩感知；图像融合

0 引言

图像融合（Image Fusion）[1-2]是指将多个传感器获取的同一场景的图像进行融合，使融合后图像有更加丰富的信息。该技术广泛应用于识别、军事、医学等领域。

通常在将图像进行融合之前，需要先对图像进行多分辨率分析。其中，DWT[3-4]和NSCT[5]是常用的两种多分辨率图像分析法。DWT是对基本小波的尺度和平移进行离散化，具有多尺度性和局部性，能较好地捕捉到图像的局部细节信息。但DWT只能将图像进行有限方向的分解，无法有效地提取图像的边缘轮廓信息。Cunha等人在轮廓波变换（CT）[6]的基础上，去掉采样操作，提出了NSCT。相对于小波变换，NSCT增添了各向异性和平移不变性，能够分解出更多的方向信息。然而，NSCT捕捉细节的能力较弱，容易遗漏图像的局部细节信息。

本文结合NSCT能将图像进行多方向分解，以及DWT能有效提取图像局部细节信息的优点，对基于NSCT的压缩感知图像融合算法进行了改进，提出了一种基于NSCT与DWT的压缩感知图像融合算法，使融合后的图像既能较好地保留原图像的边缘轮廓信息，又能较好地保留原图像的局部细节信息。

1 图像的NSCT变换

图1 图像NSCT分解

2 CS理论

压缩感知（CS）[8]是由Donoho等人提出。该理论指出，对可压缩信号，以远小于Nyquist采样率的标准来采集数据，然后通过非线性重构算法，能够恢复原信号。

假设一个实值有限长离散信号ÎR，可看作是一个×1维列向量，其中元素为[],＝1, 2, 3,…,。如果该信号是稀疏[9]的，那么就可以表示为公式(1)：

＝(1)

式中：是一个×的正交基，是一个仅含有个非零系数的×1维列向量，其中≪。和是等价的，但属于空间域或时间域，而属于域。在CS理论中，没有直接对进行度量和编码，而是采取了压缩测量，即下式：

＝＝＝(2)

式中：ÎR；是×的测量矩阵；＝是×的投影矩阵。可以看作稀疏信号；在投影矩阵下的测量值。

当＜时，原信号的重构成为一个求解欠定性方程组的问题。但当投影矩阵满足约束等距性（RIP）条件时，可将其转化为1范数的最优化求解问题，即下式：

CS的理论框架如图2所示。

3 基于NSCT与DWT的压缩感知图像融合

基于NSCT与DWT的压缩感知图像融合算法流程图如图3所示。其主要思路是：首先，对原图像进行NSCT变换。然后，对高频系数进行压缩融合，并通过重构算法恢复融合的高频系数。而对低频系数，采取基于小波变换的融合方法。最后，对融合好的高低频系数进行NSCT逆变换，得到最终的融合图像。

图3 基于NSCT与DWT的压缩感知图像融合算法流程图

基于NSCT与DWT的压缩感知图像融合算法的具体步骤如下：

Step 1：对经过配准的尺寸为×的图像1和图像2分别进行NSCT变换，得到图像1、2的低频系数1(,)、2(,)以及高频系数1(,)、2(,)，其中＝1, 2, …,，表示图像进行NSCT分解的级数。

Step 2：生成大小为×的测量矩阵。

Step 3：用测量矩阵，对图像1、2的高频系数1(,)、2(,)分别进行采样压缩，结果如下式：

Step 4：对测量值1(,)和2(,)进行融合，得到融合后的测量值M(,)。

Step 5：对融合后的测量值M(,)进行重构，得到融合的高频系数D(,)。

Step 6：对低频系数1(,)、2(,)，进行基于小波变换的融合，即：首先对低频系数进行多层小波分解，得到高频部分和低频部分。然后按照一定的融合准则，分别对高频部分和低频部分进行融合。最后对融合后的高频部分和低频部分进行小波逆变换，从而得到最终的融合低频系数A(,)。

Step 7：对D(,)和A(,)进行NSCT逆变换，从而得到最终的融合图像。

4 实验结果及分析

本实验分别采用基于DWT的压缩感知图像融合算法、基于NSCT的压缩感知图像融合算法和本文算法，对3类图像进行融合，并将结果对比分析。

实验中，基于DWT的压缩感知图像融合算法采用的小波基是“haar”，进行的是单层分解。NSCT采用的金字塔滤波器是“9-7”，方向滤波器是“pkva”，多尺度分解级数为1，方向分解级数为2。3种算法的高频系数融合采用的都是绝对值最大法。对于基于DWT的压缩感知图像融合算法和基于NSCT的压缩感知图像融合算法，低频系数融合采用的都是取平均法。对于本文算法，低频系数融合采用的是基于小波变换的融合方法。其中小波变换采用的小波基是“db6”，进行的是3层分解。分解后的高频部分融合采用的是绝对值最大法，低频部分融合采用的是取平均法。本实验采用的测量矩阵是部分哈达玛测量矩阵[10]，采样率是0.5，恢复重构算法是OMP[11]算法。

融合图像的质量是从主观和客观两方面来进行对比。主观方面是看融合图像的纹理、对比度、清晰度等。客观方面是通过图像的客观评价指标来衡量融合图像的质量。本文采用的指标包括信息熵（IE）、标准差（SD）、空间频率（SF）和平均梯度（AG）[12-13]。

4.1 多聚焦图像融合对比实验

多聚焦图像融合是对同一场景不同聚焦图像融合，使融合后图像更加清晰。实验中右聚焦图像和左聚焦图像融合的结果如图4所示。

图4 多聚焦图像融合

从主观上分析，NSCT-DWT融合图像相对于DWT融合图像和NSCT融合图像，时钟的边缘轮廓更加突显，时钟的刻度也更加清晰。

客观评价指标结果如表1所示。从表中可以看出，NSCT-DWT融合图像在信息熵、标准差、空间频率和平均梯度上，均优于DWT融合图像和NSCT融合图像。相对于NSCT融合图像，NSCT-DWT融合图像的信息熵约提高了0.7%，标准差约提高了2.5%，空间频率约提高了25.1%，平均梯度约提高了22.6%。

表1 多聚焦图像融合的评价结果

4.2 红外和可见光图像融合对比实验

红外和可见光图像融合是将红外图像与可见光图像融合，使融合后图像包含更多有效信息。实验中将红外图像和可见光图像进行融合的结果如图5所示。

从主观上分析，NSCT-DWT融合图像相对于DWT融合图像和NSCT融合图像，热感人物更突出，背景信息更丰富，融合图像的整体清晰度更好。

客观评价指标结果如表2所示。从表中可以看出，相对于DWT融合图像和NSCT融合图像，NSCT-DWT融合图像在四项客观评价指标上都是最好的。相对于NSCT融合图像，NSCT-DWT融合图像的信息熵约提高了3.0%，标准差约提高了10.1%，空间频率约提高了31.6%，平均梯度约提高了29.8%。

图5 红外和可见光图像融合

表2 红外和可见光图像融合的评价结果

4.3 医学图像融合对比实验

在医学上，常常需要将不同成像模式的医学图像进行融合，以提供更加全面的病人信息，便于医生准确地进行医学诊断。实验中将CT图像和MR图像进行融合的结果如图6所示。

图6 医学图像融合

从主观上分析，NSCT-DWT融合图像相对于DWT融合图像和NSCT融合图像，边缘轮廓更加清晰，轮廓内的细节信息得到了更好的保存。

客观评价指标结果如表3所示。从表中可以看出，NSCT-DWT融合图像，在4项客观评价指标上，比DWT融合图像和NSCT融合图像都要好。相对于NSCT融合图像，NSCT-DWT融合图像的信息熵约提高了5.0%，标准差约提高了14.9%，空间频率约提高了53.1%，平均梯度约提高了55.0%。

表3 医学图像融合的评价结果

4.4 实验分析

在上述实验中，本文算法在主观和客观方面，均优于基于DWT的压缩感知图像融合算法和基于NSCT的压缩感知图像融合算法。其主要原因在于，DWT变换虽具有良好的局部化特性，但其无法将图像进行多方向分解；NSCT虽能够有效地提取图像的边缘轮廓信息，但其对图像局部细节信息表达不足。而本文算法结合了NSCT能够分解出更多的方向信息，以及DWT能够较好地捕捉局部细节信息的优点，所以融合后图像的质量得到了明显改善。

5 结论

NSCT虽具有良好的各向异性，但其对细节信息捕捉能力较差，而DWT具有较强的多分辨率和局部化特性，能较好地分解出图像的细节信息，本文对基于NSCT的压缩感知图像融合算法进行改进，提出了基于NSCT与DWT的压缩感知图像融合算法。实验结果表明，本文算法使融合图像具有更多的细节特征和更清晰的边缘轮廓。该算法的不足之处在于耗时较长，如何降低其时间复杂度有待进一步研究。

[1] 范文涛. 基于小波变换的图像融合技术研究[D]. 郑州: 河南大学, 2010.

[2] Smith M I, Heather J P. Review of image fusion technology in 2005[C]//, 2005, 5782: 29-45.

[3] 杨文采, 施志群, 侯遵泽, 等. 离散小波变换与重力异常多重分解[J]. 地球物理学报, 2001, 44(4): 534-541.

[4] Burrus C S, Gopinath R A, Guo H.[M]. New Jersey: Prentice hall, 1998.

[5] 邢雅琼, 王晓丹, 毕凯, 等. 基于非下采样轮廓波变换和压缩感知的图像融合方法[J]. 控制与决策, 2014, 29(4): 585-592.

[6] 练秋生, 陈书贞. 基于解析轮廓波变换的图像稀疏表示及其在压缩传感中的应用[J]. 电子学报, 2010, 38(6): 1293-1298

[7] 吴巧玲, 倪林, 何德龙. 基于非下采样 contourlet 变换的压缩感知图像重建[J]. 中国科学技术大学学报, 2012, 42(2): 87-91.

[8] Donoho D L. Compressed sensing[J]., 2006, 52(4): 1289-1306.

[9] 薛模根, 刘存超, 徐国明, 等. 基于多尺度字典的红外与微光图像融合[J]. 红外技术, 2013, 35(11): 696-701．

[10] 吴赟. 压缩感知测量矩阵的研究[D]. 西安: 西安电子科技大学, 2012.

[11] Tropp J A, Gilbert A C. Signal recovery from random measurements via orthogonal matching pursuit[J]., 2007, 53(12): 4655-4666.

[12] 王海晖, 彭嘉雄, 吴巍, 等. 多源遥感图像融合效果评价方法研究[J]. 计算机工程与应用, 2003, 25(7): 33-37.

[13] 王宇庆, 王索建. 红外与可见光融合图像的质量评价[J]. 中国光学, 2014, 7(3): 396-401.

Image Fusion Based on Compressed Sensing of NSCT and DWT

YUAN Jin-lou，WU Jin，LIU Jin

(,,438001,)

For lacking of details of image fusion based on compressed sensing of non-subsampled contourlet transform（NSCT）, an algorithm of image fusion based on compressed sensing of NSCT and discrete wavelet transform（DWT）is presented. First, the images are decomposed into high frequency coefficients and low frequency coefficients by NSCT. Then, the high frequency coefficients are compressed and fused. And the high frequency coefficients which are compressed and fused are reconstructed by a reconstructed algorithm. At the same time, the low frequency coefficients are fused based on DWT. Finally, the inverse transform of NSCT is used to recompose the high frequency coefficients and the low frequency coefficients to gain the final fusion image. Experimental results indicate that the proposed algorithm improves the fused images in terms of subjective and objective, and thefused images have more detail features and sharper edges.

NSCT，DWT，compressed sensing，image fusion

TP391.9

A

1001-8891(2015)11-0957-05

2015-04-11；

2015-06-15.

袁金楼（1990-），男，湖北省鄂州，硕士研究生，从事图像融合研究工作。E-mail：245267263@qq.com。

高等学校博士学科点专项科研基金，编号：20124219120002；湖北省自然科学基金，编号：2014CFB815；湖北省教育厅科研计划，编号：Q20131110。