一种NSCT域多聚焦图像融合新方法

杨 勇， 童 松， 黄淑英， 方志军， 杨寿渊

（1. 江西财经大学信息管理学院，江西 南昌330032；2. 江西省数字媒体重点实验室，江西 南昌330032；3. 江西财经大学软件与通信工程学院，江西 南昌330032）

一种NSCT域多聚焦图像融合新方法

杨 勇1,2， 童 松1,2， 黄淑英3， 方志军1,2， 杨寿渊1,2

（1. 江西财经大学信息管理学院，江西 南昌330032；2. 江西省数字媒体重点实验室，江西 南昌330032；3. 江西财经大学软件与通信工程学院，江西 南昌330032）

针对多聚焦图像融合存在的问题，提出一种基于非下采样Contourlet变换（NSCT）的多聚焦图像融合新方法。首先，采用NSCT对多聚焦图像进行分解；然后，对低频系数采用基于改进拉普拉斯能量和（SML）的视觉特征对比度进行融合，对高频系数采用基于二维Log-Gabor能量进行融合；最后，对得到的融合系数进行重构得到融合图像。实验结果表明，无论是运用视觉的主观评价，还是基于互信息、边缘信息保留值等客观评价标准，该文所提方法都优于传统的离散小波变换、平移不变离散小波变换、NSCT等融合方法。

多聚焦图像融合；非下采样Contourlet变换；Log-Gabor能量；改进拉普拉斯能量和

图像融合是图像处理领域的一个重要分支，它的思想是综合利用不同图像传感器或同一传感器在不同时间或方式得到的多幅图像合成一幅满足某种需求或蕴含更多有价值信息的新图像，使得对目标或场景的描述更加准确、全面。目前，图像融合技术已被广泛应用于遥感[1]、医学诊断[2]、计算机视觉[3]等领域。

在照相机及光学显微镜等设备中，由于光学镜片聚焦范围有限，要得到场景中所有目标都清晰的成像是很困难的，往往某个场景的成像是一部分聚焦(表现为清晰)，一部分离焦(表现为模糊)[4]。然而，在现实中人们往往希望看到的所有目标图像都清晰。通过多聚焦图像融合技术，可以对同一场景下多幅聚焦不同的图像进行合并得到一幅全景都清晰的图像[5]。

图像融合方法通常分为空间域融合方法和变换域融合方法[6]。空间域融合方法是直接在源图像的像素灰度或色彩空间上进行融合操作，所以其方法也称为单尺度融合方法；变换域融合方法是先将源图像经过某种特定的数学变换，然后对变换后的系数按照某种融合规则进行组合，得到融合图像的变换系数，最后进行数学反变换得到融合图像。在基于空间域的多聚焦图像融合算法中，最常用的方法是加权平均法，即对源图像的各个像素的值进行加权平均处理。该方法对于图像清晰部分和边缘部分无法完全或准确地提取，容易造成源图像中部分有用信息丢失，降低融合结果的对比度[7]，从而使结果的细节部分出现不同程度的模糊。所以这种方法虽然计算简单，时间复杂度低，但效果却最差[8]。

基于变换域多聚焦图像融合算法中比较流行的是使用多尺度变换，包括拉普拉斯金字塔变换(Laplacian pyramid, LP)、梯度金字塔变换(gradient pyramid, GP)、小波变换和其他的多尺度变换[9-15]。由于多尺度变换与人眼视觉多通道分解率的规律一致，可以得到更加接近人眼视觉特性的融合效果[9]。其中，离散小波变换(discrete wavelet transform, DWT)作为图像融合领域中最为常用的一种多尺度方法因其具有良好的时域和频域局部分析特性受到广泛重视[10]。但是小波变换不具有平移不变性，使得融合图像在奇异处容易产生频谱混叠效应，导致融合图像失真。为克服这一问题，有人提出来平移不变离散小波变换(shift-invariant discrete wavelet transform, SIDWT)，并成功用于图像融合中[11]。但是，由于二维小波基所具有的方向有限，不能最稀疏的表示图像，只能捕获到有限的方向信息，导致不能有效地描述图像的轮廓和方向纹理特征[12]。Do和Vetterli[12]提出的Contourlet变换克服了小波变换的不足。然而，Contourlet变换由于其在分解和重构过程中的上、下采样导致其同样不具有平移不变特性，也容易出现频谱混叠效应[13]。Cunha等[14]在 Contourlet变换的基础上又提出了非下采样Contourlet变换(non-subsampled contourlet transform, NSCT)。NSCT不仅继承了Contourlet变换的优点，而且还不需要上、下采样达到平移不变的效果，有效地克服了频谱混叠效应[15]。

在基于多尺度变换的图像融合过程中，如何在变换域中进行系数融合是决定融合效果的另一重要问题。对于低频子带，一般直接采用平均法，但是这种方法容易使源图像的部分有用信息丢失，在一定程度上降低了图像的对比度；对于高频子带，一般认为绝对值越大的高频系数，拥有越明显的细节信息，由文献[16]可知，这种方式由于忽略了系数之间的相关性，可能得出错误的系数映射方式。

为克服这个缺陷，结合局部能量的思想，本文提出了一种基于NSCT的多聚焦图像融合新方法。该方法首先对源图像进行NSCT分解；然后对低频系数采用基于改进拉普拉斯能量和(sum-modified-Laplacian, SML)的视觉特征对比度进行融合，对高频系数采用基于二维Log-Gabor能量进行融合；最后，对得到的融合系数进行重构得到融合图像。实验结果表明，融合图像无论从主观和客观评价上都能得到很好地效果。

1 非下采样Contourlet变换

Contourlet变换是由 LP和方向滤波器组(directional filter bank, DFB)两部分结合实现[12]。其中，LP用来捕获图像中的奇异点，DFB用来将捕获的奇异点连接成线性的结构。从滤波器的角度看，LP滤波器是将原图像分解成低频和高频子带，DFB将获得的高频子带分解为各方向的子带。Contourlet分解示意图如图 1所示。在 Contourlet变换过程中，LP的分解和重构滤波器组为二维可分离的正交滤波器组，带宽均大于 。由多采样理论可知，在低频子带和高频子带均会出现频谱混叠效应。由于方向子带是由高频子带通过 DFB获得，所以方向子带也存在频谱混叠效应。从而在一定程度上削弱了该方法的方向选择性。

图1 Contourlet分解示意图

为解决这一问题，Cunha等[14]提出了NSCT。NSCT变换是在Contourlet变换的基础上提出来的，它不仅继承了Contourlet变换多方向、多尺度、各向异性等特性，还增强了它的方向选择性和平移不变性，有效克服了频谱混叠效应[17]。NSCT变换分为两个部分：非采样金字塔滤波器 (non-subsampled pyramid filter bank, NSPFB)和非采样方向滤波器(non-subsampled directional filter bank, NSDFB)。图2为NSCT两层分解的框架。NSPFB是一个双通道非下采样滤波器组，它的结构类似于 LP，但是通过对滤波器采取差值（上采样）操作来回除下采样过程。NSDFB的结构与NSPFB相似，它是由一个具有扇形滤波器的非下采样滤波器组构成。二通道滤波器组的设计是 NSCT算法构造的核心，由于NSPFB和 NSDFB都满足 Bezout恒等式，因此NSCT可以完全重建。因为NSPFB和NSDFB在分解和重构的过程中没有下采样和上采样，所以NSCT具有平移不变性，并且分解后的低频子带也不会产生频谱混叠效应。

图2 NSCT二级分解

2 本文提出的融合方法

上一节介绍的 NSCT变换，不仅继承了Contourlet变换的优良特性，还具有良好的方向选择性和平移不变性，是一种超完备的多尺度变换，融合性能优越[15]。因此，本文选用 NSCT分解和重构来获得融合图像。在 NSCT变换的过程中，如何在变换域中进行系数融合是一个至关重要的问题[17]。为得到一个纹理清楚、视觉效果良好的融合图像，本文分别构建了基于SML的局部视觉特性对比度和二维 Log-Gabor能量的低频和高频融合规则。

2.1 低频子带的融合规则

图像经NSCT变换的低频系数，代表了源图像的近似信息，反映了源图像的灰度信息，包含了源图像大部分能量。文献[18]指出，在空间域中，图像梯度能量(energy of image gradient, EOG)、空间频率(spatial frequency, SF)、拉普拉斯能量(energy of Laplacian, EOL)、SML等清晰度评价指标的融合性能中，SML最适合局部聚焦程度的评价。

由文献[19]可知，人眼视觉特性在对比度敏感门限与背景亮度上具有非线性关系。综合考虑人眼视觉特性及 SML的优良特性，本文提出对低频子带系数采用基于 SML的视觉特性对比度的融合规则。以源图像A的低频子带为例，基于SML的视觉特性对比度LV的定义如下：

2.2高频子带的融合规则

图像经NSCT变换的高频子带主要包括图像的纹理和边缘等细节信息。一般认为绝对值越大的高频系数，拥有越明显的细节信息，由文献[16]可知，这种方式由于忽略了系数之间的相关性，可能得出错误的系数映射方式。为克服这个缺陷，受文献[20]的启发，并结合局部能量的思想，本文设计了一种以局部Log-Gabor能量的大小作为高频融合规则的新方法。

Gabor滤波器是一种重要的纹理特征提取方法，这种方法借鉴心理生理学的研究成果，模拟方向可选神经元的计算机制，通过将Gabor函数作为小波变换的基函数，来实现尺度不变的特征提取[21]。Log-Gabor滤波器是以Gabor滤波器为基础提出的，与Gabor滤波器相比，其传递函数的设计弥补了Gabor 滤波器对高频分量表达的不足，更符合人眼视觉感知特性，可以在取得最佳空间定位的同时得到尽可能宽的频谱信息，更真实地反映自然图像的频率响应[22]。

其中，(2 M + 1)(2 N+ 1)为窗口大小， T（i, j ）代表了图像x在k尺度l方向上的高频子带的Log-Gabor能量的大小。

由于多聚焦图像通常在聚焦区域拥有丰富的高频信息，非聚焦区域的高频信息相对匮乏，通过比较图像各个高频子带系数的局部Log-Gabor能量大小分析高频子带的聚焦程度，是可行的。为此，本文选择的高频融合方案为：

2.3 图像融合总体框架

设计出低频和高频系数融合规则后，基于多尺度变换融合的一般方法，本文提出如图3所示的基于NSCT的图像融合框架。具体融合步骤如下：

步骤 1.对预处理后的源图像 A、B分别进行NSCT分解，图像大小设为 M0N0。其中定义NSCT的尺度分解为k级，每一级尺度下的方向分解数定义为l个。源图像A、B分解后得到的NSCT分解系数分别为：｝和，其中L为低频子带系数， Hk,l为k尺度下第l个方向的高频子带系数。本文中取尺度分解级数 k=3，方向分解数

步骤2.通过上述2.1和2.2节提出的融合规则分别对分解后的低频子带和高频子带进行系数融合。

步骤3.采用NSCT逆变换对步骤2中得到的低频子带融合系数和高频子带融合系数 LF（i, j）和H（i,j）进行重构，即可得到融合图像F。

图3 基于NSCT的图像融合框架

3 实验结果及分析

为验证本文提出融合算法的准确性和鲁棒性，论文选取了四组多聚焦图像进行融合实验。实验数据如图4所示，图中每两幅为一组待融合图像，依次标记为图像组Cameraman、Pepsi、Clock、Lab。前三组图像大小均为256×256，图像组Lab的大小均为640×480。

为更好地评估本文的融合算法性能，对每一组实验分别采用另外5种融合算法与本文算法进行对比实验。在5种融合算法中：第一种方法为加权平均法，权值分别是0.5；后4种算法分别采用基于GP的融合算法、基于 DWT的融合算法、基于SIDWT的融合方法和基于NSCT的融合算法，均采用常用的高频取绝对值最大、低频取平均的融合规则，其中DWT为三层分解，基为DBSS(2, 2)；SIDWT也为三层分解，基为Haar；NSCT的分解层数及各层方向数是[1, 2, 8]，金字塔滤波器组为‘9-7’方向滤波器组为‘pkva’。

实验中，除了从视觉效果上评价融合结果外，本文还引入了互信息(mutual information, MI)和边缘保持度(QAB/F)两个客观评价指标来评价本文提出的融合算法的性能。

MI是融合图像F与源图像A与B的互信息量，可以用来对融合图像F包含源图像A和B的信息量进行度量[23]，其值越大即说明源图像有越多信息转移到了融合结果中，则融合效果更好。定义如下：

其中

表示融合图像F分别与源图像A、B的互信息量。pA(a)、pB(b)、pF(f)分别表示源图像 A、B和融合图像F的概率密度函数，由对应图像的灰度直方图估计得到。pAF(a,f)、pBF(b，f)分别表示源图像A或B与融合图像F的联合密度函数，由对应两幅图像的归一化联合灰度直方图估计得到。

QAB/F评价算子是由Xydeas和 Petrović[24]提出的，该算子通过sobel边缘检测算子来衡量源图像边缘信息转移到融合图像的多少，它的值越大，说明转移的边缘信息越多，则融合效果越好。其定义如下：

其中，M0与 N0表示图像的尺寸和分别表示源图像 A和 B的边缘强度。 Q(i,j)和Q(i,j)分别表示融合图像F相对源图像x的边缘强度和方向的保留度。

图4 实验数据(a)、(b)为图像组Cameraman；(c)、(d)为图像组Pepsi；(e)、(f)为图像组Clock；(g)、(h)为图像组Lab

第一组实验，本文选用了人工多聚焦图像组Cameraman (图4(a)～(b))进行了融合实验。图5(a)～(f)是不同算法所获得的融合结果。在图5中，加权平均法得到的融合结果较为模糊，对比度最差；DWT方法得到的融合结果中有伪影存在（如人物的头发区域）；其他几种方法从视觉上很难区分融合结果的优劣。为更好地评估融合结果的差异，本文给出了融合结果与源图像（图4(a)）的残差图，并对残差图做了亮度与梯度的锐化，如图6所示。本组实验图像组是一个上下聚焦的图像，故本文试图将图6中的残差图像分为上、下两部分来分析各融合算法的性能差异。从各残差图的下半部分即源图像（图4(a)）的聚焦区域可以看出，其中图6(f)效果最好，下半部分几乎都是黑色，即本文提出的方法几乎保留了源图像中聚焦区域所有的像素点；相反，图6(a)的效果最差，对源图像的聚焦区域的信息损失最大。图6(b)与图6(c)相比，图6(b)的信息量更大，即丢失的有用信息也更多，图6(c)对于聚焦区域的信息获取较多，效果相对较好。图6(c)与图6(e)相比，图6(e)对源图像有用信息的捕获能力要明显好于图6(c)。图6(d)与图6(e)相比，图6(d)在目标人物的衣服边界以及相机三脚架的边界信息丢失要比图6(e)明显。从每幅图像的上半部分（即图5(a)的离焦区域）可以看出，图6(c)～(f)都可以看到目标人物以及背景建筑清晰的局部特征，图6(a)与图6(b)相对模糊；图6(c)相对于图6(d)～(f)，边缘出现明显的伪影，边缘和纹理表现较弱。

综合图5和图6的结果可以看出：加权平均法得到的融合图像视觉效果最差；基于DWT的方法对于聚焦区域的信息提取方面要明显优于梯度金字塔变换，这是因为金字塔分解和重构的过程中丢失了较多高频信息，导致细节特征不明显。而在图像的边缘部分NSCT变换要优于DWT和SIDWT变换，这是因为NSCT使用了更好地分解和重构工具，对于图像线奇异的捕获能力更强。本文提出的融合算法也明显优于传统的基于NSCT得到的融合结果，这也说明本文融合规则的有效性。因此，从本组实验对比可以得出，本文提出的融合方法融合效果要优于其他5种算法，有效地保留了源图像中清晰部分的信息，最大限度地保留了源图像的有用信息。

图5 不同方法所获得的图像组Cameraman的融合结果

图6 不同方法所获得的图像组Cameraman的融合结果与源图像（图4(a)）之间的残差图

为说明本文提出的融合算法可以广泛地适用于多聚焦图像融合，本文还给出了3组融合实验。融合图像分别为多聚焦图像组Pepsi、Clock和存在配准误差的图像组Lab(如图4(c)～(h))。图7和图9为不同方法所获得的图像组 Pepsi和图像组 Clock的融合结果，其中两组图像里的(a)、(b)比其他四幅图像相对模糊，即前两种方法相对于其他方法要差。图8和图10为不同方法所获得的图像组Pepsi和图像组Clock的残差图。通过图8和图10可以看出，基于NSCT的融合方法相比于基于DWT的融合方法在融合图像中保留了源图像聚焦区域更多的细节信息，这是因为NSCT多方向性克服了传统小波变换方向有限的缺点，保留了源图像更多的有用信息。图8(f)和图10(f)在源图像的聚焦区域几乎表现为黑色，这也就说，本文提出的方法几乎保留了源图像聚焦区域中的全部有用信息，所提出的方法捕获源图像中聚焦部分和细节部分信息的能力要大大优于另外5种方法。

图11表示不同方法所获得的图像组Lab的融合结果。从源图 4(g)～(h)可以看出，这两幅图像的学生头像之间存在轻微的位置差异，这说明图像组Lab中的两幅图存在少许的配准误差。从实验结果图 11看出，即使存在配准误差的情况下，本文提出的融合算法也能得到视觉效果良好的融合结果（如矩形框内所示），说明本文融合方法对配准具有很好的鲁棒性。

图7 不同方法所获得的图像组Pepsi的融合结果

图8 不同方法所获得的图像组Pepsi的融合结果与源图像(图4(c))之间的残差图

图9 不同方法所获得的图像组Pepsi的融合结果

图10 不同方法所获得的图像组Clock的融合结果与源图像（图4(e)）之间的残差图

图11 不同方法所获得的图像组Lab的融合结果

最后，为了更为客观地评价上述6种融合算法的性能，利用MI和QAB/F进行了定量评价，评价结果如表1所示。从表1的数据分析可以看出，加权平均法所得到融合图像的 QAB/F最低，而梯度金字塔由于其是一种冗余变换，在变换过程中丢失过多的有用信息，所以在互信息这个指标上要明显低于其他变换；DWT是一种非冗余变换，在源图像有用信息的保留和细节的保持度上都高于梯度金字塔变换方法得到的融合结果；SIDWT通过非下采样变换克服了频谱混叠效应，所得到的定量评价要明显好于DWT；NSCT通过其多方向性保留了源图像更多方向上的细节信息，使得MI和QAB/F两个方面相对要优于 SIDWT；本文提出的算法也要明显优于传统NSCT变换，在两个评价指标上都获得明显地提高，这也说明了本文提出的基于 SML的视觉特征对比度和基于局部Log-Gabor能量的融合规则的有效性。综上所述，无论是主观视觉还是客观指标，本文算法融合效果都要优于其他5种方法。

表1 不同多聚焦图像融合方法得的客观指标对比

4 结 束 语

针对多聚焦图像融合存在的主要问题，提出一种基于NSCT的多聚焦图像融合新方法。首先，构建了源图像经NSCT分解后的融合规则选取方案，提出了基于 SML的视觉特征对比度的低频融合规则和基于Log-Gabor能量的高频融合规则。最后，在此基础上给出了一个新的NSCT域多聚焦图像融合框架。大量的实验结果对比和分析都充分证明了本文所提出的融合方法的有效性。由于NSCT算法自身的复杂度高、计算耗时长，因此下一步将研究提高算法的运算速度。

[1] Zhang Zhou, Shi Zhenwei, An Zhenyu. Hyperspectral and panchromatic image fusion using unmixing-based constrained nonnegative matrix factorization [J]. Optik-International Journal for Light and Electron Optics, 2013, 124(13): 1601-1608.

[2] Miles B, Ben A I, Law M W K, Garvin G, Fenster A, Li Shuo. Spine image fusion via graph cuts [J]. IEEE Transactions on Biomedical Engineering, 2013, 60(7): 1841-1850.

[3] Liang Junli, He Yang, Liu Ding, Zeng Xianju. Image fusion using higher order singular value decomposition [J]. IEEE Transactions on Image Processing, 2012, 21(5): 2898-2909.

[4] Yang Yong, Zheng Wenjuan, Huang Shuying. A novel automatic block-based multi-focus image fusion via genetic algorithm [J]. KSII Transactions on Internet and Information Systems, 2013, 7(7): 1671-1689.

[5] Yang Bing, Li Shutao. Multifocus image fusion and restoration with sparse representation [J]. IEEE Transactions on Instrumentation and Measurement, 2010, 59(4): 884-892.

[6] Liu Yipeng, Jin Jing, Wang Qiang, Shen Yi, Dong Xiaoqiu. Region level based multi-focus image fusion using quaternion wavelet and normalized cut [J]. Signal Processing, 2014, 97(4): 9-30.

[7] Zhang Zhong, Blum R S. A categorization of multiscale-decomposition-based image fusion schemeswith a performance study for a digital camera application [J]. Proceeding of the IEEE, 1999, 87(8): 1315-1326.

[8] 李树涛, 王耀南, 张昌凡. 基于视觉特性的多聚焦图像融合[J]. 电子学报, 2001, 29(12): 1699-1701.

[9] 王 丽, 卢 迪, 吕剑飞. 一种基于小波方向对比度的多聚焦图像融合方法[J]. 中国图象图形学报, 2008, 13(1): 145-150.

[10] Chipman L J, Orr T M, Graham L N. Wavelets and image fusion [C]//International Symposium on Optical Science, Engineering, and Instrumentation. International Society for Optics and Photonics, 1995: 248-251.

[11] Ioannidou S, Karathanassi V. Investigation of the dual-tree complex and shift-invariant discrete wavelet transforms on Quickbird image fusion [J]. Geoscience and Remote Sensing Letters, IEEE, 2007, 4(1): 166-170.

[12] Do M N, Vetterli M. The contourlet transform: an efficient directional multiresolution image representation [J]. IEEE Transactions on Image Processing, 2005, 14(12): 2091-2106.

[13] 屈小波, 闫敬文, 杨贵德. 改进拉普拉斯能量和的尖锐频率局部化 Contourlet域多聚焦图像融合方法[J]. 光学精密工程, 2009, 17(5): 1203-1212.

[14] Cunha A L, Zhou Jianping, Do M N. The nonsubsampled Contourlet transform: theory, design and applications [J]. IEEE Transactions on Image Processing, 2006, 15(10): 3089-3101.

[15] Bhatnagar G, Jonathan Wu Q M, Liu Zheng. Directive contrast based multimodal medical image fusion in NSCT domain [J]. IEEE Transactions on Multimedia, 2013, 15(5): 1014-1024.

[16] 李华锋, 柴 毅, 张晓阳. 基于多尺度积视觉特性的多聚焦图像融合算法[J]. 控制与决策, 2012, 27(3): 355-361.

[17] Qu Xiaobo, Yan Jingwen, Xiao Hongzhi, Zhu Ziqian. Image fusion algorithm based on spatial frequency-motivated pulse coupled neural networks in nonsubsampled contourlet transform domain [J]. Acta Automatican Sinica, 2008, 34(12): 1508-1514.

[18] Huang Wei, Jing Zhongliang. Evaluation of focus measures in multi-focus image fusion [J]. Pattern Recognition Letters, 2007, 28(4): 493-500.

[19] Bhatnagar G, Jonathan Wu Q M, Liu Zheng. Human visual system inspired multi-modal medical image fusion framework [J]. Expert Systems with Applications, 2013, 40(5): 1708-1720.

[20] Redondo R, Šroubek F, Fischer S, Cristobal G. Multifocus image fusion using the Log-Gabor transform and a multisize windows technique [J]. Information Fusion, 2009, 10(2): 163-171.

[21] Yao Peng, Li Jun, Ye Xueyi, Zhuang Zhenquan, Li Bin. Iris recognition algorithm using modified Log-Gabor filters [C]//18th International Conference on Pattern Recognition, IEEE, 2006: 461-464.

[22] Li Shutao, Yang Bing. Multifocus image fusion using region segmentation and spatial frequency [J]. Image and Vision Computing, 2008, 26(7): 971-979.

[23] Qu Guihong, Zhang Dali, Yan Pingfan. Information measure for performance of image fusion [J]. Electronics Letters, 2002, 38(7): 313-315.

[24] Xydeas C S, Petrović V. Objective image fusion performance measures [J]. Electronics Letters, 2000, 36(4): 308-309.

A Novel NSCT-Based Technique for Multi-Focus Image Fusion

Yang Yong1,2, Tong Song1,2, Huang Shuying3, Fang Zhijun1,2, Yang Shouyuan1,2
(1. School of Information Technology, Jiangxi University of Finance and Economics, Nanchang Jiangxi 330032, China; 2. Jiangxi Key Laboratory of Digital Media, Nanchang Jiangxi 330032, China; 3. School of Software and Communication Engineering, Jiangxi University of Finance and Economics, Nanchang Jiangxi 330032, China)

In order to overcome the shortcoming of the traditional multi-focus image fusion methods, a novel non-subsampled contourlet transform (NSCT) based technique for multi-focus image fusion is proposed. Firstly, the source multi-focus images are decomposed by using the NSCT. Secondly, the low-frequency subband coefficients are fused by the local visual contrast mechanism based Sum-Modified-Laplacian (SML), and the high-frequency subband coefficients are fused by a 2D Log-Gabor energy rule. Finally, the inverse NSCT is employed to reconstruct the fused image. Experimental results demonstrate that the proposed method is better than series of popularly used fusion methods, including discrete wavelet transform, shift invariant DWT, NSCT, etc, in terms of both subjective and objective evaluations.

multi-focus image fusion; non-subsampled Contourlet transform; Log-Gabor energy; sum-modified-Laplacian

A

2095-302X(2014)06-0854-10

2014-07-02；定稿日期：2014-08-05

国家自然科学基金资助项目(61262034)；教育部科学技术研究重点资助项目(211087)；江西省自然科学基金资助项目(20114BAB21102, 20132BAB201025)；江西省教育厅科技资助项目(GJJ14334, GJJ09022)；江西省高校科技落地计划资助项目(KJLD14031)

杨 勇(1976-)，男，湖北鄂州人，教授，博士。主要研究方向为图像处理、医学图像处理与分析、模式识别。E-mail：greatyangy@126.com

TP 391.41