结合Curvelet变换和LSWT的多聚焦图像融合算法

2016-01-08王丽,苗凤娟,陶佰睿

计算机工程与科学 2015年6期

结合Curvelet变换和LSWT的多聚焦图像融合算法*

王丽1，苗凤娟1，陶佰睿2

(1. 齐齐哈尔大学通信与电子工程学院，黑龙江齐齐哈尔 161005；2.齐齐哈尔大学计算中心，黑龙江齐齐哈尔 161005)

摘要：针对多聚焦图像，提出了一种结合二代Curvelet变换和提升静态小波变换LSWT的图像融合算法。首先将待融合的图像分别进行离散Curvelet分解变换，得到不同分解级数和方向下的细节尺度系数和粗尺度系数；其次对粗尺度系数分别进行LSWT变换，对变换得到的低频分量和高频分量分别采用不同的方法融合后进行LSWT逆变换，得到的系数作为Curvelet变换的粗尺度系数；对于Curvelet变换后得到的细节尺度系数采用局部平均能量方差的方法进行融合；最后进行Curvelet逆变换得到融合后的图像。实验结果显示，该方法融合效果较好，优于传统方法。

关键词：Curvelet变换；LSWT；图像融合

中图分类号：TP391.41 文献标志码：A

doi:10.3969/j.issn.1007-130X.2015.06.025

收稿日期：*2014-01-14;修回日期：2014-07-04

基金项目：黑龙江省教育厅科学技术研究项目(12531774)；黑龙江省自然科学基金资助项目(F201438)

作者简介:

通信地址：161005 黑龙江省齐齐哈尔市齐齐哈尔大学通信与电子工程学院

Address:Communication and Electronic Engineering Institute,Qiqihar University,Qiqihar 161005,Heilongjiang,P.R.China

Amulti-focusimagefusionalgorithmbasedonCurvelettransformandLSWT

WANGLi1,MIAO Feng-juan1,TAO Bai-rui2

(1.CommunicationandElectronicEngineeringInstitute,QiqiharUniversity,Qiqihar161005;

2.ComputerCenter,QiqiharUniversity,Qiqihar161005,China)

Abstract:Focusing on multi-focus images,in this paper we present an image fusion method based on the second generation Curvelet transform and the lifting stationary wavelet transform (LSWT).Firstly,the images to be fused are decomposed by discrete Curvelet transform, thus the fine-scale and coarse-scale coefficients are obtained in different scales and directions.Secondly,the coarse scale coefficients are decomposed by the LSWT.The low-frequency coefficients and the high-frequency coefficients are separately fused by different methods.Subsequently the coefficients obtained by the lifting stationary wavelet inverse transform are the coarse-scale coefficients of the Curvelet inverse transform.The fine-scale coefficients are fused by the local average energy and variance method.Finally,the fused image is obtained by the Curvelet inverse transform.Experimental results show that the proposed method is superior to the traditional methods.

Keywords:Curvelettransform;LSWT;imagefusion

1引言

图像融合一般分为三个层次：像素级融合、特征级融合和决策级融合。多聚焦图像融合属于像素级融合，其特点是同一场景的多个目标不能同时清晰，而多聚焦图像融合是把两个或多个传感器所获得的图像进行综合处理，得到在一个场景内或一幅图像内，多个目标均清晰的图像。

近年来，多尺度分析方法应用广泛，比较典型的研究方法有金字塔分解、小波变换、Curvelet变换等，此外，文献[1]提出了Contourlet变换CT(ContourletTransform)方法，文献[2]提出了非下采样轮廓波变换NSCT(NonSubsampledContourletTransform)方法，能克服CT方法的吉布斯效应。但是，此方法不能很好地表征图像的边缘、细节等信息，同时融合过程中带来大量的冗余信息，融合时间较长。小波变换属于多尺度多分辨率分析，在时域和频域都能很好地表征局部细节信息，并且能使融合图像具有较高分辨率。传统的离散小波变换DWT(DiscreteWaveletTransform)存在运算速度慢、内存需要大、实时性较差的特点，而提升静态小波变换LSWT(LiftingStationaryWaveletTransform)能有效克服其缺点，继承其很好地表征图像局部细节特征的优点，并且能够克服小波变换平移伸缩不变性带来的局限[3～6]。

1999年CandesE和DonhoD[7]提出了第一代Curvelet变换理论。这种变换能有效逼近图像中的边缘细节信息，2002年，CandesE等人[8]提出了第二代Curvelet变换。第二代Curvelet理论实现过程更加简单，更加容易理解，实现过程无需用到Ridgelet，而且数据冗余少[9,10]。Curvelet变换和小波变换类似，也能对图像进行多尺度分解，与小波变换的最大区别是，它具有各向异性，而小波变换仅有水平、垂直、45°三个方向。但是,它弱化了奇异点，在表征图像的局部变化特征方面较差，因此，针对多聚焦图像，本文提出了一种结合第二代Curvelet变换和LSWT的图像融合算法。该算法既能够利用Curvelet变换较好地提取图像特征以及获取边缘等细节信息，也能利用LSWT克服小波变换平移伸缩不变性所带来的局限性,可以实现快速运算，并且图像的细节等信息更加清晰。实验结果表明了该方法的有效性。

2LSWT和Curvelet变换

2.1LSWT

提升静态小波变换LSWT又称为第二代小波变换。提升静态小波的母小波通过分裂(Split)、预测(Predict)、更新(Update)三个步骤之后，能够构造出新的小波，提升小波首先经过多项式插值得到高频部分。通过构建尺度函数得到低频部分，其分解和重构示意图如图1所示，Pl和Ul分别为进行第l层分解后的预测与更新算子，al-1为原始输入信号，al和dl分别为原始输入信号al-1经过提升静态小波变换后的低频信号和高频信号，重构过程为分解过程倒过来，并加减互换。

Figure 1　Diagram of lifting stationary wavelet decomposition and reconstruction 图1　提升静态小波分解和重构示意图

2.2Curvelet变换

本文采用离散二代Curvelet变换，即以信号f(t1,t2)(0≤t1,t2

(1)

3基于LSWT和Curvelet变换的图像融合算法

本文采用将提升静态小波变换LSWT和Curvelet变换相结合的方法对多聚焦图像进行融合，假设待融合的两幅原始图像分别为图像X和图像Y，融合流程如图2所示，融合步骤如下：

(1)首先将两幅图像进行Curvelet变换，得到粗尺度系数和细节尺度系数；

(2)对粗尺度系数进行LSWT变换，得到低频系数和高频系数；

(3)对低频系数采用平均法融合，对高频系数采用区域能量和方向对比度相结合的方法融合，然后进行LWST逆变换，得到融合后的Curvelet变换粗尺度系数；

(4)对于Curvelet变换细节尺度系数，采用局部平均能量方差方法融合，将融合后的细节尺度系数和粗尺度系数进行Curvelet逆变换，得到融合后的图像。

3.1LSWT变换后的高频系数所采用的融合规则

LSWT变换后的高频系数，采用区域能量和小波方向对比度结合的方法，区域选取大小为3×3。

(2)

(3)

Figure 2　Flowchart of the fusion algorithm 图2　本文的融合算法流程图

(4)

(2)按照如下融合规则确定LSWT变换后的高频系数：

(5)

3.2Curvelet变换后的细节尺度系数所采用的融合规则

对于Curvelet变换后的细节尺度系数，采用本文提出的局部平均能量方差方法融合，细节尺度的局部区域的能量越大，图像的边缘或者纹理越清晰。局部区域的方差能表示对比度变化程度，方差越大，图像灰度变化也越大，将局部区域能量和局部区域方差相乘后再除以局部区域平均值，能反映这个区域的视觉可见度信息。本文区域大小采用3×3，定义区域平均能量方差为：

(6)

按照式(7)确定融合后的细节尺度系数：

(7)

4实验仿真结果及分析

4.1与传统方法比较

为了验证算法的有效性，将本文算法与仅采用LSWT和仅采用Curvelet变换的算法以及NSCT方法进行比较，以两幅512×512的Lena图像和Clock图像为例进行实验仿真，并且引入空间频率SF(SpatialFrequency)、峰值信噪比PSNR(PeakSignaltoNoiseRatio)、相似性量度SM(SimilarityMeasure)、平均误差MAE(MeanAbsoluteError)、对比度差ΔC等客观评价法来评价融合图像与标准参考图像之间的差别。

图3和图4分别为采用本文算法和仅采用LSWT、仅采用Curvelet变换算法以及采用NSCT方法得到的融合后的Lena图像和Clock图像，从图中可以看出，用本文算法得到的融合图像最清晰。

Figure 3　Lena fusion images obtained by different methods 图3　不同方法得到的Lena融合图像

Figure 4　Clock fusion images obtained by different methods 图4　不同方法得到的Clock融合图像

表1和表2为相应的融合效果评价值，综合各项融合效果评价值，本文的算法融合效果最好(所有方法均采用LSWT分解层数为三层，Curvelet分解层数为三层，NSCT分解层数为三层)。

4.2分解层数的影响

在上一节中，为了验证本文方法的有效性，所有方法均采用LSWT，分解层数为三层，Curvelet分解层数也为三层，LSWT和Curvelet变换均能随着分解层数的增加，其融合效果也发生变化。表

Table 1　 Fusion effect evaluation values of Lena image

Table 2　 Fusion effect evaluation values of Clock image

3为采用本文算法对lena图像仿真结果，当LSWT分解层数为三层时，不同Curvelet分解层数所得到的融合结果，随着Curvelet分解层数的增加，融合效果也越好。但是，层数增加，会导致计算量增加，并且到达一定层数后，融合效果会下降，所以最佳分解层为四层。表4为当Curvelet分解层数为三层时，不同LSWT分解层数得到的融合结果，随着LSWT分解层数的增加，融合效果也越好，但是到达四层以后再分解，融合结果变差，综上，最佳分解层数为四层。

Table 3　 Fusion results of different Curvelet decomposition

5结束语

LSWT和小波变换一样也是多尺度分析且比小波变换具有更好的空间域和频率域局部特性，并且具有平移不变性和快速运算特性，而Curvelet变换能够更好地提取原始图像的特征。基于此，本文将LSWT和Curvelet变换相结合，既能够利用Curvelet变换较好地提取图像特征以及获取边缘等细节信息，也能克服平移伸缩不变性所带来的局限,可以实现快速运算。在融合规则中，对LSWT的高频分量采用区域能量和方向对比度相结合的方法，对Curvelet变换后得到的细节尺度系数采用局部平均能量方差的方法进行融合。该方法可提高区域的视觉可见度信息，获得更好的融合效果。实验结果显示了本文算法的有效性，得到的图像质量优于传统算法。

Table 4　 Fusion results of different LSWT decomposition

参考文献:

[1]ChenMi,LiDe-ren,QinQian-qing,etal.RemotesensingimagefusionbasedonContourlettransform[J].Mini-MicroSystems,2006,27(11):2052-2055.(inChinese)

[2]YeChuan-qi,WangBao-shu,MiaoQi-guang.FusionalgorithmofinfraredandvisiblelightimagesbasedonNSCTtransform[J].SystemsEngineeringandElectronics, 2008,30(4):593-596.(inChinese)

[3]ChaiY,LiHF,QuJF.Imagefusionschemeusinganoveldual-channelPCNNinliftingstationarywaveletdomain[J].OpticsCommunications,2010,283(19):3591-3602.

[4]LiST,YangB,HuJW.Performancecomparisonofdifferentmulti-resolutiontransformsforimagefusion[J].InformationFusion, 2011, 12(2):74-84.

[5]SweldensW.Theliftingscheme:Acustom-designconstruc-

tionofbiorthogonalwavelets[J].AppliedandComputationalHarmonicAnalysis, 1996, 3(2):186-200.

[6]SweldensW.Theliftingscheme:Aconstructionofsecondgenerationwavelets[J].SIAMJournalonMathematicalAnalysis,1998, 29(2):511-546.

[7]CandèsE,DonohoD.Curvelets-Asurprisinglyeffectivenonadaptiverepresentationforobjectswithedges[M].Nashville:VanderbiltUniversityPress, 2000.

[8]CandèsE,DemanetL,DonohoD.Fastdiscretecurvelettransforms[J].MultiscaleModeling&Simulation,2006, 5(3):861-899.

[9]LiHui-hui,GuoLei,LiuHang.ResearchonimagefusionbasedonthesecondgenerationCurvelettransform[J].ActaOpticaSinica, 2006,26(5):657-662.(inChinese)

[10]SapkalRJ,KulkarniSM.Innovativeimagefusionalgorithmbasedonfastdiscretecurvelettransformwithdifferentfusionrules[C]//Procof2013IEEEConferenceonInformation&CommunicationTechnologies(ICT), 2013:1070-1074.

[11]WangLi,LuDi.New-multi-focusimagefusionscheme[J].VideoEngineering, 2012,36(9):19-21.(inChinese)

参考文献：附中文

[1]陈蜜，李德仁，秦前清，等. 基于Contourlet变换的遥感影像融合算法[J].小型微型计算机系统，2006,27(11)：2052-2055.

[2]叶传奇，王宝树，苗启广. 基于NSCT变化的红外与可见光图像融合算法[J].系统工程与电子技术，2008,30(4)：593-596.

[9]李晖晖,郭雷,刘航.基于二代Curvelet变换的图像融合研究[J].光学学报, 2006,26(5):657-662.

[11]王丽，卢迪. 一种新的多聚焦图像融合方法[J].电视技术，2012,36(9):19-21.