基于EMD的SAR与全色影像融合算法

陈　云　刘　广　廖静娟

1(中国科学院遥感与数字地球研究所　北京 100094)2(中国科学院大学　北京 100049)



基于EMD的SAR与全色影像融合算法

陈云1,2刘广1廖静娟1

1(中国科学院遥感与数字地球研究所北京 100094)2(中国科学院大学北京 100049)

摘要针对传统融合方法不能有效处理非线性、非平稳信号等问题，提出一种基于经验模态分解(EMD)的合成孔径雷达(SAR)与全色影像融合方法。该方法首先对全色影像和降噪后的SAR影像进行EMD分解，然后采用基于区域特征的融合规则分别对高频和低频部分进行融合，最后通过EMD逆变换得到融合图像。该方法可以有效处理非线性、非平稳信号且具有完全自适应性。实验结果表明，基于该算法的融合图像满足图像融合要求，且融合效果优于小波变换法及曲波变换。

关键词SAR全色影像图像融合EMD算法

0引言

SAR传感器是一种可以全天时全天候采集数据的主动传感器，并且能够探测诸如地形地貌、厚度和表面粗糙度等特征的几何形状和结构[1]。但是由于SAR图像中斑点噪声的存在以及目标的微波反射特性受频率、极化方式等因素的影响，仅利用SAR影像进行目标检测和识别较为困难[2]。而全色光学遥感影像通常具有较高的空间分辨率，可以获得地物的轮廓信息，且边缘清晰。但光学传感器易受阴雨天气和大气衰减等因素的影响。因此，将SAR与全色影像进行融合，充分利用其互补性，可以为后续处理如目标识别、变化监测等提供更多有价值的信息[3,4]。

由于SAR与全色影像成像机理、波谱特性完全不同，且均为单波段图像，将常用于多光谱与全色影像的融合方法如IHS、PCA等用于SAR与全色影像融合都无法取得理想效果[5]。相对于其他多源遥感图像融合算法而言，SAR与全色图像的融合算法研究较晚，已有的算法也较少[6]。多分辨率分解方法(MSD)能够将图像分解到不同尺度下，其分解过程与人类视觉系统分层次理解的特点非常相似[7]，且分解后各分量对应图像不同信息。考虑到多分辨率分解方法的以上特点，一些学者认为将该方法应用在融合中可以得到较好的融合结果，并针对SAR与全色影像选择合适的融合规则，提出了相应的融合方法[8-13]。文献[9]提出一种基于二维离散小波变换的融合算法，对小波分解后的高频与低频部分分别采用加权融合思想，但加权系数需要根据不同的应用来调整。文献[11]利用à trous小波分解算法将全色影像的高频部分与低频部分进行分离，然后对高频部分进行选择加入到SAR影像中，而对全色影像的低频部分则全部忽略。文献[13]利用可以表示各项异性的曲波变换实现了SAR与全色影像的融合，但由于其采取高频低频部分都取大的融合规则，融合后图像会遮盖一些SAR影像中比较暗的边缘细节信息。虽然以上算法均取得了一定的效果，但它们所利用分解方法不适用于非平稳信号，并且均采用基于像元的融合规则。

最早由Huang等[14]提出的经验模态分解(EMD)是一种可以高效研究和分析信号的工具。鉴于EMD具有的完全自适应性以及在处理非线性、非平稳信号方面较小波变换具有的优势，EMD已经在图像压缩、图像去噪、纹理分析等方面得以应用[15,16]并取得了较好的实验结果。

基于以上分析，本文将EMD用于SAR与全色影像融合，并且提出一种基于区域特征的自适应的融合规则。算法首先对全色影像和降噪后的SAR影像进行EMD分解，然后采用基于区域特征的融合规则分别对高频和低频部分进行融合，最后通过EMD逆变换得到融合图像。

1基于EMD的SAR与全色影像融合算法

SAR能够记录地面物体对雷达波的反射特性，对水体、居民地和植被比较敏感，并且SAR影像中含有丰富的纹理信息(如图1(a)所示)。而全色影像可以获得地物的轮廓信息，且边缘清晰(如图2(a)所示)。将SAR与全色影像进行融合，使融合后图像在保留全色图像的边缘、轮廓等结构信息的同时，添加SAR影像所特有的地物特征信息描述。

EMD能够根据信号本身的特点自适应地将信号分解成多个分量，即固有模态函数(IMF)，且可以有效地处理非线性、非平稳信号。对于给定SAR影像与全色影像，基于EMD的融合方法的具体步骤为：

1) 预处理

利用增强LEE滤波对SAR影像FSAR进行降噪处理得到降噪影像FSF，并将得到降噪影像FSF与光学全色影像FPAN进行配准。

2) EMD变换

分别对降噪图像FSF和全色影像FPAN进行EMD分解。

对于给定降噪图像FSF第m行FSF(m)的EMD变换可以通过以下筛选步骤实现：

(1)

图1　SAR影像及其分解的IMF分量

图2　全色影像及其分解的IMF分量

从EMD分解过程及图1、图2可以看出，第1个IMF分量包含了小尺度的成分，主要表现为图像的轮廓和细节信息；第2个IMF分量包含了次小尺度成分，依次往下，且包含的极值点数目也逐渐减少，即信号经EMD分解后能够实现图像从高频到低频分离。因此，可以利用多分辨率分解方法——EMD实现SAR与全色影像的多尺度分解。

3) 融合

针对SAR与全色图像来讲，融合的目的是既保留SAR与全色图像的边缘、轮廓、纹理等结构信息，又能添加SAR和全色图像所特有的地物特征信息描述。考虑到图像的区域特征是由某一局部区域的多个像素体现的，且区域内各像素之间有较强的相关性，基于区域特征的融合规则较基于像素的融合规则具有一定的优越性，并在融合中取得了较好的融合结果[17]。因此，本文设计了一种新的基于区域特征的加权融合规则，其具体的实现为：

(2)

(3)

(4)

(5)

(6)

(7)

4) EMD逆变换

(8)

基于EMD的SAR与全色影像融合算法的技术流程图如图3所示。

图3　算法技术流程图

2实验

2.1实验环境及实验数据

实验是在3.00 GHz Intel(R) Core(TM)2 Duo CPU，内存为8 GB，操作系统为64位Windows 7的微机上进行，编程环境为Matlab R2012b。

实验中SAR图像为COSMO SkyMed数据的地理编码椭球体纠正(GEC)产品，空间分辨率为2.5 m×2.5 m，获取时间为2012年1月16日。全色影像为高分一号PSM1于2013年9月21日获取的全色影像，空间分辨率为2 m×2 m。为更好说明文中方法的有效性，选择了包括水体、农田、建筑、植被等地物的区域和城镇区域进行实验，图幅大小均为512×512像素。

2.2评价指标

由于主观评价具有主观性、不确定性、不全面性，为了更客观地评价融合结果，选择信息熵、平均梯度、空间频率指标对融合图像进行评价。

信息熵[7]是衡量影像信息丰富程度的一个重要指标。融合图像的熵越大，表示融合图像的信息量增加，融合图像所含的信息越丰富，融合质量越好。

(9)

式中pi为影像F(x, y)中像素灰度值为i的概率，L为影像的灰度级数。

平均梯度[7]可以用来衡量图像的清晰度，同时还可以敏感地反映图像中微小细节反差及纹理变化特征，其计算公式如下:

(10)

其中，ΔIx和ΔIy分别为x和y方向上的差分。

空间频率[7]体现了一幅图像空间的总体丰富程度，该值越大，则表示融合后图像信息越丰富。空间频率公式定义为：

(11)

其中，RF、CF分别为空间行频率、空间列频率：

(12)

(13)

2.3实验结果与分析

由于SAR系统相干成像的特点，SAR图像会受到斑点噪声的污染。采用增强Lee滤波法对SAR图像进行噪声抑制，并对滤波后SAR图像与全色影像进行配准。为了更好地分析文中算法的有效性，选择以下算法进行对比：算法1采用文献[9]中二维离散小波变换融合算法，融合规则为高频和低频部分均采用加权融合思想。算法2采用文献[11]中à trous分解方法，对高频部分的小波系数进行选择，直接添加到SAR图像中。算法3采用文献[13]中曲波变换融合算法，采取低频高频都取大的融合规则。算法中需要选择小波基与分解层数的变换均选择db4小波基，分解层数均为3。图4、图5分别为两个实验区域基于不同融合方法的融合实验结果，表1、表2为对应的不同融合算法的客观评价指标。

图4　区域1融合方法比较

图5　区域2融合方法比较

融合方法信息熵平均梯度空间频率SAR图像7.654716.241627.5024全色图像5.882913.015326.3894算法17.858816.502227.5391算法27.537710.170017.2792算法37.670516.621628.3192文中算法7.571316.706030.1684

表2　区域2不同融合算法的评价指标

从目视效果来看，两个区域中各融合方法得到的融合图像较原始SAR图像均在一定程度上加入了全色图像信息，但算法2与算法3中保留了较多的SAR影像的信息，而全色影像信息却较少；算法1与文中算法较其他两个方法得到的融合图像更加清晰，且包含了更多的细节信息。

表1中各融合算法得到的融合图的评价指标表明，针对区域1，本文算法得到的融合图像的信息熵略低于算法1、算法3，但其平均梯度与空间频率明显高于其他算法。从表2中的不同融合算法的客观评价指标可以看出，对于区域2(城镇区域)，各方法得到的融合图像较原始图像信息熵均有所提高。文中方法得到的融合图像的信息熵、平均梯度以及空间频率较原始单一图像有明显的提高，且高于其他融合方法。即文中方法在融入SAR重要信息的同时，较好地保持了全色图像的高分辨率特征，且融合效果整体上优于其他融合方法。由于雷达信号在城镇区域的非平稳性更加突出，文中算法在城镇区域的优越性表现的尤为明显。另外，虽然算法2中采用的à trous变换较算法1中利用的普通小波变换具有一定优势。如不需要抽样和插值、易于获取影像细节特征，具有平移不变性，但是由于在融合的过程中。采用了直接对全色影像中的高频信息进行选择加入到SAR图像中。对于全色低频部分的信息完全忽略的融合规则，导致得到的融合图像效果并不理想。这也表明，融合规则的优劣直接影响融合的质量，这在一定程度上也验证了文中融合规则的有效性。

3结语

本文结合基于区域特征的自适应加权融合规则，提出了一种基于EMD的SAR与全色影像融合方法。该方法具有自适应性，且可以有效处理非线性、非平稳信号。实验结果表明，利用该算法得到的融合图像充分地综合了SAR与全色影像的互补信息，且融合效果优于小波变换法及曲波变换法。将融合后图像应用于目标识别与地物分类是下一步的工作内容。

参考文献

[1] Gormus E T,Canagarajah C N,Achim A M.Exploiting spatial domain and wavelet domain cumulants for fusion of SAR and optical images[C]//Proceedings of 2010 IEEE 17thInternational Conference on Image Processing (ICIP 2010),2010:1209-1212.

[2] Gungor O,Shan J.An optimal fusion approach for optical and SAR images[C]//Proc.ISPRS Commission VIIMid-term Symp,2006,18:111-116.

[3] Longbotham N,Chaapel C,Bleiler L,et al.Very high resolution multiangle urban classification analysis[J].IEEE Trans.Geosci.Remote Sens,2012,50(4):1155-1170.

[4] Vidal A,Moreno M R.Change detection of isolated housing using a new hybrid approach based on object classification with optical and Terrasar-X data[J].Int. J. Remote Sens,2011,32(24):9621-9635.

[5] Ma Y,Zhai Y,Geng P,et al.A Novel Algorithm of Image Fusion Based on PCNN and Shearlet[J].International Journal of Digital Content Technology and its Applications(JDCTA),2011,5(12):347-354.

[6] 余连生.SAR与全色遥感图像的小波域融合算法研究[D].国防科学技术大学,2010.

[7] 余连生,文贡坚,李智勇,等.基于SIDWT的遥感图像融合算法[J].计算机工程,2011,37(17):197-199.

[8] Alparone L,Facheris L,Baronti S,et al.Fusion of multispectral and SAR images by intensity modulation[C]//Proc.7th Int’l Conf. Information Fusion (Fusion 2004),2004:637-643.

[9] 钟志勇,陈鹰.多源信息融合中小波变换的应用研究[J].测绘学报,2002,31(5):56-60.

[10] 宋建社,郑永安,刘迎春.基于小波变换的SAR与可见光图像融合算法[J].计算机应用研究,2004,21(10):110-111.

[11] Chibani Y.Selective synthetic aperture radar and panchromatic image fusion by using the à trous wavelet decomposition[J].EURASIP Journal on Applied Signal Processing,2005,2005(14):1-8.

[12] 李晖晖,郭雷,李国新.基于脊波变换的SAR与可见光图像融合研究[J].西北工业大学学报,2006,24(4):418-422.

[13] 李晖晖,郭雷,刘航.基于二代curvelet变换的图像融合研究[J].光学学报,2006,26(5):657-662.

[14] Huang N E,Shen Z,Long S R,et al.The empirical mode decomposition and the Hilbert spectrum for nonlinear and non-stationary time series analysis[J].Proceedings of the Royal Society of London.Series A:Mathematical,Physical and Engineering Sciences,1998,454(1971):903-995.

[15] 刘妍.基于EMD方法的压缩感知图像处理研究[D].北京:北京邮电大学,2012.

[16] Song R,Guo H,Liu G,et al.Improved Goldstein SAR Interferogram Filter Based on Empirical Mode Dexomposition[J].IEEE Geosci.Remote Sens.Lett,2014,11(2):399-403.

[17] Ye C,Zhang L,Zhang Z.SAR and panchromatic image fusion based on region features in nonsubsampled contourlet transform domain[C]//Automation and Logistics (ICAL),2012 IEEE International Conference on,2012:358-362.

SAR AND PANCHROMATIC IMAGES FUSION ALGORITHM BASED

Chen Yun1,2Liu Guang1Liao Jingjuan1

1(InstituteofRemoteSensingandDigitalEarthChineseAcademyofScience,Beijing100094,China)

2(UniversityofChineseAcademyofScience,Beijing100049,China)

AbstractAiming at the problem of traditional fusion method that it cannot effectively deal with non-linear and non-stationary signals, this paper proposes a new fusion method for synthetic aperture radar (SAR) and panchromatic images, which is based on empirical mode decomposition (EMD) algorithm. In this method, first the decomposition with EMD algorithm is conducted on panchromatic images and denoised SAR images, and then a regional features-based image fusion rule is applied to fusing the images of high-frequency and low-frequency components separately. Finally, through EMD inverse transformation the fused images are obtained. This method can effectively process non-stationary and non-linear signals, and has full adaptive nature. Experimental results show that the fused images based on the new algorithm meet image fusion requirement, and are superior to wavelet transform and Contourlet transform in terms of fusion effect.

KeywordsSARPanchromatic imageImage fusionEMD algorithm

收稿日期：2014-11-06。国家科技支撑计划课题(2012BAC16B01)。陈云，硕士生，主研领域：遥感图像处理。刘广，副研究员。廖静娟，研究员。

中图分类号TP751

文献标识码A

DOI:10.3969/j.issn.1000-386x.2016.05.044