基于IHS变换和Curvelet变换的卫星遥感图像融合方法*

肖化超　周诠　郑小松

(中国空间技术研究院 空间电子信息技术研究院, 陕西 西安 710100)



基于IHS变换和Curvelet变换的卫星遥感图像融合方法*

肖化超周诠郑小松

(中国空间技术研究院 空间电子信息技术研究院, 陕西 西安 710100)

摘要：全色图像和多光谱图像融合是合成高分辨率彩色遥感图像的常用方法之一,高质量的彩色图像需要融合全色图像的高空间分辨率和保持多光谱图像的光谱特性.为提高融合图像的质量,文中提出了一种基于IHS和Curvelet变换的遥感图像融合方法,该方法首先将多光谱图像进行IHS变换,然后将代表空间分辨率的I分量与全色图像进行Curvelet变换,并进行标准差融合,最后逆变换成高质量的彩色图像.实验测试结果表明:文中方法合成图像的信息熵、相对无量纲的全局误差和通用图像质量指标均优于其他方法合成的图像,文中方法融合图像的平均梯度和相关系数与小波变换、PCA变换方法相当;文中方法的融合效果要优于其他方法.

关键词：图像融合;多光谱图像;全色图像;Curvelet变换;IHS变换

空间遥感技术的快速发展使传感器种类不断增加,性能不断提高,面向各种复杂应用的传感器信息系统也随之大量涌现,这使得系统获得的信息量急剧增加并且呈现多样性和复杂性.传统的信息处理方法已不能很好地适用于多传感器组合所带来的新问题.利用不同类型传感器数据间的一致性和互补性进行融合处理,减少冗余数据,是提高数据利用率的有效途径,为进一步的图像解译提供更加全面的信息.

信息融合技术可以综合利用多源信息,从而获得对同一事物或目标的更客观、更全面的认识.图像融合属于信息融合的范畴,是指将不同传感器或相同传感器在不同时刻获取的同一场景的图像,经过预处理、配准后,再运用融合方法将多源信息综合到一幅合成图像的过程[1].由于多源遥感融合图像具有冗余性、互补性和合作性,因此,多传感器图像融合可克服单一传感器无法同时满足光谱和空间分辨率均高的局限性,提高图像质量,从而有利于对图像进行解译[2].

在遥感图像融合技术中,最常见的是全色图像和多光谱图像间的融合处理.在像素级图像融合中,小波变换分层图像融合是常见的方法[3- 4],利用具有多尺度分解特性的小波变换进行融合,与主成分变换[5]和压缩感知方法[6]进行融合相似,能较好地保持空间细节特征,但容易丢失遥感图像的光谱信息,从而出现光谱失真问题.基于IHS(Intensity-Hue-Saturation)变换的图像融合方法具有较好的保留光谱信息特性[7-8],但对空间信息的保持性能较弱.为了提高融合图像在光谱特征与空间细节信息保持方面的综合性能,文中提出了一种基于IHS变换和Curvelet变换的遥感图像融合方法,并通过实验分析该方法的性能.

1高质量图像融合算法

全色图像和多光谱图像融合后的图像质量主要体现在空间分辨率和光谱特性保持上.空间分辨率表现为图像纹理细节的保持.Curvelet变换是一种多尺度分析方法,能很好地保持图像的细节特征.光谱特性表现为图像的色彩,IHS变换是一种表示图像色彩的方法.为提高融合图像的质量,文中提出了一种结合Curvelet变换和IHS变换的遥感图像融合方法,以保持融合图像的空间和光谱特征.

1.1　Curvelet变换原理

Curvelet变换[9]是在小波变换的基础上发展起来的,克服了小波变换无法较好表征图像边缘方向特性的缺陷.Curvelet变换以图像边缘为基本元素,且具有完备性,能很好地适应如直线或曲线状特征图像,能更加精确地表达图像边缘的方向,并能准确地聚焦图像的边缘.与小波变换相似,Curvelet变换也是一种多尺度几何分析工具,但与小波变换不同,其框架元素除了尺度和位移参数外,还有方向参量,也就是说金字塔中包含具有高度方向特殊性的元素.

Curvelet变换对图像具有较好的稀疏表示能力,既能很好地表示平滑区域,也能较好地表示边缘部分,使对应边缘部位的分解系数不必传播到很多高频尺度分量中,从而达到能量集中的效果.另外,传统的小波变换只提供“点”的特性,而Curvelet变换具有很强的方向性,可直接获得对直线甚至平面等高维特征变化特性的描述.Curvelet变换遵守一个尺度规则,每个子块的频率带宽w、长度l近似满足关系w=l2,即宽度是长度的平方.Curvelet变换的合成和分解流程图如图1所示.

图1　Curvelet变换的合成和分解流程图Fig.1　Synthesis and decomposition flowchart of Curvelet transform

Curvelet变换的分解过程如下:

(1)利用滤波器组P0和Δs(s≥0)将图像f分解为不同子带,即

f→(P0( f ),Δ1( f ),Δ2( f ),…)

(1)

不同的子带Δs(f)包含了宽度为2-2s的细节.

(2)将位于二阶方形区域

内的平滑窗口ωQ(x1,x2)与子带函数相乘,随着s固定而k1、k2变化可产生由函数到方块的平滑分割,即

Δs(f)→(ωQΔs(f))Q∈Qs

(2)

(3)将每个二进方块平移并进行归一化,

gQ=(TQ)-1(ωQΔs( f )),Q∈Qs

(3)

式中,TQ( f )(x1,x2)=2sf(2sx1-k1,2sx2-k2).

(4)对gQ进行Ridgelet分析,即

(4)

Curvelet变换的合成过程实际上是分解过程的逆过程.首先实现Ridgelet合成

(5)

再由重正规化得到

hQ=(TQ)gQ，Q∈Qs

(6)

然后对各个子带中的方块进行平滑集成

(7)

最后进行子带重建

(8)

综上分析可知,Curvelet变换的核心是Ridgelet分析,Ridgelet分析[10-11]的初衷就是解决小波变换沿边缘信息表达能力不足的缺点.

设CJ(x,y)表示图像f的轮廓部分,ωj表示图像f在尺度2-j下的细节部分,则离散Curvelet变换[12]的伪代码如下:

(9)

B1=Bmin(图像分块区域大小);

forj=1:Jdo

对子带ωj按Bj大小进行分块,然后在每一分块上分别进行Ridgelet变换;

ifjmod 2==1 thenBj+1=2Bj;

elseBj+1=Bj;}

离散Curvelet变换对图像进行多尺度、多方向下的分解符合人类视觉系统感光的方式,能很好地表达图像边缘.

1.2　IHS变换

IHS变换是常用的遥感图像融合方法之一,I、H、S分别反映图像3个通道的特征:I为颜色亮度,H为色调,S为饱和度.I表示图像的空间分辨率;H与S表示图像的光谱分辨率.采用IHS变换进行遥感图像融合的主要步骤如下:先将多光谱图像的3个波段分别放大映射到R、G、B通道,再对RGB彩色图像进行IHS变换,然后将全色图像与多光谱图像变换后的I分量进行直方图匹配后替换I分量,最后利用IHS反变换获得融合图像.

图像的RGB 空间到IHS空间的变换如下:

(10)

(11)

(12)

IHS反变换为

(13)

1.3　融合算法描述

结合IHS变换和Curvelet变换的优点,利用标准差法的融合规则,文中提出了新的高质量全色和多光谱图像的融合方法,具体步骤如下:

(1)采用双线性插值法将多光谱图像放大到全色图像大小,并进行空间配准;

(2)三波段多光谱(R、G、B)图像与全色图像进行直方图匹配;

(3)对多光谱图像进行IHS变换(式(10)-(12)),生成I、H、S分量;

(4)分别对I分量和全色图像进行Curvelet变换(式(9)),生成主系数C(x,y)和J个子带系数ωj(x,y);

(5)采用标准差法将I分量和全色图像PAN分解的主系数CI(x,y)和CPAN(x,y)进行融合,即在以处理像素为中心的局部区域内,标准差最大的系数为融合图像的系数.

(14)

其中Dst,I和Dst,PAN分别为I分量和全色图像PAN的标准差,标准差Dst定义为

(15)

M、N分别为所取区域的行数和列数,E(Ig(i,j))为区域内亮度的平均值,Ig(i,j)为图像在(i,j)处的亮度值.

(6)融合后主系数C′(x,y)与全色图像的子带系数ωj(x,y)组合,进行Curvelet变换合成,得到融合后的I′分量;

(7)对I′、H、S分量进行IHS反变换,得到高分辨率彩色图像.

文中方法结合了IHS变换能较好保存光谱特性和Curvelet变换能较好保存空间信息的优点.融合图像中包含多光谱图像丰富的光谱信息与全色图像的细节信息,有利于图像的识别和分类.

2仿真实验与结果分析

为分析文中所提方法的性能,采用标准数据和卫星遥感数据将全色图像和多光谱图像进行融合,分别采用文中方法和IHS变换、小波变换、PCA变换进行仿真.

仿真采用标准测试图像(如图2(a)所示)和高分一号(GF-1)卫星遥感数据作为实验数据.其中GF-1数据为LEVEL1A级,所成像为2014年6月8日的西安咸阳国际机场图像.从主观观察来看,IHS融合方法由于只有I分量具有高分辨率信息,而其他两个分量均为低分辨率信息,因此融合后的图像较为模糊;小波变换和PCA变换是在各个子带内进行融合,因此保持了图像的空间信息,但由于没有考虑光谱信息,因此融合全色图像后发生了光谱畸变.文中方法由于结合了Curvelet变换能较好保持空间信息和IHS变换能保持光谱特性的优点,因此既较好地保存了多光谱图像的光谱信息,又较好地融入了全色图像的细节信息,融合效果比其他3种方法好.利用文中方法融合GF-1卫星图像(结果见图3(c)),图中飞机、候机厅房屋纹理清晰可见,图像色彩与多光谱图像相近,屋顶、草地色彩鲜艳,从主观来看文中方法对卫星图像的融合是有效的.

图像融合的客观评价方法比较多,文中根据Wald等[13-14]提出的融合图像评价标准,对文中融合方法与基于IHS变换、PCA变换和小波变换的融合方法的5个统计指标(图像信息熵、平均梯度、相关系数、相对无量纲的全局误差、通用图像质量指标)进行综合比较.

(1)图像信息熵是衡量图像信息量的重要指标,对于一幅图像,可认为各像素的亮度值是相互独立的,则此图像的亮度(图像最高亮度值为L)离散分布为p={p0,p1,…,pu,…,pL-1},pu为亮度值等于u的概率,图像信息熵为

(16)

融合图像的信息熵越大,表示融合后图像的信息越丰富,融合质量越好.

(2)平均梯度表征图像的清晰程度,其公式为

(17)

一般来说,平均梯度越大,图像层次越多,表示图像越清晰,说明融合质量越好.

(3)相关系数ccc反映两幅图像的相关程度,两幅图像越接近,ccc值越接近于1.相关系数定义为

(18)

其中,Ig,A(i,j)和Ig,B(i,j)分别为图像A、B在(i,j)处的亮度值.

(4)相对无量纲的全局误差eRGAS从整体上反映融合图像的质量,其值越小,融合光谱质量越高.eRGAS定义为

(19)

式中,h/l是全色图像与多光谱图像的分辨率之比,rMSE(Bi)是第i个谱段融合前后的均方差,mi是第i个谱段图像的平均值.

(5)通用图像质量指标qUIQI[15]从相关性损失、像素辐射扭曲和对比度扭曲3个方面反映两幅图像的相似程度,通过比较融合前后图像的qUIQI值,便可知道它们的相似情况,如果融合的两幅图像完全一样,则其值应为1.

(20)

对仿真图像进行以上5种评价标准的比较,计算各融合图像的信息熵、平均梯度、相关系数值、qUIQI值和eRGAS值，结果见表1.

从表中可以看出:文中方法较好地融入了全色图像的空间信息,其中信息熵和平均梯度均反映了图像的纹理特征,在一定程度上表征了融合图像的细节特征,其熵值和平均梯度越大,表明融入空间信息越多;对于标准图像和GF-1图像,采用文中方法融合的图像熵值在各谱段内均大于其他3种方法,平均梯度在一个谱段次于小波融合算法.相关系数值、qUIQI值和eRGAS值反映了融合后图像与原始多光谱图像的相似程度,也就是光谱信息的保持程度,从表1中可以看出,文中方法的qUIQI值和ERGAS值优于其他3种方法,尽管在相似系数上略差于基于小波变换和PCA变换的融合方法,但从总体来看,还是优于基于小波变换的融合方法.这说明文中方法融合图像损失的相关信息最少、像素辐射扭曲和对比度扭曲程度低,与融合前的多光谱图像相似程度最高,综合空间和频谱特征两方面,采用文中方法融合的图像质量优于其他方法.

表1几种方法融合图像的性能对比

Table 1　 Performance comparison of fusion images by several methods

图2各算法对标准测试图像的融合结果

Fig.2Fusion results of each algorithm on standard test image

图3各算法对GF-1卫星数据的融合结果

Fig.3Fusion results of each algorithm on GF-1 satellite data

3结论

全色图像和多光谱图像融合是获得高分辨率遥感彩色图像的常用技术之一.文中结合IHS变换能较好地保留光谱特性和Curvelet变换能较好地保存空间信息的优点,提出了基于IHS变换和Curvelet变换的遥感图像融合方法.仿真实验结果表明,文中方法的综合融合效果优于其他3种方法.文中方法虽然是针对卫星遥感图像融合进行设计的,但对其融合规则进行适当修改后也可适用于其他类型图像的融合.

参考文献:

[1]ZHU X X,BAMLER R A.Sparse image fusion algorithm with application to pan-sharpening [J].IEEE Transactions on Geoscience and Remote Sensing,2013,51(5):2827-2836.

[2]POHL C,GENDEREN J L.Multisensor image fusion in remote sensing:concepts,methods and application [J].International Journal of Remote Sensing,1998,9(5):823-854.

[3]DONG Z Y,WANG Z M,LIU D W,et al.SPOT5 multi- spectral(MS) and panchromatic(PAN) image fusion using an improved wavelet method based on local algorithm [J].Computers and Geosciences,2013,60(10):134-141.

[4]LIU Y P,JIN J,WANG Q,et al.Region level based multi- focus image fusion using quaternion wavelet and norma-lized cut [J].Signal Processing,2014,97(7):9-30.

[5]NAIDU V P S.Hybrid DDCT-PCA based multi sensor image fusion [J].Journal of Optics,2014,43(1):48- 61.

[6]孙季丰,洪博宇.基于压缩传感理论的多聚焦图像融合方法 [J].华南理工大学学报(自然科学版),2012,40(8):51-55.

SUN Ji-feng,HONG Bo-yu.Multi-focus image fusion met-hods based on compressive sensing theory [J].Journal of South China University of Technology(Natural Science Edition),2012,40(8):51-55.

[7]RAMAKRISHNAN N K,SIMON P.A bi-level IHS transform for fusing panchromatic and multispectral images [M]∥Pattern Recognition and Machine Intelligence.Berlin/Heidelberg:Springer,2013:367-372.

[8]ZHOU X R,LIU J,LIU S G.A GIHS-based spectral pre-servation fusion method for remote sensing images using edge restored spectral modulation [J].ISPRS Journal of Photogrammetry and Remote Sensing,2014,88(2):16-27.

[9]DONOHO D L,DUNCAN M R.Digital curvelet transform:strategy,implementation and experiments [C]∥ Proceedings of SPIE.San Jose:SPIE,2000:12-30.

[10]CANDES E J,DONOHO D L.Curvelets:a surprisingly effective nonadaptive representation for objects with edges [C]∥Curve and Surface Fitting:Saint-Malo 1999.Nashville:Vanderbilt University Press,1999.

[11]DONOHO D L.Fast ridgelet transforms in dimension 2[R].Stanford:Department of Statistics,Stanford University,1997.

[12]STARCK J,NGUYEN M K,MURTAGH F.Deconvolution based on the curvelet transform [C]∥Proceedings of 2003 International Conference on Image Processing.Barcelone:IEEE,2003:993-996.

[13]WALD L,MANGOLINI M.Fusion of satellite images of different spatial resolutions assessing the quality of resulting images [J].Photogrammetry Engineering and Remote Sensing,1997,63(6):691-699.

[14]WALD L.Quality of high resolution synthesised images:is there a simple criterion [C]∥Proceedings of the Third Internation Conference “Fusion of Earth Data:Merging Point Measurements,Raster Maps and Remotely Sensed Images”.Sophia Antipolis:SEE/URISCA,2000:99-103.

[15]WANG Z,BOVIK A C.A universal image quality index [J].IEEE Signal Processing Letters,2002,9(3):81- 84.

A Fusion Method of Satellite Remote Sensing Image Based on IHS

Transform and Curvelet Transform

XIAOHua-chaoZHOUQuanZHENGXiao-song

(Academy of Electronic Information Technology, China Academy of Space Technology， Xi’an 710100, Shaanxi, China)

Abstract:The fusion of panchromatic images and multi spectral ones is one of the most commonly-used methods to compose high-resolution color remote sensing images. In order to achieve high-quality color images, it is necessary to fuse the high spatial resolution of panchromatic images and preserve the spectral characteristics of multi spectral images. In this paper, a novel fusion method of remote sensing images on the basis of the IHS transform and the Curvelet transform is proposed to improve the quality of fusion images. In the method, first, the RGB multi spectral images are converted into the IHS images. Then, the panchromatic image and the I component refering to spatial resolution are handled through the Curvelet transform, and are fused by means of the standard difference method. Finally, the high-quality color images are achieved through the inverse transforms. Experimnetal results show that the images fused through the proposed method are superior to those through the other methods in terms of entropy, relatively-dimensionless global error and universal image quality index, and are equivalent to those through the wavelet transform and the PCA transform in terms of average gradient and correlation coefficient. Overall, the proposed method has better fusion performance than the other three typical methods.

Key words:image fusion； multi spectral image； panchromatic image； Curvelet transform； IHS transform

doi：10.3969/j.issn.1000-565X.2016.01.009

中图分类号：TP391

作者简介：肖化超(1985-),男,博士生,工程师,主要从事空间数据处理与传输研究.E-mail:xiaohc@cast504.com

*基金项目：国家自然科学基金资助项目(61372175)

收稿日期：2015- 05-12

文章编号：1000-565X(2016)01- 0058- 07

Foundation item： Supported by the National Natural Science Foundation of China(61372175)