遥感图像不同融合方法的适应性评价——以ZY-3和Landsat8图像为例

刘会芬， 杨英宝， 于双， 孔令婷， 章勇

(河海大学，南京 210098)

0 引言

不同分辨率(空间/光谱)遥感数据的融合是提高遥感图像信息含量的一种非常重要的技术，融合后的图像蕴含了更多的有价值信息[1]。对于不同的卫星图像，同种融合方法的效果也会有所差异； 而不同融合算法，也会使融合图像在光谱信息继承、空间分辨率提高、信息含量增加等方面有不同程度的差异。王广杰等[2]以ETM+图像为例，进行主成分变换(PCA)法、乘性迭代(Multiplicative)法、彩色标准化(Brovey)变换法和小波变换(WT)法等 4 种融合算法试验，结果表明，最佳的融合算法是WT法，而Multiplicative 法要优于 Brovey 法和 PCA 法。孟京辉等[3]采用彩色空间变换(IHS)法、PCA法、相位恢复算法(Gram_Schimdt，G-S法 )和Brovey法等4种融合方法对ETM+图像进行融合,并采用信息熵、标准差、偏差指数和相关系数进行融合效果评价，结果表明，Brovey法最大限度地保持了原始图像的光谱信息，但空间信息的详细程度较差； IHS变换融合后的图像空间细节信息最大，但光谱保真能力差； PCA法和G-S法融合图像的光谱保真和空间信息详细程度介于Brovey法和IHS法之间； Brovey法和IHS法有较好的融合效果。谭永生等[4]对QuickBird，SPOT5和ETM+全色与多光谱图像应用Brovey法、支持向量回归(SVR)法、PCA法、Pansharp法和G-S法进行融合，结果表明,对于QuickBird图像，G-S法的融合效果最好； 对于SPOT5图像，Pansharp法的融合综合效果优于其他方法; 对于ETM+图像，G-S法的光谱退化最小。

目前，对常用融合方法用于资源三号卫星(ZY-3)图像和Landsat8图像的适用性研究还较少。本文采用IHS法、PCA法、WT法、G-S法、超分辨率贝叶斯法(Pansharp 法)和Brovey法等6种方法分别对ZY-3和Landsat8卫星图像的多光谱波段与全色波段进行融合，并从图像融合的光谱信息保真度和空间信息融入度2个方面，采用平均梯度、平均值、方差、熵、偏差指数和相关系数等6个参数对融合效果进行评价。

1 融合算法及其效果评价指标

1.1 融合算法简介

1)主成分变换(PCA)法。PCA 法是在统计特征基础上进行的一种多维(多波段)正交线性变换(又称为 K-L交换)。它将多波段的低分辨率图像中共有的信息集中到第一主成分，而与其他任何波段都不重叠的独特光谱信息被放入其他的主成分； 再把全色波段数据拉伸使其和第一主成分有着相同的均值和方差，并用全色波段数据代替第一主成分进行主成分逆变换，还原到原始空间，生成具有高空间分辨率的多波段融合图像[7]。

2)小波变换(WT)法。WT变换通过小波域的变换实现图像的融合，其主要步骤有： ①将全色波段图像进行小波分解； ②用多光谱图像的低频信息代替全色波段图像的低频信息； ③将代替后的图像通过小波逆变换得到最终的融合图像。

3)Pansharp法。Pansharp 方法是一种超分辨率贝叶斯法。该方法基于统计原理，利用最小方差对参与融合的图像波段灰度值进行最佳匹配，并利用此原理调整单个波段的灰度分布，以减少融合结果的颜色偏差； 该方法还对输入的所有波段进行一系列的统计运算，并以此消除融合结果对数据集的依赖性，提高融合过程的自动化程度。融合的结果对人为主观因素与数据本身质量的依赖性较小，图像光谱和细节特征保真度高。

4)IHS变换法。IHS变换是多源遥感数据融合最常用的方法之一，属于彩色空间变换。该方法首先从低分辨率的多光谱彩色合成图像中分离出代表空间信息的明度(I)、代表光谱信息的色度(H)和饱和度(S)这3 个分量； 然后，将高分辨率全色波段与多光谱彩色合成图像的I分量进行直方图匹配，利用高分辨率全色波段代替多光谱彩色合成图像的I分量，保持多光谱彩色合成图像的H和S分量； 最后进行 IHS 的逆变换，完成图像融合过程[5-6]。

5)Gram_ Schimdt(G-S)变换法。G-S变换法[7]，其实质是一种相位恢复算法。该算法的主要步骤有： ①用低空间分辨率的多光谱图像产生模拟的低空间分辨率的全色图像； ②将模拟图像(充当第一波段)叠加到多光谱图像上，然后对重组后的多光谱图像进行G-S正变换； ③用高分辨率全色图像代替G-S变换后的第一分量，然后对代替后的多光谱图像进行G-S反变换，得到最终的融合图像。

6)Brovey 变换法。Brovey变换，又称彩色标准化(color normalized)融合法，是一种分色变换过程。该融合方法是将彩色图像中的每一个波段都乘以高分辨率数据与彩色波段总和的比值。函数自动地用最近邻、双线性或三次卷积插值方法将3个彩色波段重采样到高分辨率像元大小。

1.2 融合效果的定量评价指标

图像融合效果的评价方法有定性评价和定量评价2种。定性评价简单直观,但存在一定的主观性； 定量评价则不受人为因素干扰。常用的定量评价指标有信息熵、相关系数和偏差指数。本文在综合考虑图像空间细节信息增强与光谱信息保持的同时，选用以下3类定量统计指标参数[8]对图像融合效果进行定量评价。

1.2.1 亮度信息的评价指标

1)平均梯度(G)。平均梯度具有敏感地反映图像对微小细节反差和纹理变换表达的能力，其表达式为

(1)

式中：N和M分别为图像的行列数； △Ix，△Iy分别为x，y方向的一阶差分；i，j分别为同一波段图像中各像元的行列号。一般情况下，G越大，图像层次越多，表示图像越清晰[8-10]。

2)均值(v)。均值指的是图像像元的灰度平均值，其表达式为

(2)

式中F为融合图像。对于灰度图像，如果均值适中(灰度值在128 附近)，则视觉效果良好[9]。

3)方差(σ2)。方差反映图像像元灰度相对于灰度平均值的离散程度，其表达式为

(3)

式中R为原始图像。σ2越大，则图像灰度级分布越分散，图像中所有灰度级出现概率越趋于相等，从而包含的信息量越趋于最大[8-10]。

1.2.2 空间细节信息的评价指标

信息熵(H)是一种基于信息量的空间细节信息的评价指标，其表达式为

，

(4)

式中Pi为原始图像R中灰度值为i的概率密度。H反映了图像信息量的多少。H值越大，说明融合图像的信息量也越大。如果图像中所有灰度级出现的概率趋于相等，则包含的信息量趋于最大[8-10]。

1.2.3 光谱信息的评价指标

1)偏差指数(Din)。Costantin等[11]用偏差指数来反映融合后图像与原始多光谱图像在光谱信息上的匹配程度，其表达式为

(5)

若Din较小，则说明融合图像在提高了空间分辨率的同时，较好地保留了原多光谱影像的光谱信息[8]。

2)相关系数(C)。融合图像与原图像的相关系数反映2景图像光谱特征的相似程度，通过比较融合前、后图像的相关系数，可以看出多光谱图像的光谱信息改变程度，其表达式为

(6)

式中vR和vF分别为融合前后图像的均值。C越高，对光谱值的评价越好，相关系数的理想值为 1[8-10]。

2 不同方法融合效果的定量评价

本文选用南京市ZY-3号和Landsat8卫星图像进行不同方法融合效果的定量评价。

2.1 ZY-3图像融合效果及定量评价

2.1.1 融合效果

本文使用上文提到的6种融合效果定量评价指标，对经过预处理的ZY-3全色和多光谱图像分别进行融合处理，其结果如图1所示。

(a) B4(R)B3(G)B1(B)(b) 全色图像(c) PCA融合结果(d) WT融合结果合成图像

(e) Pansharp融合结果(f) IHS融合结果(g) G-S融合结果(h) Brovey融合结果

2.1.2 定量评价

2.1.2.1 亮度评价

6种融合方法获得的ZY-3融合图像和原始图像的平均梯度(G)、平均值(v)和方差(σ2)统计数据见表1。

表1 ZY-3图像6种融合结果的亮度评价

从平均梯度可以看出，除用Pansharp法融合后各波段图像的层次感和清晰度较原始多光谱相应波段的有所降低外，用其余各方法融合后的图像层次感和清晰度均较原始多光谱图像有所提高； 从提高的程度来看，以 3个波段参与融合的IHS法提高得最多，其次为PCA法和WT法。

从平均值可以看出，用PCA法、Pansharp法和G-S法融合后图像各波段的平均值最接近原多光谱图像各波段的平均值； 而用WT法、IHS法和Brovey法融合后图像的平均值与原多光谱图像各波段的平均值相差较大，但用IHS法和Brovey方法融合后图像各波段的平均值接近128。对于灰度图像，如果灰度值在128附近，则视觉效果良好。

从方差可以看出，只有用IHS法融合的图像方差增加，用其他方法融合的图像方差均降低，尤其是用Brovey法融合的图像，方差降低得最多。

2.1.2.2 信息融入度评价

不同融合方法获得的融合图像和原始图像的信息熵,以及各融合后图像与全色图像的相关系数等统计数据见表2。

表2 ZY-3融合图像的信息熵和与全色图像的相关系数

①带下划线的数据表示与原始图像对应参数的差值。

从信息熵可以看出，6种方法融合的图像信息熵均较原始多光谱相应波段的信息熵有所提高，说明这6种方法均可以提高多光谱各波段的信息量。其中，用IHS 法融合的图像在3个波段上的信息量提高程度都较大，尤其是B1波段(信息熵变化值达1.9)； 其余依次为WT法和PCA法，Pansharp法和G-S法，信息量提高程度最小的为Brovey法。从不同波段信息量看，B4信息量的增加都是最小的。

从与全色图像的相关系数可以看出，用6种方法融合的图像与全色图像的相关系数相对于原多光谱图像与全色图像的相关系数均有不同程度的提高。WT法融合图像与全色图像的相关系数提高得最多，说明小波变换后的图像与全色图像的相关性最高，增加值介于0.14和0.32之间，增加的幅度都较小，说明WT法比较稳定。PCA法和Brovey法，Pansharp法和G-S法分别次之。虽然IHS法在B3出现了负值，相关性降低，但其他2个波段仍然具有很高的相关性，并且高于PCA法。

2.1.2.3 光谱保真度评价

不同融合方法获得的融合图像与原始多光谱图像的相关系数，以及各种融合图像的偏差指数等统计数据见表3 。

表3 ZY-3融合图像的偏差指数和与原始多光谱图像的相关系数

从与多光谱图像的相关系数可以看出，用PCA法、Pansharp法和G-S法 的融合图像在各个波段与原始图像的相关系数很接近(且都高于0.75)； IHS法次之，WT法低于IHS法，相关系数最低的是Brovey法。Brovey法只在B3的相关系数比其他方法高，但B1和B4相关系数低(且均为0.45)。

从偏差指数可以看出，各种融合方法均对原始图像的光谱信息造成了一定的扭曲，但不同融合方法在各个波段的扭曲程度不尽相同。在B1和B2扭曲程度较大的是WT法和IHS法； 在B3和B4扭曲程度较大的是Brovey法，其次是IHS法。用Brovey法融合的图像扭曲程度最大，且在各波段扭曲的程度都最高。PCA法和Pansharp法融合后的影像扭曲程度较小(偏差指数均小于0.08)。WT法和IHS法融合图像次之。

综合融合图像与原始图像的相关系数以及融合图像的偏差指数的分析结果可以看出，PCA法具有较高的光谱保真度，IHS法、G-S法和Brovey法分别次之，WT法的光谱保真度最低。

2.2 Landsat8图像融合效果及定量评价

2.2.1 融合效果

由于研究区包括农田、林地、水体及建筑物等地物，而农田和林地在Landsat8 B5(近红外波段)中有很好的区分性，水体、建筑物和植被(林地和农田)在B4和B6波段中也有较好的区分性，所以，IHS法和Brovey法选择B6，B5和B4波段进行融合，其他4种方法则是多光谱波段全部参与融合。融合结果如图2所示。

(a) B6(R)B5(G)B4(B)(b) 全色图像(c) PCA融合结果(d) WT融合结果合成图像

(e) Pansharp融合结果(f) IHS融合结果(g) G-S融合结果(h) Brovey融合结果

2.2.2 定量评价

2.2.2.1 亮度评价

由于用IHS法融合后图像的灰度等级为8 bit，所以均值和扭曲度只是相对于原始图像和其他方法融合图像，IHS法融合图像的均值、方差和扭曲度只作参考。不同融合方法获得的融合图像和原始图像的平均梯度、平均值和方差等统计数据见表4(受篇幅限制，亮度评价仅以B4，B5，B6波段为例)。

表4 Landsat8图像6种融合结果的亮度评价

从平均梯度可以看出，除了受波段限制的融合方法(即IHS法和Brovey法)融合后图像的平均梯度有所降低外，用G-S法和PCA法融合后图像各波段的层次感和清晰度较原始多光谱相应波段的图像都有较大提高，用WT法和Pansharp法得到的融合图像在不同波段有提高、也有降低。用WT法融合后图像的B4波段的平均梯度是提高的，但B5和B6波段的平均梯度是降低的。用Pansharp法融合后图像的B4和B6波段的平均梯度是提高的，而B5波段的平均梯度是降低的。对近红外波段(B5波段)的平均梯度而言，只有WT法融合图像的平均梯度值比原始图像的平均梯度值小。

从平均值可以看出，除IHS法和Brovey法外，PCA法各波段的平均值最接近原始图像各波段的平均值； 而对于WT法、G-S法和Pansharp法，不同波段的平均值有提高、也有降低。但IHS法融合后图像的平均值相对接近128。

从方差可以看出，6种方法得到的融合图像的方差值均有所降低，除IHS法和Brovey法外，其他4种方法融合后图像的方差值降低的程度相当。

2.2.2.2 信息融入度评价

不同融合方法获得的融合图像和原始图像的信息熵以及各融合后图像与全色图像的相关系数等统计数据见表5。

表5 Landsat8融合图像的信息熵和与全色图像的相关系数

①带下划线的数据表示与原始图像对应参数的差值。

从信息熵可以看出，只有PCA法和IHS法参与融合的波段信息熵都是增加的,尤其是IHS法，在B4波段增加的熵值达到1.116 9。WT法融合的图像在每个波段的熵值都是减小的，说明小波变换法降低了多光谱波段的信息量，且在B5，B6，B7波段比较明显，尤其在B5(近红外波段)降低得最多。Pansharp法、G-S法和Brovey法得到融合图像的熵在不同波段有增、有减，熵值减少的波段大多集中在B5，B6，B7这3个波段。Brovey法参与融合的3个波段中有2个波段的熵都是降低的。

从与全色图像的相关系数可以看出，只有Pansharp法和G-S法融合后图像各波段与全色图像的相关系提高。WT法只在近红外波段(即B5波段)有很大的提高，在其他波段提高得较少或是下降。PCA法融合后图像的各个波段与全色图像的相关系数是负值，呈现出负相关关系。Brovey法相关系数值保持不变。IHS法融合图像相关系数值有所降低。

综合信息熵和相关系数这2个参数，在中等分辨率Landsat8图像融合中，G-S法的信息融入度最好，Pansharp次之，PCA法的信息融入度最差。

2.2.2.3 光谱保真度评价

不同融合方法获得的融合图像与原始图像的相关系数以及各种融合图像的偏差指数等见表6 。

表6 Landsat8融合图像的偏差指数和与原始多光谱图像的相关系数

从偏差指数可以看出，各种融合方法均对原始图像信息造成一定的扭曲，其中PCA法、Pansharp法、G-S法融合后图像的扭曲程度较低； WT法融合图像在各个波段上的扭曲值均比前3种方法的高； Brovey法融合图像扭曲程度最高,其次是IHS法。从波段来看，B6，B5，B4波段在各种方法融合图像中的扭曲程度都较大(如Brovey法和IHS法)。

从与原始多光谱图像的相关系数可以看出，PCA法中有6个波段呈现出负相关性，在B5波段和B9波段呈正相关，尤其是B9波段呈现高度的相关性； Pansharp法、G-S法都具有较高的相关性，在提高了融合图像空间分辨率的同时，较好地保留了原始多光谱图像的光谱信息； 其次是WT法； Brovey法融合后的图像与原始多光谱图像的相关性最低； IHS法在B4，B6波段呈现较高的相关性，而在B5波段相关性较低。

综合融合图像与原始图像的相关系数以及融合图像的偏差指数的分析结果可以看出，G-S法具有较高的光谱保真度，Pansharp法和Brovey法分别次之，IHS法、WT法和PCA法的光谱保真度较低。

3 结论

1)在空间信息融入方面，对于ZY-3图像，Pansharp法信息融入度最差，IHS法信息融入度最好，PCA法和Brovey法，G-S法和Pansharp法分别次之； 对于Landsat8图像，G-S法信息融入度最好，WT法信息融入度最差。

2)在光谱信息保真方面，对于ZY-3图像，PCA法具有较高的光谱保真度，IHS法、G-S法和Brovey法分别次之，WT法的光谱保真度最低； 对于Landsat8图像，G-S法具有较高的光谱保真度，Pansharp法和Brovey法分别次之，IHS法、WT法和PCA法的光谱保真度较低。

参考文献(References)：

[1] 沈涛,党安荣.遥感影像融合及高保真算法比较分析研究[J].微计算机信息,2010,26(14):1-3.

Shen T,Dang A R.The research on comparing and analyzing the remote sensing image fusion and algorithm with high spectral and spatial quality[J].Control and Automatic Publication Group,2010,26(14):1-3.

[2] 王广杰,周介铭,杨存建,等.基于不同算法的遥感影像融合分析[J].四川师范大学学报:自然科学版,2011,34(2):255-259.

Wang G J,Zhou J M,Yang C J,et al.Analysis of remote sensing image fusion based on different algorithms[J].Journal of Sichuan Normal University:Natural Science,2011,34(2):255-259.

[3] 孟京辉,陆元昌,刘刚,等.基于ETM+遥感图像的图像融合试验及评价方法[J].南京林业大学学报:自然科学版,2010,34(1):69-72.

Meng J H,Lu Y C,Liu G,et al.Trial of image fusion methods and quality assessment for ETM+image[J].Journal of Nanjing Forestry University:Natural Sciences Edition,2010,34(1):69-72.

[4] 谭永生,沈掌泉,贾春燕,等.中高分辨率遥感影像融合研究[J].遥感技术与应用,2007,22(4):536-542.

Tan Y S,Shen Z Q,Jia C Y,et al.The study on image fusion for medium and high spatial resolution remote sensing images[J].Remote Sensing Technology and Application,2007,22(4):536-542.

[5] 张荣群,赵明,王志成,等.IHS方法在QuickBird数据融合中存在的问题及其改进[J].国土资源遥感,2007,19(3):36-39.

Zhang R Q,Zhao M,Wang Z C,et al.The problem existent in the IHS method for QuickBird image fusion and the countermeasures for its improvement[J].Remote Sensing for Land and Resources,2007,19(3):36-39.

[6] 任琦,许有田,郭庆堂,等.QuickBird遥感影像数据处理方法的探讨[J].测绘科学,2009,34(s1):31-33.

Ren Q,Xu Y T,Guo Q T,et al.The discussion of QuickBird remote sensing image data processing[J].Science of Surveying and Mapping,2009,34(s1):31-33.

[7] 马友平,冯仲科,何友均,等.基于ERDAS IMAGINE软件的快鸟影像融合研究[J].北京林业大学学报,2007,29(s2):181-184.

Ma Y P,Feng Z K,He Y J,et al.QuickBird image fusion using ERDAS IMAGINE software[J].Journal of Beijing Forestry University,2007,29(s2):181-184.

[8] 徐胜祥,徐运清.基于Matlab的遥感图像融合效果的客观评价方法[J].测绘科学,2008,33(4):143-145.

Xu S X,Xu Y Q.Objective evaluation method of fusion performance for remote sensing image based on Matlab[J].Science of Surveying and Mapping,2008,33(4):143-145.

[9] 赵珍梅,马伟,王润生.三种高保真遥感影像融合方法效果评价与分析[J].地质与勘探,2010,46(4):705-710.

Zhao Z M,Ma W,Wang R S.Evaluation and analysis of three methods of fusing remote sensing images with high fidelity of spectral information[J].Geology and Exploration,2010,46(4):705-710.

[10]韩闪闪,李海涛,顾海燕.高分辨率遥感影像融合研究[J].测绘科学,2009,34(5):60-62.

Han S S,Li H T,Gu H Y.Study on image fusion for high spatial resolution remote sensing images[J].Science of Surveying and Mapping,2009,34(5):60-62.

[11]樊旭艳,尹连旺,付春龙,等.QuickBird遥感影像数据融合方法研究[J].装备指挥技术学院学报,2006,17(3):81-85.

Fan X Y,Yi L W,Fu C L,et al.Study on many fusion processing methods of QuickBird remote sensing image data[J].Journal of the Academy of Equipment Command and Technology,2006,17(3):81-85.

[12]张玉君.Landsat 8简介[J].国土资源遥感,2013,25(1):176-177.

Zhang Y J.Landsat8 introduction[J].Remote Sensing for Land and Resources,2013,25(1):176-177.

[13]徐涵秋,唐菲.新一代Landsat系列卫星:Landsat 8遥感影像新增特征及其生态环境意义[J].生态学报,2013,33(11):3249-3257.

Xu H Q,Tang F.Analysis of new characteristics of the first Landsat 8 image and their eco-environmental significance[J].Acta Ecologica Sinica,2013,33(11):3249-3257.