资源三号卫星全色与多光谱影像融合方法

黄先德，周　群，王　兴

(重庆邮电大学通信学院，重庆400065)

Fusion of Resources Satellite-3 Remote Sensing Panchromatic and

Multispectral Images

HUANG Xiande，ZHOU Qun，WANG Xing



资源三号卫星全色与多光谱影像融合方法

黄先德，周群，王兴

(重庆邮电大学通信学院，重庆400065)

Fusion of Resources Satellite-3 Remote Sensing Panchromatic and

Multispectral Images

HUANG Xiande，ZHOU Qun，WANG Xing

摘要：在处理新型高分辨率遥感卫星影像时，传统的像素级融合方法会引起绿色植被区域较大的光谱扭曲。本文提出一种适合资源三号卫星影像的融合新方法，可以很好地解决此问题。首先对全色图像进行低通滤波并下采样得到退化后的图像HP，利用回归方法建立多光谱影像与图像HP的方程求解回归系数，考虑到绿色植被颜色失真严重，采用NDVI进行分类，分别求取绿地和非绿地的回归系数进行分类融合。试验结果证明，该方法在提高多光谱影像分辨率的同时，尽可能多地保持了光谱信息，特别是绿色植被区域，融合效果要好于其他方法。

关键词：遥感影像融合；资源三号；线性回归；分类；评价

一、引言

遥感是一种快速、准确、远距离获取大面积地物的现代信息技术，是智慧城市建设和地理国情普查的重要手段，是政府及相关单位准确掌握城市发展过程中各种相关信息变化的重要工具。很多国家都积极开展遥感卫星的研制及发射工作，目前已发射的遥感卫星有：美国的GeoEye系列卫星和World View系列卫星，法国的SPOT系列卫星和Pleiades系列卫星，德国的RapidEye卫星，日本的ALOS系列卫星，印度的Cartosat系列卫星，中国的资源一号、二号、三号卫星以及遥感1号—遥感16号系列卫星等。大多数的地球遥感卫星并不能直接呈现出高分辨率多光谱影像，而是只能同时搭载低分辨率多光谱(multispectral, MS)影像和高分辨率全色(panchromatic, PAN)影像。

资源三号(ZY-3)测绘卫星是我国首颗民用高分辨率光学传输型立体测图卫星[1]，兼具遥感测量和地貌资源调查功能。资源三号卫星可以同时搭载2.1 m分辨率的全色传感器和5.8 m分辨率的多光谱传感器，可以提供非常丰富的三维几何信息，将实时遥感影像各种数据传回地球。作为目前国内最新发射的遥感影像卫星，相比国内其他遥感卫星，资源三号遥感卫星在影像的分辨率和图像的精度方面都有着明显的优势。相比于国外其他卫星，虽然在分辨率方面还有一定的差距，综合市场价格等因素，仍然具有重要的研究价值。表1为资源三号卫星传感器所搭载的波段参数。遥感影像融合需要将低空间分辨率的多光谱影像与高空间分辨率的全色影像进行融合，获得同时具有丰富的光谱信息和高空间分辨率的融合影像。

表1　资源三号卫星传感器影像类别和波段参数

图像融合按照研究对象可以分为3类，从低层次到高层次依次是像素级融合(pixel-level)、特征级融合(feature-level)和决策级融合(decision-level)。像素级融合保留了较多的原始图像信息，目前研究的重点主要集中在像素级融合，其常用方法包括IHS变换法、PCA变换法、Brovey变换法。这些方法对SPOT的全色影像与低分辨率的 Landsat TM的多光谱影像融合具有非常好的效果，不仅清晰度高，而且色彩还原度也非常好。但是对于之后发射的超高型遥感影像卫星，如IKONOS、QuickBird的全色影像与多光谱影像的融合，颜色失真非常明显。通过对传统融合方法的分析, Zhang得出了新型高分辨力遥感图像失真的原因，由于全色影像的波段在新型传感器中发生了变化，已从可见光波段扩展到近红外波段，全色影像的光谱范围要大于多光谱影像的光谱范围[2]。

IKONOS、QuickBird 等影像在 IHS 变换融合法下进行融合时会产生失真，主要原因是影像的全色波段与构建的强度分量 I 之间的差异过大，直接用这样的全色波段来替换强度分量 I易造成颜色失真。Tu等在构建 IKONOS 的低分辨率全色影像时通过加入近红外波段，使得高分辨率全色影像与低分辨率全色影像的相关系数得到了提高，提出了广义快速的 IHS 变换融合法(GIHS)[3]。传统IHS 变换法只能进行三波段融合，而GIHS 变换融合法对此进行了改进，从三波段扩展到多波段融合，融合效果有一定的提升，但是光谱失真效果依然存在。在像素级影像融合统一框架确定的条件下[4]，仍然存在着对 LRP的不准确估计的问题，想要准确地获取空间细节信息就变得非常不现实。因此解决影像失真的最好办法是找到合适的LRP的构建方式。

二、卫星的光谱响应特性

1. 遥感卫星的光谱范围

遥感影像卫星中全色影像和多光谱影像的光谱覆盖具有一定的重叠性。光谱覆盖范围的变化导致了光谱失真， 表2展示出了不同遥感卫星全色影像和多光谱应的光谱覆盖。从表中可以看出，不同的遥感卫星，全色影像覆盖的多光谱影像波段各不一样，Landsat7(ETM+)的全色波段只覆盖了红、绿、近红外波段，并没有覆盖蓝色波段。IKONOS卫星和QuickBird卫星的光谱范围在所有卫星中最广，而且覆盖了所有波段。SPOT 5等光谱覆盖都有一定的局限性，并没有全部覆盖。ZY-3虽然光谱范围只延伸到了0.80 μm，但是也覆盖了所有波段。由于卫星拍摄地球受太阳光的影响，绿色植被往往比地形的反射率要高，导致拍摄的影像存在绿色植被颜色偏差的可能。

表2　全色传感器的光谱范围

2. 遥感卫星的光谱响应

遥感影像卫星大多数都可以拍摄高分辨率全色影像和低分辨率多光谱影像。最理想的是全色影像的波段覆盖范围刚好与多光谱影像的覆盖范围完美重叠，而且多光谱影像各个波段恰好分开不重叠(如图1所示，以IKONOS为例)，达到全色波段的辐射能量完全等于多光谱影像各个波段辐射能力的和。传感器记录的辐射能量是入瞳处的辐射能量与传感器的光谱响应共同作用的结果[5]。可实际情况如图1(b)所示，全色影像的覆盖范围要大于多光谱影像的覆盖范围，而且多光谱影像的各个覆盖范围也没有分离，而是相互重叠的。

Lk=∫L(λ)Rk(λ)dλ

(1)

式中，λ为波长；Lk为k波段记录的辐射亮度值(inband radiance)；L(λ)为入瞳处的辐射能量(atapeture spectral radiance)；Rk(λ) 为波长λ处的光谱响应。资源三号卫星的全色波段覆盖了4个多光谱影像的波段，因此可以定义4个权值来估计全色波段的辐射值，即

Pan=wRR+wGG+wBB+wNIRNIR+other

(2)

式中，全色、红、绿、蓝、近红外波段的辐射值分别对应关系式中的Pan、R、G、B、NIR；wR、wG、wB、wNIR为各相应波段的加权系数；other 项主要是考虑到IKONOS卫星的全色影像的波段覆盖要比多光谱影像的波段覆盖要广，因此加上这一项。对上面公式加以总结归纳可得

图1　IKONOS卫星的传感器光谱响应

(3)

式中，Pan表示为全色影像；MSi表示为多光谱影像，准确地说是被全色波段光谱范围覆盖下的多光谱波段；wi为对应波段的加权系数；other 项则主要是因为一些卫星的全色影像波段的覆盖范围要大于多光谱影像的覆盖范围 (如 IKONOS)，所以需要加上此项[6]。

三、融合方法

1. 像素级遥感影像融合统一框架

Dou 将数学推导和物理假设分离，提出了像素级遥感影像融合统一理论模型[4]

HRM(i,j)=LRM(i,j)+W(i,j)δ(i,j)

(4)

δ(i,j)=HRP(i,j)-LRP(i,j)

(5)

式中，HRM(i, j)为融合的高分辨率多光谱影像记录；(i, j)为图像在这一点具体的记录值；LRM(i, j)为重采样后的低分辨力多光谱影像；W (i, j)为空间细节注入方式；δ(i,j)为提取出来的细节信息。空间细节信息通过式(5)来获得，其中，HRP表示高分辨力的全色图像；LRP表示低分辨力的全色图像。从以上两个公式可看出，影像融合的关键在于两个方面：① 提取空间细节信息δ；② 注入的空间细节系数W。空间细节信息主要由高分辨率全色影像和低分辨率全色影像的差值决定，高分辨率全色影像已知，那么研究重点就是如何合理地构造低分辨率全色影像LRP。LRP的构建方法既可以从高分辨率全色影像降低分辨率获取，也可以由多光谱影像线性合成。为了增加多光谱影像与全色影像的相关性，本文研究的重点是如何利用多光谱影像去构造低分辨率全色影像LRP。

利用图像之间的相关性拟合构造LRP。目前W还没有形成统一的定论，在式(4)中，W与δ相互独立，因此取用GIHS变换的系数{1,1,1,1}[7]，方便与GIHS方法进行比较。

2.LRP的构造形式

根据上文介绍，低分辨率全色影像可以由多光谱影像经过线性组合得到。低分辨率全色影像和高分辨率全色影像相差的是细节信息，利用其线性关系，可以得出

(6)

式中，MSi为参与拟合LRP的多光谱影像波段，或者说被全色波段光谱范围所覆盖的多光谱影像波段；wi为相应波段的加权系数。对于资源三号影像卫星，i为1，2，3，4波段。本文研究的重点是加权系数wi，许多学者对此也都提出了自己的见解和看法。通过对多光谱传感器的光谱响应值与IKONOS 全色进行线性回归，Dou得到了适用于辐射值的加权系数w=[119 708 371180 105 230111 355 215113 615 748][8]；依据多光谱传感器与全色光谱响应曲线覆盖的面积，Boggione 等得到 Landsat ETM+各多光谱波段辐射值的加权系数w=[0. 250.230.52][9]。而光谱响应函数(spectral response function， SRF)是完全理想状态下测量出来的数值，在卫星影像的图像摄取过程中，会受到很多方面的影响，如大气环境状态、卫星拍摄影像的角度、成像造成的误差、影像包括波段的范围等，实际环境与需要的理想环境存在很大差距，不能直接对影像进行处理。因此根据 SRF 得到的加权系数并不能对所有的影像处理都达到较好的效果，尤其是那些经过光反射和气候条件比较差的时候拍摄的影像。资源三号卫星在成像过程中，需要考虑到对此有影响的传感器调制传递函数(modulation transfer functions，MTF)，应该首先对Pan影像进行5×5的高斯低通滤波，并将其下采样退化到与MS影像相同的分辨力[10]，然后根据式(6)对多光谱影像进行线性回归，利用最优化理论得到参与融合波段的回归系数。

3. 基于分类思想的LRP重构

通过上文分析，低分辨率全色影像LRP可以由多光谱影像线性组成。由于卫星影像在拍摄地面过程中，绿地的反射率要高于其他地貌，如果用统一的回归方法对全体进行处理，很难达到理想的效果。因此可以采取分类回归的方法来分别求取回归系数，对不同的地面采取不同的方法求得各自的回归系数。选用归一化植被指数(normalized difference vegetation index，NDVI)来进行图像分类，即

NDVI=(p(nir)-p(red))/(p(nir)+p(red))

(7)

式中，NDVI的范围为-1≤NDVI≤1，如果NDVI<0，表明影像中地面覆盖主要为云、水、雪等；如果NDVI=0，表明影像中地面为岩石或裸地等，或者说NIR和R近似值为1；如果NDVI>0，表明影像中地面主要覆盖的为绿色植被，数值越大，表明覆盖度越大。总体流程如图2所示，其中，括号内的数值表示影像分辨率的大小，m、n表示多光谱影像的分辨率；t表示全色影像与多光谱影像的分辨率之比；PAN表示原始全色影像；MS表示原始多光谱影像；HP表示进行低通滤波并下采样得到退化后的图像。算法流程步骤如下：

1) 对全色图像进行高斯低通滤波处理，并下采样得到与多光谱影像相同分辨率的图像HP。

2) 对多光谱影像进行分类回归，采用NDVI方法分为两类绿地和非绿地，当NDVI>0时采用绿地的回归系数wi1，当NDVI≤0时，采用非绿地的回归系数wi2。

3) 对不同地貌的全色影像和多光谱影像进行线性回归，一共得到2组构建LRP的回归系数wi1和wi2。具体回归方法为将多光谱影像作为回归方程中的LRM，图像HP作为回归方程中的LRP，构造线性回归方程，求解回归系数。

4) 对HRP和LRP进行直方图匹配，采取分类回归方法，不方便直接匹配，选取经典的GIHS方法用强度分量I=(R+G+B+NIR)/4进行匹配。

5) 按照上述方法,根据式(6)求得低分辨率全色影像LRP。

6) 将第5)步得到的LRP用式(4)和式(5)进行融合，得到融合图像HRM。

图2　本文方法的流程

四、融合质量评价

常用的评价方法主要包括两种：主观评价和客观评价。

良好的评价应该是客观评价方法得到的结果与主观评价方法得到的结果相一致或将主、客观方法相结合进行评定。试验中用到的客观评价标准有相对平均光谱误差(RASE)、相对全局维数综合误差(ERGAS)，以及相关系数(CC)和空间相关系数(sCC)。

1) 相对平均光谱误差(RASE)。其中，M为原始多光谱影像的N个光谱波段的平均辐射值。RMSE为均方误差。

(8)

(9)

2) 相对全局维数综合误差(ERGAS)。

(10)

式中，h表示参与融合影像的高空间全色影像的分辨率；l表示参与融合影像的低分辨率光谱图像的分辨率；N表示参与融合图像的波段数； Mi为每个光谱波段的平均辐射值。

3) 相关系数(CC)。R和F分别代表融合后的影像和原始多光谱影像。定义如下

Corr(R.F)=

(11)

4) 空间相关系数(sCC)[11]。先对融合影像与全色影像进行高通滤波，选用的是拉普拉斯滤波器，接着计算滤波后的全色影像与融合影像所有波段的相关系数。

五、试验结果及评价

本文使用国内资源三号卫星影像提供的重庆地区数据，图像的获取时间为2013年4月13日，全色影像和多光谱影像的分辨率分别为2.1m和5.8m，全色图像大小为13 000像素×24 000像素，为了方便进行处理，从中选取512像素×512像素的区域，在多光谱影像中选取同样区域进行融合。图像区域内包含了建筑、道路、绿地、植被等，如图3和图4所示。为了验证该方法的有效性，另外选取了几种常用方法对试验图像进行了融合：①基于FIHS变换的融合方法；②基于GIHS变换的融合方法；③基于Brovey变换的融合方法。图3和图4为原始高分辨率全色影像和低分辨多光谱影像，图5—图7依次为FIHS方法、GIHS方法、Brovey变换方法处理的结果，图8为本文采取分类拟合方法得到的结果。试验通过主观评价和客观评价对试验结果进行分析，基于分类构造LRP的回归系数见表3。

表3　资源三号卫星分类结果计算机的LRP的加权系数

从视觉效果上可以看出，4 种融合方法获得的影像空间分辨率有明显的提高，更加清晰、更容易判读。FIHS和GIHS两种方法在空间信息增强方面效果都非常好，同样也造成了光谱失真严重，特别是绿色植被覆盖区域，颜色整体偏淡，而一些蓝色建筑颜色偏深，也就是说在保持光谱信息能力方面存在一定的缺陷。Brovey方法在颜色保持方面好于GIHS方法，两者绿色植被区域均有提升，但Brovey方法在蓝色建筑呈现方面颜色偏暗，失真严重，在清晰度方面逊色于GIHS方法。本文方法从目视效果来看绿色植被的还原度最高，整体颜色保持度较好，没有明显的失真现象，裸地和一些建筑方面也有提升，但是在蓝色建筑方面与其他方法一样，颜色偏暗。从清晰度来看同样达到了良好的效果，具体比较要从客观的评价指标来评判。

图3　原始全色图像

图4　原始多光谱图像

图5　FIHS方法图

在试验中，选取近些年来使用较多的RASE、ERGAS、CC、sCC这4个参数来进行对比分析。主要考察空间信息的增强能力及光谱信息的保持能力。各个参数的统计值见表4。

图6　GIHS方法

图7　Brovey方法

图8　本文方法

分析得出，在光谱保持性方面，由于GIHS方法加入了近红外波段，使之与多光谱影像相关性增强，光谱保持效果明显优于FIHS。 Brovey方法和本文方法光谱性较好，绿色植被还原度较高，特别是本文方法，由于单独对绿色植被进行了回归，找出了合适的回归系数，因此失真非常小。但是两者也都存在着同样的缺陷，蓝色建筑方面颜色都出现了不同的加深。在清晰度方面略有下降，也验证了我们目视得到的结果，GIHS在稍微降低清晰度的同时大大提高了光谱保真度。对于Brovey方法，从数据上看颜色保持方面优于GIHS方法，但是清晰度下降太快。本文方法由于采用分类融合法，在光谱保真度方面优于其他方法，清晰度远远高于Brovey方法，接近GIHS方法。

表4　图像融合评价参数统计

六、结束语

本文提出了一种适合资源三号卫星影像的融合新方法，将影像分为绿地和非绿地，采取分类回归的方法拟合低分辨率全色图像，可以很好地保持绿色植被的光谱特性。与其他几种方法相比，在保证清晰度的同时，光谱信息失真明显减少。光谱保持性和清晰度为判别图像的两个标准，而这两个指标又相互对立成一种病态关系。以后的研究方向将主要集中在如何合理地构造出低分辨全色影像，对线性回归模型的优化、利用多种数学工具解决优化方程将成为研究的热点。

参考文献：

[1]LI D R. China’s First Civilian Three-line-array Stereo Mapping Satellite: ZY-3[J]. Acta Geodaetica et Cartographica Sinica， 2012， 41(3): 317-322.

[2]ZHANG Y. Understanding Image Fusion[J]. Photogrammetric Engineering and Remote Sensing, 2004, 70(6): 657-661.

[3]TU T M， HUANG P S， HUNG C L， et al. A Fast Intensity-Hue-Saturation Fusion Technique with Spectral Adjustment for IKONOS Imagery[J]. IEEE Geoscience and Remote Sensing Letters， 2004， 1(4): 309-312.

[4]DOU W，CHEN Y H，LI X B，et al. A General Framework for Component Substitution Image Fusion：An Implementation Using the Fast Image Fusion Method [J]. Computers and Geosciences，2007，33(2)：219-228.

[5]ŜVAB A, OŜTIR K. High-Resolution Image Fusion[J]. Photogrammetric Engineering & Remote Sensing, 2006, 72(5): 565-572.

[6]CHU H， CHEN H G，ZHU W L. A New Remote Sensing Image Fusion Algorithm in the Decimated Wavelet Domain [J]. Opto-Electronic Engineering， 2009， 36(2): 91-95.

[7]王忠武，赵忠明，刘顺喜. IKONOS 图像的线性回归波段拟合融合方法 [J]. 遥感学报，2009，14(1)：43-54.

[8]窦闻，陈云浩. 计入波段间相关性的高通调制图像融合方法 [J]. 红外与毫米波学报，2010，29(2)：140-144.

[9]BOGGIONE G A, PIRES E G, SANTOS P A, et al. Simulation of a Panchromatic Band by Spectral Combination of Multispectral ETM+ Bands[C] ∥Proc. ISRSE.Waikoloa,Hawaii,USA:[s.n.], 2003：321-324.

[10]DOU W， CHEN Y H， HE H M. Theoretical Framework of Optical Remotely Sensed Image Fusion [J]. Acta Geodaetica et Cartographica Sinica， 2009， 38(2): 131-137.

[11]徐涵秋. 基于 SFIM 算法的融合影像分类研究 [J]. 武汉大学学报：信息科学版，2004，29(10)：920-923.

[12]AIAZZI B， BARONTI S， LOTTI F, et al.A Comparison between Global and Context-Adaptive Pansharpening of Multispectral Images [J]. IEEE Geoscience and Remote Sensing Letters， 2009， 6(2): 302-306.

引文格式： 黄先德，周群，王兴. 资源三号卫星全色与多光谱影像融合方法[J].测绘通报，2015(1)：109-114.DOI:10.13474/j.cnki.11-2246.2015.0023

作者简介：黄先德(1989—)，男，硕士生，主要研究方向为遥感与影像融合与分类。E-mail： hxdlwp-0 01@163.com

收稿日期：2014-07-15

中图分类号：P236

文献标识码：B

文章编号：0494-0911(2015)01-0109-06