一种尺度感知型遥感图像融合新方法

李 旭，高雅楠，Shigang Yue

(1. 西北工业大学电子信息学院，西安 710129；2. 林肯大学计算机科学学院，林肯 LN6 7TS)

一种尺度感知型遥感图像融合新方法

李 旭1，高雅楠1，Shigang Yue2

(1. 西北工业大学电子信息学院，西安 710129；2. 林肯大学计算机科学学院，林肯 LN6 7TS)

针对在高分辨率星载遥感图像融合中容易出现的空间或光谱信息失真问题，提出一种基于滚动导向滤波的多光谱与全色光图像融合新方法。该方法采用主成分分析(PCA)设计融合模型，利用具有尺度感知特性的滚动导向滤波器准确地提取出多光谱图像第一主成分的大尺度结构信息和全色光图像的小尺度细节信息，然后将细节信息与结构信息相结合，经过主成分分析反变换得到融合结果。本文采用GeoEye-1卫星数据进行试验，主观分析与客观评价表明,该方法能够在保持图像光谱信息的同时显著提高融合图像的空间分辨率，且融合质量优于现有的几种融合方法。

滚动导向滤波器；图像融合；全色光图像；多光谱图像

0 引 言

随着星载成像传感器的快速发展，许多在轨卫星，例如ZY-3、GeoEye-1和WorldView-3等能够同时捕获高分辨率的全色光和多光谱图像[1-2]。由于传感器设计的物理局限，全色光(Panchromatic, PAN)图像覆盖较宽的光谱范围(通常从可见光到近红外)，具有高的空间分辨率；相反地，多光谱(Multispectral, MS)图像具有较高的光谱分辨率，但是空间分辨率较低。可以通过图像融合技术将多光谱图像和全色光图像进行融合，充分利用它们之间的互补性，从而提高多光谱图像的空间分辨率。目前针对高分辨率星载多光谱与全色光图像的融合研究仍是遥感信息处理领域的热点问题[3-4]。

近年来，边缘保持型滤波器开始被应用于遥感图像融合的研究中，有效地克服了光谱失真的问题。2014年Kaplan等[5]提出了一种基于多尺度双边滤波的多光谱图像融合方法(Multiscale bilateral filter，MBF)；2015年Li等[6]利用归一化非局部均匀滤波(Normailzed nonlocal means，NNLM)设计出一种新型融合方法；2016年Yin等[7]提出了一种基于彩色导向滤波的图像融合方法(GF-based CS with multispectral version，GFCS-M)。边缘保持型滤波器的边缘感知过程是在保持高对比度边缘的同时去除低对比度的变化。然而，边缘保持的方法不能够从细节中分离出结构，不利于遥感图像的空间细节准确提取。Zhang等[8]在2014年提出了一种具有尺度感知能力的滚动导向滤波器(Rolling guidance filter，RGF)，该滤波器能够感知不同尺度的结构，从而在尺度的衡量下完全平滑细节，保留结构信息。2016年Lillo-Saavedra等[9]针对农业分块应用首先提出了利用滚动导向滤波分解图像以获取其细节信息的遥感图像融合方法(Pansharpening based on rolling guidance filter，PSRGF)，但是该方法局限于输入图像的场景内容，仅适用于具有大尺度结构边缘或对象的农业遥感图像。

由于PAN图像和MS图像具有不同的空间分辨率，场景中的各种目标和结构是以不同的尺寸而显示。PAN图像中的小尺寸细节通常不会出现在MS图像中，而MS图像中的大尺度结构则描述了缓慢的空间颜色转换与平坦区域。为了从PAN图像和MS图像中准确地提取空间信息，分离出不同尺度的结构是一个关键问题，最终会影响融合图像的质量。本文利用滚动导向滤波对输入图像进行分解，得到结构信息图像和纹理细节图像，并将包含MS图像主要特征的大尺度结构信息和包含PAN图像主要特征的小尺度纹理细节结合，通过主成分分析(Principal component analysis，PCA)构建融合模型。

1 滚动导向滤波

滚动导向滤波能够通过快速迭代去除细小结构的同时保持较大的结构。滚动导向滤波分为两步进行：细小结构的移除和边缘的恢复。图1为滚动导向滤波流程图。

第一步：细小结构的移除

第一步使用高斯滤波器移除细小的结构。假定输入图像与高斯滤波输出图像分别为P和G。σs表示模糊空间尺度。高斯滤波器的尺寸决定了结构的尺度，所以根据尺度空间理论[10],图像中尺度小于σs的结构将会被移除。该滤波器由下式表示:

(1)

第二步：边缘的恢复

该步骤利用迭代算法来恢复图像的边缘。其中，图像J作为不断迭代更新的指导图像，P是与第一步相同的输入图像。J1为第一步的输出图像，即图像G，Jt+1为第t次迭代的结果，其值由以下联合双边滤波操作得出

(2)

该过程可以理解为根据图像Jt的结构来平滑图像P，这个迭代算法可以匹配各类联合滤波器。鉴于导向滤波器可以避免双边滤波器产生的梯度翻转效应，本文选择导向滤波器[11]替换联合双边滤波器并且将Fσs,σr,t(P)表示滚动导向滤波算法，其中P表示输入图像，参数σs和σr分别表示滤波模糊空间尺度和灰度相似度，参数t表示迭代次数。

2 基于滚动导向滤波的融合方法

1) 选择国际上常用的双三次插值法将原始MS图像的N个波段上采样到与原始全色光图像P(见图3(a))相同尺寸，可得到低分辨率的上采样MS图像(见图3(b)真彩色合成)，记为Mi，其中i=1,…,N。

2) 为了减少上采样得到的Mi各个波段的信息交叉和信息冗余，对N个Mi波段作PCA正变换，获取N个独立的成分图像Ci。第一主成分图像包含了多光谱图像的绝大多数地物信息，因此以下步骤只考虑第一主成分。

3) 与全色光图像P相比，第一主成分图像C1(见图3(c))较为模糊，主要以大尺度结构信息为主，缺乏丰富的纹理细节信息。为使其大尺度结构特征信息更为凸出，将C1作为滚动导向滤波输入图像进行滤波处理，由式(3)得到C1的大尺度结构层图像L1(见图3(d)),可观察到C1经过滤波后消除了块效应且平滑了边缘

L1=Fσs,σr,t(C1)

(3)

4) 由下式计算出强度分量I：

(4)

为尽可能提取P的空间细节，本步骤采用直方图匹配法将P与I进行匹配处理得到P′，使之与强度分量具有相同的均值和方差

(5)

式中：μP与μI分别为P和I所有像素的均值，σP与σI分别为P和I的所有像素的标准差，A是与P相同尺寸的全一矩阵。

5) 为了提取P′的空间细节，首先将P′作为滚动导向滤波输入图像进行滤波处理，得到P′的大尺度结构层图像L2，再由P′和L2提取小尺度细节层D。由图3(e)可知，D基本提取了P′中的空间信息，图像的细节、纹理清晰度较高

L2=Fσs,σr,t(P′)

(6)

D=P′./L2

(7)

式中：“./”定义为两个矩阵对应元素相除。

6) 将全色光图像的细节信息D以乘性方式注入至第一主成分边缘层L1得到更新后第一主成分图像C1new(见图3(f))，观察到更新后的图像清晰度有了明显地提高

C1new=D*L1

(8)

式中：“*”定义为两个矩阵对应元素相乘。

7) 将更新后的第一主成分图像C1new与经PCA变换得到的其他N-1个成分图像Ci(i=2,…,N)作PCA反变换得到N波段融合结果Si。

3 试验结果与评价

3.1 试验数据

3.2 融合结果分析

3.2.1主观分析

与原始的多光谱图像相比，六种融合结果的空间分辨率均有不同程度的提高。对于草坪与植被区域，PCA方法(见图4(d))存在明显的颜色失真，与原始彩色图像相比颜色变为浅绿。MBF方法(见图4(e))与MGF方法(见图4(g))光谱保持能力比PCA方法好，但依然存在缺陷。对于图像中心的白色与草坪相接区域，PCA方法的融合图像十分清晰，边缘保持较好，但MBF方法、GFCS-M方法(见图4(f))与Meng方法(见图4(h))都产生了块效应，可能是由于空间细节注入过量造成的。MGF方法则出现了较明显的光谱扭曲现象，图像中的高亮白色区域偏暗。观察发现本文方法(见图4(c))不仅提高了原始多光谱的空间分辨率，能够较好地保持图像的边缘信息，而且图像整体的亮度分布与原始多光谱图像接近，视觉效果为最优。

3.2.2客观分析

本文采用以下几种常用的客观评价指标对各种融合结果进行评价[15-16]。

1) 相关系数：融合图像和参考图像在各个波段上的相关系数，记为C。数值越大，说明融合图像的光谱信息保持越好，其理想值为1。

2) 通用图像质量指数：衡量图像的相关性失真、亮度失真以及对比度失真情况，记为U。其结果越接近于1，融合结果质量越好。

3) 相对全局维数综合误差：衡量融合图像所有波段的光谱扭曲程度，记为E。数值越小，融合图像的光谱扭曲程度越小，其理想值为0。

4) 质量评价指标Q4：衡量四波段多光谱融合质量的综合指标，记为Q。数值越大，说明融合图像的空间分辨率与参考图像越接近，光谱失真度越小，其理想值为1。

5) 无参考图像评价指标(Quality with no reference, QNR)：QNR指标可以同时测定融合图像的空间信息丢失情况和光谱特征扭曲情况，记为D。该值越接近1，融合质量越高。

表1列出了这四种方法融合结果的客观评价，其中C和U分别表示四个波段计算结果的平均值。整体看来，客观评价结果与主观分析一致。PCA方法测得的C，E和D指标为最差，MGF方法测得的U和Q为最差，说明这两种方法融合结果相对不理想。MBF方法优于PCA和MGF方法，其中C，U和E数值有较大的提升。GFCS-M与Meng方法测得的指标数值接近，说明融合结果相似，并且相对其他三种方法较好。对于这些指标，本文方法都是最优值，说明本文提出的融合方法在细节增强和光谱信息完整度的保持方面优势更大。

表1 GeoEye-1卫星融合结果的客观评价Table 1 Quality scores of the GeoEye-1 satellite pansharpened results

4 结 论

针对高分辨率星载全色光和多光谱图像的融合，本文介绍了一种尺度感知型图像融合新方法。由于空间分辨率的差异，PAN图像和MS图像包含不同尺度的地物目标，因此本文利用滚动导向滤波器的尺度感知性能对PAN图像和MS图像进行信息分解，根据PAN图像细节信息较为丰富而MS图像大尺度结构信息较为突出的特点，将PAN图像的细节信息注入到MS图像中，并结合PCA变换构建出融合模型。融合试验采用GeoEye-1卫星图像进行试验验证，并与PCA、MBF、GFCS-M、MGF和Meng等五种方法进行主观和客观分析比较。试验结果表明，本文方法在保持MS图像的光谱信息和大尺度边缘结构的同时，又能提高其空间细节信息，取得了高质量的融合结果。滤波器的参数选择对融合质量的影响将是后续研究工作的内容之一。

[1] 李旭. 一种用于WorldView-2遥感图像的波段分组融合方法[J]. 宇航学报, 2015, 36(3): 324-329. [Li Xu. Grouped band based fusion method for WorldView-2 satellite images [J]. Journal of Astronautics, 2015, 36(3): 324-329.]

[2] 王力彦, 赵冬, 陈建平. 基于光谱响应函数的ZY-3卫星融合算法研究 [J]. 宇航学报, 2014, 35(8): 938-945. [Wang Li-yan, Zhao Dong, Chen Jian-ping. Study on ZY-3 image fusion algorithms based on spectral response function[J]. Journal of Astronautics, 2014, 35(8): 938-945.]

[3] Ghassemian H. A review of remote sensing image fusion methods [J]. Information Fusion, 2016, 32: 75-89.

[4] Li S T, Kang X D, Fang L Y, et al. Pixel-level image fusion: a survey of the state of the art [J]. Information Fusion, 2017, 33: 100-112.

[5] Kaplan N H, Erer I. Bilateral filtering-based enhanced pansharpening of multispectral satellite images [J]. IEEE Transactions on Geoscience and Remote Sensing, 2014, 11(11): 1941-1944.

[6] Yin H, Li S T. Pansharpening with multi-scale normalized non-local mean filter: a two-step approach [J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53(10): 1-12.

[7] Liu J M, Liang S L. Pan-sharpening using a guided filter [J]. International Journal of Remote Sensing, 2016, 37(8): 1777-1800.

[8] Zhang Q, Shen X Y, Xu L, et al. Rolling guidance filter [C]. 2014 European Conference on Computer Vision, Zurich, Switzerland, September 6-12, 2014.

[9] Lillo-Saavedra M, Gonzalo-Martin C, Garcia-Pedrero A, et al. Scale-aware pansharpening algorithm for agricultural fragmented landscapes [J]. Remote Sensing, 2016, 8(10): 1-19.

[10] Lindeberg T. Scale-space theory: a basic tool for analyzing structures at different scales [J]. Journal of Applied Statistics, 1994, 21(2): 225-270.

[11] He K M, Sun J, Tang X O. Guided image filtering [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2013, 35(6): 1397-1409.

[12] Wu J, Liu J, Tian J W, et al. Wavelet-based remote sensing image fusion with PCA and feature product [C]. IEEE International Conference on Mechatronics and Automation, Orlando, USA, May 15-19, 2006.

[13] Upla K P, Joshi S, Joshi M V, et al. Multiresolution image fusion using edge-preserving filters [J]. Journal of Applied Remote Sensing, 2015, 9: 1-26.

[14] Meng X C, Li J, Shen H F, et al. Pansharpening with a guided filter based on three-layer decomposition [J]. Sensors, 2016, 16(7): 1-15.

[15] Kallel A. MTF-adjusted pansharpening approach based on coupled multiresolution decompositions [J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53 (6): 3124-3145.

[16] Vivone G, Alparone L, Chanussot J, et al. A critical comparison among pansharpening algorithms [J]. IEEE Transactions on Geoscience and Remote Sensing, 2015, 53 (5): 2565-2586.

ANovelScale-AwarePansharpeningMethod

LI Xu1, GAO Ya-nan1, Shigang YUE2

(1. School of Electronics and Information, Northwestern Polytechnical University, Xi’an 710129, China;2. School of Computer Science, University of Lincoln, Lincoln LN6 7TS, UK)

To reduce the spatial and spectral distortions occurring in fusing remote sensing images, a novel pansharpening method using rolling guidance filter is proposed. The fusion model is designed with principal component analysis (PCA). In order to extract the small-scale detail information from a panchromatic image and large-scale structure information from the first component of a multispectral image, the scale-aware capability of a rolling guidance filter is employed. Then the detail information and structure information are combined. Through the inverse PCA transformation, the pansharpened result is obtained. The experiment is carried out on GeoEye-1 satellite data. The subjective analysis and objective evaluation show that the proposed method can greatly improve the clarity of the fused image while maintaining the spectral information, which is superior to some existing pansharpening methods.

Rolling guidance filter; Image fusion; Panchromatic image; Multispectral image

2017- 06- 09;

2017- 09- 29

国家自然科学基金(61301195)；欧盟H2020-ULTRACEPT(778062)；西北工业大学研究生创意创新种子基金(Z2017138)

TP751

A

1000-1328(2017)12- 1348- 06

10.3873/j.issn.1000- 1328.2017.12.012

李旭(1979-)，男，博士，副教授，主要从事多传感器信息获取与处理方面的研究。

通信地址：西安市碑林区友谊西路127号西北工业大学电子信息学院(710072)

E-mail: nwpu_lixu@126.com