基于高频引导网络的遥感图像融合方法

李佳旭, 石陆魁, 张 军

（河北工业大学人工智能与数据科学学院,天津 300401）

0 引言

遥感卫星受到物理因素和经济成本的限制通常无法直接产生同时具有高空间分辨率和高光谱分辨率的遥感图像，仅能产生同一场景下的高空间分辨率全色图像和低空间分辨率多光谱图像[1-2]。例如，IKONOS和QuickBird等卫星提供同一场景下的单波段高空间分辨率全色图像和4波段低空间分辨率多光谱图像。高光谱分辨率遥感图像可以提高地物分类的准确度；高空间分辨率遥感图像具有更清晰的地表纹理，可以提升目标检测[3-4]和变化检测[5-6]等任务的性能。遥感图像空谱融合通过使用全色图像中的空间信息来恢复低空间分辨率多光谱图像的高频空间纹理从而生成高空间分辨率多光谱图像。

传统的遥感图像空谱融合方法包括成分替换法、多分辨分析法、稀疏表示法和基于模型优化的方法[7]等，其中较为常用的方法是成分替换法和多分辨分析法。成分替换法有Brovey变换、主成分分析法、亮度—色度—饱和度变换法（Intensity-Hue-Saturation，IHS）和施密特正交化方法等。成分替换法首先通过对多光谱图像进行空间域变换后将光谱信息和空间信息存储在不同的组件中，然后将校正后的全色图像替换包含空间信息的组件，最后逆变换为图像域得到高空间分辨率多光谱图像。多分辨分析法有MTF-GLP[8]（generalized laplacian pyramid with MTF-matched filter） 和SFIM[9]（smoothing filter-based intensity mod-ulation）等。多分辨分析法一般分为3个步骤，首先利用金字塔变换或小波变换将源图像分解，然后对源图像的各个层次进行融合，最后进行逆变换得到融合图像。然而，成分替换法容易造成光谱失真，多分辨分析法可能产生空间畸变。近年来，深度学习方法由于其强大的非线性表征能力被应用于遥感图像融合领域[10]。

基于深度学习的空谱融合方法是将全色图像中的空间信息和多光谱图像中的光谱信息相融合，然后利用融合后的信息重构出高空间分辨率多光谱图像。根据光谱信息和空间信息融合方式不同分为图像堆叠融合、特征拼接融合和结构注入融合方法。在最常见的图像堆叠融合方法中，信息融合的实现方式是将全色图像和上采样的多光谱图像堆叠后作为模型的输入。Masi等[11]首先提出了基于卷积神经网络的遥感图像空谱融合方法。随着残差学习[12]被引入到空谱融合任务中，又提出了具有更强表征能力的深层神经网络[13-15]。Yuan等[16]引入多尺度特征提取获得了丰富的空间特征，提升了模型的鲁棒性。Lei等[17]利用多光谱图像内部对象之间的相似性，设计了非局部注意力模块。特征拼接融合方法分别提取全色图像特征和多光谱图像特征，然后通过融合后的特征重构出高空间分辨率多光谱图像[18]。Liu等[19]在特征融合前添加卷积层到重构分支的跳跃连接，从而保留了更多的空间细节。结构注入融合方法借鉴了传统的多分辨分析法，将卷积神经网络从全色图像中提取的高频空间纹理注入到上采样后的低空间分辨率多光谱图像中，生成了高空间分辨率多光谱图像[20]。

基于深度学习的方法虽然取得了较有竞争力的研究结果，但仍然存在一些问题。多光谱图像包含蓝、绿、红和近红外4个波段，然而全色图像是单波段，但全色图像单个波段的范围近似覆盖了多光谱图像4个波段范围之和，因此，全色图像的高频空间纹理是多光谱图像4个波段的高频空间纹理的并集。图像堆叠融合、特征拼接融合和结构注入融合方法利用全色图像恢复多光谱图像每个波段的高频纹理，为每个波段注入了全色图像高频信息，最终获得的高空间分辨率多光谱图像，但其每个波段融入了其它波段的高频空间纹理造成了一定的光谱失真。

本文针对以上问题提出了高频引导网络，采用引导恢复融合方式，在恢复低空间分辨率多光谱图像各个波段的高频信息时不会引入多余的空间纹理。高频引导网络包含空间信息提取分支、光谱信息提取分支和引导恢复融合模块。空间信息提取分支从全色图像中提取出丰富的空间引导信息。光谱信息提取分支从低空间分辨率多光谱图像中提取出光谱信息。引导恢复融合模块利用提取的光谱信息生成多个初步结果，然后利用提取的空间引导信息对多个初步结果进行像素级别的加权融合，获得光谱保真边缘纹理更加清晰的多光谱图像。

本文的贡献可以总结如下：

1） 提出了高频引导网络，包含空间信息提取分支、光谱信息提取分支和引导恢复融合模块。

2） 提出了引导恢复融合方式，为多光谱图像每个波段恢复出高频空间纹理，同时不会引入多余的高频信息而造成光谱失真。

1 方法

1.1 整体架构

本文提出的高频引导网络（high frequency guidance network，HFGN）由3 个部分组成，分别为空间信息提取分支、光谱信息提取分支和引导恢复融合模块，如图1 所示，网络模型输入为全色图像（Panchromatic Image，PAN）以及经过Bicubic 上采样的低分辨率多光谱图像（Up-sampled Low Resolution Multispectral Image，ULRMS），输出为高空间分辨率多光谱图像（High Resolution Multispectral Image，HRMS）。空间信息提取分支和光谱信息提取分支分别从全色图像和上采样后的低空间分辨率多光谱图像中提取空间信息和光谱信息。引导恢复融合模块利用提取到的2种信息和低空间分辨率多光谱图像生成高空间分辨率多光谱图像。

图1 高频引导网络Fig.1 High frequency guidance network

1.2 空间信息提取分支

如图1所示，空间信息提取分支为引导恢复融合模块从全色图像中提取空间信息。提取的空间信息既包含全色图像的细节信息，也包含能够在融合过程中起到引导作用的深层语义信息。因此，本文在空间信息提取分支使用了编解码结构[21]，其包含编码阶段和解码阶段。在编码阶段，特征图的大小按指数形式递减，通道数按指数形式递增，采用的下采样方式为步长为2的最大池化层。在解码阶段，每步的输入是通过双线性插值方式上采样后的前一步输出和编码阶段大小对应的特征图，可以同时利用到深层语义信息和浅层细节信息。

为了提取更丰富的空间信息，本文在文献[21]的基本单步操作上进行了改进，在其中添加了浅层通路，称为空间单步操作。基本单步操作和空间单步操作分别如图2a）和2b）所示。浅层通路由卷积核大小为1卷积层构成，并通过相加的方式添加到基本单步操作上。空间单步操作的具体过程如下：

图2 模块结构图Fig.2 Module structures

式中：Ia表示空间信息提取分支每步的输入；CBR表示卷积核大小为3的卷积操作、批标准化操作和ReLU函数；CB表示卷积核为3的卷积操作和批标准化操作；Ps表示添加浅层通路；Oa表示每步的输出。

1.3 光谱信息提取分支

为了从低空间分辨率多光谱图像中保留更多的光谱信息，光谱信息提取分支也采用编解码结构。批标准化操作对特征图的各个通道进行归一化，改变了通道特征的分布[22]，会丢失光谱信息。因此，本文在光谱信息提取分支去掉了所有的批标准化操作，每步操作为光谱单步操作如图2c）所示，过程如下：

式中：Ie表示光谱信息提取分支每步的输入；Oe表示每步的输出。

1.4 引导恢复融合模块

全色图像近似覆盖了多光谱图像的波段范围。因此，高空间分辨率多光谱图像局部区域内2个像素点的相似度与全色图像中相同位置2个像素点之间的相似度相近，如下所示：

式中：HRMSi表示高分辨率多光谱图像上的第i个像素点；表示第i个像素点的邻域内的第j个像素点；表示高空间分辨率多光谱图像2 个像素点之间的相似度；PANi表示全色图像的第i个像素点；表示第i个像素点的邻域内的第j个像素点；表示全色图像2个像素点之间的相似度；g表示邻域内像素点的个数。

引导恢复融合模块首先利用提取的光谱信息来生成多个初步结果。高空间分辨率多光谱图像可以选择合适的初步结果来恢复高频信息。但是，高空间分辨率多光谱图像是不能由卫星直接获得。全色图像和高空间分辨率多光谱图像在空间维度上存在局部相似性，而且遥感卫星可以直接产生高空间分辨率全色图像。所以，引导恢复融合模块可以根据从全色图像中提取的信息选择合适的初步结果。其具体操作：1）卷积核大小为3的卷积层利用提取的光谱信息生成g个初步结果，邻域半径为1，g设置为9；2）卷积核大小为1的卷积层和通道维度的Softmax 激活函数通过提取的空间信息来生成热图；3）利用热图对多个初步结果加权求和并加上经过上采样的低空间分辨率多光谱图像得到高空间分辨率多光谱图像。过程如下所示：

式中：Fspa和Fspe分别表示提取的空间信息和光谱信息；Wa和We是可学习的权重；hm和ini分别表示热图和初步结果；“☉”表示点乘操作，“*”表示卷积操作。

为了说明引导恢复融合模块可以为多光谱图像各波段恢复出高频空间纹理，同时不会引入多余的高频信息造成光谱失真，在图3中展示了初步结果各个波段的方差图。其中，图3a）是全色图像，图3b）是高空间分辨率多光谱图像的真彩色显示，图3c）是高空间分辨率多光谱图像的蓝-绿-近红外3 个波段显示，图3d）是热图的方差图，图3e）～h）分别是初步结果蓝、绿、红和近红外4个波段的方差图。图中每个像素点的方差值计算方式如下：

式中：g表示生成的初步结果；b表示波段；x和y表示像素点的坐标；Xbxy表示初步结果的均值；Sbxy表示其方差值。

图3d）在对应全色图像高频区域的位置显示都较明亮，说明热图在高频区域的每个像素点方差值都较大，可以对初步结果进行有效的选择。通过图3b）和图3c）的对比可知，全色图像右侧区域的纹理存在于近红外波段，图3h）比图3e）～g）右侧更明亮说明只有近红外波段右侧区域生成的初步结果差异大。对差异大的初步结果进行选择会恢复出高频信息，而对差异小的初步结果进行选择不会恢复出高频空间纹理。因此，引导恢复融合模块在右侧区域只在近红外波段恢复出了高频空间纹理，而没有在红、蓝和绿3个波段生成高频空间纹理造成光谱失真。

图像堆叠融合方法可以较容易地转为本文提出的引导恢复融合方法。转变为引导融合方法的具体操作是将原模型代替高频引导网络的光谱信息提取分支，输入也由原来的多光谱图像和全色图像集合变成多光谱图像。图像堆叠融合方法中的MSDCNN（multiscale and multi-depth convolutional neural network）取得了相对较好的结果。因此，本文将MSDCNN由其原来的图像堆叠融合方式改为引导恢复融合方式得到了新的网络模型，称为MSDCNN_GF。

2 实验

2.1 实验设置

以IKONOS和QuickBird 2个卫星数据[23]的基础上进行实验，IKONOS卫星数据包含200个多光谱和全色图像对，多光谱图像的分辨率是4 m，全色图像分辨率是1 m。QuickBird卫星数据包含500个图像对，多光谱图像分辨率为2.33 m，全色图像分辨率为0.61 m。在2个卫星数据中，多光谱图像的波段数都是4，每一张多光谱图像都有对应的全色图像，全色图像的大小是1 024×1 024，多光谱图像的大小是256×256。为了获取参考图像，本文根据Wald协议[24]处理数据，网络训练过程中的输入是下采样之后的256×256的全色图像和64×64多光谱图像，原始的256×256多光谱图像作为参考图像。

空间信息提取分支和光谱信息提取分支每步的特征图形状相同，特征图的大小依次是[256，128，64，32，16，32，64，128，256]，通道数依次是[32，64，128，256，512，256，128，64，32]。因为2个分支都采取编解码结构，在编码阶段特征图会变小，所以未对训练样本进行切片来获得更多的较小样本。

卫星图像按照7∶1∶2划分训练、验证和测试集。实验训练轮数设置为500，经过30轮训练后，模型在验证集上的误差没有减少，则提前停止训练，选取当前的最优模型为最终模型。使用Adam优化器更新网络的权重，初始学习率设置为10-3，批量大小设置为16。网络模型基于Pytorch 框架实现，在Linux 系统下训练，显卡为NVIDIA GeForce GTX 2080 Ti。

在测试阶段，根据Wald 协议获得的降分辨率数据有参考图像，采用峰值信噪比（Peak Signal to Noise Ratio，PSNR）、 结构相似性（Structural Similarity，SSIM）、相对全局误差（Relative Dimensionless Global Error in Synthesis，ERGAS）、空间相关系数（Spatial Correlation Coefficient，SCC）、光谱角映射（Spectral Angle Mapper，SAM）和通用图像质量指数Q6种有参客观评价指标。原始分辨率卫星数据没有参考图像，选取了光谱失真指数Dλ、空间失真指数Ds和无参考图像定量评价指标（Quality with No-Reference，QNR）3种无需参考图像客观评价指标。最终的评价结果为测试集中所有图像评价结果的平均值。结果表中评价指标后面“+”表示这种评价指标数值越高，融合结果越好，“-”则表示这种评价指标数值越低，融合结果越好。每种指标最优结果加粗显示。

2.2 消融实验

为了验证HFGN各模块的有效性，通过删减或者替换模块获得了多个子网络，并在QuickBird上将它们与HFGN进行性能对比。HFGN_NA表示空间信息提取分支使用基本单步操作代替空间单步操作所得到的网络，HFGN_NE表示光谱信息提取分支使用基本单步操作代替光谱单步操作得到的网络。HFGN_NS表示删除多光谱图像到网络输出之间跳跃连接后的网络。

表1是多个子网络在QuickBird卫星数据上的客观评价结果。从表中可以看出，HFGN的性能优于各个子网络的性能，验证了各个模块的有效性。

2.3 对比实验

为了验证HGFN 的性能，将其与多种类型的方法进行对比。成分替换方法有IHS 和Brovey，多分辨分析方法有MTF-GLP和SFIM，图像堆叠融合方法有PNN[11]（CNN based Pansharpening）、PanNet[13]（Deep Network for Pan-Sharpening）、MSDCNN[16]，特征拼接融合方法有RSIFNN[18]，结构注入融合方法有MIPSM[20]（multispectral image pan-sharpening method），引导恢复融合方法有MSDCNN_GF。

表2和表3的前6列是降低分辨率卫星数据上的客观评价结果。从表中可以看出，HFGN在各个指标中优于成分替换法、多分辨分析法和其它深度学习方法。表2和表3的后3列是原始分辨率卫星数据上的客观评价结果，原始分辨率数据没有参考图像，Dλ、Ds和QNR通过低空间分辨率多光谱图像和全色图像来评估各种方法生成的高空间分辨率多光谱图像。在QuickBird卫星数据中，HFGN在3个指标上都取得了最优的结果。在样本数相对较少的IKONOS卫星数据上，HFGN在Ds指标上略不及RSIFNN，但在评价整体的QNR指标上取得了最优结果。引导恢复融合方法MSDCNN_GF相对于原来的图像堆叠融合方法MSDCNN取得了更好的结果。

表3 IKONOS 数据集上的结果Tab.3 Result on the IKONOS dataset

除了客观指标评价，各种方法生成的图像还需要视觉上的评估。图4 是各种方法在降低分辨率的QuickBird卫星数据上的结果图。在图4中，图a）是单波段全色图像，图b）是低空间分辨率多光谱图像的真彩色显示，图c）是高空间分辨率多光谱图像的真彩色，图d）是高空间分辨率多光谱图像蓝-绿-近红外3波段显示，图e）～o）是各种方法生成结果的真彩色显示。从整体来看，HFGN生成的结果图更接近参考图像。对比图c）和图d）可以发现全色图像中的部分空间纹理只存在于近红外波段，成分替换法和多分辨分析法的真彩色显示结果中出现了明显的近红外波段空间纹理，基于深度学习的方法含有的红外波段纹理较少。HFGN的真彩色显示图中没有出现明显的近红外波段空间纹理。在光谱方面，从红色建筑物部分可以看出，成分替换法光谱失真较严重，多分辨分析法中的SFIM与基于深度学习方法中的PanNet、RSIFNN和MISPM光谱保真较好，HFGN显示图中建筑物的颜色最接近参考图像。

图4 在降低分辨率QuickBird 数据集上的结果图Fig.4 Result images on reduced resolution QuickBird dataset

图5 是各种方法在原始分辨率的IKONOS 卫星数据上的结果图，没有可显示的参考图像，但添加了HFGN生成结果的蓝-绿-近红外3波段显示。从图5中，图a）、b）、m）和n）的对比可知，图像右上方区域的空间纹理存在于近红外波段，PanNet、MSDCNN和MSDCNN_GF 的真彩色显示图存在的近红外波段空间纹理较少，多分辨分析法相对较多。对比图a）、m）和n）可以发现，HFGN方法生成的高空间分辨率多光谱图像恢复了全色图像中的高频空间纹理，边缘更清晰，在蓝、绿和红波段未引入近红外波段的空间纹理，光谱保真效果更好。

图5 在全分辨率IKONOS 数据集上的结果图Fig.5 Result images on full resolution IKONOS dataset

3 结论

针对成分替换法存在光谱失真、多分辨分析法存在空间畸变和基于深度学习的方法存在高频空间纹理区域光谱失真等问题，提出了一种端到端的遥感图像空谱融合网络HFGN。光谱信息提取分支从上采样后的多光谱图像中保留了更多的光谱信息，使目标图像的光谱失真更少。引导恢复融合模块充分地利用提取到的空间引导信息，使目标图像高频空间纹理部分光谱保真且边缘清晰。在样本数量较少的IKONOS卫星数据上，HFGN与其它融合算法相比，除了在光谱失真指数上表现略不及RSIFNN，在另外8个客观指标上都取得了更佳的结果。在样本数量较多的Quick Bird卫星数据上，HFGN生成的多光谱图像在9个客观评价指标上都取得了更好的评价。从各个融合算法生成多光谱图像的视觉对比，可以发现HFGN在多光谱图像近红外波段的空间纹理恢复具有明显优势。