联合多流融合和多尺度学习的卷积神经网络遥感图像融合方法

雷大江 杜加浩 张莉萍 李伟生

①(重庆邮电大学计算机科学与技术学院 重庆 400065)

②(重庆市图像认知重点实验室 重庆 400065)

1 引言

由于遥感系统受到光学衍射和调制传递函数以及信噪比的限制[1]，目前大部分对地观测卫星，如Quickbird， IKONOS， WorldView-3等无法直接提供在空间与光谱维度上获得高分辨率的遥感图像，仅能提供低分辨率的多光谱图像(Low Resolution Multi-Spectral image， LRMS)和高分辨率的全色图像(PANchromatic image， PAN)。因此，将LRMS图像和对应的PAN图像融合的遥感图像融合(pan-sharpening)技术广泛应用于遥感领域以产生高分辨率的多光谱图像(High Resolution Multi-Spectral image， HRMS)。

现有的遥感图像融合方法大致可分为5类：(1)分量替换(Component Substitution， CS)；(2)多分辨率分析(Multi-Resolution Analysis， MRA)；(3)混合算法；(4)基于模型的遥感图像融合方法；(5)基于深度学习的遥感图像融合方法。基于分量替换的方法简单高效，在遥感领域中使用最为广泛，比较经典的算法有广义IHS(Generalized Intensity Hue Saturation， GIHS)变换[2]，主成分分析(Principal Component Analysis， PCA)[3]以及各种变形[4]，其中基于光谱频带之间联系的分量替换(Band-Dependent Spatial-Detail， BDSD)[5]算法目前融合效果较为优异。该类方法能够有效地增强空间细节信息，但是却容易造成光谱失真。基于多分辨率分析的方法在不同尺度、不同分解层面对不同空间分辨率的图像分别处理后再进行融合，能够在一定程度上解决成分替换方法光谱失真问题，遗憾的是在融合过程会丢失部分空间结构信息，主要分为基于拉普拉斯金字塔的融合方法[6]以及基于小波变换的融合方法[7—9]。混合算法通过结合多种算法的优点以提升融合图像的效果，如联合广义拉普拉斯金字塔分解和Gram-Schmidt变换提出的方法GLP_CBD(MTF-tailored multiscale fusion of high-resolution MS and Pan imagery)[10]。基于模型的遥感图像融合方法包括贝叶斯模型、稀疏表示以及变分模型，该类算法通过构造PAN图像和LRMS图像的退化模型以复原高分辨率的多光谱图像，如Chen等人[11]基于局部光谱一致性与动态梯度稀疏提出的变分模型方法。这类方法难点在于求解模型时算法的迭代次数以及超参数难以确定[12]。近年来，基于深度学习的遥感图像融合方法兴起，并因其卓越表现被人们广泛认可，例如将高通滤波处理后的LRMS与PAN图像输入残差网络，然后将网络输出与上采样LRMS图像数值相加以获得融合结果的遥感融合方法(Deep Network Architecture for Pan-sharpening， PanNet)[13]，将水源、植物等非线性辐射指数添加到输入并使用L1损失函数的卷积神经网络(Target-Adaptive CNN-Based Pansharpening， PNN)[14]，提取PAN图像多尺度特征的密集深度学习方法(Multi-scale Densely Deep Learning method for pan-sharpening， MDDL)[15]，基于生成对抗网络的遥感图像融合方法(Generative Adversarial Network for remote sensing image Pan-Sharpening， PSGAN)[16]以及基于多流融合生成对抗网络的遥感图像融合方法[17]。

目前基于深度学习的遥感图像融合方法存在两个问题：一是普遍忽略了MS上采样的重要性，直接使用上采样后的MS图像而不是利用深度学习强大的特征提取能力直接将原始MS图像作为输入；二是不同尺度下可以观察到不同的特征，而现有方法并没有将网络不同深度的特征利用起来。为此，本文提出一种联合多流融合和多尺度学习的卷积神经网络遥感图像融合方法：算法首先使用梯度算子提取PAN图像的结构信息，使得PAN图像的关键结构信息以稀疏形式表现，并使用卷积网络处理PAN图像补充其他细节信息。同时，构建频谱特征提取子网提取LRMS图像的光谱信息。然后通过分析U-Net[18]、ResNet[19]以及DenseNet[20]网络结构，受多尺度特征融合思想启发开发具有多流融合架构的金字塔模块，金字塔模块可以实现多尺度学习，随着规模的增加，能够增大空间感受野。最后，构建空间光谱预测子网，使用跳层连接结构并联网络低深层特征，得到融合后的多光谱图像。实验结果表明本文算法能够有效提升融合后MS图像的质量，在主观目视检验和客观指标评价上相较于其他遥感图像融合方法都有所提升。

2 算法

2.1 网络架构

[A;B;C]表示将3个张量在通道层上使用Concat函数拼接在一起形成的张量。根据以上分析，本文提出一种联合多流融合和多尺度学习的卷积神经网络遥感图像融合框架，如图1所示，使用梯度算子和卷积核提取PAN图像的结构信息，同时构建频谱特征提取子网提取LRMS图像的光谱信息，将提取特征作为由多个主干网络构成的金字塔模块的输入，最后，将金字塔模块输出、频谱特征提取子网输出以及卷积处理后的PAN图像拼接输入空间光谱预测子网，得到融合图像。

在本文，使用L1范数作为模型的损失函数，一般形式为

2.2 频谱特征提取子网

PAN图像和LRMS图像尺寸不一致，在融合过程通常需要上采样处理LRMS图像使得其与对应的PAN图像尺寸一致后再开展后续工作，但图像上采样的过程往往会丢失图像部分信息并引入噪声，这导致融合图像质量受到上采样方法的一定约束。受诸如SRCNN[21]这样的超分辨率算法的影响，本文构建了频谱特征提取子网，通过反卷积网络扩展LRMS图像尺寸，然后使用两层卷积核大小1×1的2-D卷积提取图像的光谱特征。频谱特征提取子网是一个4层卷积网络，包含两层卷积核大小为2×2的2-D转置卷积和两层卷积核大小为1×1的2-D卷积，具体如图2所示。

图2 频谱特征提取子网

2.3 金字塔模块

金字塔模块由多个骨干网络组成，形状类似金字塔通过交替改变模型架构的规模，金字塔模块具有可调整的空间感受野。如图1所示，具有3个不同规模的网络，分别由Scale_1， Scale_2， Scale_3表示。规模的增加使得网络加深，从而创建更大的感受野。该模块能够有效进行空间信息与光谱信息融合，可表示为

图1 联合多流融合和多尺度学习的卷积神经网络遥感图像融合框架

2.4 空间光谱预测子网

空间光谱预测子网由一个卷积核大小为3×3的卷积神经层和两个卷积核为1×1的卷积神经层构成，使用LeakyReLU作为激活函数，每层网络输出的通道数都与LRMS图像一致。网络将频谱特征提取子网输出和卷积处理后的PAN图像通过跳层连接的操作[18]与金子塔模块输出拼接，最后通过空间光谱预测子网可实现网络低层语义和高层语义的整合，提高融合图像的质量。

3 实验

3.1 实验设置

在本节，为验证本文所提算法的优越性，选取具有代表性的WorldView-3卫星图像数据集分别进行仿真数据实验和真实数据实验，并与其他遥感图像融合算法作对比。WorldView-3卫星获取的多光谱图像包括蓝色、绿色、红色、海岸带、黄色、红边和两组近红外光谱在内的8个波段，分辨率为1.24 m，全色图像分辨率为0.31 m。为验证本文所提算法的网络模型各个组成模块对最终融合结果的贡献，在仿真数据集上进行了消融实验。

在接下来的仿真实验与真实数据实验中，本文所提算法将与包括BDSD， GLP_CBD， PNN，PanNet， MDDL， PSGAN在内的6种算法进行比较。每种算法均按照参考文献中作者推荐的参数，使其取得最佳效果。所有基于深度学习的遥感图像融合方法都是在具有Intel Xeon Gold 6148 CPU 2.40 GHz 和NVIDIA Tesla V100-SXM2-16 GB的GPU服务器上完成的。本文算法基于Pytorch深度学习框架实现，使用Adam算法作为损失函数的优化求解器，批量大小设置为16，学习率设为0.001。训练时间大概6 h，每次测试融合生成3072×3072的遥感图像花费时间在1.2～1.8 s。

3.2 仿真实验

图3 构成金字塔模块的骨干网络

在仿真实验中，本文依据Wald协定[23]将获取到的LRMS图像作为参考的HRMS图像，并使用MTF内核平滑LRMS和PAN图像使之匹配传感器属性，将平滑后的图像进行4倍下采样，模拟PAN图像与LRMS图像。本文使用来自WorldView-3卫星的图像构建对应卫星数据集，其中81920组HRMS/PAN/LRMS图像作为训练集，1536组HRMS/PAN/LRMS图像作为测试集，HRMS和PAN图像大小为64×64，LRMS图像大小为16×16。在主观评价上，首先采用目视检验的方法对融合图像在可见光谱上的多光谱图像进行主观视觉判断，包括每种方法的融合图像和融合图像与真实图像对比的残差图。在客观评价上，采用有参考图像评价指标综合测定实验结果，具体为：光谱角度映射(Spectral Angle Mapper，SAM)[24]，相对整体维数综合误差(Erreur Relative Global Adimensionnelle de Synthèse，ERGAS)[25]，广义图像质量指标(UIQI)向n波段扩展(Qn)[26]，空间相关系数(Spatial Correlation Coefficient，SCC)[27]。所有需要将多光谱图像上采样的算法融合时均采用双三次样条插值算法。由于篇幅限制，仅展示一组World-View-3融合结果，如图4与图5所示。

如图4所示为基于WorldView-3卫星数据集的仿真实验融合结果，其中LRMS和HRMS图像分别对应图4(a)和图4(f)，PAN图像对应图4(b)，其余图像分别为各算法的融合结果。其中LRMS图像大小为128×128，余下所有图像大小为512×512。从图4可明显看出基于深度学习的5种方法在空间结构信息的保持上更加优秀，在道路、水面以及车辆等光谱信息保持更完好。BDSD方法在水域存在光谱扭曲，色彩较深区域如屋顶、车身等色彩更加暗沉。GLP_CBD方法则在车辆等较小物体上存在一定程度的光谱失真，但在屋顶、水面和土壤等光谱信息保持较好。图5是图4中各方法融合结果和真实图像对比的残差图，理论上纹理越少，算法的融合效果更好。可以明显看出，本文算法的残差图像纹理最少，这表明本文算法在仿真实验中得到的融合结果最佳。更多的对比将用客观指标在下文展示。

图4 基于WorldView-3卫星数据集的仿真实验融合结果

图5 图4中各方法与真实图像对比的残差图

3.3 真实数据实验

真实数据实验则是直接在原始数据集的尺寸上使用仿真实验训练好的模型进行融合。在本节，由于真实数据实验的融合图像分辨率较高，在主观视觉方面，为充分展示融合效果，本文只展示基于深度学习的5种遥感图像融合方法在WorldView-3数据集上的融合图像，并将其部分细节区域放大展示出来。在客观评价上，使用无参考质量评价指标(Quality with No Reference index， QNR)[28]，QNR中包含了评价光谱细节损失的指标Dλ和评价空间细节损失的指标Ds。

基于WorldView-3卫星数据集的真实数据实验融合结果如图6所示，其中LRMS图像大小为128×256，其他展示图像大小均为512×1024。LRMS图像与PAN图像分别对应于图6(a)和图6(b)，图6(c)—图6(g)分别展示了基于深度学习的5种算法在真实数据实验中的测试结果。为了便于观察，图7给出了图6中大小为256×256的区域放大展示。从图6和图7可以看出本文算法光谱失真的程度更轻微，保持的空间结构更加完整。

图6 基于WorldView-3卫星数据集的真实数据实验融合结果

图7 基于WorldView-3卫星数据集的真实数据实验融合结果关键局部区域

基于WorldView-3卫星数据集的仿真实验融合结果有参考图像指标评价如表1所示，从表可得，BDSD和GLP_CBD方法在各项指标上相较基于深度学习的方法表现不佳，PNN在评价光谱信息的SAM和ERGAS指标上相比其他基于深度学习的方法有所欠缺，本文算法在各项指标上取得最优，与展示图像表现一致。基于WorldView-3卫星数据集的真实数据实验指标评价如表2所示，可以看到本文算法在空间信息保真以及光谱信息保真上做得比较均衡，从而在综合图像质量QNR指标上表现最为优异。结合仿真实验和真实数据实验各方面指标，可以得出本文提出的创新点对遥感图像融合具备积极的作用。

表1 基于WorldView-3卫星的仿真实验融合结果评价

表2 基于WorldView-3卫星的真实数据实验融合结果评价

3.4 消融实验

为检测本文所提算法各组成部分在整个遥感图像融合过程中起到的作用，本节使用基于World-View-3卫星的仿真数据集进行消融实验，进行定性定量分析。

基于WorldView-3卫星仿真数据集的消融实验结果如表3所示，可以看出金字塔模块对光谱信息保真和空间信息保真均起到正向作用，缺少金字塔模块的本文算法在各项指标评价上都与本文算法保持了较大的差距；空间光谱预测子网则在光谱信息保真上起到的作用相较于其他模块不是很大，但在空间结构信息保真方面起到的作用最好，缺少空间光谱预测子网的本文算法在除光谱映射角SAM指标外其他各项指标都远远不如本文算法；频谱特征提取子网仅对光谱信息保真贡献大，缺少频谱特征提取子网的本文算法在光谱映射角SAM指标相较于本文算法相差较大；将频谱特征提取子网上采样部分去除，使用双三次插值算法上采样LRMS图像输入的本文算法各项指标均相较本文算法更差。由此得出各模块对遥感图像融合都具有积极的作用，是所提算法不可或缺的一部分。

表3 基于WorldView-3卫星仿真数据集的消融实验融合结果评价

4 结束语

本文提出了一种联合多流融合和多尺度学习的卷积神经网络遥感图像融合方法，基于多尺度特征融合思想，通过分析残差网络、密集连接网络结构开发了具有多流融合架构的金字塔模块，将梯度算子和卷积核提取的全色图像空间结构信息分别与构建的频谱特征提取子网提取的光谱信息拼接输入金字塔模块，最后构建空间光谱预测子网整合金字塔模块输出的高级特征与网络前端频谱特征子网输出、卷积处理后的PAN图像的低级特征，获得融合后的MS图像。实验结果表明，本文所提算法对比大多遥感图像融合算法，在充分提高空间分辨率的同时引起的光谱畸变更加轻微。同时，消融实验证明采用卷积神经网络自适应地提取原始MS图像的光谱信息对融合图像质量的提高更加有效。本文算法采用串行多分支的多尺度特征网络结构用于遥感图像融合，实验结果证明多尺度特征模型能够充分提高遥感图像融合算法生成图像的空间结构信息保持能力。理论上，可以使用诸如拉普拉斯算子等图像轮廓特征提取方法提取全色图像更丰富的边缘结构信息，扩展金字塔塔基，提高融合后MS图像的质量。但不足的是，随着结构信息的丰富可能导致光谱信息畸变现象的增加，未来结合变分算法对损失函数加以改造，权衡光谱信息和空间结构信息，可能对融合后的MS图像质量会有更大的提高。