基于多尺度残差融合网络的高光谱图像融合算法*

刘娴雅 刘 宾

（中北大学信息与通信工程学院 太原 030051）

1 引言

高光谱图像拥有丰富的光谱信息，有效地提高了探测、识别等任务的能力［1］。近年来，高光谱图像已广泛应用于工业、农业、环境以及军事领域［2～5］。然而，由于高光谱图像成像设备有限，成像环境复杂，使得高光谱图像空间分辨率很低，这严重限制了高光谱图像的发展［6］。因此，为了得到高分辨率高光谱图像（HR-HSI），一般将同一目标的低分辨率高光谱图像（LR-HSI）和高分辨率多光谱图像（HR-MSI）进行融合。

当前的高光谱融合方法通常分为三种：基于全锐化的方法、基于分解的方法以及基于深度学习的方法。基于全锐化的方法通常是将同一目标的多光谱图像和全色图像加以融合获得的高分辨率多光谱图像［7］。近年来，人们将全锐化技术推广到高光谱多光谱融合领域，但是由于全锐化涉及的光谱分辨率较低，因此全锐化的方法获得的融合图像会产生一定的光谱失真。基于分解的方法，这一类方法将融合问题视为反问题，通过利用解混模型和设计适当的先验信息来获得所需的融合结果［8］。Yokoya等［9］采用非负矩阵分解法以耦合的方式对LR-HSI和HR-MSI 图像进行解混。Dong［10］等利用高光谱图像空间光谱稀疏性的先验知识，将高分辨率高光谱图像的估计表示为高光谱字典和稀疏码的联合估计。Xu［11］等通过耦合张量正则多元分解探讨了HSI 和MSI 之间的关系，提出了一种用于HSI-MSI融合的分解模型。基于分解的方法通常效果较好，但是融合质量和所使用的特定融合模型有着很大的关联，并且计算成本较高，实现也比较复杂。

近年来，基于深度学习的高光谱图像融合方法相比与前两种融合方法展现出一定的优势。Palsson［12］等提出了3D-CNN 网络模型，虽然该模型可以有效减少图像的光谱失真，但是极大地增加了网络参数的数量。Dian 等［13］将深度卷积网络与基于分解的方法相结合，利用深度卷积网络所学习的先验信息来正则化融合问题。但是这种方法只能在一些光谱波段进行训练，在其余部分进行测试，破坏了光谱的完整性。Zhou［14］等提出了一种金字塔全卷积网络以全局到局部的方式逐步重建HR-HSI，该融合方法有效地挖掘了HR-MSI 的空间信息。虽然深度学习在高光谱图像融合领域得到了快速的发展，但仍然面临着一些困难和挑战，例如：特征提取不完整；深层次特征难以提取利用，将会影响融合的性能；没有考虑不同层次的特征融合，可能会导致融合结果信息丢失等问题。

综上，本文提出了一种基于多尺度残差融合网络（Multiscale Residual Fusion Network，MRFN）的高光谱图像融合算法，来获得HR-HSI。相比于现有的高光谱图像融合方法，该网络能够有效提取高光谱图像的光谱信息和多光谱图像空间信息，可以显著降低光谱失真，提高高光谱图像的空间分辨率。因此，该方法在实际应用中对提高高光谱图像的性能具有重要意义。

2 网络结构

本文提出了一种基于多尺度残差融合网络的高光谱图像融合算法。该算法网络框架由特征提取模块、融合模块以及特征重建模块三个核心计算模块组成，具体结构如图1 所示。首先，采用特征提取模块分别提取LR-HSI 的光谱信息和HR-MSI的空间信息；然后将特征提取模块中获取的特征信息，视为融合模块的输入，由模型自发地去学习融合规则，逐级获得融合图像的全部特征信息；最后通过特征重建模块重建高分辨率高光谱图像。

图1 总体网络结构

2.1 特征提取模块

特征提取模块由多尺度特征提取模块（Multiscale feature extraction block，MFB）和级联残差模块构成，用于分别提取LR-HSI 的光谱信息和HR-MSI 空间信息。首先使用一个多尺度特征提取模块对输入图像进行不同尺度的浅层特征提取，有效地保证了特征图信息的完整性。然后通过级联残差模块提取输入图像的深层语义特征，获取更多图像细节特征。其实现过程如下：

式中：fMFB表示多尺度特征提取模块；fres表示残差模块；HSk、MSk分别表示高光谱图像和多光谱图像第k层特征，本文中k=1，2，3，4。

1）多尺度特征提取模块

本文设计了一种多尺度特征提取模块，结合特征融合操作，同时采用4 个不同大小的卷积核对输入图像进行特征提取，其结构如图2 所示。该模块选择的卷积核大小依次是1×1，3×3，5×5，7×7，其中小卷积核提取图像中比较平滑区域，大卷积核提取图像的边缘轮廓信息，使用不同大小的卷积核能够获得图像更多的特征信息，从而提高了网络模型的特征提取能力。上述过程可以表示为

图2 多尺度特征提取模块

式中：fi为输入特征图；w 表示卷积层的权重；b 为偏置项；Concat 为特征图通道拼接；f1×1，f3×3，f5×5，f7×7分别对应的是1×1，3×3，5×5，7×7 卷积操作。

2）级联残差模块

为了提取HR-MSI和LR-HSI空间维以及光谱维更多的细节特征，本文采用3 个级联的残差模块提取图像深层特征，基本结构如图3 所示。每个残差模块通过跳跃连接的形式将单元的输入信息绕道传至输出，这种形式极大地提高了输入信息的完整性同时提高模型的训练速度。当网络模型层数增加时，网络性能下降的问题也可以得到解决。

图3 残差模块

2.2 融合模块

融合模块是将LR-HSI 的光谱信息和HR-MSI的空间信息逐级融合。通过特征拼接方式将获得的特征信息堆叠成新的图像，并进行1×1 卷积计算的结果。为了提升模型的融合能力，使用ReLU 函数增加网络的非线性，防止过拟合。每一级融合都考虑了上一级融合的结果，因此可以看作是一种特殊的多级尺度融合方法。其实现过程如下：

式中：HS0为输入的LR-HSI，MS0为输入的HR-MSI；I表示拼接后的图像；HSMS为融合后的特征图。

2.3 特征重建模块

特征重建模块由若干个卷积层组成。从融合模块所得到的特征图的通道数为256，因此要获取融合图像F，就需要对特征图进行降维重建。考虑到较大的核大小和网络深度会削弱融合性能，增加计算复杂度，因此本文采用4个1×1的卷积层，依次为1×1×256、1×1×128、1×1×64、1×1×1。同时，为了增加模型中各层次间的非线性联系，可以通过ReLU 函数提高模型的非线性。具体实现过程如下：

式中：表示1×1的卷积操作；F表示融合后的图像。

2.4 损失函数

为了更好地训练MRFN 网络模型，使得融合结果接近真实的高分辨率图像，本文采用融合图像F与参考图像R 之间的均方误差作为网络的损失函数，使网络神经元权值不断更新。MSE损失函数定义如下：

式中n为训练样本数。

3 实验及结果分析

3.1 数据集与网络配置

本文使用CAVE［15］和Harvard［16］数据集来验证所提出方法的有效性。其中CAVE 数据集是室内场景下的高光谱数据集，该数据集由三十张大小为512×512 的高光谱图像构成，波段范围为400nm～700nm，共三十一个高光谱波段。Harvard数据集是真实场景下的高光谱数据集，该数据集由五十张大小为1392 × 1040 的高光谱图像构成，波段范围为420nm～720nm，共三十一个高光谱波段。取CAVE 数据集中的前二十幅图片作为训练集，后十二幅图片作为测试集。对于Harvard数据集中使用的前三十幅作为训练集，后二十幅图片作为测试集。

本文所构建的多尺度残差融合网络的输入是LR-HSI 和HR-MSI，输出是HR-HSI。为了得到LR-HSI，我们需要对训练集中的高光谱图像进行预处理。将其按步长32 切成64×64 大小的图像块用作训练，然后将原始图像下采样（双线性插值）至原始大小1/8，最后再上采样（双三次插值）至原始大小作为LR-HSI。在模型测试的时候不需要切分，可直接输入LR-HSI得到融合结果。

实验环境为Windows10，处理器为Intel（R）Core（TM）i7-10750H CPU @2.60GHz，显卡为NVIDIA GeForce GTX1660Ti，基于TensorFlow 库构建高光谱图像融合网络，模型利用ADAM算法进行训练，训练周期设为100，Batchsize 设置为16，学习率初始设置为0.0001，分别在训练周期总数的50%和75%处将学习率设为之前的1/10。

3.2 对比方法

将基于多尺度残差融合网络的高光谱图像融合算法（MRFN）与几种优秀的融合算法在CAVE和Harvard 数据集上进行实验对比，对比的算法有MRA［17］、CNMF、3D-CNN。其中MRA 属于全锐化方法；CNMF 是基于分解的融合方法；而3D-CNN为深度学习的融合方法，该融合方式避免了人为制定融合规则，能够通过大量学习得到融合模型。

3.3 评价指标

为了评估融合结果的质量，本文选择均方根误差（RMSE）、全局相对光谱损失（ERGAS）、结构相似性（SSIM）、光谱角映射（SAM）和峰值信噪比（PSNR）对融合图像质量进行评价。PSNR、RMSE和SSIM 在空间域中衡量融合结果质量，SAM 用来反映融合图像光谱失真的程度。而ERGAS 则反映了融合结果的总体质量，包括空间和光谱。

3.4 融合实验结果

将本文所提出的方法与3.2节中提到的几种优秀的算法进行了比较。图4和图5分别为小球和衣服两个数据集在不同波段下的融合结果，表1 为不同融合算法下融合图像的评价指标，评价指标包括RMSE、ERGAS、SSIM、PSNR 和SAM。在表1 中，“↓”表示数值越小越好，“↑”表示数值越大越好。客观评价指标的最佳结果用粗体表示，而次最佳结果用下划线表示。

表1 不同融合算法的对比结果

图4 小球数据集融合结果

图5 衣服数据集融合结果

从表1 中可以看出，本文算法相比较其他三种算法客观评价指标均有一定的提升，表明本文算法在极大程度上降低光谱失真的同时提升高光谱图像的空间分辨率，使融合出的图像细节信息更多。为了直观地进行比较，图4 和图5 中显示了小球和衣服两个数据集在不同融合算法下的融合图像，每个融合图像使用方框标识重点区域并放大5 倍以便于观察。从标识区域和融合图像可以看出，MRA 方法融合后的图像存在一定的光谱失真，边缘纹理比较模糊，很多细节无法辨认；CNMF 和3D-CNN 算法一定程度上提高了融合图像的清晰度，但边缘细节仍然模糊；本文提出的算法相比较其他三种算法，融合图像边缘细节恢复较好，整体有较好的视觉效果，可以显著降低光谱失真，提高高光谱图像的空间分辨率。

4 结语

本文从高光谱和多光谱图像的成像特点和融合目标出发，提出了一种基于多尺度残差融合网络的高光谱图像融合算法。首先，利用多尺度特征提取模块和级联残差模块提取LR-HSI和HR-MSI的光谱信息和空间信息，然后通过融合模块将获取到的光谱信息和空间信息逐级融合；最后利用卷积层重建融合结果，得到HR-HSI。实验证明，本文所提出的方法在CAVE 和Harvard 这两个数据集上峰值信噪比分别达到了39.8504 和42.9646，光谱角映射分别达到了0.0685 和0.1585，比其他几种方法均有一定的提升。融合后的图像可以显著降低光谱失真，提高高光谱图像的空间分辨率，具有很好的应用前景。