基于双分支多尺度残差融合嵌套的 SAR 和多光谱图像融合架构与实验

董 张 玉，许 道 礼，张 晋，安 森，于 金 秋，李 金 徽，彭 鹏，汪 燕

(1.合肥工业大学计算机与信息学院，安徽 合肥 230601；2.工业安全与应急技术安徽省重点实验室，安徽 合肥 230601；3.智能互联网系统安徽省实验室，安徽 合肥 230601;4.安徽省地质调查院(安徽省地质科学研究所)，安徽 合肥 230001)

0 引言

合成孔径雷达(SAR)穿透力强、不受气象条件影响，能获得高空间分辨率图像[1]；多光谱(MS)图像与SAR图像相比增加了地物的信息量且可视性更高，将SAR图像和MS图像融合，既可以保持MS图像的光谱信息，还能保留SAR图像的空间细节信息，融合结果可以更好地应用于军事探测、灾害评估、目标识别等领域。

传统的融合方法可归纳为以下3类：1)成分替换(Component Substitution,CS)法，利用高空间分辨率SAR图像的空间细节信息替换MS图像的空间细节信息，然后进行逆变换获得融合结果，常见的CS法有IHS变换、主成分分析(PCA)和高通滤波法等。该类方法容易实现且计算效率较高，但由于未考虑SAR图像和MS图像成像波段范围的巨大差异，导致融合图像存在光谱畸变现象。2)多分辨率分析(Multi-Resolution Analysis,MRA)法，先获取SAR图像中的空间细节信息，然后利用多分辨率表示系数的加权融合与重构获得最终结果，常用方法有小波变换(wavelet)、非下采样轮廓波变换(NSCT)[2，3]和Shearlet变换方法[4，5]。相对于CS法，MRA法的计算复杂度更高，可以减少SAR图像存在的噪声，降低光谱畸变，但图像配准精度不佳，造成融合图像边缘失真和图像混叠。3)CS和MRA结合法，利用二者优点，在降低空间和光谱失真的同时，也可以降低算法复杂度。例如，Alparone等[6]利用IHS变换可保留空间细节信息和MRA法可以很好保存光谱信息的优点，提出基于IHS变换和MRA的融合方法，但其中的CS法只可使用能实现空间变换的融合方法(如PCA和IHS)[6]。

与传统方法相比，卷积神经网络(Convolutional Neural Networks,CNN)以优秀的特征提取和表示能力应用于图像融合领域，并取得优异性能[7-11]。例如：Masi等[12]基于超分辨率卷积神经网络(SRCNN)[7]提出基于CNN的泛锐化(Pan-sharpening)融合算法，其融合精度明显高于传统算法；Zhong等[13]利用CNN增强MS图像的空间细节信息，然后利用格拉姆-施密特(Gram-Schmidt,GS)变换将增强后的图像融合；Yang等[14]提出双分支网络融合架构，融合图像质量显著提升；Yuan等[11]将多尺度特征提取和残差学习引入CNN体系结构，充分利用深度神经网络非线性关系的强大表征能力，使融合结果进一步提升；Li等[15]在红外与可见光图像融合中，提出基于嵌套连接的网络，可以从多尺度角度保留输入数据中的大量特征信息。在SAR和MS图像融合方面，余艳等[16]提出基于相位一致性和PCNN的SAR和MS图像融合算法，提高了细节特征的提取能力，但存在局部特征提取不充分问题；吴佼华等[17]使用双分支网络结构极大程度上保留了SAR和MS图像的特征信息，但未使用更细粒度的网络结构增加网络的感受野，不能获取图像不同尺度特征。鉴于此，本文引入“特征提取模块—特征融合层—解码器”的空间细节信息融合方案，提出基于双分支多尺度残差融合嵌套连接的SAR和MS图像融合网络架构(Double-branch Multiscale Residual-fusion Nested-connections Net,DMRN-Net)，在更细粒度上增加网络尺度和感受野，以提高SAR和MS图像的融合效果。

1 网络架构

本文在PanNet[14]和双分支卷积神经网络架构[17]的基础上，结合多深度特征提取模块、多尺度残差融合网络和嵌套连接解码器，提出基于双分支多尺度残差融合嵌套连接的SAR和MS图像融合网络架构，包括空间细节提升和光谱保持两方面(图1)。

图1 算法的总体架构Fig.1 Overall architecture of the algorithm proposed in this paper

1.1 细节提升分支网络架构

参考文献[18]的残差融合嵌套连接网络结构，本文在细节提升分支中使用多尺度残差融合嵌套连接网络架构(图2)，该网络结构包含多深度特征提取模块、多尺度残差融合网络(MRFN)和嵌套连接解码器(Decoder)三部分。首先，利用高通滤波器获取SAR和MS图像的高频信息，将MS的高频信息经过三倍上采样，使之与SAR图像分辨率相同；然后分别通过“1×1，(1，60)”“1×1，(3，60)”卷积块，将其输出通道值增加到60；其次，利用多深度特征提取模块提取图像中不同深度的特征信息，该方式可以兼顾图像的浅层和深层特征，有利于重构融合后图像；最后，利用基于嵌套连接的解码器[15]网络进行图像重构，以充分利用图像的多深度特征。

注：卷积层“n×n，(x，y)”表示卷积核大小为n×n，输入通道值为x，输出通道值为y；MRFNt表示多尺度的残差融合网络，不同MRFN网络使用相同的网络架构，但具有不同的权值。图2 细节提升分支网络架构Fig.2 Branch′s network architecture based on detail improvement

图3 RFN和MRFN模块(尺度s=4)间的比较Fig.3 Comparison of RFN and MRFN modules(scale s=4)

(1)

1.1.2 嵌套连接解码器网络 对UNet++[23]网络结构进行简化，得到基于嵌套连接架构的解码器网络(图4)。其中，“DCB”表示解码器卷积块，包含两个卷积核为3×3的卷积层，卷积块之间通过短连接进行连接，类似于密集的块结构[24]。针对MRFN网络中不同层级的输出，嵌套连接解码器通过上采样将特征信息采样到同一尺度，以充分融合图像特征。

图4 解码器架构Fig.4 Architecture of the decoder

1.2 光谱保持分支网络

对MS图像进行上采样，之后与从细节提升分支重建的图像叠加，使MS的光谱信息和重建图像的细节信息均注入融合图像F中：

F=Fhp⊕↑MS

(2)

1.3 损失函数

本文网络架构使用的损失函数Ltotal(式(3))包括光谱损失函数Lspectral(式(4))和细节损失函数Ldetail(式(5))两部分：Lspectral为双分支融合图像F和参照图像GT的L2范数，Ldetail为细节提升分支网络输出结果Fhp和SAR图像高频信息Shp之间的L2范数。

Ltotal=Lspectral+λLdetail

(3)

(4)

(5)

式中：λ为参数；N为每批次训练图像对的数量。

2 实验与结果分析

2.1 实验区域与数据

本文选取两组地物类型丰富且各具特点的研究区域(图5、图6)作为实验数据：1)第一组数据为南通市通州湾影像，包含海水、建筑、耕地、道路等多种地物，用于验证本文算法在空间细节方面的提升效果；第二组数据为常熟市虞山国家森林公园及尚湖附近影像，包含山地、森林、湖水、桥梁、居民点等地物，用于验证多地物影像融合是否会影响算法精度。SAR影像为从Copernicus Open Access Hub下载的Sentinel-1B IW模式GRD级别数据，MS影像为从地理空间数据云下载的Landsat8_OLI_TIRS数据。首先使用SNAP对SAR影像进行轨道矫正、辐射定标、相干斑滤波以及地形校正，再使用ENVI对多光谱影像进行辐射定标和大气校正，然后对预处理后的SAR和MS图像进行图像配准，配准误差在0.5个像元内。因缺乏SAR和MS图像融合后的理想标准，为使实验结果在光谱信息和细节信息有参照依据，采用Sentinel-2A数据(分辨率为10 m)作为参照图像。

图5 第一组实验数据Fig.5 Experimental data of group 1

图6 第二组实验数据Fig.6 Experimental data of group 2

2.2 实验设置

本文实验环境为Window10 64位操作系统，2.5 GHz处理器，NVIDIA GeForce GTX 1650 Ti显卡，在Python 3.6的环境下用TensorFlow搭建网络架构。每批次训练数为100，总迭代次数为25 000，用Adam作为优化器，学习率设为0.0001，动量衰减系数设为0.99。从预处理好的图像中裁剪出10 000组90×90和30×30像素的SAR和MS图像对，按照4∶1的比例将8 000组图像对作为训练数据集，2 000组图像对作为验证数据集；裁取出2组大小为900×900和300×300像素的SAR和MS图像对作为测试集。网络训练时，首先按照Wald[19]协议对数据进行预处理，即对原始SAR和MS图像进行3倍上采样，得到SAR和MS的图像对，然后将GT(30×30×3)、SAR(30×30×1)、MS(10×10×3)作为网络训练的输入，训练时长约为2.7 h。

2.3 消融实验

2.3.1Lspectral和Ldetail的消融实验 式(3)中参数λ决定损失函数的设计是否合理，故需评价在λ取不同数值时，训练和验证阶段损失函数变化情况(图7、图8)，从而确定最优的λ值。可以看出，随着λ减小，总损失减小；λ=0.5、10、100时，图像的光谱损失值较小；λ=0.5、1、5时，空间细节损失值较小。因此，为兼顾光谱与细节损失，本文选择λ值为0.5。进一步引入相关系数CC、均方根误差RMSE、空间相关系数SCC[21]分析SAR图像与融合结果之间的空间细节，MIMF表示融合结果与MS图像之间的相似度，MISF表示融合结果与SAR图像之间的相似度。

图7 训练阶段损失函数曲线Fig.7 Loss function curves of training phase

图8 验证阶段损失函数曲线Fig.8 Loss function curves of validation phase

从表1可知：随着λ值减小，MIMF逐渐减小，表示融合结果与MS图像的相似度变低，融合光谱信息受影响，但CC、RMSE、SCC和MISF逐渐变优；当λ=0.5时，CC、RMSE、MISF最优，SCC次优，可以在融合结果中加入更多的空间细节信息。

表1 不同λ值实验结果的评价指标Table 1 Evaluation indexes for different λ values

2.3.2 嵌套连接解码器的消融实验 为验证嵌套连接解码器在网络结构中的作用，将本文算法与删除“DCB”块间短连接后的解码器网络架构进行对比(表2)。可以看出，本文算法的5个评价指标均较高，表明嵌套连接架构对于解码器的重构能力非常重要，使用嵌套连接的解码器能保存图像更多的多尺度深度特征，融合结果更清晰。

表2 不同解码器的评价指标Table 2 Evaluation indexes for different decoders

2.4 不同融合方法比较

为验证本文算法在光谱保持与细节提升方面的显著优势，分别与IHS、NSCT、wavelet、双分支卷积神经网络(TCNN)[17]和DRN-Net算法进行比较，DRN-Net算法与本文算法的不同之处在于使用了RFN残差融合模块的算法，用于验证本文提出的多尺度残差融合模块(MRFN)的作用。

2.4.1 主观评价 将融合结果中红框区域进行上采样，与双线性三倍上采样的原MS图像相比(图9、图10)可知，所测试的6种方法在空间细节信息方面均有增强，但提升幅度略有不同。从第一组实验数据可以看出：IHS算法(图9a)和NSCT算法(图9b)的空间细节特征显著增强，但细节信息过量，导致融合结果存在颜色失真现象，尤其是水面颜色失真较严重；wavelet、TCNN、DRN-Net网络以及本文算法在光谱保持方面表现均较优异，wavelet融合结果(图9c)有一定的空间细节信息提升，但融合结果纹理锯齿状明显且边缘部分特征失真，影响后期目标结构和边缘提取；TCNN算法(图9d)的融合结果没有边缘失真现象，图像细节纹理较wavelet略有提升，但建筑区域细节模糊，融合不自然；DRN-Net(图9e)在双分支卷积神经网络的基础上加入了残差融合网络(RFN)，空间细节过多，导致其融合结果地物边缘仍不理想；本文算法(图9f)充分提取SAR和MS图像不同深度的图像特征，并使用多尺度残差融合网络，在更细粒度上扩展了网络深度，融合结果不仅未因加入过多的SAR图像空间细节信息而导致光谱失真，也未出现边缘失真和纹理模糊现象，融合结果同时增强了图像的空间细节信息和目标的显著特征。第二组实验数据融合结果(图10)与第一组实验数据融合结果基本一致。

图9 第一组实验数据融合结果Fig.9 Fusion results of the experimental data of group 1

图10 第二组实验数据融合结果Fig.10 Fusion results of the experimental data of group 2

2.4.2 客观评价 除CC、RMSE等图像光谱评价指标外，进一步选取峰值信噪比(PSNR)、结构相似性(SSIM)评价融合结果的空间细节质量，选取相对无量纲全局误差(ERGAS)和算法测试时间对不同算法的融合结果进行比较(表3、表4)。从CC和RMSE可以看出，IHS和NSCT算法表现较差，表示这两种算法在SAR和MS图像的融合过程中会造成融合结果颜色失真；wavelet算法在融合图像中加入过多SAR图像的空间细节信息，导致目标物体边缘失真；TCNN算法和DRN-Net算法均有较好的光谱保持能力，但仍有进步空间。从PSNR和SSIM可以得出，IHS和NSCT算法的PSNR指标表现较差，表示这两种算法的融合结果存在较显著的图像失真；wavelet的PSNR指标进一步提升，但其融合结果易受小波变换方向约束的影响，目标地物边缘出现明显的锯齿状；TCNN和DRN-Net的PSNR和SSIM较高，明显增强了融合结果的细节信息。由ERGAS可以看出，IHS和NSCT算法表现较差，缘于两者在光谱保持和空间细节提升方面的评价指标均较差，与主观评价结果一致；wavelet有明显提升，有效改变了IHS和NSCT融合结果出现的颜色失真现象；TCNN和DRN-Net算法充分利用卷积神经网络强大的计算能力，进一步提升图像融合的整体效果。在算法效率方面，IHS算法的耗时最短。除残差融合网络外，使用相同的网络结构和参数，本文算法比使用RFN模块的算法在光谱保持和空间细节方面均有提升，且比wavelet效率更高，适合海量遥感数据的融合处理。

表3 第一组实验数据评价结果Table 3 Evaluation results for the experimental data of group 1

表4 第二组实验数据评价结果Table 4 Evaluation results for the experimental data of group 2

3 结论

为改善传统SAR和MS图像融合算法的颜色失真和空间细节模糊问题，本文以双分支网络为基础，提出包含多尺度残差融合网络和嵌套连接解码器的SAR和MS图像融合的双分支卷积神经网络，通过与IHS、NSCT、wavelet、TCNN以及DRN-Net算法的比较，本文实验结果在光谱保持和细节提升方面均表现优异，故得出以下结论：1)双分支网络架构可以在更大程度上保持SAR和MS图像的特性；2)多尺度残差模块可以提高网络的多尺度表示能力，增加算法的特征提取能力，对相关特征提取网络有一定的借鉴作用；3)在解码器方面，采用嵌套连接的方式将不同尺度的特征充分融合，使得融合结果中的空间细节信息更丰富。本文算法未关注不同注意力机制对图像融合结果的影响，后期会进行不同注意力机制对算法提升幅度的实验，进一步提升实验效果。