基于多形态卷积神经网络的遥感图像融合方法

张应刚

（中国机械科学研究总院集团有限公司，北京 100044）

0 引言

对全色（PANchromatic，PAN）图像和多光谱（Multi-Spectral，MS）图像进行融合，可以获得同时具有高空间分辨率和高光谱分辨率的遥感图像。经典的分量替换法（Component Substitute，CS）[1～3]，多分辨率分析法（Multi-resolution Analysis，MRA）[4,5]和基于模型的方法[6,7]等已取得了一定得融合效果，但仍存在空间细节和光谱失真问题[8]。大多数融合算法将源图像视为单个成分并直接对其进行处理，而没有考虑具有不同属性的图像的特性差异很大，因此通常会忽略源图像中的某些细节。

Starck等人[9,10]提出了一种信号稀疏表示方法——形态成分分析（Morphological Component Analysis，MCA）。MCA在图像分解[11]、图像去噪[12]、图像修复[13]等方向中都取得了良好的成效，它集合了多种经典变换基的优点，把图像分解为多个形态成分，有效的表达了图像成分。

随着深度学习技术的迅速发展与广泛应用[14]，越来越多的研究人员将深度学习引入遥感图像分类[15]、图像融合[16]等。其中卷积神经网络（Convolution Neural Network，CNN）[17,18]能够更加出色的提取图像的非线性特征，相较于众多传统的遥感图像融合方法，基于卷积神经网络的遥感图像融合方法能够学习全色图像和多光谱图像波段间的相关性，从而使该方法取得了显著的融合效果，且端到端的融合更加便捷。

因获取遥感图像常携带高频的噪声和干扰，现有的经典融合算法和深度学习法把源图像视为单个成分并直接对其进行处理，而没有考虑具有不同源图像的差异性，常会忽略图像内容中的某些细节。因此，本文结合稀疏分解MCA法和CNN，提出了一种基于多形态卷积神经网络(Multi-morphological Convolution Neural Network，MCNN)的遥感图像融合方法，对待融合的源图像先进行多形态成分的稀疏分解，获得不同源图像的纹理成分和平滑的卡通成分，然后利用CNN最终获得具有高空间分辨率的多光谱图像。

1 基于多形态卷积神经网络的遥感图像融合

1.1 基于形态成分分析图像分解

联合局部离散余弦变换（Local Discrete cosine Transform，LDCT）和曲波变换（Curved Wave Transform，CT）作为MCA的字典，分别对单通道的PAN图像和三个通道的MS图像进行形态成分分析，提取其纹理成分和卡通成分。基于MCA的PAN图像和MS图像的稀疏分解分别如式(1)、式(2)所示。

假设待处理图像是仅包含纹理或卡通成分且大小为的图像，将该图像表示为长度为的一维向量，该图像就可以通过LDCT字典D1和CT字典D2来提取其纹理成分和卡通成份，即：

1.2 网络的选取与设置

在融合网络中，假设F(i,j)是融合图像在(i,j)处的像素，PAN(i,j)和MS(i,j)分别是PAN和MS图像的对应像素，T(i,j)和C(i,j)分别是纹理成分和卡通成分的对应像素。卷积运算定义为式(6)所示：

其中，x是卷积的输入，w是卷积核，ReLU为非线性激活函数。

融合网络包含10个卷积层，其中6个卷积层的大小为N×N(N>1)，其余为(1×1)。通过这个网络来表示融合函数F(PAN,MS)→F。设Tk(k=1,2,3)和Ck(k=1,2,3)分别表示纹理成分和卡通成分的第k层卷积层的输出。

通过T(i,j)和C(i,j)计算融合像素F(i,j)。融合过程如式(6)所示：

在卷积运算的整个过程中，每一层都是在融合过程中参考前一层的融合结果，即多尺度成分融合，通过卷积运算获得的最终融合图像是不同成分比例图像融合的结果。

1.3 MCNN算法流程

基于MCNN的遥感图像融合方法的流程图如图1所示。详细步骤如下：

图1 MCNN算法流程图

1）联合LDCT基D1和CT基D2作为形态成分分析的分解字典D=[D1,D2]，对输入的源图像PAN和MS分别进行形态成分分析，提取两幅图像的纹理和卡通成分。

3）将步骤2输出的纹理分量和卡通分量再次作为输入图像，经过卷积神经网络的融合后，得到最终输出的融合图像。

1.4 MCNN网络结构

基于MCNN的遥感图像融合方法的网络结构如图2所示。

图2 MCNN 网络结构图

较大的卷积核和深度网络会削弱融合的特性，增加计算的代价，因此在CNN模型中，我们将卷积核的大小N设为3，网络深度设为4。根据原始图像分别计算两幅图像的纹理成分和卡通成分。在生成Ti(i,j)和Ci(i,j)时，分别使用了两个大小为3×3和1×1的卷积层，T1(i,j)/C1(i,j)，T2(i,j)/C2(i,j)，T3(i,j)/C3(i,j)的特征图个数分别为32，64和128。最终的融合图像有三个特征图（R,G,B三通道），在生成融合的特征图是，使用了3个1×1的卷积层，且特征图的个数相同。

2 实验结果与分析

2.1 实验数据

选取了两组地形区域不同的遥感图像进行融合效果测试。第一组实验数据(图2(a)～图3(j))分别取自Landsat-TM影像中分辨率为30m的MS图像和SPOT影像中分辨率为4m的PAN图像，实验区位于吉林地区，涵盖了植被、建筑用地、交通道路等多种类型，图像大小为256×256像素。第二组实验数据(图3(a)～图3(j))分别取自中巴地球资源一号卫星(CBERS)影像中分辨率为19.5m的MS图像和Landsat ETM+影像中分辨率15m的PAN图像，实验区位于广东省珠海市斗门区，包含林地、水体、农业用地等，图像大小为512×512像素。

2.2 损失函数

本文使用回归模型训练融合函数：

其中为训练集的原始图像，PAN是全色图像，MS是低分辨率多光谱图像。F(θ;PAN,MS)是模型输出的融合函数，n是训练样本的个数，我们通过最小化函数I来求解融合函数F。另外，图像的像素值范围为0～255，在输入模型之前归一化到区间[0,1]。

模型的优化算法为Adam算法，这是一种基于随机梯度下降的自适应学习率优化算法。该模型的初始学习率设置为0.001，在训练阶段总数的50%和75%时除以10。总训练时间为40分钟，模型最终训练均方差为0.00012。

2.3 评价指标

为了能够客观的验证不同方法的性能，选取了以下五种常用的客观评价指标对实验结果图像进行了评价，分别是相对平均光谱误差（Relative Average Spectral Error Index，RASE）、均方根误差（Root Mean Square Error，RMSE）、全局相对光谱损失（Erreur Relative Globale Adimensionnelle de Synthese，ERGAS）、光谱信息散度（Spectral Information Divergence，SID）、峰值信噪比（Peak Signal-to-Noise Ratio，PSNR）。其中，RASE反映所有通道平均光谱表现，融合图像光谱质量越高，则RASE越低，理想值为0。RMSE是计算融合图像与参考图像之间像素值差异，差异越小说明光谱保持越好，理想值为0。ERGAS是评价融合图像的空间和光谱质量，其值越小说明融合图像质量越好，理想值为0。SID是基于信息论衡量两幅光谱差异的方法，值越小说明差异越小，即光谱保留越好，理想值为0。PSNR反映了图像的噪声和失真水平，PSNR值越大，图像与参考图像越接近，质量越好。

2.4 实验结果

实验对HIS[1]、PCA[2]、Brovey[3]、DWT[4]、NSCT[5]，ATWT[6]、FCNN[19]和本文的MCNN融合方法进行了结果的比较。

第一组遥感数据中不同融合方法的结果如图2所示。从对比实验中可以看出，与输入的PAN图像和MS图像相比，这些方法都可以一定程度的提高融合图像的质量。然而，图3(c)～图3(i)都呈现了不同程度的失真，图3(c)和图3(d)发生了融合过饱和的情况，图3(e)～图3(h)可以明显的看出，都具有不同程度的频谱失真，图3(i)的纹理和光谱信息相较于输入原图像，都得到了很好的保留，但是MCNN融合法在光谱信息的保留方面仍优于FCNN。

图3 第一组遥感影像数据的不同融合方法实验结果

图4是第二组遥感数据通过不同融合方法的最终结果。图4(c)～图4(i)都具有不同程度的空间结构模糊和光谱畸变，图4(c)～图4(d)在左上角的山体部分和右下角的植被部分都有着明显的光谱失真，色度偏暗，图4(e)～图4(g)中，可以看到整体的光谱畸变情况严重，分别存在着光谱过为深重和过为明亮的情况，图4(h)的光谱信息保留较好，但是可以看出在山体与林地的交界处，边缘较为模糊，纹理的可视程度差；图4(i)～图4(j)从主观视觉效果来看，无论是在光谱保留方面还是纹理细节方面，均优于其他算法。

图4 第二组遥感影像数据的不同融合方法实验结果

表1列出了通过对第一组数据进行不同融合而产生的结果的客观评估指标。表1中的粗体数字表示各评价指标的最佳值。可以看出，MCNN除了SID指标以外，均取得最高结果。综合图2的视觉效果，MCNN优于其他融合方法。

表1 吉林省实验数据融合结果的评价指标

表2所示为第二组数据融合结果的评价指标，其中粗体数字表示每个评价指标的最佳值。与其他七种方法相比，MCNN具有更好的评价指标结果。结合图3主观视觉效果，MCNN优于其他融合方法。

表2 广东省实验数据融合结果的评价指标

3 结语

本文提出了一种基于多形态卷积神经网络的遥感图像融合方法，通过形态成分分析提取遥感图像的纹理成分和卡通成分，并将该方法与卷积神经网络相结合，在避免源图像信息丢失的同时又加强了对输入图像细节的提取。通过对不同的卫星获取的不同类型的数据进行融合实验与结果分析，结果表明本文的方法能够较好地保持光谱信息，且获得了更为丰富的空间细节。