基于扩张图卷积网络的SAR图像分类

叶乡凤，董张玉，杨学志

（1合肥工业大学 计算机与信息学院，合肥 230601；2工业安全与应急技术安徽省重点实验室，合肥 230601；3合肥工业大学 软件学院，合肥 230601；4智能互联网系统安徽省实验室，合肥 230601）

0 引 言

合成孔径雷达可以在全天候和昼夜条件下提供高分辨率的图像。SAR分割的目的是为每个像素点分配特定的标签，是变化检测、目标识别的基础。常用的分割框架是像素级，首先采用灰度共生矩阵或变换域滤波器提取SAR图像的特征，如小波变换；其次，利用分类器对像素进行分类，包括随机森林（Random Forest）、AdaBoost等。近年来，深度学习体系结构已被证明具有良好的高级特征表示性能，可以同时进行特征提取和分割。目前，基于卷积神经网络（Convolutional Neural Networks，CNN）和全卷积神经网络（Fully Convolutional Networks，FCN）的深度学习方法取得了良好的性能。

但是上述网络模型只能在规则的正方形的区域进行卷积，KIPF等人认为拓扑图更能表达事物之间的依赖性关系，提出了图卷积网络（Graph Convolutional Network，GCN），以一种快速卷积的方式同时编码图的节点和边的特征；GCN网络模型数过多会抑制其性能，MA等人使用GCN并加入注意力机制对邻居节点进行加权聚合，并且引入超像素的机制减少计算量，取得了优于传统算法的分类结果；LEE等人以一种自适应的方式，同时利用时间信息和强度信息，增强特征；LI等人将卷积神经网络中残差网络、密集型卷积等的思想引入到图卷积网络中，证明了残差连接可以加深网络的深度；WAN等人提取不同尺度的空间信息增强细节特征，证明了空间尺度细节信息的重要性，但是却忽略了不同尺度的感受野的重要性程度不一，带来了冗余。

针对上述问题，本文构建了一种改进的图卷积网络，即构建了RDGC模块，对不同尺度的信息进行提取，提取局部细节空间特征；再利用依赖性关系自适应提取不同感受野的信息，即对不同感受野的信息进行增强或抑制，获取有表征力的特征；将各个模块的输出进行串连拼接，整合各个层次的信息，并将底层全局特征信息附加在其上，形成残差连接，补充空间细节。

1 本文算法框架

本文提出了一种基于自适应扩张图卷积网络，用于SAR图像分类，网络模型结构如图1所示。网络共包括3个模块：粗分割模块、残差扩张图卷积模块（RDGC）和特征融合模块。

图1 本文网络模型架构Fig.1 The network model architecture of this paper

粗分割模块：为了降低计算量，采用SLIC算法对真实SAR进行超像素粗分割处理。表示SAR图像，表示SAR图像经过SLIC超像素后的结果，则粗分割模块处理过程可以表示为式（1）：

其中，将第一个RDGC模块的输入经过1×1的卷积，以调整通道维度。

特征融合模块：将每个残差扩张图卷积模块的输出特征串接在一起，整合不同层次的信息流，式（3）：

最后，将粗分割后图像经过1×1卷积之后得到底层特征，附加在增强后的特征图上，形成全局残差学习，补充底层细节信息，解决梯度爆炸的问题，从而提高SAR图像分割精度，公式（4）：

1.1 扩张图

在SAR图像分割领域，已经证明多尺度的有效性。在SAR图像中，地物通常具有不同的几何外观，不同尺度包含的上下文信息有助于充分挖掘图像区域局部属性。扩张卷积已经广泛应用于CNN网络模型中，可以扩大感受野，并且不增加网络的复杂性。DeepGCN也证明了扩张卷积在GCN模型中的有效性。受扩张卷积的启发，本文构造不同扩张率的图结构，利用不同感受野，挖掘中心像素点周围的空间上下文信息。扩张率为1，2，3对应的邻居节点集，如图2所示。因此，任意一个中心样本x在扩张率为时的邻居节点集为式（5）：

图2 不同扩张率的邻居节点Fig.2 Neighbor nodes at different dilated rates

其中，（x）＝x，（x）是x的扩张率为1的邻居节点集合，也是普通图结构，（S（x））是x的扩张率为1的邻居节点集的所有一阶邻居节点的集合。

1.2 残差扩张图卷积

本文提出了一种残差扩张图卷积模块（RDGC），对图像不同尺度特征之间的依赖性关系进行建模，自适应地为不同的尺度特征分配权重，提取更重要感受野的细节信息，增强特征的表达能力。

RDGC主要是由3个扩张率不同图卷积和一个感受野选择块（Reception Field Slect，RFS）的组合，使用残差连接将输入与输出相加，此模块的主要构成如图3所示。

图3 残差扩张图卷积模块Fig.3 Residual dilated graph convolutional module

为了获得更多感受野的信息，以每个超像素为图的节点，构建了扩张率分别为1，2，3的图结构，并进行卷积操作，即将扩张图与输入的特征相乘，对中心节点加权聚合处理得到不同的特征，提取不同尺度的信息，式（6）：

其中，和h分别是扩张图卷积层的输入与输出；为激活函数；是扩张率为的邻接矩阵，也就是扩张图结构；是可训练的权重矩阵。

神经网络的神经元感受野的大小并不是固定的。为了自适应地利用特征在不同尺度上的重要性，对不同尺度的感受野信息依赖关系进行建模，使其能够更灵活地进行多尺度特征选择，自适应选择感受野大小。

首先，将3个尺度的输出特征进行直接相加融合，并进行平均最大池化处理，得到全局特征；其次，利用多层感知机进一步提取深层次、有判别性的全局特征，∈1；最后，再分别进行3次全连接，得到∈1、∈1和∈1。

在通道维度上对这3个特征进行softmax归一化处理，从3个不同扩张因子的扩张卷积中获取特征图的重要因子的特征选择，即得到3个不同尺度上权重系数；最后将权重系数与、、对应相乘，完成对不同感受野特征的加权。整个过程可由式（7）～（11）表示：

残差连接使得可以重复利用特征，保证了局部特征信息可以传递到更高层，确保高层的性能至少与低层一样，解决了现有网络存在的模型退化问题，因此将输入特征残差连接到融合后的特征中，残差扩张模块的输出为式（12）：

2 实验结果与分析

2.1 实验数据

为了评估所提网络的性能，且避免单一土地覆盖类别对分割结果的影响，实验采用了两幅SAR图像数据进行验证，分别是RADARSAT－2拍摄的Flevoland和San－Francisco－Bay，分辨率均为12×8 m。Flevoland的大小为1 000×1 400，包括水体、城区、森林、农田1和农田2这5类土地覆盖类型，其原始影像和标签图如图4（a）和（b）所示；San Francisco－Bay的大小为1 101×1 161，包括建筑物1、建筑物2、建筑物3、水体、植被这5类土地覆盖类型，图4其原始影像和标签图如图4（c）和图4（d）所示。

图4 实验所用图像以及相对应的标签Fig.4 The images and the corresponding ground truth

2.2 参数设置

对于Flevoland和San Francisco－Bay两幅真实SAR图像，在每一类标签像素样本中，选30个样本作为训练集，剩下的样本作为测试集，以此评价所提网络的分割性能。图像数据进行SLIC粗分割的参数见表1。

表1 SLIC粗分的参数设置Tab.1 Parameter settings of SLIC

扩张图卷积隐藏层神经元个数为60，算法选用Adam优化训练参数，设置动量为0.9，学习率为0.06，训练500轮次后，损失值达到稳定。

选用了现有的主流SAR分割算法与本文所提网络进行对比，分别是基于CNN的网络模型ResNet18；基于全卷积的网络模型PSPNet和基于GCN的网络模型MSGCN和AGCN。本文采用各个类别的分割精度，总体分割精度OA、平均分类精度AA和Kappa系数评估各个网络模型的分割性能。

网络采用PyCharm 2021，在处理器为Intel Xeon Silver4114＠2.2 GHZ，内存大小为128 GB，显卡为Nvidia Tesla P100－PCIE－16 GB。

2.3 实验结果

2.3.1 Flevoland图像分类结果对比与讨论

对比方法和本文所提网络的各类别的准确度、OA、AA和Kappa系数，见表2。可以看出，在对比方法中，所提网络分割性能最佳；从类别来看，所提算法在农田2这一类别上提升效果最为显著，相较MSGCN，高出13.52%。

表2 不同算法在Flevoland图像上的分类结果Tab.2 Classification results of different algorithms on Flevoland

与现有的主流SAR图像分割算法对比可视化结果，如图5所示。PSPNet和ResNet18算法的水体分类精度虽然都达到了约99%，但是水体区域内仍有“椒盐”状的误分类点，本文算法“水体”分类精准度达到100%，水体区域地物平整，轮廓清晰；在其余4类地物分类中，ResNet18和PSPNet分类的结果都有大量的误分类点，如“农田2”像素被大量误分为“森林”，MSGCN和AGCN分类结果有所改善，但是边界处仍有不少误分现象，本文算法能有效改善这种现象，能够有效保持边界清晰，且区域平滑。

图5 不同算法在Flevoland上的可视化结果Fig.5 Visual results of different algorithms on Flevoland

2.3.2 San Francisco－Bay图像分类结果对比与讨论

对比方法和本文所提网络的各类别的准确度、OA、AA和Kappa系数，见表3。由表3可知，在所有对比算法中，MSGCN表现最优，但本文算法优于MSGCN，在OA、AA和Kappa系数指标上都获得了理想的分割结果，分别是93.09%、93.32%、91.27%，尤其是在建筑物1类别上，相比MSGCN，提高了近10%，且远远优于其他对比算法的分类精度，因此，也证明了所提网络的有效性以及对不同数据集具有鲁棒性。

表3 不同算法在San Francisco－Bay图像上的分类结果Tab.3 Classification results of different algorithms on San Francisco－Bay images

与现有的主流SAR图像分割算法对比可视化结果，如图6所示。由图6可知，ResNet18利用特征复用，增强了特征，但是分类结果仍斑驳；PSPNet利用多尺度去提取不同细节的特征能够改善这种情况，但是精确度仍不高。总的来说，现有网络整体分类结果较为粗糙，与标签图相比，大量“植被”像素被错误分类为“水体”。相比之下，所提网络可以有效区分类间边缘、地物规整以及区域内更加平滑。

图6 不同算法在San Francisco－Bay上的可视化结果Fig.6 Visual results of different algorithms on San Francisco－Bay

3 结束语

本文提出了一种新的残差扩张图卷积网络，解决图像因样本少、而噪声多，现有网络提取细节特征不充分的问题。所提的RDGC模块具有强大的特征提取能力，不仅能通过多个不同扩张率的图卷积提取不同空间尺度的细节信息，并且可以自适应选择感受野，过滤冗余的信息，因此对多尺度特征更加敏感。为了防止特征丢失和梯度弥漫，将模块的输入与最终的输出结果残差连接，增强保持细节信息的能力。通过实验分析与对比，本文设计的网络达到了理想的分类性能，且匀质区域平滑，边缘保持能力强，解决了小样本图像分类精度低的问题。由于SAR受噪声干扰严重，本文的后续工作将考虑构建更优质的图结构，让图结构能够更精准的表达像素之间的相似度关系，便于后层卷积网络进行加权聚合运算，从而有效地提升分类性能。