基于密集连接的高分辨率遥感图像分类

陈知明, 张 江, 邱汉清, 戴颖成, 吴宇鑫, 李建军

(中南林业科技大学计算机与信息工程学院， 湖南长沙 410004)

随着遥感图像空间分辨率的不断提高，从遥感图像中可获取的有用信息越来越多。对于低空间分辨率遥感图像分类，K-means、神经网络、支持向量机、随机森林等方法应用广泛；然而，上述方法对于噪声敏感，存在着不能轻易获取语义级别信息等缺陷，限制了其在高空间分辨率遥感图像分类中的应用。与传统图像分类对图片进行标记不同，高分辨率遥感图像分类需要对图片的每个像素进行对应的语义标记(如河流、树木、建筑、车辆等)。

卷积神经网络(CNN)因其在图像处理上的出色表现，被越来越多地应用到高分辨率遥感图像分类中，但是基于卷积神经网络的高分辨率遥感图像分类模型没有考虑到像素级的语义分类问题[1]，导致对高分辨率遥感图像的低端提取，造成对局部细节信息的不敏感而产生大量的信息冗余，从而降低分类精度[2]。同时，随着卷积神经网络不断加深，在特征提取的过程中，由于固定的卷积核学习到的特征通常是固定的，会出现梯度消失以及网络退化等问题[3]。基于此，Long等[4]提出完全卷积模型(FCN)，将全连接层改成卷积层并增加一层反卷积层，实现了像素级的语义分类。在FCN模型的基础上，SegNet、Unet、Deeplab等模型先后被提出[5-7]，其中Deeplab模型是当前最主流的高分辨率遥感图像分类模型。针对Deeplab模型进行图像特征提取过程中所产生的信息冗余，以及空洞卷积金字塔结构的栅格问题，王云艳等[8]提出采用原始数据图像的极化特征和基于相干/非相干分解的特征组成高维特征空间，然后通过降维获得最优三通道特征向量，构成伪图进行遥感图像分类；袁立等[9]通过编码器提取遥感影像的输入特征并执行池化操作得到多尺度的上下文信息，将低层特征和经卷积金字塔后的特征串联起来再进行卷积，从而最大化地利用特征信息；陈天华等[10]以Deeplab为网络前端，结合Inception v2模块结构所扩大的网络宽度最大化地提取图像信息；Fan等[11]在Deeplab网络中引入一个调整空洞卷积核参数来提取具有相似特征的不同对象，同时将解码器组添加到模型结构中，以判定图像中的相似性对象；Niu等[12]将Deeplab所提取的空间特征和光谱特征加权融合进行分类。通过对图像的极化特征、空间特征以及光谱特征进行加权融合处理，会破坏图像的上下文语义信息[13]，而Inception v2结构在一定程度上保留了上下文的语义信息，却忽略了遥感图像全局信息之间的相关性[14-15]。

基于上述分析，本文借鉴Huang等[16]提出的密集卷积网络中密集连接结构的思想，将Deeplab模型进行改进，在保留空洞卷积层进行多尺度特征提取的基础上，结合密集连接结构，提出一种基于密集连接的轻量级高分辨率遥感图像分类模型Dspp，避免由于空洞卷积造成局部信息丢失。Dspp通过将采样率大小不同的空洞卷积层从小到大依次排列，每层直接与后续所有层相连接，使每层的特征信息能直接传播到后续所有层，被后续所有层反复利用，最终采用全条件连接场进行像素级精细化调整，在保留上下文语义信息和全局信息之间相关性的同时，有效地减少深度模型的参数数量，从而提高模型的训练速度，节省模型的存储空间，取得更好的分类效果。

1 Dspp网络模型设计

高分辨率遥感图像由于成像范围广，在应用完全卷积网络及传统的卷积神经网络对高分辨率遥感图像进行特征提取的过程中，为了提高网络的分类性能，会进行连续池化和下采样操作来增大感受野，提高远程信息的获取能力，但是会出现空间分辨率明显下降的现象[17]；同时，卷积神经网络在高分辨率遥感图像特征提取的过程中，由于卷积神经网络的空间不变性造成高分辨率遥感图像细节信息丢失，导致出现误分类的现象[18]。

Deeplab网络采用空洞卷积金字塔结构代替连续池化和下采样操作，通过使用多个并行的不同采样率大小的空洞卷积层，对特征信息进行不同尺度的多次提取，再进行融合生成最终的结果，以减少遥感图像分辨率下降的现象[19]，空洞卷积金字塔网络结构如图1所示。但空洞卷积金字塔结构存在采样数少且不密集的问题，使得分类效果并不能得到较大的提升。

图1 空洞卷积金字塔网络结构 Fig. 1 Hole convolution pyramid network

空洞卷积核通过在标准卷积核中插入零元素来增大感受野，相比原来的卷积核，空洞卷积核多了一个参数——采样比率(r)。为了保持当前参数量并且扩大感受野，比率为r的空洞卷积在相邻连接值之间插入r-1个零值，有效地将一个k×k大小的卷积核扩大到ke=k+(k-1)×(r-1)。图2(a)对应r=1，标准卷积核大小为3×3；图2(b)对应r=2，卷积核大小为3×3，空洞数为1，即表示7×7的图像当中有9个点有卷积过程，只有9个点的权重不为0，其余的权重都为0；当r=2时卷积层的感受野相比r=1时已经由3×3变换成了7×7，而参数量以及计算量并没有增大。

图2 Rate为1、2、4的空洞卷积Fig. 2 Hole convolution of rate 1,2,4

在特征提取时，与相同感受视野的标准卷积核相比，在一个7×7大小的感受视野区域中，空洞卷积核所利用的特征信息仅为标准卷积核的9/49。通过空洞卷积金字塔结构在一定程度上可以增加特征信息的利用，但是其对特征信息的利用率依然不高[20]。Deeplab中的空洞卷积核对高分辨率遥感图像进行特征提取时，空洞卷积层得到的卷积结果来自上一层的独立信息集合，导致上下卷积层所得到的信息之间没有相互依赖性，造成图像局部特征信息的丢失，模型的分类性能难以得到进一步提升。采用密集卷积网络中密集连接结构思想，将Deeplab模型中的空洞卷积金字塔结构替换成空洞卷积密集连接结构，可以在保留4个不同空洞率下空洞卷积感受野增大的同时，保证空洞卷积之后特征信息的相关性。

如图3所示，密集卷积网络中的密集连接结构为了确保经过卷积后，网络中各层所提取特征信息之间的信息流最大化，将所有层直接连接在一起，每个层从前面所有层获得输入，并将自身输出的特征输入到后续所有层。第lt层的输入为x0，x1，…，xl-1，t为密集连接结构后续的层数，输出为

图3 密集连接结构Fig. 3 Dense connection structure

xl=Hl([x0，x1，…，xl-1])。

(1)

式中：Hl为连续3个操作，即批正常化、线性单元和一个3×3卷积。

密集连接结构的一个重要参数为增长率k，它决定每一层为整个网络贡献多少新的信息[21]。如果每个函数Hl产生k个特征谱，则第lt层的输入特征为：

k0+k×(l-1)。

(2)

式中k0为输入图像的通道数。

由于网络密集块中的每一层都会接受前面所有层的特征作为输入[22]，采用级联和跨层连接的方式不断加深网络层数，使得网络结构中大量特征得到重用[23]，以充分利用高分辨率图像的特征信息。同时，反向误差信号在传播过程中，不会随着层数加深而变小，缓解了梯度消失的问题[24]。

使用全连接条件随机场(CRFs)，根据像素级对关系类结果进行微调[25]。全连接条件随机场的能量函数为

(3)

式中：x为像素的分类；θi(xi)=-logP(xi)为一元势能，P(xi)为CNN预测的第i个像素的分类；θij(xi，xj)为完全连通图连接的第i个像素和第j个像素的二元势能。二元势能定义为

(4)

在xi≠xj或全部为零的情况下，有不同的节点标签受到惩罚。在不同的函数空间中使用2个高斯核，第1个内核取决于2个像素(表示为ρ)的位置和RGB颜色(表示为I)，第2个内核只取决于一个像素的位置。θα、θβ、σγ为超参数，用来控制高斯核的大小。Dspp模型网络结构如图4所示。

图4 Dspp网络结构Fig. 4 Dspp network structure

2 实验与结果分析

2.1 实验数据集

本文使用Vaihingen遥感数据集对模型进行训练和验证，该数据集可在国际摄影测量与遥感学会网站上获取，包含5个最常见的土地覆盖类别，分别为不透水面、建筑物、低矮植被、树木、汽车，共有33幅不同大小的高分辨率遥感图像。

对Vaihingen数据集的33幅高分辨率遥感图像采用256×256大小的窗口、 128步长，滑动裁剪共得到8 157张影像；为了提高模型的泛化能力，本文采用旋转90°、180°、270°、左右翻转、上下翻转等数据增强操作。

2.2 实验环境及参数设置

实验环境为Ubuntu16.04，Python3.5，深度学习框架为Pytorcy。硬件环境为英特尔i9-7920X CPU，NVIDIA RTX2080Ti 11 GiB。实验网络初始学习率设置为2.5×10-4，网络输入图像批次大小batch_size设置为16。

将Dspp模型与FCN、FCN-8S、Deeplab模型通过Vaihingen数据集进行对比实验，以整体精度(ηOA)、Kappa系数来评估各模型在高分辨率遥感图像上的分类性能。其中，ηOA=正确分类的测试样本数量/测试样本总数；Kappa系数用于衡量分类一致性的程度。

空洞卷积核的采样率大小决定了模型以多大尺度的感受野去提取特征，考虑到空洞卷积核采样率的不同会对模型分类效果产生影响[26]，本实验设置不同的采样率，以验证采样率大小对模型分类效果的影响。不同采样率的模型如下：1) Dspp-S，有4个较小采样率的空洞卷积核(r=2，4，6，8)。2) Dspp-M，有4个中等采样率的空洞卷积核(r=4，8，12，16)。3) Dspp-L，有4个较大采样率的空洞卷积核(r=6，12，18，24)。

2.3 实验结果与分析

观察表1可知，Dspp模型对各类目标的分类精度均高于Deeplab、FCN-8S和FCN模型，尤其是建筑物的分类精度高于其他模型20个百分点以上；此外，Dspp模型总体精度和Kappa系数分别为82.2%和68.4%，优于FCN模型(65.4%，42.6%)、FCN-8S模型(70.5%，46.7%)和Deeplab模型(74.5%，49.5%)。在表1中，FCN、FCN-8S、Deeplab和Dspp 4个模型对cars的分类精度均不高，这可能是由于VaiHingen 数据集中cars样本数较少造成的，但Dspp模型分类性能仍明显优于其他模型，分类精度较其他模型高出8个百分点，这说明在样本量较小的情况下，本文提出的模型能更充分地利用信息，分类性能更好。对于样本量足够大的不透水面，所有模型的分类精度都较高，Dspp模型的分类精度达到87.3%，同样优于其他3类模型。

表1 Vaihingen分类结果Tab. 1 Results of Vaihingen classification

从图5可以看出，对较密集的主体进行分类时，FCN、FCN-8S和Deeplab分类细节效果较差，而Dspp模型因为对全局信息量的提取较充分，因此，相较于其他模型分类细节效果更好。

图5 Dspp与其他分类模型分类对比结果Fig. 5 Comparison results between Dspp and other classification models

观察表2可知，在不同采样率下(Dspp-S、Dspp-M、Dspp-L)整体精度相差较小，而采样率较大的卷积核所提取的特征信息更加充分，Kappa系数相应地得到了提升。

表2 不同采样率模型结果Tab. 2 Results of different sampling rate models

3 结语

本文提出一种新的高分辨率遥感图像分类模型——Dspp，采用密集卷积网络中密集连接结构的思想，将原来Deeplab模型的空洞卷积金字塔结构改成空洞卷积密集连接结构，并采用全条件连接场对分类结果进行微调。采用Vaihingen数据集进行实验，Dspp模型整体分类精度为82.2%，Kappa系数为68.4%。通过与FCN、FCN-8S和Deeplab模型的对比实验，结果表明Dspp模型相较于FCN、FCN-8S和Deeplab模型的整体精度分别提高了16.8、11.7和7.7个百分点，有效地解决了空洞卷积核对高分辨率图像信息利用率低和空洞卷积下局部位置信息丢失的问题。最后，讨论了模型参数中的空洞卷积核采样率r对模型分类效果的影响。在未来的工作中，将继续探索其他深度神经网络结构在高分辨率遥感图像分类中的应用，例如，将自然语言处理(NLP)当中具有强大自注意力机制的Transform网络引入到高分辨率遥感图像进行分类研究等。