遥感图像中细弱目标分割方法

叶秀芬， 于淼， 郭书祥， 梁洪

(哈尔滨工程大学 自动化学院，黑龙江 哈尔滨 150001)

遥感图像语义分割广泛应用于坏境监测、交通规划、自动驾驶系统等多个领域[1]。随着遥感技术的迅猛发展，高分辨率的遥感卫星图像具有观测范围广、包含物体信息多、信息特征提取困难等特点[2]。传统的图像处理方法在应对遥感图像目标提取的问题时，主要难度在于目标特征选取时十分依赖于领域专家的经验[3]。

在遥感图像目标分割领域中，目前多是对一些图像中的地貌信息如水体、森林、道路等占比较大的区域进行分割，对于细弱目标精确分割的研究很少。而高压输电线路作为遥感图像中细弱目标的代表，存在着目标特征难以精确提取、目标类别占整体图像比例过少以及目标受背景干扰大等挑战。目前常用的一些图像分割方法难以取得精确的遥感图像细弱目标分割效果。实现遥感图像中高压输电线路这类细弱目标准确的分割，对于输电线路的运维管理和故障检测具有重大研究意义和应用价值。

对于遥感图像中的目标分割，国内外学者在不同的领域中提出了各自的方法。田昊等[4]提出了基于先验形状约束水平集模型的遥感图像中建筑物提取的方法。周家香等[5]提出了一种基于形态学滤波的高分辨率遥感图像城区不透水表面的提取方法。赵雪梅等[6]利用隐马尔可夫模型和高斯随机场模型，提出了一种模糊聚类的遥感图像分割算法。这些方法针对的目标数据都比较单一，不具有良好的泛化能力，对于细弱目标分割更不能起到良好的效果。

对于遥感图像中高压输电线路这一研究方向，王雪[7]设计了一种高压输电线无人机巡检算法和软件，使用自适应中值滤波方法对无人机获取的高压输电线图像进行去噪和增强。许志军[8]同样针对无人机巡检图像，通过使用深度学习网络，对于图像中高压输电线的缺陷位置进行检测标注。上述算法的应用场景都是基于距离较近的无人机拍摄图像，背景简单且识别的线体目标相比卫星遥感图像中的相同目标清晰很多。如何实现精准的像素级遥感图像细弱目标分割，目前仍没有较好的方法。

近年来，深度学习方法对图像语义分割领域的发展起到了巨大的促进作用。2014 年，Long等[9]提出了全卷积网络(FCN)，这使得卷积神经网络无需全连接层即能实现像素级的预测。2015年提出的U-net基于编码-译码的对称式架构，编码过程通过池化层逐渐减少位置信息、抽取更高层级的语义特征[10]。同年提出的SegNet网络，将池化层结果应用到译码过程[11]，引入了更多的编码信息。但以上的网络都面临着遥感图像中细弱目标特征不明显、类别非均衡的问题，对于遥感图像高压电线一类细弱目标的分割效果同样不能令人满意。

本文针对上述存在的问题和挑战，提出了一种新型网络模型，增加了网络对细弱目标的特征提取与利用能力，加强了网络模型对细弱目标的注意力。并使用集成学习的方法对结果进行多模型投票表决，增强了模型的分割精度和泛化能力。

1 Dense-Unet网络结构的建立

在现有的一些深度学习语义分割方法中，U-net由于其对称式的结构设计和跳跃连接的思想，能够有效地融合CNN中的低维和高维特征。但是 U-net 构架卷积层较浅，各个卷积层之间的联系较少，不能良好地提取细弱目标的精确特征，识别过程仍受背景干扰和类别分布显著非均衡的影响，对遥感图像中细弱目标分割精度不佳。

DenseNet网络[12]通过其特有的稠密连接结构，加强了网络各层级间特征的传递，能够在保证每层较少计算参数的前提下仍保持较高的预测精度。另外稠密连接的思想使得网络抵抗过拟合的能力显著增强，具有更好的泛化性能。由于稠密连接结构的上述优点，能够显著加强网络各层特征间联系的特性，十分适用于遥感图像中细弱目标的特征提取。

本文结合了DenseNet网络中的稠密连接思想和U-net中的对称式架构，提出Dense-Unet网络结构，有效地改进了网络细弱目标特征的提取能力。Dense-Unet模型在结合了U-net结构简单、对训练数据要求少的特点基础上，使用稠密卷积块代替了原本U-net中的卷积层，通过多个卷积层间稠密连接和各个稠密卷积块间跳跃连接的方式，显著加强了网络各层级之间的特征联系，使得下采样层中所提取到的细弱目标特征能够高效地传输到上采样层中，减少了由于池化和降采样引起的特征损失，增强了网络对细弱目标的识别精度，使得网络最终能够实现精准的像素分类定位。在网络模型的搭建中，进一步使用了批标准化层和瓶颈层对网络进行优化改进，减小了由于遥感图像细弱目标分割过程出现的数据分布不平衡问题，加快了训练时收敛的速度。

Dense-Unet网络的基本结构如图1所示，整个网络由左侧的下采样路径和右侧的转置卷积上采样路径组成，左右两侧分别对应着网络的编码和解码部分。在下采样路径与上采样路径之间引入跳跃连接，补偿由于池化引起的特征损失，帮助上采样路径更好地获得由下采样路径中细弱目标特征信息，加强了特征维度之间的联系。

而在网络具体的上下卷积路径中，首先使用稠密卷积块来代替原本简单的卷积层，稠密卷积块的结构如图2所示。每个稠密卷积块内部又由多个3×3的卷积层组成，在每个卷积层的前后使用BatchNorm层和SeLU激活函数来防止训练当中可能引起的梯度消失现象。针对遥感图像中细弱目标的分割问题，稠密连接的结构能融合卷积中高维和低维特征来更好地确认目标的边界，从而更好地提升分割精度。

图1 Dense-Unet网络结构Fig.1 Structure diagram of Dense-Unet network

图2 Dense-Unet中稠密卷积块结构示意Fig.2 Dense convolution block structure diagram in Dense-Unet

2 网络结构的优化和类别不平衡的处理方法

2.1 批标准化的应用

对于图像处理任务来说，在处理过程中都需要对数据进行归一化处理。如果送入网络中的每一批数据都具有不同的分布，会给网络的训练带来困难和干扰，导致学习速度下降，甚至可能会出现梯度消失和梯度爆炸等问题。批标准化(BatchNorm)思想[13]由Google于2015年提出，其通过降低每一批数据的协变量偏移来解决数据分布不同所引发的问题，加入批标准化之后可以加快训练速度，进一步突出数据特征之间的相对差距。在现在常用的语义分割网络如U-net中，没有引入BatchNorm层，而本文所提出的Dense-Unet网络在所有的卷积层和转置卷积层之后都加入批归一化层来缓解梯度消失问题并提高网络的训练速度,使网络的收敛过程加快。

在网络中，通过批标准化先求出训练过程中的每一个训练批次的均值和方差，之后对该批次中的每个数据做归一化处理，以减少由于数据分布不均引起的训练困难问题。再经过平移和缩放后就保证了每一次数据归一化后既能保留原来学习到的特征，又达到了归一化操作后加速训练收敛过程的效果。

2.2 激活函数的选择

在原始的U-net和DenseNet的网络结构中，在卷积层之后均选择ReLU作为网络的非线性激活函数。但ReLU函数在实际的训练过程中有时会发生梯度失活现象，当一个比较大的梯度流过一个ReLU神经元后，可能这个神经元的梯度将会永远变为零。当学习率很大的时候，使用ReLU激活函数会使得网络中很多神经元彻底失活。

为了解决ReLU函数在训练过程中的不足，在本文所使用的的网络模型中，使用SeLU[14]激活函数代替ReLU：

(1)

SeLU相比于ReLU函数，引入2个参数α和λ，α和λ是大于1的固定常数。SeLU的优点在于其函数负半区不包含死区，当输入大于零时，经过激活函数的输出会被放大，在方差过小时，可以增大方差，同时能够防止梯度消失发生，解决了ReLU激活函数中输出结果没有负值和神经元失活坏死的问题。

2.3 图像中类别信息不平衡问题的处理

在深度学习中，不平衡的类别会导致网络在训练过程中过于侧重样本数目较多的类别，甚至为了提升精度忽视样本很少的类别，导致模型在测试集上的泛化效果很差。在所截取的遥感图像中目标高压电线和高压电线塔占整体图片信息比例很小，尤其是目标高压电线十分精细，难以分辨且受背景中土地间的沟壑等周边环境干扰明显，误识别概率很大，实现精确地分割比较困难。

针对数据中不平衡类别导致网络对于占比较少的类别欠学习这一问题，本文选择增加类别占比较少目标在训练中的权重和误分类的惩罚代价，并将这种惩罚代价直接体现在损失函数之中。即采取代价敏感的方法，设置权重敏感向量来增大模型在训练过程中对小类别的注意力，对所有的分类均加上一个权重值，每一类的权重大小与该类别占整体样本中的比例负相关。这样的一系列权重值就构成了一个代价敏感向量。

3 集成优化方法的遥感图像细弱目标分割

3.1 模型优化及集成学习Bagging

为了进一步提升网络在测试集上的精度和泛化能力，采用集成学习Bagging的方法来进一步提升模型精度。Bagging是集成学习的一个方法，其特点是可以并行训练多个基分类器，从而在训练过程中节省大量时间开销。其中集成学习算法具体实现过程如下：

1) 训练Dense-Unet、U-net与SegNet这3个网络作为基本网络，并每次从训练集中有放回地随机抽取部分作为新的训练集，有些样本可能会多次抽到，一共抽取出3个新的训练集，这3个训练集之间是相互独立的。

2) 每次使用一个新训练集得到一个模型，在各自的训练集上分别训练得到Dense-Unet、U-net与SegNet基本模型，这3个模型的训练过程同样是独立的。

3) 最终将分别训练得到的3个模型分配不同权重(Dense-Unet为45%、U-net为 30%、SegNet为25%)进行投票，各模型共同对每个像素点的类别进行预测，最终组合成一个新的集成模型。

最后，将训练集按照如上方法随机抽取得到了3份新数据集，最终得到3个独立的语义分割模型，并基于此进行组合，对测试图片中每个像素点的分类都由这3个基础模型投票表决，以少数服从多数的原则得到最终的预测结果。

采用这种Bagging集成学习的方法能够有效地减少最终模型的估计方差，减少图像中某些像素点存在的误检和漏检情况，增加最终整体分割结果的精度。

3.2 数据增强和数据扩充

本文所采用的数据集来自于谷歌地图所拍摄的卫星遥感图像。主要为郊区或森林等不同背景下带有高压电线的图片，所使用的均为可见光谱的RGB信息。将数据集样本分类3类：高压电线(标记0)、高压电线塔(标记1)、其他信息(标记2)。

对于原始数据集，选取全部数据的70%作为训练集，20%作为验证集，10%作为测试集。并在此基础上进行数据增强和数据扩充。对于数据的预处理，由于有些原始遥感图像尺寸较大，首先进行随机缩放、旋转变换(对称填充)操作，并将图片随机剪裁到同一尺寸1024×1024，之后再对图片的颜色数据进行增强，包括图像亮度、饱和度、对比度的变化，最终对数据进行水平和垂直方向的翻转，并添加一定的随机噪声以增加泛化能力。同时由于数据样本中的细弱电线目标在不同背景下的图片数量不均匀，而背景干扰又是影响目标分割的最主要因素，进而对较少的背景样本又进行了样本平衡过采样。

3.3 训练过程及结果分析

本文基于深度学习Pytorch框架下进行网络模型的搭建和训练，网络权重的初始化选择服从均值为0，标准差为1的正态分布随机值初始化。使用改进带类别代价敏感权重向量的交叉熵函数作为损失函数来计算输出误差，使用Adam优化器用于训练过程中的优化。

最终的预测结果如图3和图4所示，采用U-net与SegNet这些目前常用的语义分割网络和传统的图像分割方法与本文所提出的分割网络效果作对比，图3对同一张含高压电线的遥感图像进行目标分割对比实验。图4展示了本文所用方法在其余一些背景下的遥感图像细弱电线目标分割结果图示例。

图3 遥感图像分割结果对比示例Fig.3 Comparison of remote sensing image segmentation results

图4 本文方法在其他遥感图像中分割结果Fig.4 Segmentation results from other remote sensing images are presented

3.4 实验结果分析对比

上述实验内容最终在测试集上取得94%的精确率，而使用原始的U-net网络，在测试集上的精确率只有87%。从上面的图3中可以看出，采用本文方法的预测结果与人工精细标注十分相近，能够很好地区分背景干扰对精细目标电线分割带来的影响，对于细弱目标如高压电线，能够完整地分割出遥感图像中的感兴趣目标而不会产生信息丢失。而且相比于常用的语义分割网络U-net与SegNet, 本文提出的方法对目标的分割效果更精确，在视觉上明显有更加优异的效果，能更好地抵抗背景噪声的干扰。这主要得益于代价敏感权重化目标函数和网络结构上的改进，增加了模型训练时对细弱目标的注意力，进而增加了对细弱目标的分割精度。另外，通过集成学习的多模型融合方法，使得分割精度最终得到了进一步的提升，取得了令人满意的精细分割效果。

采用上述几种常用的分割方法与本文方法对相同含高压电线的遥感图像进行目标分割，并且进一步根据图像的评价指标包括查准率、召回率和F1系数以及Jaccard系数来对图像分割质量进行客观评估。基于本文所提出的的研究方法，最终评价指标Jaccard系数能够达到90%，各方法的评价指标对比如表1所示。

表1 几种常用分割方法评价指标对比

从表1可以看出本文所使用的Dense-Unet网络在各个精度指标中均比现有的Unet和SegNet等网络效果要更好。而且使用集成学习方法后，测试集中的各项精度指标同样进一步取得提升，突出了本文算法整体的优越性。在算法模型复杂度和推理时间方面。Dense-Unet的模型由于使用了更深的卷积层架构和更多的稠密连接，在模型大小上要超过Unet和SegNet方法。但是在1024×1024大小的单张图片推理的时间上，Dense-Unet模型和其余2种网络对比，在1080Ti GPU上得到的预测时间为0.125 s，相比于U-net的0.092 s和SegNet的0.103 s，模型速度上并没有太大的差异。但由于本文使用了集成学习的方法，最终整体预测所需时间为0.32 s。考虑到实际卫星遥感图像在传输过程中，多为间隔一定时间分批次发送到地面。而卫星每次与地面更新图像的间隔时间远大于本文算法处理图像所需的时间。因此可以视为卫星遥感图像是离线处理的，本文方法最终能够满足实际遥感图像的速度需求。

4 结论

1)本文算法主要的贡献及优异性如下：①网络模型通过加深卷积层和使用各卷积层间的稠密连接方法，加强了网络对细弱目标特征的识别与利用能力，从而有效提升了遥感图像中细弱目标的分割精度。②通过网络间的批标准化处理和采用SeLU激活函数，加快了网络训练时的收敛速度，避免了梯度消失现象的发生。③考虑到遥感图像中细弱目标占图片信息比例过少，存在典型的类别非均衡问题，使用了基于类别代价敏感权重的改进目标函数，增强了网络模型对小类别的学习能力。④最终为了进一步提升对细弱目标的分割精度，采用集成学习的方法训练了多组网络模型进行融合。

2)本文所使用方法在谷歌地图遥感图像测试集中对高压电线一类细弱目标进行分割，在测试集中取得了94%的测试精确率，显著提升了遥感图像中细弱目标的分割效果。与现有常用的语义分割网络U-net及SegNet相比，改进后的Dense-Unet网络与集成学习方法在处理遥感图像细弱目标时，具有更好的分割精度和更优异的视觉感知效果，

由于本文算法上述的优异性，除了对于遥感图像中高压输电线路和同类细弱目标有精准的分割效果之外，本文算法对于其他图像中存在的受背景干扰较大、目标占图像信息较少的小类别目标同样有较好的分割效果。后续的研究将进一步尝试探索本文方法在更多情景图像中的目标分割效果。