基于增强学习机制的SAR图像水域分割方法

2023-06-07赵维谚雷明阳

计算机应用与软件 2023年5期

赵维谚沈志徐真杨亮雷明阳

1(云南电网有限责任公司带电作业分公司云南昆明 650000) 2(北京理工大学医工融合研究院北京 100081) 3(北方工业大学信息学院北京 100144)

0 引言

随着自然社会的不断变迁,人类所接触的灾害种类越来越多,而合成孔径雷达(SAR)的空间分辨率近些年来不断提高,且具有全天时、全天候的监测预警能力,现已成为监测多类型自然灾害的重要手段[1]。其中,由于地球水位逐年来不断上升,对于洪涝的防范在我国具有非常重要的意义。对于SAR收集的遥感图像,及时提取其中的水域范围并进行有效分割,是进行人员转移、预估风险、电力系统调配的重要防灾减灾途径。

由于SAR图像通常具有较大尺寸、图像信息较复杂,且相干斑噪声易对模型的判别能力产生影响,因此现有的其他类型图像的分割算法难以直接应用[2-3]。目前主流的SAR图像水域分割算法可大致分为聚类分割、阈值分割和卷积神经网络三类算法。其中:聚类分割类算法通过欧氏距离计算相似度,完成相似物体的分类任务,然而此类算法计算成本高、效率较低[4];阈值分割类算法基于灰度级,通过预设阈值完成分割,然而此类算法在相干斑噪声的影响下准确度较低,且阈值的设定范围不好人为把控[5];卷积神经网络类算法在大量数据的基础上拟合出最优算法模型,在目标检测、识别、跟踪等领域广泛使用,然而SAR图像样本稀少,难以利用足够多的样本来优化算法[6]。

为了有效解决上述方法存在的问题,本文提出一种基于增强学习的SAR图像水域分割方法,通过选取合适的深度学习网络模型作为基网络,对样本数据和目标特征两个维度上的信息进行增强。具体而言,本文的主要贡献如下:

(1) 在样本数据维度上,通过旋转拼接的方式增强网络模型对SAR图像水域的分割能力。

(2) 在目标特征维度上,通过引入注意力机制,从通道和空间两个角度对网络的提取特征能力增强。

(3) 通过在数据集上进行实验评估可以发现,本文算法相较于其他主流算法,可以在较高效率的基础上提升分割准确率。

1 SAR图像水域分割基网络

随着深度学习在目标检测、识别、跟踪等领域的快速发展,在图像分割领域,文献[7]提出了一种用于图像语义级分割的深度学习网络框架Fully Convolutional Network(FCN),其已成为后续众多主流图像分割算法的基本框架。为了保证模型时效性,本文选取原始FCN作为分割网络的基网络。

FCN因使用卷积层代替全连接层而得名,是一种端到端的分割算法,采用上采样等策略可根据输入图像直接得出输出预测图,其基本网络结构如图1所示。

图1 FCN网络结构

通过网络最后反卷积部分,可以获得与原图尺寸相当的分割效果图,这种方便、快捷的分割方式也是FCN持续在图像分割领域占有一席之地的原因。然而,由于模型限制,FCN所获得的结果不够精细,准确率相对不高,特别对于小样本的目标分割性能不佳。

2 基于增强学习的FCN分割网络

为了有效解决上述问题,本文提出一种增强学习机制用于从数据和特征两个维度,对网络模型的分割准确率进行提升。所提出网络模型的结构示意图如图2所示。

图2 本文网络的模型结构

相较于原始FCN,本文在训练阶段使用旋转拼接的数据增强策略,对特征不清晰的样本数据进行180°旋转,在空间维度上将四幅图拼接成一幅新图像用于后续的训练进程,以提升网络对水域范围不清晰的SAR图像的辨识能力。此外,本文在卷积层之间引入基于注意力机制的特征增强策略,从通道和空间维度增加网络模型对目标特征的关注能力。

2.1 数据增强策略

对于深度网络模型而言,训练数据样本的多样性、有效性是保证网络在整个训练阶段维持高性能的基础。然而,对于SAR水域图像而言,出于要地安全防护、海洋线路监视、港口舰船检测等方面考虑,公开数据集的样本数据较少,且部分数据并不含有足够多的水域场景。为此,有必要在现有数据的基础上进行数据增强,以适配深度网络模型所需要的数据量。

文献[8]提出了一种有效的检测网络,在无须额外输入样本的前提下,提升了小目标检测的准确率。在常规视场下的图像中,当小目标对网络损失的贡献Rsmall与阈值t满足:

Rsmall

(1)

即小目标对于网络训练过程的贡献程度较低时,将多幅图像拼接成一幅新图像重新用于训练,以增强小目标物体对网络模型的贡献能力,其在空间维度上拼接过程如图3所示。

图3 空间维度上的拼接过程

可以看出,文献[8]的策略是将原始图像的长、宽各等比例缩小一半后,将四幅图像拼成新的图像。尽管此种方式对于常规视角下的目标具有较高的检测准确度,然而由于遥感图像的旋转角度不一,目标方向各异,因此需要使用新的拼接策略来适应实际需求。为此,本文对SAR水域图像基于人工判别,分为水域范围清晰和水域范围不清晰两类。对于水域范围不清晰的图像进行180°旋转,将四幅旋转前后的不清晰图像进行拼接,拼接方式如图4所示。

图4 本文的拼接过程

通过此种拼接方式,网络可以在训练阶段,从空间维度上更好地学习水域范围不清晰SAR图像的信息,为后续分割阶段提供帮助。

2.2 特征增强策略

注意力机制是一种资源的重分配机制,通过输入信号的一系列计算,将网络模型对特征的注意力集中在待关注目标本身附近,该机制在图像检测、识别、跟踪等领域被广泛使用[9-11]。文献[12]提出一种轻小型压缩激励模块(Squeeze and Excitation Module,SEM),在该模块中,压缩和激励两个步骤分别用于计算通道间的依存关系、计算相互依赖项。然而,SEM仅从通道维度考虑了特征间的关系,而忽略了空间上下文信息。文献[13]基于这个思想,提出了一种引入了空间维度特性的注意力模块Bottleneck Attention Module(BAM),并且该模块可以使用在各种卷积网络的变体之中。BAM的网络结构如图5所示。

图5 BAM网络结构

可以看出,对于输入的特征图F,BAM经过通道注意力模块Mc(F)和空间注意力模块MS(F)的卷积、池化等操作,生成注意力图M(F),整个算法流程可以表示为:

M(F)=σ(Mc(F)+MS(F))

(2)

式中:σ是Sigmoid激活函数。优化后的特征图F′由式(3)计算得出:

F′=F+F⊗M(F)

(3)

式中:⊗表示逐元素相乘。

通道注意力模块的计算过程为:

MC(F)=BN(MLP(AvgPool(F)))=

BN(W1(W0AvgPool(F)+b0)+b1)

(4)

式中:MLP为多层感知机;BN表示标准化层;W和b分别表示对应的权重和偏置。

空间注意力模块的计算过程为:

(5)

式中:f表示卷积操作。网络模型的优化过程可以被简化为:

F′=(1+M(F))F(x,φ)

(6)

式中:φ是分割网络中特征提取器的参数。梯度可由式(7)计算得出:

(7)

由式(7)可以看出,在SAR图像水域分割网络的运行过程中,目标区域的重要程度越高,相应的梯度值浮动范围就越大。

通过BAM从通道和空间维度上对特征信息的加强,网络模型可以聚焦于目标本身,为后续的分割任务提供有价值的信息量。为了在提升分割准确率的同时保证效率,本文在前两组卷积层间使用了通道注意力模块和空间注意力模块,而由于SAR水域图像中上下文空间信息更为重要,因此在第三组卷积层间仅使用空间注意力模块。

3 实验

3.1 实验平台环境

为了验证所提出SAR图像水域分割算法的有效性,本文设计定性和定量的实验进行对比,在数据集的制作上,部分来自云南电网有限责任公司带电作业分公司与中国空间技术研究院合作项目中,部分来自于公开数据集[14],另一部分选取用标注软件标注后的高分三号SAR水域图像,分辨率为1 m和3 m。本文选取70幅含有水域范围的图像,平均为3 000×3 000像素大小,此外,算法框架为PyTorch,编写语言为Python,操作系统为Ubuntu,硬件配置包括内存为12 GB的TITAN XP。本文使用的对比算法包括PSPNet[15]和FCN[7]。