基于分层特征提取和多尺度特征融合的高分辨率遥感影像水体提取深度学习算法

盛晟 万芳琦 林康聆 胡朝阳 陈华

摘要：高精度的水体提取有助于水资源监测和管理。目前基于遥感影像的水体提取方法缺乏对于边界质量的重视，造成边界划分不准确，细节保留度低的问题。为了提升遥感影像水體提取的边界与细节的精度，提出了一种基于多尺度特征融合的高分辨率遥感影像水体提取深度学习算法，包括分层特征提取模块与融合多尺度特征的堆叠连接解码器模块。分层特征提取模块中，引入了通道注意力结构，用于整合高分辨率遥感影像中水体的形状、纹理和色调信息，以便更好地理解水体的形状和边界。在融合多尺度特征的堆叠连接解码器模块中，进行了多层次语义信息的堆叠连接，并加强了特征提取，同时捕捉了广泛的背景信息和细微的细节信息，以实现更好的水体提取效果。在自行标注的数据集与公开数据集上的试验结果表明，模型的准确率达到了98.37%和91.23%，与现有的语义分割模型相比，提取的水体边缘更加完整，同时保留细节的能力更强。提出的模型提升了水体提取的精度和泛化能力，为高分辨率遥感影像水体提取提供了参考。

关键词：水体提取；高分辨率遥感影像；深度学习；多尺度特征融合

中图分类号：P332文献标识码：A文章编号：1001-9235（2024）02-0045-08

Deep Learning Algorithm for Water Body Extraction from High-resolution Remote Sensing Images Based on Hierarchical Feature Extraction and Multi-scale Feature Fusion

SHENG Sheng¹，WAN Fangqi²，LIN Kangling¹，HU Zhaoyang³，CHEN Hua^1*

（1.State Key Laboratory of Water Resources Engineering and Management，Wuhan University，Wuhan 430072，China; 2.Jiangxi Institute of Natural Resources Surveying，Mapping and Monitoring，Nanchang 330009，China; 3.Fujian Provincial Investigation，Design & Research Institute of Water Conservancy & Hydropower，Fuzhou 350001，China）

Abstract： Highly accurate water body extraction can be helpful for water resources monitoring and management.The current methods of water body extraction based on remote sensing images lack attention to boundary quality，resulting in inaccurate boundary delineation and low detail retention.To improve the boundary and detail accuracy of water body extraction for remote sensing images，this paper proposes a deep learning algorithm for water body extraction from high-resolution remote sensing images based on multi-scale feature fusion.The model includes a hierarchical feature extraction module and a stacked-connected decoder module that fuses multi-scale features.In the hierarchical feature extraction module，a channel attention structure is introduced for integrating shape，texture，and hue information of water bodies in high-resolution remote sensing images to better understand the shapes and boundaries of water bodies.In the stacked-connected decoder module that incorporates multi-scale features，the stacked connection of multi-level semantic information and enhanced feature extraction are performed.Meanwhile，broad background information and fine detail information are captured to achieve better water body extraction results.Experimental results on both self-annotated and publicly available datasets show that the model yields 98.37% and 91.23% accuracy，and extracts more complete edges of water bodies while retaining more details than existing semantic segmentation models.The proposed model improves the accuracy and generalization ability of water body extraction and provides references for water body extraction from high-resolution remote sensing images.

Keywords：water body extraction;high-resolution remote sensing images;deep learning;multi-scale feature fusion

水体信息应用范围广，对于水资源管理、环境保护和灾害监测等方面具有重要作用。遥感影像提供了及时的数据支持和广泛的空间覆盖，通过获取和分析遥感数据，可以识别和监测水体的分布、变化和特征，帮助决策者和研究人员更好地理解和管理水体资源^［1］。遥感影像提取水体为水资源管理和环境保护提供数据支持，对促进可持续发展和维护生态平衡具有重要意义。

遥感影像水体提取方法有指数法^［2-3］和分类法^［4-5］。水体指数法通过分析影像中水体的光谱特性来选取特定波段构建水体指数，并设定特定的阈值进行水体提取^［6］。Mcfeeters^［7］根据植被与水体的不同反射特征构建了归一化差异水体指数（NDWI），该指数强调水体特征，有效提取大面积区域水体、建筑物阴影与水体。分类法属于机器学习方法，相较于指数法，它可以充分利用高分辨率影像及解译过程中的光谱信息和空间特征（语义信息）。Sarp等^［8］采用支持向量机（SVM）对湖面进行水体提取，结果表明SVM方法在精度上优于NDWI。

近年，随着深度学习的发展，神经网络因其接近甚至超越人类的分类能力^［9］，且可结合语义（信息）分割进行遥感影像像素级二分类（水体和背景）来提取水体，引起了研究者的广泛关注。王宁等^［10］选择安徽巢湖流域为研究对象，分别采用UNet语义分割网络与随机森林针对高分一号（GF-1）影像进行水体提取，试验结果表明语义分割网络对于高分辨率影像水体提取更具优势。陈前等^［11］借鉴Deeplabv3语义分割网络^［12］設计基于高分辨率卫星影像的水体提取算法，验证了语义分割网络在水体提取方面的应用能力。Chen等^［13］设计WBE-NN语义分割网络模型，其核心在于采用全局空间多光谱增强水体特征，提取大范围语义信息，获得了较高精度的提取结果。以上均说明了深度神经网络能有效学习语义信息，提高水体提取的精度。

然而，遥感影像中的地物目标具有尺度效应^［14］，观测结果会随着观测尺度改变而产生较大差异。水体在高分辨率影像下具有丰富的拓扑结构以及色彩信息，造成高分辨率影像水体特征丰富，空间复杂度指数级增加，解译难度相对于低分辨率影像更高。考虑到水体提取的效率和精度，越来越多研究开始尝试利用深度学习网络架构从高分辨率遥感影像中提取水体，特别是语义分割模型，包含FCN^［15］、Unet^［16］、PSPNet^［17］、DeepLab series^［18］等等，为水体信息的精确提取提供了新的思路和方法。然而，当前水体算法普遍重视区域精度，但是对于水体边界提取质量缺乏重视，造成水体与岸线边界划分不够准确。针对上述挑战，提出一种基于多尺度特征融合的水体提取模型，实现神经网络低层语义信息到高层语义信息的融合。模型借鉴了Deeplabv3+结构，采用了倒残差结构^［19］进行分层特征提取，并加强对较高层级特征的提取，采用深度可分离卷积充分融合高中低级特征，保证模型在不同水体特征下的提取能力；采用空洞卷积进行特征图尺寸恢复，保证了模型对于大面积水体与小面积水体的识别能力，同时可以实现水岸线的精细化识别。

1 研究方法

构建的模型总体上借鉴了DeeplabV3+网络，整体结构见图1。模型主要包括2个模块，分别是分层特征提取模块与融合多尺度特征的堆叠连接解码器模块，在分层特征提取模块中，借鉴了MobileNetV3^［20］系列网络中的倒残差结构进行深度特征提取。其中，空洞卷积代替部分普通卷积操作提升模型感受野，保证模型对大范围水体特征提取能力。在提取水体特征后，从中抽取3层水体特征信息进行融合，对2个较高层级的特征进行加强特征提取操作。

将3个层级的特征进行堆叠后采用2次深度可分离卷积充分融合高中低级特征，保证了模型在不同水体特征下的提取能力。模型采用空洞卷积进行特征图尺寸恢复，在实现小面积水体特征抽取的基础上，保证了大范围水体提取的特征连续性。最后采用卷积核为1的普通卷积进行通道调整，输出像素集的水体分割结果。该模型是一种端到端的水体提取网络，模型输入是高分辨率的卫星遥感影像，输出结果为水体提取的掩膜图和矢量图层。

1.1 分层特征提取模块

采用倒残差结构进行分层特征提取，将第一个卷积层卷积核个数从32变为16，同时将Last Stage进行精简，去除2组卷积块，采用非线性激活函数Hardswish以减少运算成本。

在水体特征提取部分，由于要素自身特点以及传感器的差异，水体在遥感影像中存在不同的尺寸特征以及色彩纹理特征，并且没有特定拓扑结构。因此针对水体的提取需要充分融合高中低级特征，将主干特征提取网络部分卷积操作更换为空洞卷积，以提升水体提取模型的感受野，保证模型对于大范围水体的特征提取能力。最后从网络的特征提取部分中间抽取3个层级的水体特征信息用于特征融合。

同时在模型主干特征提取网络bottleneck中引入了通道域注意力机制SENet，网络通过学习特征通道间的相关性，获取每个特征通道的重要程度，可以强化通道中的重要特征来加强特征提取能力。网络对输入特征层进行2个主要操作包括压缩（Squeeze）和激发（Excitation）。模型接受来自神经网络的特征层后，利用全局平均池化将特征层高宽压缩，见式（1）：

式中，u_c表示输入特征矩阵中第c个二维矩阵；H、W分别表示矩阵的高、宽，此公式可以将C×H×W的特征图压缩为C×1×1，仅保留通道维度，之后利用全连接层获取每个通道的权重值，再将结果与输入特征层相乘即可获得注意力修正后的特征图，见式（2）：

式中，s_c表示经过Squeeze操作后生成的特征图权重，因此实现了输入特征图在通道维度上的重新标定。

同时，重新设计了激活函数h_sigmoid，并用h_swish代替swish函数：

1.2 融合多尺度特征的堆叠连接解码器模块

多尺度特征融合结构见图2。网络引入了解码（Decoder）模块，将编码（Encoder）模块中输出的低层和高层语义信息进行融合，并對高层语义信息进行空洞空间金字塔池化（ASPP），ASPP模块中存在4个分支，每个分支都采用空洞卷积提升感受野，5个空洞卷积分别设置了不同膨胀率，分支中采用了全局平均池化和卷积操作，将5个分支特征进行堆叠并用核为1的卷积进行特征整合，即可获得整张图片的特征浓缩。最后，将加强特征提取后的高层语义特征上采样并和低层特征叠加，进行卷积操作来融合特征^［21］。

1.3 损失函数

由于水体提取属于二分类问题，只有正样本与负样本，正样本为1，负样本为0。因此损失函数是将输出经过sigmoid激活后，利用二分类交叉熵损失函数计算：

ln（y|p）=－（ylnp+（1－y）ln（1－p））    （5）

式中 y——水体标签值，取值为0、1；p——模型经过sigmoid输出水体的概率值。

2 数据来源及预处理

为了保证模型的泛化性能，本试验采用的遥感影像样本融合了GF-1、GF-6、谷歌以及CCF BDCI竞赛开源数据集。其中高分系列数据分辨率2 m，在总数据中占比80%，谷歌影像分辨率2 m，占比5%，开源数据分辨率1 m，采用最邻近插值法进行重采样至2 m，占比15%。多源数据相较于单一来源数据通常具有互补性与合作性的优势，可以产生比单信息来源数据更精确和更可靠的评估与判断，有利于提升最终水体提取模型的鲁棒性与泛化能力，因此，研究选取的水体样本覆盖辽宁东港，湖南岳阳市，宁夏惠农区、原州区、中宁县，江西南昌市，山西镇安县，辽宁振兴区以及开源数据中覆盖的地区。由于原始遥感影像存在几何畸变，需要对原始影像进行底图匹配、纠正、融合操作，最终获取纠正后的遥感影像。

研究采用的水体样本来源于地理国情调查，公开数据集以及手工标注数据。利用ArcGIS软件，将地理国情调查数据覆盖至高分卫星影像上，采用人工目视检查的方式，修改调查矢量数据与底图不匹配的地方，修改完成后，利用Python和GDAL将矢量数据转换为像素值为0和255的二值掩膜图，再将影像底图与二值掩膜裁剪为256×256尺寸的训练数据。公开数据集采用的则是2020CCF遥感解译大赛的公开数据集，原始数据集有多类地物要素，从原始标注数据中将水体对应图斑提取出来，制作成二值掩膜图后，删除不含水体的训练样本。手工标注的影像来源于湖北省某地区，利用ArcGIS软件手工绘制水体该地区水体轮廓，制作水体矢量数据，其后利用与处理地理国情数据相同的方式将矢量数据转换为二值掩模图并裁减为256×256尺寸的训练数据，见图3。综合以上数据预处理步骤，共获取了41 912组水体样本数据，按照9∶1比例划分为训练集与验证集，分别包含37 720组训练集与4 192组验证集。测试数据来源于南昌市青山湖区，此地区数据没有参与模型训练，可以保证公平，选取该地区是为了测试模型对于大范围真实场景的水体提取能力。

3 试验结果与分析

3.1 试验方案

为了判断模型面向真实遥感影像的水体提取能力，同时保证模型效果的可复现性与可信度，分别在自行标注的数据和开源数据集上进行水体提取试验。并且采用语义分割网络中最为常见的对比模型FCN、PSPNet、UNet以及成熟的分割模型Deeplabv3_ResNet50、Deeplabv3_ResNet101为对比模型，以验证所提出网络结构的有效性。

3.1.1 真实应用试验

为验证不同网络模型对同分辨率异源数据的水体提取效果，选取南昌某地区2021年度GF-1，3波段影像，分辨率为2 m，幅宽10 km×10 km。对该幅影像利用人工标注水体，以此作为水体指标评估的正样本。通过对比试验中各类模型在该异源数据的水体提取指标进行结果可视化与精度评估。人工标注的水体真值数据见图4。

3.1.2 公开数据集

为了验证模型在不同分辨率遥感影像上的泛化能力，选用公开的WHU-GID数据集进行6种网络的预测结果可视化以及精度对比分析。GID数据集是武汉大学的夏桂松团队采用中国GF-2影像数据构建的大规模土地类型覆盖数据集，数据覆盖全国60多个城市，覆盖超过5万km²的区域。研究采用其中的GID-5数据，原始数据中包含建筑物，农田，水体，草地与林地5大类土地分类。提取原始标签中水体所对应的像素值，制作为单一水体标签，将其与影像一同裁剪为512×512尺寸数据，制作水体数据集。

模型基于Python 3.8的PyTorch 1.11深度学习框架训练。硬件设备环境为Intel Xeon Gold 6226R CPU，128GB RAM，Tesla T4-16GB×3，操作系统为Ubuntu20.04。在模型训练过程中，训练函数是参数优化的依据。采用的优化器为SGD随机梯度下降，初始学习率为0.001，动量为0.9，权重衰减为1×10^-5，当模型训练至97个epoch，学习率下降至3.84×10^-7。

3.2 评价指标

研究采用的评价指标为准确率（Accuracy）、精确率（Precision）、召回率（Recall）、交并比（IoU）和F1-Score。所有指标通过语义分割领域通用的混淆矩阵计算，见表1。

其中，准确率表示准确预测的样本占总样本比例，精确率表示正确预测为正的样本占预测为正的样本的比例，召回率表示正确预测为正的样本占真实正样本的比率；交并比表示预测的图斑面积与正确图斑面积的交集占预测图斑面积和正确图斑面积的并集的比例；F1-Score是介于精确率与召回率之间的综合评估指标。指标计算见式（6）—（10）：

3.3 真实应用场景试验

3.3.1 定性试验分析结果

为了进行细节比较，将测试影像裁剪为512×512尺寸，制作成用于比較的图片，选取的6种网络在其上的可视化结果见图5，其中第一列为原图，第二列为真实标签，后续分别为6种模型的水体提取结果。

从图中可以看出，FCN网络特征可以提取较多语义信息，但是由于精度不够，不适合进行像素级别的分割，导致效果较差；PSPNet所采用的金字塔场景分析网络，为像素级分割任务提供了良好的框架，但是其对于大范围水体边界的提取效果不佳；UNet是语义分割领域的经典网络，采用编码器-解码器结构与跳跃连接机制，在遥感解译流域有着不错的效果，但是在上述采样过程中，会淡化特征，在影像水体提取中，存在水体提取轮廓不完整的问题；成熟的模型Deeplabv3_ResNet50和Deeplabv3_ResNet101在水体提取中也取得了较好的效果，但是由于缺乏对特征的关注度，导致对于细小坑塘水体的提取效果稍差；根据模型对于实际应用场景的提取效果可以看出，搭建的模型能够完整提取大范围的水体边源信息，提取的水体边界与堤岸的吻合度最高，同时能够解决其他模型对于细小坑塘水体的遗漏现象，提升水体提取召回率。

3.3.2 定量试验分析结果

采用不同指标对测试期模型精度进行评价，结果见表2。研究提出的模型在各项指标上均优于5个对比网络，其中Accuracy为98.37%，Precision为95.90%，Recall为97.43%，IoU为93.62%，F1为96.66%，与FCN、PSPNet、UNet相比，精度提升明显。与成熟的语义分割网络Deeplabv3_ResNet50和Deeplabv3_ResNet101相比，Accuracy分别提升1.47%和0.78%，Precision分别提升4.67%和0.95%，Recall分别提升1.87%和0.51%，IoU分别提升5.88%和1.13%，F1分别提升3.32%和0.77%。综上可以验证本算法的有效性。

3.4 GID数据集试验分析

3.4.1 定性实验结果分析

处理并裁剪开源GID测试数据之后，不同网络在其上的可视化结果见图6，其中第一列为原图，第二列为真实标签，后续分别为不同模型的水体提取结果。由于FCN模型在3.3节中的试验表现较差，因此在本节中不参与对比。根据图7中水体提取结果可以看出，研究所提出的模型在GID公开数据集中的水体提取效果差于自行制作的数据集，这可能是由于GID水体数据集中的水体影像光谱特征，阴影特征多样所致。同时，GID数据集中提取的水体样本有限也可能是原因之一。然而，研究所提出模型的水体提取效果依旧优于其他模型，模型提取的水体边缘较其他对比网络更完整，同时保留细节的能力更强。通过和其他模型对比，研究所提出的模型在公开数据集中验证了自身的有效性。

3.4.2 定量试验结果分析

表3所示，改进的网络在各项指标上均优于5个对比网络，其中研究所提出的模型Accuracy为91.23%，Precision为88.41%，Recall为90.80%，IoU为81.22%，F1为89.59%。与PSPNet和UNet相比，精度提升明显。与成熟的语义分割网络Deeplabv3_ResNet50、Deeplabv3_ResNet101相比，Accuracy分别提升2.94%和1.02%，Precision分别提升2.06%和1.56%，Recall分别提升1.69%和0.44%，IoU分别提升1.89%和0.61%，F1分别提升1.91%和1.02%，综上可以验证本算法的有效性。

上述对比试验清晰地展示了研究提出的模型在水体提取任务中的优势。这些优势主要源于本模型的几个重要特性：首先，采用空洞卷积技术来扩大感受野，而不增加参数数量或计算复杂度，使得模型能够捕捉到更广阔的上下文信息，从而更好地理解水体的形状和边界；其次，本模型通过融合不同尺度的特征图，同时捕捉到了广泛的背景信息和细微的细节信息。水体边缘通常由微小的纹理和颜色变化构成，因此模型在水体边缘检测方面表现出了更强的能力提升。

4 结论

提出了一种用于高分辨率遥感影像水体提取任务的深度学习语义分割模型，包括2个模块：特征提取模块与堆叠连接解码器模块。前者对输入的高分辨率影像进行特征提取，采用空洞卷积技术扩大感受野，使得模型能够捕捉到更广阔的信息；后者主要由堆叠级联与加强特征提取模块组成，在通道以及空间维度对目标特征进行强化，提升水体边缘检测的能力。在自行标注以及公开数据集上，模型的准确率达到了98.37%和91.23%，召回率达到了97.43%和90.8%，明显优于其他语义分割模型。并且提出模型能够相对完整地提取水体的边界信息，同时保留细节的能力更强，解决了其他模型对于细小坑塘水体的遗漏现象。试验证明了提出模型能够显著提高水体检测性能，为高分辨率遥感影像水体提取任务提供了更好的解决方案。

参考文献：

［1］陈亮，张波，穆磊，等.基于混合像元分解法的黄河河道水体遥感监测［J］.人民珠江，2016，37（10）：34-37.

［2］王小标，谢顺平，都金康.水体指数构建及其在复杂环境下有效性研究［J］.遥感学报，2018，22（2）：360-372.

［3］黄汝根，孙祥鹏，牟舵.基于“高分一号”遥感影像水体提取方法的对比分析［J］.人民珠江，2017，38（3）：66-70.

［4］段秋亚，孟令奎，樊志伟，等.GF-1卫星影像水体信息提取方法的适用性研究［J］．国土资源遥感，2015，27（4）：79-84.

［5］廖钰冰，周峰.基于时序高分一号影像的平原河网区水体信息快速提取研究［J］.人民珠江，2020，41（1）：34-38.

［6］苏龙飞，李振轩，高飞，等.遥感影像水体提取研究综述［J］.国土资源遥感，2021，33（1）：9-19.

［7］MCFEETERS S K.The use of the Normalized Difference Water Index （NDWI） in the delineation of open water features［J］，International Journal of Remote Sensing，1996，17（7）：1425-1432.

［8］SARP G，OZCELIK M.Water body extraction and change detection using time series：A case study of Lake Burdur，Turkey［J］.Journal of Taibah University for Science，2018，11（3）：381-391.

［9］CAO Y R，HE Z J，WANG L J，et al.VisDrone-DET2021：The vision meets drone object detection challenge results［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision，2021：2847-2854.

［10］王宁，程家骅，张寒野，等.U-net模型在高分辨率遥感影像水体提取中的应用［J］.国土资源遥感，2020，32（1）：35-42.

［11］陈前，郑利娟，李小娟，等.基于深度学习的高分遥感影像水体提取模型研究［J］.地理与地理信息科学，2019，35（4）：43-49.

［12］CHEN L C，ZHU Y，PAPANDREOU G，et al.Encoder-decoder with atrous separable convolution for semantic image segmentation［C］//Proceedings of the European Conference on Computer Vision （ECCV），2018：801-818.

［13］CHEN Y，TANG L L，KAN Z H，et al.A novel Water Body Extraction Neural Network （WBE-NN） for optical high-resolution multispectral imagery［J］.Journal of Hydrology，2020，588.DOI：10.1016/j.jhydrol.2020.125092.

［14］王冬玲，舒清态，王强，等.基于偏最小二乘回归的高山松生物量遥感模型空间尺度效应分析［J］.西南林业大學学报（自然科学），2020，40（4）：87-93.

［15］LI Z S，ZHANG X L，XIAO P F.Spectral index-driven FCN model training for water extraction from multispectral imagery［J］.ISPRS Journal of Photogrammetry and Remote Sensing，2022，192：344-360.

［16］张庆港，张向军，余海坤，等.一种轻量级网络模型的遥感水体提取方法［J］.测绘科学，2022，47（11）：64-72.

［17］ZHAO H S，SHI J P，QI X J，et al.Pyramid scene parsing network［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2017：2881-2890.

［18］张永洪，孙路遥，席梦丹.DeepLab V3+网络在遥感影像中城市水体的提取方法［J］.西安文理学院学报（自然科学版），2023，26（2）：93-98，104.

［19］SANDLER M，HOWARD A，ZHU M L，et al.Mobilenetv2：Inverted residuals and linear bottlenecks［C］//Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition，2018：4510-4520.

［20］HOWARD A，SANDLER M，CHU G，et al.Searching for mobilenetv3［C］//Proceedings of the IEEE/CVF International Conference on Computer Vision，2019：1314-1324.

［21］CHEN L C，PAPANDREOU G，KOKKINOS I，et al.Deeplab：Semantic image segmentation with deep convolutional nets，atrous convolution，and fully connected crfs［J］.IEEE Transactions on Pattern Analysis and Machine Intelligence，2017，40（4）：834-848.

（责任编辑：向 飞）