基于改进的UNet连云港海岸线提取研究
2020-12-23杨坤
摘 要: 精确快速地提取海岸线对于海岸带的开发规划、实时监测等具有重要意义。使用遥感图像进行海陆分割是提取海岸线的一项基础工作。本文利用深度学习技术的语义分割方法来进行海陆分割,提取海岸线。网络模型以UNet为基本结构,并使用残差块来代替其中的卷积层,最后一层再加入一个残差ASPP进一步提升分割精度。使用残差块在加深了网络的同时,提高效率提升了网络的性能。残差ASPP结构能同时捕获遥感图像的光谱信息和上下文信息。在一组来自高分一号遥感影像的实验表明,基于我们提出的网络模型结构与其他深度学习的网络模相比有着较好的结果,能够实现海岸线的提取与应用。
关键词: 遥感图像;深度学习;残差网络;空洞卷积;海陆分割;UNet
中图分类号: TP391.41 文献标识码: A DOI:10.3969/j.issn.1003-6970.2020.10.054
本文著录格式:杨坤. 基于改进的UNet连云港海岸线提取研究[J]. 软件,2020,41(10):208212
【Abstract】: Accurate and rapid extraction of coastline is of great significance for the development planning and real-time monitoring of coastal zone. Land sea segmentation using remote sensing image is a basic work of Coastline Extraction. This paper uses the semantic segmentation method of deep learning technology to segment land and sea, and extract coastline. The network model takes u-net as the basic structure, and uses the residual block to replace the convolution layer. In the last layer, a residual ASPP is added to further improve the segmentation accuracy. The residual block not only deepens the network, but also improves the efficiency and performance of the network. The residual ASPP structure can capture both spectral and contextual information of remote sensing images. Experiments on a set of remote sensing images from gaofen-1 show that the proposed network model structure has better results than other deep learning network models, and can realize Coastline Extraction and application.
【Key words】: Remote sensing image; Deep learning; Residual network; Hole convolution; Land sea segmentation; UNet
0 引言
海岸线是海洋与陆地的分界线,是重要的地物类型之一。我国是一个海洋大国,中国海岸线包括大陆海岸线与岛屿海岸线,横跨了22个纬度带。其中,中国大陆海岸线长达1.8万多千米,岛屿海岸线长达1.4万多千米,总海岸线长度达到了3.2万千米之多。海岸带是实现海洋高质量发展战略要地的关键地区。在这样的条件下,我国有着丰富的海洋资源。由于我国东部沿海发展迅速,人口主要集中在这片区域,国民生产总值也主要集中在沿海区域,所以海岸带经济在中国的经济总量中占有十分重要的地位。近年来,随着沿海地区工业化和城镇化进程的不断推进,海岸带地区发展和保护的矛盾冲突日益显著。一方面高密度的人口给沿海地区带来了巨大的压力,另一方面,我国海岸带地区承载了众多的基于陆地和基于海洋的人类活动和其他用途。包括围海养殖、港口航运、渔业捕捞、滨海旅游、石油和天然气勘探开发等。这使得海岸带成为容易受到破坏的地区之一。此外,民众进入海滩、保护濒危栖息地的权利等新兴的或不断增长的利益,使得各种冲突更加复杂。因此,能够及时地对海岸线进行提取和动态监测对于海岸建设、沿海开发、环境保护等意义重大,分析和研究海陆的语义分割非常有必要[1]。
由于遥感技术观测范围广、成像分辨率高、获取信息速度快周期短等特点因此被广泛应用于农业发展、灾害监測、海洋监测等各个领域[2]。通过遥感技术成像的遥感影像,分辨率高、范围广、光谱信息丰富,能够快速获取海岸地貌类型及其相关的地面信息,非常适合大范围的海岸研究。传统上,通常对遥感图像归一化后使用分割方法以实现海陆分割任务。阈值分割方法首先使用遥感影像的不同波段进行归一化来提取水体,然后通过选取阈值将低于阈值的像素归为负类(陆地),将高于阈值的像素归为正类(水体),以此来实现海陆语义分割。但是传统的阈值分割方法有来着明显的缺陷,首先它仅仅基于单个像素的光谱信息,而遥感图像中存在诸如海中阴影与陆地的波长相似等其他同谱异物现象,因此很难正确区分,同时对于不同传感器、不同地区甚至不同时间的图像往往需要选取不同的阈值,对于包含大范围区域遥感图像往往难以兼顾,因此阈值分割方法存在着阈值选取困难的问题。此外,传统方法只能应用到小范围内,需要消耗大量的人力物力。
最近几年,随着大数据的兴起以及计算机性能的提升,推动了深度学习的发展。基于卷积神经网络的深度学习模型在计算机视觉中主要有三方面应用,第一个方面是利用传统卷积神经网络(CNN)的图像分类任务[4], 其次是R-CNN的目标检测任务[5]以及基于FCN的语义分割任务[6]。深度学习的语义分割方法近年来发展迅速,例如:Ronneberger O等人继承FCN网络的思想提出了一种对称语义分割网络U-Net,在生物医学图像的图像分割上取得了良好的效果[7]。SegNet 应用了VGG16框架,去掉全连接层,搭建对称模型,以此来实现端到端像素级别的语义分割[8]。Liang-Chieh Chen等提出的DeepLabv3+架构,主要以DeepLabv3做Encoder架构,Decoder采用一个简单却有效的模块。并探索了改进的Xception和深度可分離卷积在模型中的应用,进一步提升了模型在语义分割任务上的性能。语义分割技术的日趋成熟也推动了海岸线提取(海陆分割)的快速高效发展。
但是,遥感影像中往往存在着同谱异物现象,例如靠近海岸的水塘以及陆上养殖区等地物的光谱信息与海洋相似,并且浅滩的光谱信息与陆地比较接近。同时,由于遥感图像的成像条件成像时间不同,不同的遥感图像中相同地物往往有着不同的光谱信息,因此对模型的泛化性能提出了极高的要求。针对上述问题,我们提出了一种基于改进UNet的语义分割网络模型用于海陆语义分割任务。该网络引入残差块来代替UNet中的卷积层,目的是在内部并行优化,用来捕捉详细的边界信息,这样一来,我们的网络拓展了深度,能够提取到更高维度的特征而不会引起梯度爆炸等问题。除此之外,我们在解码器的最后一层加入了残差ASPP结构,将残差思想和空间金字塔池化结合到一起,其中空间金字塔池化能够有效地增大感受野,更好地捕捉上下文语义信息,以解决同谱异物现象引起的误分类问题。在一组来自高分一号的遥感影像数据集上的实验证明,我们提出的网络能够有效地处理同谱异物现象引起的误分类问题。与经典的语义分割模型相比,我们提出的网络获得了更好的精度和F1测度分数。
1 相关工作
在本部分我们将回顾传统的FCN网络与UNet网络,同时对残差思想,ASPP模块进行详细介绍。
1.1 FCN和UNet
传统的卷积神经网络(CNN)用于图像分类任务,例如经典的手写数字识别。CNN网络的主要特点是输出与预测类别具有相同维度的向量,以此来表示每个类别的概率。与经典的卷积神经网络相比,FCN中用卷积层代替了最后的全连接层,可以让卷积网络在一张更大的图片上滑动,得到每个区域的输出,同时可以适应任意尺寸的输入;结合不同深度层结果的skip结构,可以确保鲁棒性和精确性;FCN使用上采样(反卷积来实现)操作来恢复到原图的分辨率,做到逐像素预测以达到端到端输出的目的。正是因为FCN拥有上述特点,因此可以很好地用于图像像素分割任务中。
在UNet中作者采用了优雅的对称结构,整个网络分为编码器部分(下采样)和解码器部分(上采样),结构简单但很有效,在生物医学图像的分割任务中取得了出色的效果。在编码器部分中采用最大池化操作来缩小特征图,提取更高层次的特征,用来获取场景信息;在解码器部分使用上采样操作来恢复到原始图像大小,上采样的过程是结合了下采样各层信息和上采样的输入信息来还原细节信息。
1.2 残差思想
由于CNN能够提取低层中层或高层次的特征,因此网络的层数越多,意味着能够提取到不同层的特征越丰富[9]。并且,越深的网络提取的特征越抽象,越具有语义信息。但是如果仅仅是简单地增加网络层数则会导致梯度弥散或者梯度爆炸以及退化问题。He K等人提出了残差模块用来解决这个问题[10]。作者把网络设计为H(x)=F(x)+x,如图1。我们可以转换为学习一个残差函数F(x)=H(x)–x。只要F(x)=0,就构成了一个恒等映射H(x)=x。这样拟合残差就会更加容易。基于残差的思想,网络可以达到更深的深度,提取到更深层次的信息,而不会引起梯度爆炸或者退化等问题。
1.3 残差ASPP模块
ASPP模块是在空间维度上实现金字塔型的空洞池化atrous spatial pyramid pooling(ASPP)[10]。这样的机构设计对所给定的输入以不同采样率的空洞卷积并行采样,相当于以多个比例捕捉图像的上下文信息。而残差ASPP模块,残差思想通过shortcut connection体现,通过shortcut将这个ASPP模块的输入和输出进行一个element-wise的加叠,通过这个简单的加法并不会给网络额外的参数和计算量,同时却可以大大增加模型的训练速度、提高训练效果,而且当模型的参数加深时,这个简单的结构能够很好地解决退化问题。如图2所示。
2 实验提出方法介绍
在本节中,我们首先介绍针对海陆分割(海岸线提取)的一般过程。然后,我们详细描述了改进了UNet网络。
2.1 海岸线提取的一般过程
基于深度学习方法的海陆分割主要分为三个阶段:数据预处理阶段,训练阶段,模型测试阶段。在数据预处理阶段,我们利用ArcMap进行真值图的标记,将遥感图像分成两个类。海洋和陆地。然后对遥感图像进行裁切,我们将实验图像裁成256×256的小块,并将裁切后的图像划分为训练集和验证集,转为numpy数组格式,为模型训练做准备。在训练阶段,模型将训练图像的numpy格式读进去训练,流程图如图3所示。最后是测试阶段,在这一阶段,把训练好的最佳模型用来测试图像,得到海岸线的提取工作。
2.2 模型结构及参数介绍
图3展示了我们提出的基于改进UNet的海岸线提取模型结构流程图。模型整体保留UNnet的对称结构,但由于使用残差块来代替原始UNet结构的卷积操作,这里UNet的对称结构又加深了一层,是因为更深的层数可以带来更加丰富的语义信息,提取到的特征越丰富,而残差思想可以确保模型结构加深而不会带来梯度爆炸等问题。在解码器的最后一层,加入残差ASPP结构,同时利用残差思想和不同采样率带来的多尺度上下文语义信息,确保分割效果更佳。最后使用sigmoid激活函数得到最后的预测结果,从而实现端到端的遥感图像海陆分割任务。表1显示了基于改进UNet的完整网络结构和详细配置。
3 实验与评估
3.1 实验数据
我们使用的实验训练、验证数据集是连云港附近的6幅高分一号遥感图像,测试集图像从另外3幅高分一号遥感图像中进行裁切的,拍摄日期在2016,2017,2018年份内,其分辨率为8 m,包含4个波段(红波段,绿波段,蓝波段,以及近红外波段)。其中的某幅训练图像及其真值图如图4所示。我们将研究区域的数据进行海陆分割(海岸线提取)实验,包括海洋和陆地两个类别,其中0代表海洋,255代表陆地。然后将已标记的图像进行裁剪,并分为训练集、验证集和测试集,其中,训练集和验证集图像大小均为256×256,训练集图像和真值图有1348幅,验证集图像及其真值图有158幅,测试集图像大小为1024× 1024。
3.2 模型训练
我们实验使用 NVIDIA Tesla P100 16GB的GPU进行训练。实验模型使用Keras框架进行实现,采用Tensorflow作为后端。实验使用Adaptive Moment Estimation作为优化器,该优化器可以在训练过程中自适应地调整学习率,我们把初始学习率设置为0.0001,batch size设置为2,迭代周期为100次。模型构建完成后,我们将1348张训练图像和158张验证图像存储在Numpy数组中以方便实验。为了使模型能够处理遥感想,我们将所有模型的输入通道均调整为4个通道,模型训练完成后,我们使用3幅测试图像来验证模型的有效性。
3.3 实验结果与分析
这里我们除了实验自己模型的同时,还加入了UNet,DeepLabv3,以及SegNet等同我们的模型进行了对比实验,使用三幅图像进行测试,并且实验采用三种评价指标来验证模型的有效性。分别为准确率、召回率以及F1分数,其中准确率表示正确预测正样本占实际预测为正样本的比例如公式1所示,召回率表示正确预测正样本占正样本的比例,如公式2所示。F1分数被定义为精准率和召回率的调和平均数,用于综合反映整体的指标如公式3所示。
其中,TP代表样本为正,预测结果为正;FP代表样本为负,预测结果为正;FN代表样本为正,预测结果为负。下图分别展示了在四个测试集上进行海陆分割的不同方法的结果图,褐色表示提取的陆地,蓝色表示海洋。测试图像及其对比图像分别如图5、6、7所示。其中褐色代表陆地,藍色代表海洋。
通过观察图5、6、7我们可以看出,我们提出的改进的UNet模型比其它三种模型的分割效果更好,尤其是在红色矩形框标注的地方,本位提出的方法对比其他三个模型都是最佳的分割效果。实验结果表明,我们提出的网络模型对于连云港海岸线的海陆分割任务有更好的效果。表2给出了我们提出的模型与其他三个模型的Precision,recall以及F1分数的最终结果。
表2使用了上面介绍的三种评价指标对不同深度学习模型进行了详细的比较,从中我们可以看出,只有在第一幅测试图像中召回率我们提出的网络略低于UNet模型,除此之外,本文提出的模型方法的准确率、召回率和F1分数在测试图像上的测试结果几乎全部高于其他深度学习方法。
4 结论
在本文中,我们基于UNet结构进行了改进,使用残差结构来代替卷积层,并在最后一层加入了残差ASPP结构,加深网络层数的同时获得了更多的细节特征,提升了连云港海岸线遥感图像的分割精度,得到了较好的海岸线提取结果。最后,在未来的光学遥感图像海陆分割的研究中,应考虑如何识别细长的堤坝更好地保留边界信息,以及对于低分辨率图像的海陆分割问题,从而取得更好地结果。在未来我们需要继续改进我们的模型,并且考虑不同卫星拍摄的影像,来更加适应相关部门的需要。
参考文献
[1]Wei Junjie. Research and implementation of median filtering and segmentation algorithm for waterfront image[D]. Chang chun: Jilin University, 2011.
[2]Shao Yun, Zhang Fengli, Tian Wei, et al. Progresses on application of microwave remote sensing in ocean environment[J]. Journal of Remote Sensing, 2009, 13(S1): 154-159.
[3]Yuan Xinzhe, Lin Mingsen, Liu Jianqiang, et al. Application of GF-3 satellite in ocean[J]. Satellite Application, 2018(6): 17-21.
[4]LeCun, Y. and Bengio, Y., 1995. Convolutional networks for images, speech, and time series. The handbook of brain theory and neural networks, 3361(10), 1995.
[5]Wei Junjie. Research and implementation of median filtering and segmentation algorithm for waterfront image[D]. Changchun: Jilin University, 2011.
[6]McFeeters S K. The use of the normalized difference water index(NDWI)in the delineation of open water features[J]. International Journal of Remote Sensing, 1996, 17(7): 1425- 1432.
[7]Ronneberger O, Fischer P, Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation[J]. 2015.
[8]Badrinarayanan V, Kendall A, Cipolla R. SegNet: A Deep Convolutional Encoder-Decoder Architecture for Image Segmentation[J]. 2015.
[9]Simonyan K, Zisserman A. Very deep convolutional networks for large-scale image recognition[J]. arXiv preprint arXiv:1409.1556, 2014.
[10]He K, Zhang X, Ren S, et al. Deep residual learning for image recognition[C]//Proceedings of the IEEE conference on computer vision and pattern recognition. 2016: 770-778.
[11]Chen L C, Papandreou G, Kokkinos I, et al. DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2016, 40(4): 834-848.