基于U-Net深度学习方法火星沙丘提取研究

2022-01-06郭晓征姚云军张晓通

自然资源遥感 2021年4期

郭晓征，姚云军，贾坤，张晓通，赵祥

(北京师范大学地理科学学部遥感科学国家重点实验室,北京 100875)

0 引言

火星风成地貌是由于地面气流对地表物质的搬运、侵蚀等作用造成的，风成地貌的变化是获取火星大气环流模式信息的重要来源[1]。沙丘是火星表面变化最剧烈的风成地貌，对火星沙丘的研究是理解火星大气与地表交互机制的重要前提[2]。美国在2006年发射的火星侦察轨道器(Mars reconnaissance orbiter, MRO)搭载了不同空间分辨率的遥感传感器，如高分辨率成像仪(high resolution imaging experiment, HiRISE)和火星彩色成像仪(Mars color imager, MARCI)等，每年都会采集海量的不同空间分辨率遥感影像数据[3]。然而，如何从大量的火星遥感数据中提取沙丘地貌成为了一个难题。

传统的火星沙丘识别是通过人工目视解译提取遥感影像中的沙丘，Hayward等[4]2007年结合多种火星遥感数据，通过人工目视解译的方法生产了火星数字沙丘数据库(Mars global digital dune database, MGD3)。但这种依靠人工目视解译的方法对经验依赖性强且费时费力。随着火星遥感数据的迅速增加，目视解译的难度也在逐渐增加。为及时更新火星沙丘数据库，就迫切地需要一种快速准确识别火星沙丘的方法。

目前，自动提取火星沙丘的方法主要是依靠传统的机器学习方法，如随机森林(random forest, RF)、支持向量机(support vector machines, SVM)、提升方法(boosting)等[5-6]。Bandeira等[5]利用boosting和SVM提取火星轨道相机(Mars orbiter camera, MOC)影像中的沙丘，结果表明，boosting和SVM提取火星沙丘的效果较好，且boosting的精度优于SVM。但传统机器学习需要将遥感影像分割为相同大小的瓦片，每个瓦片的分类结果为沙丘或非沙丘。然而大量瓦片为沙丘与非沙丘的混合，从而导致沙丘分类结果分辨率较差、预测精度偏低。而在图像分割领域，近年来卷积神经网络(convolutional nenural network, CNN)由于可自动从图像中获取特征，在图像识别及分割中的应用越来越广泛[7]。随着深度学习的发展，不同的图像分割模型相继被提出。Long等[8]在2015年提出了全卷积神经网络(fully convolutional network, FCN)，利用反卷积得到输入影像的语义分割图，首次实现了端对端的像素级别分类； Badrinarayanan等[9]提出了SegNet模型，利用编码-解码的网络结构减少了模型中的训练参数，提高影像分割精度； Ronneberger等[10]在编码-解码的网络结构的基础上连接编码信息与解码信息，生成了U-Net模型，进一步提高了分割精度。

火星沙丘在光谱空间中的差异较小，在提取沙丘的过程中主要依赖沙丘的纹理信息即空间信息。在之前利用机器学习自动提取沙丘的研究中，虽然使用了火星影像中的空间信息，但是提取结果混合现象比较严重，尤其在沙丘边缘地区，分类结果较差。而CNN相对于传统的机器学习能够充分利用影像的空间信息，对影像的分割更为精细，能够实现基于像元的影像分割。因此，本文基于上述研究提出一种高精度的火星沙丘自动提取方法。针对火星沙丘复杂的光谱信息，利用局部二值模式获取火星影像纹理信息，结合U-Net模型对火星沙丘进行提取，并与传统的RF方法进行对比分析。

1 数据源

HiRISE是搭载在MRO卫星上的遥感传感器之一，具有较高的空间分辨率，像元分辨率一般在0.25～0.5 m之间，有400～600 nm，550～850 nm和800～1 000 nm 3个成像波段[11]。该传感器是目前为止空间分辨率最高的火星遥感传感器，且具有立体像对，可以制作高精度的数字高程数据。本文所采用的HiRISE影像来自HiRISE管理中心(www.uahirise.org)，数据已经过辐射校正与几何纠正。本次研究共使用6景HiRISE影像，其中5景影像用于训练样本的生成，1景影像用于模型精度验证。影像覆盖区域均含有沙丘地貌，且绝大多数为格状沙丘。格状沙丘是火星分布最广的沙丘类型之一[6]，其是多种风向相互作用，导致沙丘之间相互交错。格状沙丘因形态较为复杂，自动化提取也更困难，利用模型提取格网沙丘可以验证模型的鲁棒性。本研究使用HiRISE影像的详细信息如表1所示。

表1 影像数据Tab.1 Image data

2 实验方法与过程

2.1 纹理特征提取方法

局部二值模式(local binary pattern，LBP)是一种提取图像纹理信息的算法，具有旋转、平移不变的特性，为了提取HiRISE影像的纹理信息，需要对影像进行LBP变换。将图像的每一个像元(x0,y0)与其8邻域像元进行比较，若邻域像元值大于像元(x0,y0)值，则标记为1，反之标记为0，比较得到8位有序的二值序列。将得到的8位二值数组转为十进制，即为经过LBP变换后的像元(x0,y0)的值[12]。LBP变换的数学公式为：

(1)

(2)

式中：in为8邻域像元的灰度值；i0为像元(x0,y0)的灰度值。

图1为LBP的计算示例，图1(a)为原始影像的像元值及其8邻域像元值，图1(b)为8邻域像元与中心像元比较所得到的8位二值序列(01111010)，将二值序列转换为十进制数字122，即为图1(c)LBP变换后的像元值。

(a) 原始影像(b) 二值序列(c) 转换后的像元图1 LBP变换示例Fig.1 Example of LBP transform

2.2 U-Net深度学习方法

U-Net方法是由Ronneberger等[10]在2015年针对医学影像所提出的一种图像分割的方法。U-Net方法具有编码-解码的结构：其网络左侧为编码，利用卷积与池化提取图像特征，右侧为解码，通过卷积与上采样从提取的特征中恢复特征图。在编码的过程中，随着感受野的不断增加，U-Net方法可以提取到更为复杂抽象的特征。而在解码的过程中，U-Net方法不仅利用提取好的特征，还整合不同网络层的信息进而增加预测的精度。U-Net方法网络结构简洁、模型训练收敛速度比较快，既可用于大型训练数据上，在少量的训练样本中的表现也相当好[13-14]。正是由于U-Net方法网络结构简单，运行速度快，适用于沙丘的快速识别，因此本文使用U-Net深度学习方法进行火星沙丘的提取。

2.3 RF机器学习方法

Breiman[15]在2001年提出了一种将多个决策树集成到一起的机器学习方法，称为RF。RF方法是一种简单实用的机器学习方法，且在回归和分类中的效果都较好。RF方法的具体实现步骤为：对M个训练样本进行有放回的抽样，抽取M次，得到样本数为M的样本集进行训练得到一个决策树；将上述过程重复N次，得到N个决策树，将这N个决策树集成起来即为RF。在RF机器学习方法分类的过程中，多个决策树进行投票，得票最多的类别为模型最终输出类别[16-18]。

2.4 实验过程

由于HiRISE影像中不同区域及不同成像时间内的沙丘光谱差异较大，且沙丘与其背景的光谱差异较小，利用遥感图像的光谱信息难以提取沙丘。沙丘与背景在纹理特征上差异较大，沙丘面为波纹状或者平滑光面，而非沙丘则是不规则的纹理。纹理信息是提取火星沙丘地貌非常重要的信息。因此，首先需要利用LBP变换得到影像的纹理信息。

本文选择RF机器学习与U-Net深度学习的提取方法进行比较，来研究深度学习与传统机器学习方法提取结果的差异。在训练U-Net模型时，需要在提取纹理特征的基础之上利用Labelme软件对影像进行标注，再对影像进行分割、数据增强。RF方法是将影像分割为瓦片，采用人工目视解译的方法将瓦片标记为沙丘与非沙丘。U-Net方法是端对端的像元级别分类，而RF方法是基于瓦片对影像进行分类。在模型训练完成之后，本文使用独立的HiRISE影像对2种分类模型进行验证。实验具体步骤如图2所示。

图2 HiRISE沙丘提取实验流程Fig.2 Flowchart of HiRISE sand dune extraction experiment

训练RF模型时，首先将遥感影像分割成大小为100像元×100像元的瓦片，并对每个瓦片进行LBP变换。若直接将瓦片作为特征输入到RF模型会导致特征数过多、分类精度差，而瓦片的统计直方图也可准确地描述瓦片的纹理特征。因此将样本瓦片进行直方图统计，将统计结果作为特征输入RF模型进行训练。图3为分割为100像元×100像元的沙丘与非沙丘的样本，可以看出沙丘样本具有规则的纹理，而非沙丘样本的纹理比较杂乱。本次实验中共从5张HiRISE影像中选取了816个瓦片样本，其中沙丘的样本为410个，非沙丘样本为406个。

(a) 沙丘示例样本1(b) 沙丘示例样本2(c) 沙丘示例样本3(d) 沙丘示例样本4

(e) 非沙丘示例样本1(f) 非沙丘示例样本2(g) 非沙丘示例样本3(h) 非沙丘示例样本4图3 RF训练样本示例Fig.3 Train examples of samples of RF

为了生成U-Net的训练数据，本研究借助Labelme软件对遥感影像进行标注，生成掩模文件，标注中像元值为0代表非沙丘，像元值为1代表沙丘。为了适应U-Net的网络结构，LBP变换后影像与标签数据需要分割为512像元×512像元的瓦片，之后将数据输入U-Net网络进行训练。图4为U-Net训练样本示例。由图4可以看出经LBP变换之后，沙丘与背景的差异得到了明显增强。在深度学习中，训练数据越多，模型的预测精度越高。为增加模型精度，本研究对训练数据进行翻转和旋转等增强，有效扩充训练数据，提升网络预测精度，以防止过拟合。本次实验中共选取了5张HiRISE影像，经过影像分割与数据增强，共得到1 026个训练样本。本文中采用的平台为Keras，计算机配置为Intel i7-6700HQ中央处理器，NVIDIA GTX1060显卡，6 G显存。

(a) 原始影像(b) LBP变换后影像 (c) 标签数据图4 U-Net训练样本示例Fig.4 Train example of sample of U-Net

为了定量评价U-Net模型的精度，本文选择独立的测试数据对模型进行精度评价，并对比U-Net方法与RF方法之间的差异。利用Labelme软件对独立验证影像进行标注，生成标签数据，并使用该数据对U-Net方法与RF方法的提取结果进行精度验证和对比分析。模型的评价指标主要包括假负率(false negative rate,FNR)、假正率(false positive rate, FPR)和准确率(accuracy rate, AR)。评价指标的计算方法分别为：

FNR=FN/(FN+TP)

(3)

FPR=FP/(FP+TN)

(4)

AR=(TP+TN)/(TP+FP+TN+FN) ，

(5)

式中：TP为模型预测为正的正样本；FP为模型预测为正的负样本；FN为模型预测为负的正样本；TN为模型预测为负的负样本。

3 结果与分析

HiRISE原始影像、人工标注数据、U-Net提取结果和RF提取结果分别如图5(a)—(d)所示。由图5可以看出，本文使用的U-Net深度学习方法的提取效果优于RF方法，沙丘边缘清晰且破碎斑块较少，与目视解译结果更吻合。图5(c)与标签数据的沙丘空间分布基本一致，并且噪声较少，说明U-Net方法对火星沙丘的提取效果更好；图5(d)为RF提取结果，沙丘边缘存在明显的锯齿，同时RF提取结果中存在较多的噪声点。从沙丘分类结果的空间分布和整体效果2方面来讲，U-Net方法的结果均优于RF方法。

(a) 原始影像(b) 标签数据(c) U-Net方法提取结果(d) RF方法提取结果

图5 沙丘提取结果Fig.5 Sand dune extraction results

U-Net与RF这2种方法精度评价结果如表2所示。U-Net方法的FNR与FPR相较于RF方法都偏低，其中RF方法的FNR与FPR分别为3%和12.1%，而U-Net方法仅为0.3%和3.7%。U-Net方法在AR的表现上也要优于RF方法，U-Net方法的AR为96.7%，比RF方法高了3.2个百分点。虽然受算法复杂度的影响，U-Net方法的提取耗时较长，但其相比RF方法精度得到了大幅度提升，且仅需要RF方法耗时的1.74倍，故U-Net方法是优于RF方法的沙丘提取方法。这也说明了深度学习在火星沙丘地貌提取中有较大的应用前景。