基于深度学习的遥感影像耕地提取

吕林涛 姚建华 黄涛 王一鑫

1.宁夏回族自治区遥感调查院；2.北京科技大学计算机与通信工程学院

遥感影像耕地提取是遥感解译的一项具体任务，良好的耕地分割结果可为农业生产和土地保护提供支撑。针对宁夏省银川市耕地检测需求，以高分2号卫星影像为基础，对影像进行光谱增强和纹理增强处理，以U-Net网络为基础，搭建卷积神经网络进行训练，并利用训练好的模型进行测试。实验结果显示，我们的模型平均交并比达74.3%，证明本文提出的遥感影像耕地提取技术能准确进行耕地提取，同时提高耕地检测的效率。

遥感是20世纪60年代发展起来的对地观测综合性技术。随着科技水平的不断发展，遥感的技术也越发的成熟，推动了卫星遥感影像技术的迅猛发展，同时也随着可以获得的数据量的不断增加，人们对大数据、机器学习、深度学习等概念也越来越关注。遥感影像语义分割是遥感影像信息获取的关键环节和研究热点，近年来，相关研究成果已经广泛应用于检测土地利用变化、城市扩张以及灾害预警评估等方面。高分辨率遥感影像能够表现丰富的地物信息，从而有利于提取地物的复杂特征以识别复杂的场景目标。

耕地是我国重要的土地资源，是农业最基本的生产资料，耕地保护对生态环境，社会稳定具有重要作用[1]。高效的耕地检测可为耕地保护任务提供技术支撑，有利于耕地保护任务的完成。遥感影像真实的体现了地质、地貌、土壤、植被等地物特征。遥感卫星安装有多个传感器，可以提供不同的光谱数据。近年来，我国卫星遥感技术快速发展，为我国生态环境监测提供了巨大的帮助。

U-Net是一种U形卷积神经网络，该网络通过编码—解码操作实现图像端到端的语义分割，已经成为图像分割的一种标准框架。该网络最早用于医学影像分割，利用图像的多尺度信息在编码和解码通道之间使用跳跃连接融合图像的浅层与深层特征，因此被广泛应用于图像领域[2]。深度神经网络FCN用于构建语义分割的基础模型，它作为一种强大的图像分割模型，可以从抽象的特征中恢复出每个像素所属的类别，即从图像级别的分类进一步延伸到像素级别的分类。

在耕地提取研究中，我们使用U-Net卷积神经网络作为基础架构，加入ResNet34网络，桥接层和注意力机制，结合影像的光谱和纹理特征，构建了耕地提取网络模型。

1 技术实现

1.1 光谱特征提取

高分二号影像具有4个波段，分别是R（红光波段）、G（绿光波段）、B（蓝光波段）、NIR（近红外波段）。通过近红外波段和红光波段，可以计算得到归一化植被指数（NDVI），其定义如下：

归一化植被指数可以反应农作物的生长状态和覆盖度，NDVI的范围始终为-1～1，当值为负数时，很可能是水；当NDVI的值接近1时，很有可能是茂密的绿叶。此外，NDVI可以消除大部分由于仪器、地形等外界因素造成的影响，可以增强影像对植被的影响力[3]。

1.2 纹理特征提取

纹理特征是通过灰度的空间变化及其重复性来反应地物的视觉粗糙度，能够充分反应影像的特征，是描述和识别图像的重要依据。在遥感影像中，陆地、水域、城市、深林等都具有各自特定的纹理，通过分析遥感图像的纹理特征，可以进行区域识别、森林识别等。

遥感影像中抽取纹理特征常用的方法是灰度共生矩阵。灰度共生矩阵又称为灰度空间相关矩阵，是通过研究灰度的空间相关特性来描述纹理的常用方法，通过灰度共生矩阵可以得到8种纹理特征统计量，即均值（Mean）、方差（Variance）、同质性（Homogeneity）、对比度（Contrast）、相异性（Dissimilarity）、熵（Entropy）、能量（Energy）、相关性（Correlation）。

通过对银川地区耕地影像分析，耕地又可以细分为干耕地和湿耕地。分别对干耕地和湿耕地影像进行纹理特征提取如表1所示，计算干湿耕地对应的纹理特征统计量的差值，差值折现图如图1所示，选取差值最小的纹理统计量作为新特征加入到原始影像中。

表1 干湿耕地纹理统计量Tab.1 Texture statistics of dry and wet farmland

图1 干湿耕地纹理统计量差异折线图Fig.1 Broken line chart of grain statistics difference of dry and wet farmland

通过干湿耕地纹理统计量差值折线图可以看出，干湿耕地在相关性统计量上差异最小，所以选取相关性统计量作为纹理特征加入到原图像中，能够最大程度提升模型的精度。

1.3 模型构建

本文提出的基于深度学习的遥感影像耕地提取网络是在U-Net网络上进行改进，U-Net网络结构有2个主要的特点：（1）U-Net网络是完全对称的，编码器和解码器很相似，网络左边的编码器部分通过卷积进行下采样操作，提取图像特征，加深特征层数，缩小特征图尺寸，右边的解码器部分通过上采样利用图像特征，恢复图像尺寸；（2）采用了跳跃连接，将下采用过程中提取到的特征运用在上采样中。这两个特点有助于下采样的各个阶段的信息在上采样过程中进行整合，使得整个网络可以更好地学习图像的所有信息。

Net网络不足之处是它编码器层数太浅，参数较少，当数据量较小时网络表现相对其他网络较好，但这会造成网络容易过拟合，对输入图像特征提取的能力较弱。本文选则使用ResNet34来替换U-Net网络的编码器部分，加深网络的编码器部分，同时利用残差机制使得网络能够快速收敛，并加入了注意力机制，进一步提高整个网络的特征提取能力。

本文在编码器和解码器之间添加了一个桥接层，它是由3个卷积层构成，每个卷积层都是由512个空洞卷积（Dilated=2）3×3的滤波器组成，利用空洞卷积扩大卷积核的感受野，该结构可以帮助网络更好地获取全局信息，使得模型在提取耕地时边缘更加准确。

右侧为解码器部分，解码器部分通过跳跃连接与解码器部分相连，可以将深层网络语义信息丰富的抽象特征与浅层网络丰富的细节信息相结合，通过上采样操作逐步恢复到原图像大小，最后通过一个卷积层得到耕地提取的结果。

2 实验研究及分析

实验是在Ubuntu 18.04.2 LTS操作系统上进行的，主要的编程语言为Python，深度学习的框架为PyTorch1.1.0，服务器搭载了4块NVIDIA GeForce RTX 2080Ti显卡，显存容量11GB。

2.1 评价指标

语义分割任务也可以理解为是一个分类任务，其目的是对输入图像进行逐像素判断，进而输出分割结果。对于分类任务而言，预测结果往往有4种情况。

（1）TP（True Positive）：真正例，模型预测为正例，实际是正例（模型预测为类别1，实际是类别1）；

（2）FP（False Positive）：假正例，模型预测为正例，实际是反例（模型预测为类别1，实际是类别2）；（3）FN（False Negative）：假反例，模型预测为反例，实际是正例（模型预测为类别2，实际是类别1）；（4）TN（True Negative）：真反例，模型预测为反例，实际是反例（模型预测为类别2，实际是类别2）。

交并比（IoU）：模型对某一类别预测结果和真实值的交集与并集的比值。

本实验选取MIoU作为评价指标。MIoU的定义是：计算真实值和预测值两个集合的交集和并集之比。计算公式如式（1）所示：

在公式（1）中i代表真实类别，j代表预测类别，k+1代表类别数。

这个比例也可以用TP（交集）比上TP、FP、FN之和（并集）。即如式（2）所示：

2.2 实验结果

训练得到的最终模型在测试集获得预测结果的MIoU可以达到74.3%，部分图像的预测结果如图2所示，从预测结果可以看出，我们的网络表现出了很强的提取能力，能够准确区分耕地和非耕地的区域，甚至标签中并未细分的道路在我们的模型中也能准确区分。图2显示，我们的网络对村庄附近的耕地、全耕地影响以及形状不规整的耕地都有较高的精度。同时，在边界细节上也表现出了很好的效果，且提取结果可以矢量化之后在GIS软件中显示，从而减少从业人员的工作量。

图2 部分图像的预测结果图Fig.2 Prediction results of some images

2.3 实验对比

为了更好地对本文提出的网络进行评估，我们进行了两组对比实验，分别在U-Net网络和FCN网络上进行了实验，第一组实验就是未经修改的FCN网络；第二组实验是搭载VGG网络的U-Net网络。实验结果如表2所示。

表2 不同方法获得的预测图像平均交并比Tab.2 Average cross merge ratio of predicted images obtained by different methods

从表2可以看出，我们网络的MIoU评价指标明显优于FCN与搭载VGG网络的U-Net，FCN网络虽然层数较少，提取速度较快，但碍于其网络参数少，对于耕地的提取效果欠佳。搭载VGG网络的U-Net效果优于FCN，因为VGG网络加深了U-Net的编码器结构，一定程度上优化了U-Net的提取效果。我们的模型得益于ResNet和空洞卷积机制，使得网络精度较高，同时因为ResNet的残差机制，网络训练时收敛较快，不会消耗过多时间。

3 结语

本文所研究的基于深度学习的耕地提取方法，通过使用Pytorch深度学习框架，以U-Net网络作为基础，使用ResNet34网络作为编码器结构，在桥接层中使用扩张卷积增大感受野，使网络可以获取全局信息。网络搭建完成后在我们处理好的6通道数据上进行训练，在训练过程中加入数据增强操作。通过最终的预测结果表明，本文构建的网络相比于U-Net网络，FCN网络具有更强的分割能力。

引用

[1]姚成胜,滕毅,黄琳.中国粮食安全评价指标体系构建及实证分析[J].农业工程学报,2015,31(4):1-10.

[2]宋蓓蓓,马穗娜,何帆,等.Res2-Unet深度学习网络的RGB-高光谱图像重建[J].光学精密工程,2022,30(13):1606-1619.

[3]田振坤,傅莺莺,刘素红,等.基于无人机低空遥感的农作物快速分类方法[J].农业工程学报,2013,29(7):109-116+295.