基于全卷积神经网络的灌区无人机正射影像渠系提取

2019-06-27张宏鸣韩文霆杨江涛蔚继承

农业机械学报 2019年6期

张宏鸣王斌韩文霆杨江涛蒲攀蔚继承

(1.西北农林科技大学信息工程学院，陕西杨凌 712100； 2.西北农林科技大学机械与电子工程学院, 陕西杨凌 712100；3.西北农林科技大学水利与建筑工程学院，陕西杨凌 712100)

0 引言

灌溉渠系作为现代农业最主要的水利设施，对农业高效节水灌溉具有重要意义。随着农业节水理论研究的不断深入，农业节水正趋于精准化和可控化。多级灌溉渠系(干、支、斗、农、毛)作为灌区农田重要的输、配水设施是实现灌区精细化管理的关键[1]。因此，快速准确获取大范围渠系分布情况显得尤为重要，完善渠系信息的分布研究也是解决我国水资源短缺和节水问题的先决条件[2]。无人机技术作为获取地理信息的前沿技术，具有数据客观、现实性好等优点，能够在短时间内获取较大面积的精准地形数据。可以通过无人机获取高分辨率遥感影像资料[3]，为后期的数字化技术提供丰富的地理信息，以实现农业的精准灌溉[4]。

通常，主要通过数字高程模型(Digital elevation model，DEM)[5]或遥感图像进行灌溉渠系的提取[6-8]。文献[9]基于DEM数据通过改进霍夫变换方法进行渠系轮廓提取，但仅在渠系特征明显地区提取效果较好，较难提取人造渠系网络。并且，使用DEM作为数据源是通过模拟水流的方式进行渠系提取，该方法需要人为预设渠系的起点位置，结合水流流向获取汇水面积进而划分流域信息，达到渠系提取目的。而河套灌区渠系在冻土时期处于少水或无水状态，因此该提取方法受季节环境影响，存在一定的局限性。遥感图像分类的常用算法[10-12]包括最大似然法、K-means算法、支持向量机(Support vector machine，SVM)等。文献[13]在DEM基础上通过SVM模型提取灌区渠系轮廓，该方法对大部分支渠、斗渠提取效果良好，但对农渠提取效果较差，并且在图像预处理(样本点选取、阈值寻优)、后处理(断线连接)过程中人工干预较多。

卷积神经网络(Convolutional neural networks，CNN)是深度学习模型中一种包含多个卷积层的人工神经网络模型，主要用来识别二维图像[14]。CNN模型的优势在于权值共享，自动学习多层次特征并调节网络参数，比传统的机器学习具有更强的特征学习和特征表达能力[15-19]。近年来，CNN模型凭借特征自提取的特点在图像领域中广泛应用，一些学者已经将其应用在遥感领域当中[14-19]。文献[20]提出在开放街道地图(Open street map，OSM)中应用CNN模型进行立交桥交叉结构分类。该方法将矢量数据与栅格图像相结合，利用CNN模型学习立交桥类型的高层次模糊性特征，并对OSM中的复杂交叉结构进行分类，取得了较好的效果。但由于灌区正射影像中渠系、田间小路交错分布，且特征相似，同谱异物现象较为严重，使用CNN模型不能对二者进行有效区分。文献[21]在CNN模型的基础上，提出用全卷积神经网络(Fully convolutional networks，FCN)模型进行像素级别的分类，从而有效地解决了语义级别的图像分割问题。基于该网络可从抽象的特征中恢复出每个像素所属的类别，即从图像级别的分类进一步延伸到像素级别的分类，从而完成对目标图像的分类提取[22-27]。

本文将FCN模型引入到渠系提取领域，以无人机采集的高分辨率正射影像为研究对象，通过FCN模型进行渠系轮廓提取，并将提取结果与改进霍夫变换模型、SVM模型的提取结果作对比，最后进行精度评价，实现灌区渠系轮廓的精确提取。在土地整理规划时通常不考虑毛渠信息[9]，因此主要对灌区支渠、斗渠和农渠轮廓进行提取，不考虑渠宽小于1 m的毛渠。

1 研究区域及实验样本

1.1 研究区域概况

研究区域位于内蒙古自治区临河市海丰县河套灌区，地理坐标范围为41°6′52″～41°8′27″N，107°51′29″～107°53′4″E，海拔范围为973.76～1 037.01 m。研究区域灌溉面积约为688万m2。2016年3月，首先在能见度高、风速小于10 m/s的晴朗天气，使用T-EZ AF1000型无人机在400 m的飞行高度搭载索尼A5100型相机获取该区域正射影像信息，飞行速度14 m/s。然后使用Agisoft Photoscan软件拼接生成空间分辨率为0.25 m的正射影像。研究区域正射影像如图1所示。

图1 研究区域正射影像Fig.1 DOM data of study area

图2 各实验区域正射影像Fig.2 DOM data of each experimental area

从研究区域选取3块实验区，其正射影像如图2所示。实验区1(图2a)图像分辨率为10 000像素×7 000像素，覆盖面积约67.9万m2，作为本次实验的训练、验证样本，范围最大，包含信息最为全面。实验区2(图2b)图像分辨率为4 000像素×3 000像素，覆盖面积约12.5万m2，作为本次实验测试样本。实验区3(图2c)图像分辨率为5 000像素×4 000像素，覆盖面积约为27.5万m2，作为本次实验的测试样本，环境最为复杂。

1.2 实验样本

在深度学习的分类算法中，实验样本的品质直接决定了训练的结果。由于本文实验使用的正射影像数据空间分辨率较高(0.25 m)、细节清晰、特征丰富，因此基于目视解译的方法使用Photoshop软件制作标签图像，设置渠系的灰度为255，其他区域灰度设置为0。为防止过拟合，对实验数据进行数据增强，数据增强的方法包括：对图像进行水平、垂直翻转和90°、180°、270°旋转。为节省内存空间并且保证渠系的分割效果，将3块实验区正射影像和标签图像分割成若干组500像素×500像素的图像。经过数据增强并分割后，训练集1 600组(剔除实验区1和实验区3中重复样本)，验证集400组，测试集1 024组。随机选取的实验样本正射影像和标签图像如图3所示。

图3 实验样本图像Fig.3 Experimental sample images

2 FCN算法

FCN模型与CNN模型最大的区别在于卷积层之后的结构不同。FCN模型是将CNN模型中的全连接层转换为卷积层，可以接受任意尺寸的图像输入，并加入反卷积层[28]。

本文使用的FCN模型基于VGG-19网络改进而来，前16层为卷积层，后3层为反卷积层，共19层。

基于FCN模型进行渠系轮廓提取的方法流程如图4所示。主要过程描述如下：①利用无人机获取高分辨率正射影像，形成训练集、验证集和测试集。②标注训练集、验证集、测试集。③对训练集、验证集、测试集进行数据增强并分割。④以改进的VGG-19网络为基础，采用FCN-8s结构，使用Tensorflow框架构建FCN渠系提取模型。⑤将训练集、验证集放入FCN模型中进行训练、验证，获得FCN渠系轮廓提取模型。⑥将测试集放入训练好的FCN模型中进行测试。⑦将测试结果拼接并进行精度评价。⑧和其他提取模型对比，最终完成渠系轮廓提取。

图4 方法流程图Fig.4 Flow chart of method

2.1 卷积层

卷积层的主要目的是提取图像特征信息，减少不必要的权值连接，降低噪声对图像的影响。卷积层常用的激活函数包括Sigmod函数、Tanh函数和ReLu函数。由于ReLu函数只包含线性关系，无论正向传播还是反向传播，ReLu函数的收敛速度都比Sigmod函数和Tanh函数快很多。因此本文选择ReLu作为激活函数，其数学表达式为

f(x)=max(0,x)

(1)

式中x——输入的神经元

2.2 池化层

下采样作为池化层的主要操作，其主要目的是对输入的特征图进行压缩，减少模型参数，简化网络计算的复杂度，同时防止过拟合。

图5 FCN-8s模型结构Fig.5 Structure of FCN-8s model

2.3 反卷积层

反卷积层是卷积的逆过程，通过反卷积层对最后一个卷积层的特征图进行上采样，使其恢复到输入图像的原始尺寸，从而可以对每个像素都产生一个预测，同时保留了原始输入图像中的空间信息。在相同尺寸的特征图上对每个像素进行分类，利用softmax交叉熵函数作为损失函数逐像素地计算损失[29]，其数学表达式为

(2)

(3)

(4)

式中L——损失函数

yi——真实分类结果

ai——softmax的第i个输出值

zi——网络第i个输出

wij——第i个神经元的第j个权重

xij——第i个神经元在第j个维度上的值

b——偏移值

2.4 跳跃结构

实验样本图像经过一系列的卷积、下采样操作，得到的特征图尺寸为原图像尺寸的1/32，此时的特征图称为heat map。

此时FCN模型有3种不同的融合方式：①FCN-32s模型，直接对heat map进行32倍上采样。②FCN-16s模型，将FCN-32s模型得到的heat map进行2倍上采样后与第4次下采样后的特征图融合，再进行16倍上采样。③FCN-8s模型，将FCN-16s模型得到的heat map进行2倍上采样后与第3次下采样后的特征图融合，再进行8倍上采样。

实验中渠系在实验样本图像中趋于细长，在模型提取过程中经过多次下采样后再经过上采样会造成特征信息丢失，因此FCN-32s模型和FCN-16s模型的上采样结果很难提取出有用信息。综上所述，主要依据FCN-8s模型的上采样结果进行渠系提取，其结构如图5所示。

杨琳是欧阳橘红的救命恩人，他是代欧阳橘红护理、照顾杨琳。欧阳橘红的救命恩人，就是他的救命恩人。欧阳橘红不知道救命恩人的癌细胞开始扩散，在世日子可用手指头来算了，如果知道，她一定会回滨湖。欧阳橘红离开滨湖十二年了，杨琳记得，欧阳橘红走前，说是南京化工厂，她没问详细地址，现在还在不在南京化工厂，杨琳也不知道了。他往南京化工厂发了四十多封信，有三十多封退回来了，有十来封没退回来，估计是在路上丢了。所有退信签上，都是“查无此人”。

3 实验结果与分析

3.1 FCN模型训练

将训练集、验证集放入FCN模型进行训练、验证，设置批大小为4，训练速率初值设置为1×10-6，训练过程中损失函数曲线如图6所示。前10 000次迭代过程中损失函数迅速减小，经过45 000次迭代后损失函数基本收敛，损失函数值稳定在9.725×10-3，虽然仍有波动出现，但随着迭代次数的增加，波动的频率逐渐减小。FCN模型训练结构如图7所示。

3.2 精度评估

将测试集放入训练好的FCN模型进行测试，并将测试结果拼接显示。然后进行精度评估。

为了进一步量化该方法的提取效果，需要统计提取结果的像元数据，将提取结果保存为以空格符分隔的RGB三元组文本文件，通过遍历获得统计结果。在实际地形中，渠系一般为具有一定宽度的线状结构，因此判读渠系提取正确与否应设置缓冲半径R，若缓冲半径R过大，错误提取的渠系像元会被误判，从而造成渠系提取准确率虚高；同样，缓冲半径R过小也会影响真实结果。

图6 损失函数曲线Fig.6 Curve of loss function

图7 FCN模型训练结构Fig.7 Training structure of FCN model

通常渠系宽度最窄为0.5 m，设缓冲半径为0.25 m用以统计正确像元数，如果该点左右缓冲半径内有识别出来的像元，则认为是正确提取。

通过3项精度评估指标：准确度P(Precision)、完整度C(Completion)、精度A(Accuracy)对渠系轮廓提取结果进行量化评价[30]，其计算公式为

(5)

(6)

(7)

式中TP——正确识别的渠系数量

FP——非渠系识别为渠系数量

TN——正确识别的非渠系数量

3.3 结果与分析

通过FCN模型进行渠系轮廓提取，并与文献[13]采用的SVM模型以及文献[9]采用的改进霍夫变换模型进行对比，3种提取模型的准确度、完整度、精度均值如表1所示。

两块测试区域渠系轮廓提取结果如图8所示，标签图(图8a、8e)中支渠、斗渠用白色线条表示，农渠用红框标出。结果表明：

(1)3种模型在环境良好、干扰信息较少的测试区1上对支渠、斗渠提取效果均较为良好，但SVM模型(图8c)对农渠的提取效果较差；改进霍夫变换模型(图8d)则出现部分错提、漏提现象，FCN模型(图8b)对农渠提取效果较好，在整个测试区1提取准确度、完整度、精度均值分别为98.37%、96.22%、94.21%。

表1 精度评价及对比Tab.1 Performance evaluation and comparison of proposed method %

图8 测试区渠系轮廓提取结果Fig.8 Extraction maps of test area irrigation networks

(2)环境复杂的测试区2中存在大面积房屋、焚烧秸秆的残留物、树木阴影以及人为活动等干扰信息，可验证FCN模型在环境复杂区域的鲁棒性。结果显示，针对环境复杂、同谱异物现象严重的区域，SVM模型(图8g)出现较多错提取现象；改进霍夫变换模型(图8h)出现大范围漏提取现象；FCN模型(图8f)对支渠、斗渠、农渠的整体提取效果均优于其他两种模型，其准确度、完整度、精度均值分别为93.18%、88.36%、84.69%，均高于SVM模型和改进霍夫变换模型。

综上所述，通过改进霍夫变换模型对灌区渠系轮廓的提取主要集中在环境良好、干扰信息较少区域的高级别渠系，而对环境复杂区域的斗渠、农渠等低级别渠系的提取效果不佳，在整个测试区提取的准确度、完整度、精度均值分别为93.98%、87.22%、80.94%。通过SVM模型训练分类得到渠系和非渠系结果，该方法对大部分支渠、斗渠提取效果良好，但是对农渠提取效果不佳，在整个测试区提取的准确度、完整度、精度均值分别为92.96%、89.08%、84.89%。通过FCN模型对灌区渠系轮廓进行提取，该方法对灌区支渠、斗渠、农渠提取效果均较为良好，在整个测试区提取的准确度、完整度、精度均值分别为95.78%、92.29%、89.45%，各项指标均优于SVM模型以及改进霍夫变换模型。因此，该方法针对不同复杂程度的测试区域，均能得到更加完整精确的渠系分布信息，具有较好的泛化性和鲁棒性。然而，本文提取结果的主要误差由同谱异物现象造成，对图像特征与渠系相近的田间小路、空地等干扰区域未能较好地区分，有待在今后的研究中改进。