U-net深度学习神经网络结合面向对象的城市森林高分影像信息提取

蔡淑颖 何少柏 韩 凝 杜华强*

城市森林结构复杂、分布破碎，采用高分遥感数据，通过深度学习等智能机器学习算法精准监测提取城市森林信息，是城市森林资源智能监测管理的关键性基础环节。本文以杭州市余杭区部分城区WorldView-3高分卫星遥感影像为数据源，采用改进的U-net深度学习神经网络，并结合面向对象多尺度分割方法，研究城市森林智能精准提取。首先，通过大量的训练数据获得最佳模型参数；其次，使用U-net网络进行语义分割得到分类结果图；最后，结合面向对象最优分割修正深度学习城市森林提取结果，从而最终得到城市森林提取结果。研究表明，（1）基于改进的U-net深度学习神经网络得到的城市森林总体分类精度达90.50%，Kappa系数为0.886；（2）经面向对象分割对U-net深度学习神经网络结果中的“椒盐现象”及边界地物错分现象进行修正后，分类总精度提高到93.83%，Kappa系数提高到0.9295。因此，U-net网络模型结合面向对象方法可以有效地改善遥感目标识别及地物分类的效果，保证城市碎片化植被提取与植被区域边界的准确性，从而提高城市森林植被提取精度。

城市森林；WorldView-3；U-net；深度学习；面向对象

城市森林与城市景观建设、公园管理、城市规划等息息相关，通过影响城市的物理空间和生物环境变化来缓解城市发展带来的环境质量的下降，在城市CO2减排、空气净化、PM2.5吸收、城市雨洪调控与水质提高、噪声降低、小气候改善等方面具有重要的功能[1]。因此，监测并提取城市森林信息是城市森林资源管理、服务功能评价的关键性基础环节。遥感技术能为城市森林监测提供强大的技术支持，而高分辨率影像纹理特征丰富、空间特征明显，影像地物的尺寸、形状和邻域地物的关系能更好地得到反映[2]，在监测结构复杂、分布破碎、下垫面异质的城市森林具有明显优势。如何从高分辨率影像精准监测城市森林，尤其随着“智慧城市”的推进，如何实现高分辨率遥感影像城市森林精准智能监测对智慧城市建设具有重要的实践意义。

面向对象的分类方法可以综合利用影像的光谱特征、几何特征、纹理特征等进行分类，为高分辨率遥感影像分类提供了新的途径，并在高分遥感植被信息提取[3-4]和城市土地利用分类中得到了很好的应用[5-8]。深度学习是当前人工智能领域重要的技术方法之一，在图像分类、语义分割方面有很大优势，它通过大量数据来进行特征学习，从而获取数据的内在信息，使其在图像识别、遥感图像分类[9-11]、定量估算、各种感知数据的综合分析等方面拥有更多“智慧化”特征[12-15]，因此可以更快、更准确地挖掘遥感影像中的潜在特征，从而实现遥感信息智能精准提取。如杨知等采用LinkNet卷积神经网络实现了基于高分辨率遥感影像的水体信息提取[16]；汪传建等将深度学习用于无人机遥感农作物识别[17]，利用卷积神经网络提取农作物特征，实现精细分类；王雅慧等使用U-net深度学习方法对高分辨率多光谱遥感影像进行森林类型的分类[18]；深度学习算法在森林的提取以及树种的分类方面得到广泛的应用[19-22]。总之，遥感影像的分类从最初的目视解译到人工智能技术的应用，分类方法正向着智能化方向发展。

U-net网络由Ronneberger等人于2015年针对医学影像分割提出[23]，该网络借鉴了全卷积神经网络FCN将深层特征和低层特征相融合的思想，是全卷积神经网络FCN的延伸[24]，具有FCN的所有特点。U-net网络广泛应用于高分影像地物的分类和提取[25-28]，研究表明，利用该网络进行遥感影像信息提取能在分类精度上有很大的提高，如石林山等提出了一种基于U-net的多时相高分遥感影像农用地语义分割方法[29]，结果表明U-net的分割准确率高于FCN和SegNet，且对边缘分割得较为平整；李越帅等采用U-Net网络对胡杨树冠覆盖区域进行精准分割[30]，同时结合标记分水岭方法，实现了密集区域单株胡杨冠层的精准提取和株数的精准计算。

本研究以杭州市余杭区部分城区WorldView-3高分卫星遥感影像为数据源，采用改进的U-net深度学习神经网络，并结合面向对象多尺度分割方法，研究城市森林的智能精准提取。首先，通过大量的训练数据获得最佳模型参数；其次，使用U-net网络进行语义分割得到分类结果图；最后，结合面向对象最优分割修正深度学习城市森林提取结果，从而实现城市森林高分遥感智能精准提取。

1 研究区概况及数据

1.1 研究区概况

杭州市余杭区紧邻杭州市中心，位于杭州北部，地势平坦。区内森林植被树种种类较多，包括针叶林、常绿阔叶林、常绿落叶阔叶混交林、针叶阔叶混交林等，森林覆盖率较高。在余杭区境内选择了一块65.24 hm2的区域进行城市森林信息智能提取研究。研究区及所采用的WorldView-3卫星遥感数据如图1所示。

1.2 遥感数据及预处理

1. 研究区及WorldView-3卫星影像图

WorldView-3是DigitalGlobe商用高分辨率遥感卫星，于2014年8月13日成功发射。该卫星属于太阳同步卫星，回访周期为1天，卫星的寿命是7.3年，轨道高度为617 km。WorldView-3波谱特征覆盖可见光、近红外、短波红外波段，在植被监测上应用前景广阔。

2. 样本标签示意图（a原始影像，b标签图）

3. 技术路线

本研究中，WorldView-3卫星遥感影像的获取时间为2018年10月28日。影像数据包括分辨率为0.5 m的全色波段和分辨率为2 m的多光谱波段，其中多光谱波段包括红、绿、蓝、近红外4个波段。为充分利用0.5 m全色波段空间纹理等信息，本研究采用Gram-Schmidt Pan Sharpening将多光谱影像与全色波段进行融合[31]，得到分辨率为0.5 m的多光谱遥感影像。另外，为了减少大气对影像光谱信息的影像，采用ENVI软件中Radiomotric Calibration与FLASH模块分别对影像进行辐射定标和大气校正。

1.3 样本标签数据制作

为基于U-net实现研究区城市森林智能提取，需要制作包括训练集和验证集的样本标签数据。选取标签样本的原则是样本块内的地物易于目视解译识别，并且尽量保持各类别的样本像元均匀分布。本研究建立了森林、绿地、农用地、水体、建设用地、阴影等主要地物信息的影像标签图（图2）。

为提高网络训练速度，本研究中将影像裁剪为许多张小图像，即将所有样本块标签及其对应的地面真实数据同时进行规则顺序裁剪。裁剪时，为了保证物体的几何形状和连续性，选择使用288×288像素的裁剪窗口和100步长进行裁剪，然后分批送入网络中进行训练。

2 研究方法

本研究中，U-net深度学习神经网络结合面向对象的城市森林高分影像信息提取分为两个阶段：第一阶段利用改进的U-net网络进行城市森林提取，即在Keras深度学习框架下搭建U-net神经网络，利用制作好的标签图及对应原图对U-net网络进行训练，提取城市森林的特征，然后利用训练好的U-net网络提取城市森林信息。第二阶段通过计算对象同质性指标、异质性指标以及全局评价函数，确定研究区最优分割尺度并基于面向对象方法进行分割和分类，然后采用面向对象多尺度分割结果对U-net网络城市森林提取结果进行修改。技术路线如图3所示。

2.1 U-net网络及改进

4. 改进的U-net网络结构

U-net是一种典型的编码—解码U型结构，采用对称结构连接所有层。U-net网络的特点是在上采样部分进行了多次卷积操作，使整个网络学习到更关键的融合特征，同时更加注重上下文特征的融合，能够充分利用所提取的特征，从而使得原始输入的各个尺度的特征在最终的特征图中得到体现。基础的U-net网络主要针对医学影像分割，而遥感影像复杂程度高，地物种类多样、光谱信息丰富，使用基础的U-net网络难以达到精确提取地物的要求。因此，本研究对U-net架构进行改进，加深了网络结构，从而可以提取遥感影像更加复杂的光谱特征信息，改进的U-net网络架构如图4所示。

改进的U-net网络架构沿用了基础U-net结构，包括一个输入层、一个输出层和九个中间层。整个网络采用对称的编码—解码结构，主要分为左半边的压缩路径和右半边的扩张路径，同时使用了边界填充保证U-net结构的输入与输出的图像大小相同，即288×288。

压缩路径（图4左侧）每一层为卷积降级步骤，其作用是为了提取影像的深层特征。首先，进行一次卷积操作，输入影像被转换为32维的特征图；然后，对每层进行3次卷积核大小为3×3的卷积操作；最后，使用ReLU激活函数以及步长为2的最大池化操作，从而得到大小为9×9的特征图。

压缩路径之后就进入右半边的扩张路径（图4右侧），其作用是为了还原影像的特征信息。首先，每一层都使用2×2大小的卷积核进行上采样操作；然后，将压缩路径上通过下采样生成的特征图叠加到扩张路径对应位置上，再使用2个卷积层进行3×3的卷积操作，如此重复，共经过5次上采样，将低层信息与深层信息进行融合，弥补在下采样过程中因池化过程带来的信息损失，增加了特征图像的细节信息；最后，输出大小为288×288的6通道图像，每个通道对应一类地物即图2所示的6个地物类别。

5. U-net网络训练流程图

6. 不同分割尺度的结果

2.2 网络训练

本研究随机选取其中80%的样本标签作为训练集，20%作为验证集对U-net进行训练，训练流程如图5所示。

网络训练部分包括前向传播和后向传播两部分。前向传播是利用裁剪的288×288像素的遥感图像及其相应的带有标注的图像作为网络模型的输入，对网络进行训练，利用网络计算并输出特征图，并得到概率分布图。而后向传播部分是将得到的结果与地面真实标签进行对比，计算损失值，不断调整U-net模型参数，优化模型，从而得到精确的预测结果。本研究网络训练采用多分类交叉熵损失函数和Adam优化算法，当损失值达到阈值后，训练停止。

2.3 模型预测

经过训练得到具有最佳参数的U-net网络后，顺序将裁剪好的待提取的影像集输入网络进行前向传播，计算预测概率结果，即网络通过不断卷积提取影像深层特征，并通过上采样进行还原，从而输出有6个类别的图像，然后通过顺序拼接得到研究区分类结果。

2.4 面向对象多尺度分割方法

面向对象分类方法可以综合利用影像的光谱特征、几何特征、纹理特征等进行分类，为高分辨率遥感影像分类提供了新的途径[3]，它是以影像分割产生的对象作为分类单元，因此，分割最优尺度对分类结果有直接影响[32-34]。从图6可以看出，若分割尺度过小，会造成对象数量过多从而使影像过于破碎，地物提取精度降低；而分割尺度过大，则会产生欠分割现象，对象内部异质性变大，不同地物会出现一定程度的混合。

当提取整个影像信息时，可利用全局最优分割尺度对图像进行分割，使得同一对象内部的同质性较高，不同类型对象间具有较好的异质性。因此，本研究根据Johnson B等提出的评价方法[35]，采用全局最优判断平均影像分割质量从而选择最优尺度。另外，有研究表明[36]，对遥感影像进行主成分分析后，计算得到同质性指标和异质性指标，优于仅使用传统红、绿、蓝三波段，因此评价指标是在图像主成分变换的基础上进行的。对主成分分析后的影像进行分割，即以30为起始尺度，步长为10进行分割，然后计算评价指标，选择最优分割尺度。具体步骤如下：

首先，分别计算公式（1）和（2）所示的对象同质性指标V和异质性指标MI。同质性指标值越低，表示对象内同质性越好；而异质性指数越低，对象之间的异质性越低，分割效果更好。

式（1）中，vi是方差，ai是区域i的面积，n为该分割尺度下整幅影像的分割对象个数，加入面积因子可以使大的对象有更大的权重，减小不稳定性；式（2）即Moran指数，是空间邻接矩阵，若对象i和j邻接，则wij为1，否则为0；yi是对象i的平均值，是某主成分的均值。

其次，对同质性指数与异质性指数进行归一化处理。

最后，为综合评价每一次分割结果，在考虑各个主成分权重的基础上计算公式（3）（4）所示的全局质量评价指数GS。GS越低分割尺度分割效果越好，即GS越低表明对象内同质性越高、对象间异质性越高，根据以上原则进行最优分割尺度的确定[35]。

式（3）中，Eb表示第b主成分的特征值，Vnorm表示归一化MI方差，MInorm表示归一化全局MI指数。每一次图像分割的综合评价结果是将归一化后的方差Vnorm与全局MI指数相加，得到分割质量评价函数GSb。在每一个尺度下计算PC1、PC2、PC3各个主成分的全局质量评价函数GS1、GS2、GS3，为了包含各个主成分信息，用各主成分的特征值加权得到全局质量评价指数GS，权重的设置与执行分割时设置的权重相同，体现了分割过程与评价过程的一致性。

图7为全局质量评价指数GS随分割尺度变化的曲线。由图可见，在分割尺度为70时，全局评价函数值最低为0.43左右，即分割尺度为70时，影像分割结果可以保持对象内部均匀同时对象间差异最大。因此，研究以70作为最优尺度对图像进行分割。

除了最优分割尺度外，面向对象多尺度分割还需要考虑光谱信息权重（wcolor）、形状信息权重（wshape）、紧凑度指数（hcompact）和平滑度指数（hsmooth）[19]等分割参数。基于GS分析方法，当紧凑度指数为0.6、形状权重信息为0.3时，GS值最小；而光谱信息权重、平滑度指数等可参考孙晓艳等文献[32]进行设置。

7. 全局质量评价指数GS

8. 多尺度分割约束流程图

11. 两种分类方法局部对比图

10. U-net结合面向对象的分类结果图

9. U-net分类结果图

2.5 面向对象方法与深度学习方法的结合

采用U-net网络进行预测的影像结果是基于像素的分类结果，会出现椒盐现象，难以提取出闭合区域。面向对象的多尺度分割是将影像分割成若干大小不规则的对象区域，能有效提取地物边缘。因此研究采用多尺度分割结果对U-net网络预测结果进行修正。

面向对象结合深度学习方法的具体流程如图8。首先，确定最优分割尺度并进行多尺度分割，并采用U-net方法对影像进行分类；其次，以多尺度分割后的结果作为区域单位，统计U-net方法分类结果中该区域单元各类别像素数；最后，采用最大投票数目方式，将统计量最大的类别作为该区域的整体标签。该方法将多尺度分割与深度学习U-net网络相结合，可以得到区域级的语义类别，可以充分利用二者优势，从而提高分类精度。

3 结果分析

3.1 U-net模型的分类结果

优化后U-net网络土地利用分类结果如图9，分类结果精度评价混淆矩阵见表2。由表2可见，基于U-net深度学习方法的研究区分类总体精度为90.50%，Kappa系数为0.886，分类结果总体较好。然而，就森林而言，其用户精度为86.11%，在6个土地类型中分类精度最低，这主要是因为部分森林被错分为农用地和绿地，一些大块的农用地上存在一些灌木林地，而深度学习预测过程是每一次预测288×288大小的地块，若该范围内森林过少，则会产生错分。另外，城市绿地的制图精度在6个类型中精度最低，一方面绿地的光谱纹理特征与森林植被有一定的相似性，容易混淆，另一方面，农用地中部分植被生长茂盛，与绿地的光谱很接近从而难以区分。

表2 U-net分类结果混淆矩阵

表3 U-net结合面向对象分类结果的混淆矩阵

3.2 深度学习结合面向对象方法的分类结果

由图9 U-net分类结果和表2精度分析知，基于U-net的分类结果存在“椒盐现象”，且森林、绿地和农用地之间存在一定的混淆，从而影响分类精度。为此，本研究通过面向对象多尺度分割对U-net分类结果进行修正。修正后的分类结果如图10所示，修正后分类结果精度评价混淆矩阵见表3。

对比表3与表2可知：（1）U-net深度学习方法结合面向对象的分类结果总精度为93.83%，Kappa系数为0.9295，高于仅采用U-net深度学习方法的分类结果；（2）绿地、森林和农用地错分明显减少，绿地的制图精度和森林的用户精度均得到提高。

U-net以像元为单位进行分类，其错分情况大多是在地物的边界处，而面向对象的分类方法综合利用影像的光谱特征、几何特征、纹理特征等，以对象为单元进行分类。因此，U-net深度学习方法结合面向对象分类方法有效提高植被区域边界的准确性。面向对象多尺度分割方法尺度选择尤为重要，如果一些土地利用类型斑块较小，而分割尺度的边界过大，就容易将造成误分。如本研究一些小的绿地通过在最优尺度上分割后被划分为森林，导致在一定程度上降低了绿地用户精度（表3）。

U-net深度学习分类结果与U-net结合面向对象多尺度分割的分类结果局部对比如图11所示，由图可知，U-net结合面向对象多尺度分割的分类结果有效解决了U-net深度学习分类结果中的“椒盐现象”。

4 结论与讨论

本研究以杭州市余杭区部分城区WorldView-3高分卫星遥感影像为数据源，采用改进的U-net深度学习神经网络，并结合面向对象方法多尺度分割方法，研究城市森林智能精准提取。研究表明：（1）基于改进的U-net深度学习神经网络得到的城市土地利用分类总精度较高，但森林、绿地和农用地植被存在一定的误分；（2）经面向对象最优分割对U-net深度学习分类结果中的“椒盐现象”及边界地物错分现象进行修正后，分类总精度提高到93.83%，Kappa系数提高到0.9295，且森林制图精度、绿地用户精度也得到了提高，森林、绿地、农用地间的误分减少，整体分类效果明显改善。因此，U-net网络模型结合面向对象方法可以有效地改善遥感目标识别及地物分类的效果，保证城市碎片化植被提取与植被区域边界的准确性，从而提高植被提取精度。

U-net深度学习神经网络模型训练的精度与训练标签图有很大关系，因此制作的标签图要尽量接近真实地物，以提高模型的训练精度。网络训练的过程中，训练输入的影像波段数、裁剪影像尺寸、训练次数等参数的设置也会影响网络训练和预测的精度，在相关研究中需根据实际情况进行设置。

在U-net深度学习与面向对象多尺度分割结合过程中，最优分割尺度的选择会影响分类精度，本研究采用全局最优判断平均影像分割质量从而选择70作为最优尺度，并在综合考虑光谱信息权重、形状信息权重、紧凑度指数和平滑度指数的基础上对图像进行分割，从而得到较好的分类结果。因不同的遥感影像空间分辨率、光谱信息等差异，因此针对不同的影像数据需要优化分割尺度等参数。

智慧城市已成为当今世界城市发展不可逆转的历史潮流，城市森林是建设低碳、绿色和可持续发展城市的重要基础。因此，推进智慧城市建设，城市森林资源遥感智能监测必不可少。现今，高、中、低分辨率遥感数据越来越多，遥感数据处理和信息提取进入智能化时代，因此，采用深度学习等智能机器学习方法精确、快速提取城市森林资源信息，对智慧城市和森林城市群建设具有重要的实践意义。