一种改进的高空间分辨率遥感影像森林类型深度学习精细分类方法: 双支FCN-8s*

郭颖李增元陈尔学张旭赵磊陈艳王雅慧

(中国林业科学研究院资源信息研究所 北京 100091)

近年来，随着遥感技术迅速发展，卫星遥感影像的空间、辐射和时间分辨率逐步提升，为提高森林资源的监测效率和精度奠定了良好数据基础。但遥感影像空间分辨率大小对影像分类精度的影响具有两面性：一方面，精细的空间分辨率可减少边界混合像元，在一定程度上提高分类精度； 另一方面，过高的分辨率也可能导致类别内部的光谱可变性增大，采用传统机器学习算法进行森林类型分类时，仍存在分类精度和可有效区分类别总数较低的问题(任冲， 2016)。

深度学习(deep learning，DL)是机器学习领域一个新的研究方向，其本质是构建含有多隐层的机器学习架构模型，通过大规模数据进行训练，得到大量更具代表性的特征信息，近年来在计算机视觉、自动驾驶等多类应用中取得了突破性进展(尹宝才， 2015)。深度卷积神经网络(convolutional neural network, CNN)是一类包含卷积计算且拥有深度结构的前馈神经网络(feedforward neural networks)，是深度学习的代表算法之一，具有局部连接、权值共享等特性，可有效提高图像处理能力，但也存在计算量大、神经元感受野受限以及容易丢失像元位置信息等不足(Längkvistetal.， 2016)。为了克服这些缺陷，Long等(2014)提出了全卷积神经网络(fully convolutional networks, FCN)模型，该模型可以接受任意大小的输入图像，能够从抽象的特征中恢复出每个像素所属类别，使得分类从图像级别延伸到像素级别，同时更加高效。目前，国内外许多学者已成功将FCN应用于高空间分辨率遥感影像分类中(方旭等， 2018； 何小飞等， 2016； 陈广胜等， 2018； Sherrah, 2016)，但是对于森林类型，特别是细化至优势树种级别的森林类型遥感精细分类还未见相关报道。

从FCN构建方式来看，现阶段主要有完全训练、预训练和微调3种策略(Nogueiraetal.， 2016)。完全训练是指从头开始构建网络，可以完全控制参数和架构，具有很高的稳健性，但是需要大量的训练数据(Bengio， 2009)。预训练和微调2种策略依赖于使用预先训练的卷积核，其中，预训练策略通过移除网络最后的分类层，仅将预先训练的卷积核作为特征提取器进行分类； 微调策略则是使用预先训练的卷积核，并基于当前参与建模的遥感数据对卷积核的权重进行微调。许多研究表明，微调策略可以优化遥感地物类型分类效果(Marmanisetal.， 2018； Rezaeeetal.， 2018)。

归一化植被指数(normalized difference vegetation index，NDVI)已被广泛用于森林类型遥感分类领域中，研究(黄建文等， 2004； 雷光斌等， 2014)表明，针对高空间分辨率遥感影像分类问题，将影像光谱反射率与纹理特征、NDVI、地形因子等结合，可以提升FCN的分类效果。刘大伟等(2016)在原始光谱特征基础上加入纹理特征，实现了基于高空间分辨率遥感影像的深度神经网络模型分类。徐慧敏(2018)将多源数据相结合，有效改善了U-Net模型的分类精度。张永宏等(2018)基于多特征源输入的 FCN 模型，提升了高空间分辨率遥感影像道路提取精度。Sun等(2018)通过加入数字表面模型数据，有效提高了FCN模型的分类精度。

双支结构的深度神经网络是深度学习领域的一类新兴方法。Gaetano等(2018)针对多光谱和全色遥感影像分类，提出一种基于双分支的端到端深度卷积神经网络，并在大区域范围内取得了良好分类效果。Liu等(2018)发展一种基于深度多实例学习的双支端到端深度卷积模型，联合高空间分辨率多光谱和全色数据的光谱和空间信息进行分类，发现该方法优于卷积神经网络和堆叠自编码网络。Tan等(2018)提出一种双支卷积神经网络模型，结合高空间分辨率全色和多光谱影像的信息自动提取建筑物，结果表明该方法具有较高的分类精度和较好的泛化能力。

综上可见，为了充分利用多光谱和全色遥感影像的空间和光谱信息，前人已从网络微调、增加NDVI等多源特征、设计双支结构网络等方面对FCN的具体应用方法进行了优化改进，但这些研究多是以市区一般地物类型的分类为目标，很少有针对森林类型细分的应用报道。鉴于此，本研究基于FCN8s模型构建双支结构的深度神经网络，综合利用网络微调以及增加NDVI遥感特征等策略，以期改善高空间分辨率遥感影像用于森林类型分类的效果，从而发展一种面向高空间分辨率遥感影像森林类型精细分类的双支FCN-8s方法。

1 研究区概况与数据获取

1.1 研究区概况

以内蒙古赤峰市旺业甸林场所辖区域为研究区。该区位于赤峰市喀喇沁旗西南部，118°09′—118°30′E，41°35′—41°50′N，属生态主导型多功能林业区，行政区域属于喀喇沁旗美林镇。年均气温7.4 ℃，年均降雨量400 mm。区内植物种类丰富，森林覆盖率达94%。林场总面积2 530 7 hm2， 其中有林地面积22 016 hm2，包括天然林11 218 hm2、人工林10 798 hm2。人工林以油松(Pinustabulaeformis)、华北落叶松(Larixprincipis-rupprechtii)为主，天然林以白桦(Betulaplatyphylla)为主。

1.2 遥感影像及其预处理

采用GF-2 PMS遥感影像，成像时间为2017年9月5日。对遥感影像进行预处理，预处理过程包括辐射定标、大气校正、正射和地形辐射校正以及影像融合。进行辐射定标时，利用中国资源卫星数据与应用中心公布的绝对辐射定标系数，将卫星观测的像元亮度值转换为表观辐亮度，根据GF-2卫星多光谱和全色数据附带的太阳高度角参数，将获得的表观辐亮度转换为表观反射率。采用ENVI5.3软件的FLAASH(fast line-of-sight atmospheric analysis of hypercubes)模块完成全色数据和多光谱数据的大气校正。利用全色和多光谱影像自带的参数进行正射校正，并参考2 m空间分辨率的ZY-3数字正射影像产品(digital orthophoto map，DOM)，通过尺度不变特征变换算法自动进行影像配准，同时手工采集30个控制点对校正模型进行优化，控制点高程信息来自研究区的ZY-3 DEM。优化后的正射模型东西向误差为1.55 m，南北向误差为1.25 m。运用VECA地形辐射校正模型(高永年等， 2008)和ZY-3 DEM数据对GF-2 PMS影像进行地形辐射校正处理，采用ENVI5.3软件的融合工具NNDiffuse Pan Sharpening将全色与多光谱影像融合，得到0.8 m高空间分辨率多光谱遥感影像，见图1。

图1 预处理后GF-2影像Fig.1 Preprocessed GF-2 image

1.3 样本数据

为了构建深度学习模型，本研究在外业调查数据基础上，基于多期高空间分辨率遥感影像并结合林相图，通过目视解译方式构建了154块样本，每块样本均由1个预处理后的遥感影像块和1个在像素级别匹配的解译图像块构成，样本大小为310像元×310像元(图2)，其中林相图数据可提供每个小班的树种起源、林种、优势树种、郁闭度、小班面积和地类等属性信息。在模型训练过程中，随机选取80%样本块(124块)作为训练数据，剩余20%样本块(30块)作为测试数据。考虑到样本不均衡会影响分类效果，本研究在构建样本时将样本均匀分布在影像空间范围内(图3)，且保证每个类别所对应的样本数目均衡。

此外，为了验证深度学习模型的分类精度，于2017年9月进行外业实地调查，共采集404个样点的地类信息，样点对整个林场的覆盖情况如图3所示，图中方块区域为部分训练样本块的空间分布情况，圆形区域为采集样点的分布范围。

1.4 分类系统和拟分类别

参考《森林资源规划设计调查主要技术规定(2010)》规定的地类分类系统，通过对遥感影像预分类结果进行潜在地类分析，确定本研究的分类系统如表1所示。共分12个类别，包括油松、华北落叶松、红松(Pinuskoraiensis)、白桦、山杨、蒙古栎、其他林地、灌木林地、草地、耕地、建设用地和其他非林地，其中油松、华北落叶松、红松、白桦、山杨(Populusdavidiana)、蒙古栎(Quercusmongolica)、灌木林地和其他木地属于林地的细分类别，其他非林地主要包括裸地、水体等。

图2 部分训练样本细节Fig.2 Examples in details for some of the training samplesa.原始影像块Original image blocks； b.与原始影像块对应的解译影像块Ground truth (GT) image blocks corresponding to the original image blocks.

图3 实地调查样点和部分训练样本分布Fig.3 Spatial distribution of the field survey sample points and some of the training samples

2 研究方法

2.1 FCN模型

FCN模型的核心是经典CNN网络结构，不同的是FCN模型将CNN模型中的全连接层替换为卷积层，这一改变使得模型可以输入任意大小的图像，直接在输出端得到每个像素所属类别，从而实现一对一的端到端训练。

FCN模型具有卷积化、反卷积和跳跃结构3个特点。卷积化是指将CNN模型的全连接层替换为卷积层，完成对任意大小图像的分类。反卷积也称为转置卷积，是卷积的逆过程。FCN模型使用反卷积方式还原图像原始大小，反卷积卷积核大小ks的计算公式如下(假设输入特征图像大小为wl×wl, 输出特征图像大小为wl′×wl′)：

ks=wl′+2×padding-stride×(wl-1)。

(1)

式中： stride为步长； padding为边界填充值。

由于FCN模型的池化操作会降低图像分辨率，造成图像空间细节信息丢失，为此Long等(2014)提出了跳跃结构进行优化。该结构的基本思想是将FCN模型中低层网络的细节信息和高层网络的语义信息进行融合，然后对融合结果进行反卷积操作得到最终结果。

FCN模型主要包括FCN-32s、FCN-16s和FCN-8s 3种基本结构，如图4所示。FCN-32s模型将conv7层生成的特征图像进行32倍上采样，得到输出结果； FCN-16s模型首先对conv7层生成的特征图像进行2倍上采样，然后与pool4层生成的特征图像相结合，并对结合结果进行16倍上采样，得到输出结果； FCN-8s模型则首先对conv7层和pool4层生成的特征图像分别进行4和2倍上采样，然后与pool3层生成的特征图像相结合，并对结合结果进行8倍上采样，得到输出结果。可以看出，FCN-8s模型在反卷积过程中结合了多个低层特征，较FCN-32s、FCN-16s模型使用了更多细节和语义信息，结果也优于2种模型(Longetal.， 2014)。本研究以FCN-8s为基础模型。

表1 研究区分类系统Tab.1 Classification system of the study area

图4 FCN模型架构Fig.4 FCN model architecture

2.2 双支FCN-8s分类方法

双支FCN-8s分类方法的总体流程如图5所示。该方法包含2个FCN-8s子模型，基础分类器均为Resnet(Heetal.， 2016)，其中一个子模型使用GF-2全色增强后影像的R、G、B三波段，基于ImageNet数据集上预训练好的权重，采用微调方式构建； 另一个子模型使用GF-2全色增强后影像的四波段(R、G、B、NIR)和NDVI特征构建。在结果输出部分，2个子模型分别提取下采样8、16和32倍时的输出结果，将模型对应位置的输出结果进行级联卷积，并上采样至与输入影像相同大小(图6)； 同时将上采样结果进行融合，输入softmax分类器中，得到每个像元的类别概率值和标号。

2.3 支持向量机分类方法

支持向量机(support vector machine, SVM)是一种基于统计学习理论的机器学习方法(Vapniketal.， 1963)，其基本原理是通过将样本空间映射到一个高维特征空间中，使得在原有样本空间中非线性可分的问题转化为在特征空间中线性可分的问题。在高维特征空间中，对数据进行分类的直线称为超平面【式(2)】，距离超平面最近的点称为支持向量，可通过引入Lagrnage乘子αi转换为对偶问题【式(3)】求解(丁世飞等， 2011)：

图5 双支FCN-8s分类方法的总体流程Fig.5 The general workflow of the two-branch FCN-8s classification method

图6 双支FCN-8s分类方法的数据流程Fig.6 The data flow of the two-branch FCN-8s classification method

wTx+b=0；

(2)

(3)

选择不同核函数，可以生成不同SVM模型。本研究选择径向基核函数，通过格网化方法对参数进行优选，其中惩罚系数C为100，核函数参数γ为0.001。

使用SVM模型进行森林类型分类的主要流程为： 首先，对GF-2遥感影像进行分割； 其次，提取光谱波段均值和植被指数，包括比值植被指数(ratio vegetation index，RVI)、归一化植被指数(normalized difference vegetation index，NDVI)、重新归一化植被指数(re-normalized difference vegetation index，RDVI)、优化土壤调节植被指数(optimized soil adjusted vegetation index，OSAVI)、归一化水体指数(normalized difference water index，NDWI)、归一化绿度指数(normalized difference greenness index，NDGI)、可见光波段差异植被指数(visible difference vegetation index，VDVI)、近红外波段与蓝波段的比值[ratio of near-infrared (NIR) band to blue band，NIRB](Fengetal.， 2017； 黄建文等， 2004； Wangetal.， 2015； 2017)，以及纹理特征，包括均值、标准差、对比度、差异性、熵和同质性(Haralicketal.， 1973)； 然后采用随机森林算法计算每个特征的重要性并排序，通过序列后向搜索方法，每次从特征集合中去掉重要性最小的特征后进行分类，逐次迭代计算每次的分类精度，得到变量个数最少、分类正确率最高的特征序列，具体为光谱信息中4个波段均值、NDVI、OSAVI、NDGI、VDVI、NIRB、红波段同质性、蓝波段和近红外波段的熵、绿波段和近红外波段的标准差； 最后将优选的特征导入SVM分类器进行分类。

2.4 网络训练

双支FCN-8s网络模型基于Tensorflow框架构建，使用Adam方法作为优化器训练网络，参数按照Kingma(2014)推荐的参数进行设置，其中，平滑参数为1e-08，每次更新后的学习率衰减值为0.004，学习率初始值为1e-04。网络权重共更新20 000次，每次更新过程中，共迭代15次，每次迭代使用16个样本对，网络权重每更新1次，所有训练样本均参与建模。当权重停止更新的次数大于10次后，网络停止训练。网络在1块NVIDIA Tesla K40C计算显卡上训练，GPU内存为8 G。

2.5 精度检验方法

采用基于混淆矩阵的方法评价分类结果，具体评价指标包括总体精度(overrall accuracy，OA)、用户精度(user accuracy，UA)、生产者精度(producer accuracy，PA)和Kappa系数(Foody， 2010)。

3 研究结果

3.1 双支FCN-8s方法的分类结果

双支FCN-8s方法的分类结果混淆矩阵见表2，总体分类精度为85.89%，Kappa系数为0.84。该方法可有效对大部分森林类型进行提取，其中，对针叶树种、蒙古栎、草地和灌木林地等类别的分类，生产者精度均在90%左右，但对白桦、山杨和其他林地容易混分和错分，分析其原因是因为这些类别均属阔叶树种，影像获取时间为生长季，具有相似的光谱信息，较难区分。具体分类结果如图7所示。

图7 双支FCN-8s方法分类结果Fig.7 Classification result of the two-branch FCN-8s method

3.2 双支FCN-8s与其他模型的分类效果比较

为验证所提方法的有效性，本研究对双支FCN-8s方法与传统FCN-8s方法(本研究简称FCN-8s)的分类效果进行比较。FCN-8s方法的基分类器为Resnet，双支FCN-8s方法在建模时不仅使用融合后的四波段光谱信息，而且还使用NDVI特征，FCN-8s方法同样使用上述特征参与建模。

从表3可以看出，FCN-8s方法的总体分类精度为82.67%，Kappa系数为0.80。相比FCN-8s方法，双支FCN-8s方法可以提高大部分森林类型的分类精度，尤其对油松、红松、白桦等类别改善效果明显。

为进一步验证该方法的效果，本研究同时与经过特征优选与SVM模型分类效果进行比较，结果发现，相对传统基于特征优选的SVM模型而言，双支FCN-8s方法的总体分类精度由75%上升至85.89%，精度提升大于10%(表3)，各类别的分类效果均有改善。

从分类细节(图8)中可以看出，双支FCN-8s方法可明显优化阔叶混交林和针阔混交林的分类效果，相比而言，FCN-8s会将大部分其他林地错分为山杨，SVM则会将大面积油松错分为华北落叶松，白桦和其他林地也会出现大面积错分现象，同时SVM相对于本研究的深度学习方法而言，分类边界破碎，不够平滑。

3.3 网络微调策略和NDVI特征对分类效果的影响

为探究微调策略对分类结果的贡献，本研究进一步分析不使用微调策略的双支FCN-8s分类效果。由表4可知，不使用微调策略得到的总体分类精度为79.46%，Kappa系数为0.77； 使用微调策略后，模型的总体分类精度由79.46%上升至85.89%，可显著提高油松、白桦、灌木林地及建筑用地的分类精度。

同时，本研究也对加入NDVI特征前后双支FCN-8s方法的分类效果进行比较分析。由表4可知，未使用NDVI特征的总体分类精度为81.93%，Kappa系数为0.80； 加入NDVI特征后，模型对油松、山杨改善效果明显。

从分类细节(图8)中可以看出，使用微调策略以及加入NDVI特征，可明显改善其他林地以及山杨和白桦的错分现象，同时能优化灌木林地、草地和蒙古栎的混分问题，对于建设用地和耕地的混分现象也有明显改善。

图8 分类结果细节Fig.8 The detailed classification resultsa.GF-2 PMS； b.解译样本Label； c.双支FCN-8s Two-branch FCN-8s； d.FCN-8s； e.SVM； f.双支 FCN-8s不使用微调策略Two-branch FCN-8s without finetune strategy； g.双支FCN-8s 不加入 NDVI Two-branch FCN-8s without NDVI.

表2 双支FCN-8s方法的分类结果混淆矩阵①Tab.2 Confusion matrix of classification result of two-branch FCN-8s

① 总体精度Overall accuracy： 85.89%； Kappa系数Kappa coefficient： 0.84.

表3 双支FCN-8s与FCN-8s、SVM的分类精度对比Tab.3 Comparison of classification accuracy among two-branch FCN-8s, FCN-8s and SVM

表4 NDVI特征和微调策略对双支FCN-8s模型分类效果的影响Tab.4 Impact of NDVI features and finetune strategy on classification accuracy of two-branch FCN-8s model

4 讨论

本研究提出的双支FCN-8s高空间分辨率遥感影像森林类型深度学习精细分类方法，可有效提升森林类型的细分程度和分类精度，满足高空间分辨率遥感影像林地类型信息提取及森林类型精细识别的应用需求。双支FCN-8s方法对大部分森林类型都可得到90%以上的生产者精度，在同等样本数量的条件下，相对于传统经过特征优选的SVM模型而言，双支FCN-8s方法可将分类精度提升10%以上，有效改善分类效果，在一定程度上验证了该方法的优越性。

然而，对于白桦、山杨和其他林地类别，双支FCN-8s方法的分类精度较低，可能有以下2个原因： 首先，图9展示了基于GF-2 PMS的典型地物类型(图9a)以及白桦、山杨和其他林地(图9b)的光谱曲线，从图9b中可以看出，白桦、山杨和其他林地的光谱差异很小，特别是白桦和山杨2个类别，本应是2条光谱曲线，但现在光谱曲线基本重叠，这不可避免增加了区分该森林类型的难度； 其次，旺业甸林场山杨的分布范围较小，采集的样本相对较少，在一定程度上会导致模型欠拟合现象，同时由于基于该时相的遥感数据，白桦和山杨的边界难以明确区分，进一步增加了分类的难度。

图9 地物类型光谱曲线Fig.9 Spectral curves of land cover typesa.典型地物类型Typical land cover types； b.白桦、山杨和其他林地Betula platyphylla, Populus davidiana and other forest land.

双支FCN-8s方法的总体分类精度为85.89%，虽然相比传统基于特征优选的SVM模型分类精度明显提升，但是相对于部分已发表的基于FCN进行高空间分辨率遥感分类精度高于90%以上的研究而言，本研究分类精度并不高，这可能主要归结于以下2方面原因： 首先，本研究仅有124块样本块参与建模，相对于其他研究而言，样本量成倍减少； 其次，本研究包括12个地物类别，其中6个属于树种级类别，较其他研究而言分类类别较细。如Liu等(2018)基于FCN模型对7个地物类型进行遥感分类，分类精度为87.1%，但是该研究利用400个正射影像，共提取2 800块样本块，样本量远远大于本研究； Fu等(2017)基于FCN模型和两期GF-2影像对城市区域的地物进行分类，虽然同样是12个地物类型，但是该研究将两期遥感影像分割为74块影像块，每块影像块的像素大小为1 024像元×1 024像元，其中70块用于训练，4块进行测试，4块测试影像最终的平均分类精度为81%。本研究每块影像块的像素大小仅为310像元×310像元，样本量远低于该研究，但本研究分类精度略高于该研究。这些比较结果表明本研究提出方法在样本量有限情况下的有效性。

与以往高空间分辨率遥感影像森林类型精细分类，尤其是树种分类的研究结果比较表明，如果只使用单一时相的高空间分辨率遥感影像进行森林类型精细分类，难以有效区分阔叶树种，分类精度较低。Xie等(2019)基于多时相ZY-3数据在本研究区进行地物细分类型分类，虽然整体分类精度为84.9%，但是对于白桦、山杨等阔叶树种的分类精度可达85%左右。使用多时相数据进行森林类型精细分类的效果同样也已被其他一些研究所证明，如任冲等(2016)基于多时相SPOT-5和GF-1数据进行森林类型精细分类，精度高达92%；Agata等(2019)基于多时相Sentinel-2和DEM进行大区域范围内的树种分类，精度高达94.8%。基于此，将多时相遥感数据结合深度学习方法进行森林类型精细分类可作为下一阶段的研究内容。

5 结论

本研究以内蒙古赤峰市旺业甸林场为研究区，基于GF-2卫星多光谱和全色遥感影像，发展了一种双支FCN-8s高空间分辨率遥感影像深度学习分类方法，并验证了该方法的有效性。结果表明： 1) 双支FCN-8s方法的总体分类精度为85.89%，Kappa系数为0.84；相比传统FCN-8s，双支FCN-8s方法可提高大部分森林类型的分类精度，尤其对油松、红松、白桦等类别改善效果明显。2) 相对于传统基于特征优选的SVM模型而言，双支FCN-8s方法的总体分类精度由75%上升至85.89%，精度提升大于10%，各类别的分类效果均有改善。3) 使用微调策略以及加入NDVI特征后，模型可有效改善油松、山杨和白桦等树种的分类效果。总之，本研究提出的双支FCN-8s高空间分辨率遥感影像森林类型深度学习精细分类方法，可有效提升森林类型的细分程度和分类精度。