基于深度学习的多时相GF-1影像林分类型分类研究

杨 丹,李崇贵,张家政

(西安科技大学,西安 710054)

森林作为生态系统中重要的组成部分,能够净化空气、固化沙土、含蓄水源,保持物种多样性。同时,为人类提供大量的木材及林产品,具有一定的经济价值及社会效益。因此,对森林资源的管理及监测至关重要。传统的林业资源调查周期长、强度大、成本高,难以满足林业的可持续发展[1]。遥感作为一门高新技术,具有覆盖区域广、时效性强等优点,能够大大提高森林资源调查的效率。目前,随着卫星传感器的不断发展,影像的空间、时间以及辐射分辨率均在不断提高。其中高空间分辨率影像具有更加丰富的空间信息及纹理信息,能够在一定程度上精确地实现森林植被分类[2]。众多学者们结合影像的光谱特征、植被指数、纹理特征以及地形特征等进行森林植被分类,取得了一定的进展。Agarwal等[3]、Darren等[4]、徐凯健等[5]分别结合植被物候、DEM或纹理特征,对森林树种分类；任冲等[6]综合多时相光谱特征、植被指数、纹理特征以及地形等辅助信息,对林地类型进行精细分类。研究结果均表明，多时相影像分类精度明显高于单时相分类精度。同时,加入植被指数、纹理特征以及DEM后,精度有明显提高。因此,构建影像多特征数据进行森林植被分类,能够改善分类精度。然而,由于多维数据可能会造成数据冗余,降低运行效率,因此,需要对特征进行优选。相关学者采用随机森林、VSURF等算法进行特征优选,选取与目标相关性高的特征参与分类,从而降低分类模型的不确定性[7-8]。如今,随着数据时代的到来,深度学习领域发展迅猛,由卷积神经网络(CNN)到全卷积神经网络(FCN),再到U-Net,DeepLab V3+,SegNet等语义分割模型,使得传统的分类方法逐渐过渡到深度学习,为遥感分类提供了广阔的空间。相关学者也在逐步探索其对于森林植被遥感分类的有效性。江涛等[9]基于GF-2影像采用CNN对森林林分类型进行分类,结果表明CNN能够挖掘深层特征,从而提高分类精度；许慧敏等[10]结合高分辨率影像和归一化数字表面模型,采用U-Net模型分类,表明加入nDSM能够提高模型精度；王雅慧等[11]基于高分辨率影像,加入NDVI,采用U-Net模型对森林植被分类,结果表明,加入NDVI后精度提升,同时，该模型精度高于SVM和CNN；徐知宇[12]等以GF-2影像为数据源,结合原始波段分别采用U-Net、SegNet和DeepLab V3+模型对城市绿地进行分类,结果表明,深度学习方法优于传统的分类方法；杨蜀秦等[13]将改进的DeepLab V3+网络用于无人机多光谱遥感作物分类中,取得了准确的结果。因此,深度学习方法能够提取遥感影像深层特征,进一步提高分类精度,具有一定的研究意义。然而,目前大部分研究仅在原始波段的基础上扩充单一波段,对于多特征波段的研究还较少,同时利用多时相GF-1影像进行特征优选并结合深度学习分类的研究也较为罕见。因此,本文以孟家岗林场为研究区,以多时相高分一号影像和DEM为数据源,提取多时相的光谱特征、植被指数、纹理特征以及DEM,并结合VSURF算法进行特征优选。之后,分别采用最大似然法、随机森林、U-Net、SegNet和DeepLab V3+模型对森林林分类型进行分类,探究更适用于森林分类的特征组合及分类模型,为后续林业资源监测提供相应的技术手段。

1 研究区概况及数据预处理

1.1 研究区概况

研究区位于黑龙江省桦南县东北部的孟家岗林场(图1),地理位置为北纬46°20′16″～46°30′50″,东经130°32′42″～130°52′36″。该林场主要以针叶林为主,林场经营面积为16 274hm2。地势东北高,西南低,以低山丘陵为主,坡度较平缓,海拔在170～575m之间,平均海拔为250m。气候条件属于东亚大陆性季风气候,冬长夏短,温度在-34.7～35.6℃之间,年平均气温为2.7℃,年平均降水量为550mm。

图1 研究区地理位置及5月2日影像

1.2 数据来源及预处理

本文采用的高分1号影像数据来自中国资源卫星应用中心(http://www.crasda.com)。根据研究区内森林植被的物候特征,选取了成像时间为2017-05-02,2017-07-06,2017-10-25的3期影像,每期均由两景高分影像覆盖。采用ENVI 5.3软件对GF-1影像进行一系列预处理操作,分别为辐射定标、大气校正、正射校正、图像融合、地形校正以及镶嵌等,最终得到研究区的多光谱影像,空间分辨率为2m。由于植被生长受海拔和地形等条件影响,因此本文将DEM作为辅助信息参与分类,以提高分类精度。采用的DEM数据来自地理空间数据云,下载研究区内30m分辨率的地形数据(ASTGTM_N46E130),将其重采样为2m。

本文采用的辅助数据为2014年孟家岗林场二类调查数据以及2017年实地更新数据。根据全国生态系统分类体系,对森林生态系统进行二级分类,将其林分类型划分为针叶林、阔叶林、针阔混交林。由于研究区还存在耕地或农作物等,将其划分为其他类别。

根据样本数据制作深度学习标签,由于原始影像尺寸过大,难以直接输入网络,因此需要对影像及标签进行裁剪。利用ArcGIS Pro2.3制作深度学习数据集,采用滑动采样的方式将影像及标签切割成256×256像元大小的子图。之后,将数据集按照6∶2∶2的方式划分为训练集、验证集和测试集,各数据集之间需保持独立,同时具有相似的分布。其中训练集949张,主要用于训练模型；验证集368张,需要对训练模型进行调参；测试集318张,主要用于测试模型精度。

2 研究方法

基于多时相GF-1影像,提取多时相光谱特征、植被指数、纹理特征以及DEM,构建特征数据集,并采用VSURF算法优选变量。之后分别采用最大似然法、随机森林、U-Net、SegNet和DeepLab V3+方法对林分类型分类,并进行精度评定。

2.1 特征提取

2.1.1光谱特征

对多时相GF-1影像预处理后,将各时相的原始光谱波段作为光谱特征,参与植被分类。因此,最终提取3期不同时相影像的12个光谱特征。

2.1.2植被指数

相关学者应用多时相植被指数进行遥感分类研究,均取得了良好的效果。因此,本文结合前人研究,提取常见的4种植被指数参与分类。

归一化植被指数(NDVI)可以检测植被的生长状况以及覆盖度等,其公式为:

INDVI=(BNIR-BR)/(BNIR+BR)

(1)

差值植被指数(DVI)能够很好反映植被覆盖度的变化,其公式为:

IDVI=BNIR-BR

(2)

比值植被指数(RVI)一般适用于植被高密度覆盖的区域,其公式为:

IRVI=BNIR-BR

(3)

增强植被指数(EVI)通过蓝光波段修正大气对红边波段的影响,来增强植被指数,一般适用于植被茂密区,其公式为:

IEVI=2.5×[(BNIR-BR)/(BNIR+6.0BR-

7.5BB+1)]

(4)

式(1)—式(4)中:BR,BB,BNIR分别为红光、蓝光及近红外波段的反射率。

本文分别计算3期不同时相影像的植被指数,最终提取12个指数特征。

2.1.3纹理特征

有研究者发现纹理特征对于高分辨率影像进行森林类型识别可以提供有效的信息,进而能够提高森林植被分类精度。灰度共生矩阵(GLCM)能够反映图像灰度关于方向、相邻间隔、变化幅度的信息。但是不能直接应用,需提取二次统计量描述纹理特征。常用的8个特征为:均值、方差、同质性、对比度、相异性、熵、二阶矩和相关性。涉及4个关键参数:窗口大小、像元间距、提取方向和灰度级。通过多次实验进行分析,选取15×15窗口，间距为1，方向为90°，灰度级为64级。由于高分辨率影像原始波段之间具有很强的相关性,因此首先对各时相影像进行主成分分析,之后对前3个主成分变量进行纹理特征提取。本文分别计算3期不同时相前3个主成分的8个纹理特征,最终提取3×3×8=72个纹理特征。

2.1.4数字高程模型

由于海拔高度的不同,导致植被的生长分布也明显不同。将数字高程模型(DEM)作为辅助信息参与分类,有助于提高森林分类精度。因此,选取DEM作为特征变量。

2.2 特征选择

将提取的特征变量全部参与分类,必然会造成数据冗余,反而会导致分类性能下降。由于各特征变量之间可能存在较强的相关性,因此需要对特征进行筛选。本文采用VSURF R语言包进行特征优选。VSURF(Variable Selection Using Random Forests)是由Genuer等[14]提出的一种基于随机森林选择变量的方法,可以通过R语言包进行描述。该包能够处理高维数据,一般用于回归和监督分类问题。该方法选择变量时主要有以下三个步骤:1)阈值处理步骤,根据变量重要性对变量进行排序,剔除不重要的变量；2)解释步骤,需要考虑第一步选择的变量,并选择所有与响应变量高度相关的重要变量；3)预测步骤,寻找数量较少且冗余度极低的变量,并能对响应变量进行足够好的预测。

2.3 分类方法

最大似然分类法是基于贝叶斯准则建立非线性判别函数集,假设各波段的统计值呈正态分布,计算某像元属于该样本的归属概率,最终像元归并到归属概率最大的一类。

随机森林是一种基于决策树的集成算法,采用决策树作为弱分类器,在装袋技术随机采样的基础上,加上特征选择。其基本原理是在原始数据集中有放回的随机采样选出若干个子集,基于每个子集训练多个基分类器,之后根据基分类器的投票获取最终分类结果。

U-Net模型是由Olaf Ronneberger等[15]基于FCN改进而来,因其结构形似字母“U”而得名,最早广泛应用于医学图像分割。它是由两部分组成,分别为编码(提取影像特征)和解码(还原图像尺寸)。同时将高层与底层特征图进行拼接,获得更加精确的特征图。如图2所示为U-Net网络结构图,编码过程是由4层组成,每层进行两个3×3的卷积操作以及一个2×2的池化操作,之后,进行下采样,特征图的尺寸减小一半,而通道数会增加二倍。解码过程也是由4层组成,先通过反卷积使特征图尺寸增加2倍,同时通道数减半,之后,将其与左侧对称的压缩通道的特征图合并,再进行两个2×2反卷积操作。最后一层进行一个1×1卷积操作,将特征图映射为类别,通过softmax函数确定各类别概率。

图2 U-Net网络结构

SegNet网络是由Vijay,Alex等基于FCN,对VGG-16网络进行修改而得到的语义分割网络,应用于自动驾驶图像分割。[16]它是一种编码/解码结构,编码部分采用的是VGG16的前13层卷积网络来提取特征,通过池化操作增大感受野,图像尺寸减小；同时编码部分每一层对应解码部分相应层,并且通过反卷积得到图像特征,上采样将图像尺寸还原。最后,通过softmax函数输出各分类概率,得到分割结果图。

DeepLab V3+是由Google团队于2018年发表在CVPR上,根据DeepLab V3改进而来[17],它增加了解码器,可以细化分割结果以及物体边缘,并且将CNN应用到空洞空间卷积池化金字塔和解码器中,从而形成功能更加强大的编码/解码网络。

2.4 精度评定

精度评定是指根据实际地物和分类结果进行比较,以此判断分类方法的性能。常见的精度评定方法是通过混淆矩阵(Confusion Matrix)计算各种精度统计值,如,总体精度(被正确分类的像元数占总像元数的比例)、Kappa系数、用户精度和制图精度等。本文以实地调查数据为验证样本,对比5种分类方法的总体精度和Kappa系数,从而评价各方法的准确程度。

3 实验与分析

3.1 特征变量提取

本文根据多时相的GF-1影像,提取光谱特征、植被指数、纹理特征以及DEM,共97个特征变量。其中,变量的命名规则为“日期_波段”,例如0502_b1、0502_DVI、0502_P1_Mea分别代表5月2日影像的原始B1波段、差值植被指数以及第一主成分纹理特征中的均值。其中纹理特征简写为前3个字母。

3.2 基于VSURF算法特征优选

本次实验使用R语言包VSURF进行特征优选,将样本数据的97个变量以及因变量森林类别输入到VSURF函数中,同时mtry设置为特定值(变量数/3),ntree设置为默认值2 000。最终输出结果包含3个重要部分,分别为阈值处理、解释以及预测步骤后所挑选的变量集(varselect.thres、varselect.interp和varselcet.pred)。如图3所示为VSURF函数输出结果的曲线图。

注:图(a),(b)表示阈值步骤；图(c),(d)表示解释和预测步骤

首先使用VSURF_thres函数对变量的重要性进行排序(如图3(a),根据重要性的标准差估计重要性阈值,该阈值(如图3(b)中的红色虚线)被设置为CART模型拟合该曲线的最小预测值(如图3(b)中的绿色分段常函数)。将超过平均VI的变量保留。之后,通过VSURF_interp函数计算随机森林模型的OOB误差(图3(c)),该值迅速减小,当前41个变量在该模型中时,它达到最小并趋于稳定(如垂直红线)。最后对变量进行预测,使用VSURF_pred函数,输出优选变量及OOB误差曲线图(如图3(d)所示)。根据VSURF_pred函数得出16个优选变量,将其按照重要性进行排列,分别是:0706_NDVI,0706_RVI,0706_P3_Mea,0502_NDVI,0706_P1_Mea,DEM,0706_P1_Hom,0502_P2_Con,0502_P2_Mea,1025_NDVI,0706_P2_Mea,0502_P3_Mea,0706_P1_Cor,1025_P1_Mea,1025_P3_Mea,1025_P2_Mea。从中可以看出,各时相的归一化植被指数、比值植被指数、DEM、均值、同质性、对比度以及相关性特征对分类的贡献性较高,均被保留。

3.3 模型训练与测试

本次实验中深度学习方法是基于Tensorflow2.0+ Keras框架实现的,其主要硬件配置为 Intel(R)Core(TM)i5-3230M CPU @ 2.60GHz,NVIDIA GeForce GT 740M。由于原始的网络模型参数过多,训练过程需要耗费大量的内存及时间,并且硬件要求很高。因此,本文对3种深度学习模型均进行了优化,对其网络结构参数进行调整,在一定程度上减少了卷积核数量,同时在卷积层后加入正则化,避免过拟合现象。训练过程采用Adam优化算法,学习率为0.001,损失函数为 categorical_crossentropy。对深度学习模型训练时,将训练集和验证集的影像及标签按批次输入到网络中,其中训练集用来训练模型参数,拟合数据样本；验证集根据训练集的效果,对超参数进行调整。当训练集和验证集的精度及损失值(loss)趋于稳定时,模型训练结束。之后,采用模型对测试集数据进行测试,评估模型的泛化能力。对模型优化后,模型训练速度大幅度提高,能够在较短的时间内使模型达到稳定。

4 讨论

本文基于多时相GF-1影像,提取光谱特征、植被指数、纹理特征以及DEM特征,结合VSURF算法优选16个特征变量,分别采用最大似然法、随机森林、U-Net、SegNet和DeepLab V3+5种方法对森林林分类型进行分类,根据验证样本通过混淆矩阵计算得到最终精度,结果如表1所示。同时,为了凸显多时相影像的分类效果,采用最大似然法对单时相影像进行对比实验,其精度结果如表2所示。从中可以看出,结合多时相影像的分类精度为71.91%,明显高于单时相的分类精度,主要是由于多时相影像考虑了植被的物候特征,从而提高了分类精度。

表1 基于多时相影像的分类精度统计

表2 基于单时相影像的最大似然分类精度统计

通过对比单时相之间的分类精度,7月份的分类精度最高,主要是森林植被处于生长阶段,而10月份为生长末期,树叶逐渐变黄掉落,其精度较低。

从表1中可以看出,3种深度学习方法均比传统的机器学习分类精度高,其中U-Net模型的精度最高,总体精度为86.04%,Kappa系数为0.742；其次是DeepLab V3+模型,总体精度为84.26%,Kappa系数为0.699；SegNet模型精度较低,其总体精度为79.05%。对于传统的机器学习分类,随机森林分类精度为75.59%,Kappa系数为0.611,比最大似然法精度高3.36%。因此,在一定程度上,深度学习方法能够挖掘影像的深层特征,优于传统的机器学习方法,对于森林林分类型分类具有适用性。

对测试集数据进行预测,随机选取5张256×256像元大小的影像,其5种分类方法结果如图4所示。从中可以看出,传统的机器学习方法,由于不能够充分学习到特征信息,其错分漏分现象较严重,同时存在明显的椒盐现象。而深度学习方法能够学习影像多时相的光谱特征、植被指数、纹理特征、地形特征等深层语义信息,同时减少了分类过程中的“椒盐噪声”,避免像元混分现象。

图4 分类结果细节

根据图4(a)和(b)可以看出最大似然法和随机森林方法中针叶林、阔叶林和针阔混交林均存在较为严重的混分情况,主要是由于针阔混交林中阔叶林和针叶林交错混合生长,其浅层的机器学习难以学习到更深层次的特征,导致不能够正确区分,而出现明显的破碎化分布。而深度学习模型,能够学习影像深层特征,在一定程度上可以避免该现象。

根据图4(c),(d)和(e)可以看出深度学习方法分类中,针阔混交林、针叶林以及阔叶林混分现象大大降低,但针阔混交林仍存在误分现象,主要是由于该类别样本数量不均衡,导致模型难以学习到更多的特征,从而导致精度降低。对比U-Net，SegNet和DeepLab V3+这3种模型,影响其精度的原因主要是模型的构建,以及相关参数的设置。其中U-Net模型结构相对简单,效果更好；而DeepLab V3+模型结构复杂,训练难度较高；SegNet模型泛化能力差,效果不如其它两种。总体来看,U-Net模型精度最高,分类效果更好,并且优于传统的分类方法。

5 结论

本文以黑龙江省孟家岗林场为研究区,基于多时相GF-1影像和数字高程模型(DEM)为数据源,提取多时相的光谱特征、植被指数、纹理特征和DEM,构建多特征数据集。之后,通过VSURF算法挑选最优变量数据集,并且分别采用支持向量机、随机森林、U-Net、SegNet和DeepLab V3+方法对森林林分类型进行分类。研究结论如下:

1)通过最大似然分类法对单时相和多时相GF-1影像进行森林林分类型分类,其多时相影像结合植被的物候特性,分类精度明显高于单时相分类精度。同时,单时相影像7月份的分类精度最高,10月份精度较低。

2)基于多时相GF-1影像,提取多时相光谱特征(红光、绿光、蓝光以及近红外波段)、植被指数(NDVI,EVI,DVI,RVI)、纹理特征(均值、方差、同质性、对比度、相异性、熵、二阶矩和相关性)以及DEM,共构建了97个特征。通过VSURF算法根据重要性及OOB误差优选16个特征变量,其中多时相原始光谱波段可能存在较高的相关性,其变量均被消除,植被指数(NDVI,RVI)、纹理特征(均值、同质性、对比度、相关性)和DEM具有较高的贡献,因此变量被保留。通过变量优选,降低数据冗余,提高模型效率。

3)深度学习方法能够挖掘影像深层特征,其分类精度明显优于传统的机器学习方法。同时,深度学习U-Net模型的精度最高。因此,利用GF-1影像建立特征优选数据集,采用U-Net模型对森林林分类型分类具有一定的参考价值。对于森林植被分类,进行特征变量优选,能够减少计算成本,提高模型效率。当样本量较少时,可采用浅层学习进行分类识别,而随着数据的不断共享,样本量逐渐扩大,

深度学习方法将发挥巨大的潜能。