多特征融合与几何卷积的机载LiDAR点云地物分类
2022-02-28戴莫凡邢帅徐青李鹏程陈坤
戴莫凡,邢帅,徐青,李鹏程,陈坤
战略支援部队信息工程大学地理空间信息学院, 郑州 450001
0 引 言
机载激光雷达(light detection and ranging,LiDAR)作为直接获取地面3维信息的新型重要测量技术,其获取的点云数据精度高、现势性强、客观真实,广泛应用于地理国情监测(毕凯和桂德竹,2014)、海洋测深(Wang等,2018)、森林调查(刘经南和张小红,2003)、电力线巡检(张继贤等,2017)和城市3维建模(Zhang等,2018)等领域。但复杂的地形条件、稀疏的点云密度以及海量且含噪声的点云数据给机载多元地物点云分类带来困难,也是目前机载激光雷达点云数据处理的研究重点。
目前针对机载LiDAR的点云分类方法主要分为两类,即传统的机器学习方法和深度学习方法。传统方法在算法上包括基于随机森林(Chehata等,2009;熊艳 等,2018;杨书娟 等,2019;胡海瑛 等,2020)的特征提取算法、基于纹理的条件随机场算法(Niemeyer等,2014)和基于支持向量机(潘锁艳和管海燕,2018)的分类算法等,面向典型地物分类时,重点围绕特征的选择与设计,传统方法虽然充分利用了训练样本中的先验信息,但对点云的密度、质量有较高要求,大多结合对象特点设计模型,人工设计的浅层特征、特定的分类规则和参数设计对复杂的场景点云适应性差且难以进一步提高分类精度。
随着深度学习方法在遥感影像地物分类、目标检测等应用上取得很多进展(Alshehhi等,2017),尤其可以很好地利用光谱和空间特征实现高光谱影像的分类(Alshehhi等,2017;Chen等,2016),已有学者尝试将其应用于LiDAR点云分类上,并初步展现出很好的应用潜力。其中基于投影(Alshehhi等,2017)、多视图(Hu和Yi,2016)和体素(Su等,2015;Wu等,2015;Wu等,2018)的方法均通过转变点云的3维表征进而利用2维和3维卷积网络实现分类,最大的问题是损失了3维的空间信息和固有的几何属性,造成算力额外开销和计算量的冗余,也导致了这些方法只能面向小型和特定场景,无法适用于大范围自然场景。
而基于点特征的方法(Charles等,2017;Qi等,2017)能够直接输入原始点云数据来提取深度特征,最大程度保留原有空间特性,Charles等人(2017)提出的PointNet是第1个直接处理点云并实现分类的网络,后续学者通过探索点云的局部结构对该网络做了很多改进(Jiang等,2018;Huang等,2018),但实验数据的选择上均是高密度的室内目标和室外场景点云,对于机载LiDAR点云,现有网络由于仅能利用其稀疏的3维坐标,忽略了其低密度、大区域的特点,导致分类效果不佳。基于深度学习方法的机载LiDAR点云分类研究逐渐增多,一部分通过将点云转化为2维图像或3维体素等表征利用结构化网络进行学习(Yang等,2017,2018;赵传 等,2019),这些方法通过多模态数据的融合(Yousefhussien等,2018)或借助传统特征进行信息补充可以有效提高分类精度,但缺点是会造成3维空间结构信息的丢失,在垂直分布的地物或边缘点云等细节上表现较差。另一部分研究通过网络的改进探索局部结构来学习机载点云的多层次特征表示(Wang等,2018;Wen等,2020;Li等,2020),但这些方法对机载数据几何信息的利用十分有限,难以实现精细分类。
针对上述问题,提出了一种基于多特征融合几何卷积神经网络的机载LiDAR点云地物分类方法,具体贡献为:
1)提出了一种直接应用于非结构化3维点云的多特征融合几何卷积神经网络(multi-feature fusion and geometric convolutional neural network,MFFGCNN)模型。其中多特征融合的几何卷积模块,称为FGC(multi-feature fusion and geometric convolution)算子,通过层次化卷积编码点的空间几何结构,并与全局信息聚合加深网络的深度并提取多尺度逐点深度特征,实现对于大区域点云复杂几何结构的获取,提高网络高级语义特征的提取能力。
2)提出了一种基于点特征深度学习的地物分类框架。通过APD(airborne laser scanning point cloud design module)模块,包括坐标尺度处理等方法,增强模型对机载LiDAR点云的适用性,在数据输入层面保留原始的3维空间结构并直接输出逐点的地物提取结果,该模块具备良好的通用性,可在任何网络中即插即用。
3)在深度学习的方法中充分利用了有效的传统特征。通过多模态特征融合,将数据结构化,满足网络的输入要求,在输入特征层面对典型地物有针对性地进行信息补充,并与深度特征聚合,提高网络对机载点云多模态语义特征的提取能力。
1 相关研究工作
1.1 PointNet++点云语义分割网络
PointNet(Charles等,2017)是首个能够直接输入点云的网络,通过合并单点信息与全局信息得到每个点的语义类别,但由于在单一尺度上仅基于单点信息提取特征,其对细节部分的识别能力和对复杂场景的处理能力较差。而后提出了改进网络PointNet++,受卷积神经网络(convolutional neural network,CNN)逐层提取特征思想的影响,其采用分层结构实现了多尺度特征提取。首先通过最远点采样算法(farthest point sampling,FPS)使用由质心和规模确定的球形区域来给点云分区,不断进行最远点采样,降低参与特征提取的点的数量。其次组合层grouping层确定了点的局部邻域,并利用小型的多层感知机提取点的局部特征。最终经过多级的set abstraction层和特征提取层得到多尺度的深度特征,同时邻域划分能够自适应点云密度,解决了对现实场景通用性差的问题。因此,本文采用PointNet++(Qi等,2017)作为机载LiDAR点云深度特征提取的基础模型。
1.2 多特征融合的机载LiDAR点云分类
机载LiDAR点云分类问题的研究始终离不开特征的选择与设计,早期的传统方法重点围绕人工特征的设计和参数的选择,针对典型地物,Antonarakis等人(2008)通过实验证明了结合机载LiDAR点云的高程和反射强度数据可实现典型地物分类。Guo等人(2015)探索并总结了高程相关特征、基于协方差分析的特征、波形特征等有效的人工特征。Blomley等人(2016)在单尺度邻域的基础上考虑改进多尺度、多类型的邻域作为特征提取的基础,证明了同类型的多尺度邻域下的几何特征对于机载地物分类的有效性。杨书娟等人(2019)提出了基于多尺度自适应特征的分类方法,通过随机森林法评估特征的重要性并自适应选取重要的特征集,解决了复杂场景下城区点云分类精度不高的问题。尽管传统方法受限于特定的分类规则和参数设计,导致其对复杂的场景点云适应性差且难以进一步提高分类精度,但传统的监督学习方法充分利用了训练样本中的先验信息,同时构造总结的人工特征对于机载LiDAR点云的典型地物分类具有很强的指导性和针对性。
基于深度学习的点云分类方法能够避免人工设计特征且能进一步提高精度,但点云信息量不足导致分类精度难以大幅提高,多模态特征融合是解决该问题的有效手段(顾砾 等,2021),尤其对于低密度、大区域的机载LiDAR点云,稀疏的3维坐标难以实现精细分类,仍需借助传统特征进行信息的补充。Zhao等人(2018)采用归一化高程等具有高区分度的点云特征,并基于多尺度卷积神经网络实现了8类城市地物的分类。赵传等人(2019)提出了基于迁移学习的机载点云分类方法,利用归一化高程、表面变化率、强度和植被指数4种浅层特征构造多尺度的点云特征图,并基于预训练模型有效降低了模型复杂度和训练时间。Li等人(2020)在图卷积的方法中引入几何矩特征加强点云几何特征的描述,同时利用机载多光谱LiDAR点云自带的光谱数据信息进一步提高精度。Widyaningrum等人(2021)则结合航空正射影像图的色彩信息对机载点云信息进行了补充。尽管这些实验证明了在深度学习方法中,传统特征或其他模态特征能够提高机载LiDAR点云的分类精度,但无区分地利用各类浅层特征不仅会造成信息的冗余而且增加了训练的难度。同时,将3维点云转化为2维图像或3维体素的过程丢失了大量空间结构信息,也会导致预测结果出现偏差。
因此,本文借鉴多特征融合的思想,提出了基于多特征融合几何卷积神经网络的机载LiDAR点云方法,选择基于点的神经网络结构较大程度地保留3维空间特性,同时在充分利用有效的点云传统特征的基础上,通过层次化几何卷积编码点的空间几何结构,并与全局信息聚合提取多尺度且具备空间结构信息的逐点深度特征。
2 本文方法
2.1 模型结构
本文提出的一种基于多特征融合几何卷积神经网络(MFFGCNN)的机载LiDAR点云地物分类模型结构如图1所示。
模型结构主要由两个模块组成,网络输入的前端是针对机载点云ALS(airborne laser scanning)数据的设计模块APD,通过对大区域、低密度的机载LiDAR点云原始数据进行点云分区等数据处理和浅层特征的提取与融合输入维度,来提高网络对机载数据的适应能力和基础分类精度。
本文提出了多特征融合的几何卷积神经网络模块FGC(multi-feature fusion and geometric convolution neural network),在提取全局和局部特征的同时对机载点云的几何信息给予特别关注。模块的输入为经过APD机载处理模块后按块划分的区域点集,对于输入特征维度,3表示经过点云分区处理后的3维坐标,Cin表示增加的机载点云的回波等浅层特征,将坐标特征与浅层特征相结合作为FGC的输入,FGC模块包含两个分支,顶部分支基于3维坐标对机载点云的几何结构进行局部和全局信息的提取。首先,通过3个尺度下的K近邻划分邻域区域,获得不同尺度的局部空间信息,并分别计算点及其邻域的4类几何特征。其次,分别通过共享的层次化几何卷积编码点集的局部几何结构并进行特征聚合。同时与基于3维坐标的深度特征聚合获得具有全局和局部信息的深度几何特征。底部分支利用PointNet++的逐点深度语义特征提取模块(Qi等,2017)对浅层特征进行特征编码,通过多层感知机获得与顶部分支相同维度的输出。最终,通过与顶部分支获得的几何深度特征进行聚合以及空间上采样获得逐点的多尺度深度特征。
图1 基于MFFGCNN的机载LiDAR点云地物分类模型Fig.1 The classification model of ALS point cloud based on MFFGCNN
2.2 针对机载LiDAR点云的模型设计
受网络和内存限制,现有基于点的点云深度学习网络通常面向室内目标和室外场景点云设计,在面向以地形数据为主体的机载LiDAR点云时,直接输入大范围区域点云是不可行的,且复杂多样的点云区域会造成地物种类的差异及各类点云间数据量的不平衡,最终导致网络的特征提取效果受限于训练集地形特性。同时,机载数据坐标尺度大,不能基于密集点云坐标尺度提取局部特征,在多特征融合模型中,各输入维度特征间的量级差异也会造成优化过程的振荡。因此,本文利用以下4个方法解决上述融合模型在机载数据类别、输入、坐标尺度上的适应问题,同时利用数据增强的方法提高模型的泛化能力和稳健性。
2.2.1 类别平衡处理
由于机载LiDAR点云面向复杂多样的地形数据,区域差异会造成地物类型的变化,本文将最常见的建筑物、植被和地面3类划分为一级地物,并实现其典型地物分类。同时点云区域选择不同会造成各类点云间数据量的不平衡,为保证训练后的网络只由各类深层特征决定,而不受初始数据集中类别数量差异影响,在数据读取时为各类点云赋权,即
(1)
式中,c表示该点的类别标签;numall为读取的总点数;numc为c类点的总数。
2.2.2 点云分区块处理
根据X、Y坐标将原始机载数据在水平面上组织成为m×n个点云区块,并作为一个批次输入,设置相邻区块的重叠步长,保证分界处特征完整,每个区块内不足N个点时通过点的复制保证输入维度一致。
(2)
式中,Int表示取整,m为水平X方向上的区块数;n为水平Y方向上的区块数;bs为区块大小;s为点云分区的移动步长。
为实现有效局部特征的提取,数据分批次时设置合适的输入尺度是关键,范围过大会忽略细节特征,不利于小型地物分类;范围过小会丢失全局特征,地物整体一致性差。本文针对机载LiDAR点云设置:bs=50 m,s=10 m,每个区块中包含4 096个点。
2.2.3 坐标尺度处理
对平面坐标进行平移降级处理,丢掉投影分度带等大量一致信息,并在分布上对3维坐标进行重心化,避免特征间尺度差异造成的影响以及优化中梯度下降的振荡。
(3)
式中,(X,Y,Z)为经过预处理后的3维坐标,(X0,Y0,Z0)为点云数据的原始3维坐标;(Xmean,Ymean,Zmean)、(Xmax,Ymax,Zmax)和(Xmin,Ymin,Zmin)分别为原始点云数据3维坐标的均值、最大值和最小值。
按距离采样时,机载LiDAR点云平面坐标跨度大,简单地扩大采样范围会丢失含有语义信息的全局特征,因此选择点云高程Z以及点云分区后X、Y在bli内的相对坐标Xi和Yj作为每个点的3个输入特征
(4)
式中,i为该点所在区块在X方向上的序号;j为该点所在区块在Y方向上的序号;Xn为点云区块的最小边界X值;Yn为点云区块的最小边界Y值。
2.2.4 数据增强
进行目标分类时,为防止过拟合的情况出现,避免特征过于局限在训练数据上,本文仿照2维的数据增强方法,针对点的3维坐标,以3个坐标轴为基准,单独对各点进行了3维旋转、平移、缩放以及高斯抖动4个预处理步骤来提高模型的泛化能力,达到数据增强的效果。
2.3 多特征融合的几何卷积神经网络
相比于室内和室外场景点云每平方米千个点,机载LiDAR的点云密度通常在20 40 点/m2,脚点光斑面积达到0.5 m2左右。PointNet++及后续基于改进的点云分类网络仅通过3维坐标来描述几何形态,难以提取到机载LiDAR点云有效的深度特征。因此,融合更多空间几何特征,是提高机载LiDAR点云分类精度的关键。本文采用邻域内相对高程特征和回波相关特征作为机载点云的多维输入,同时利用层次化几何卷积神经网络提取多尺度的3维空间深度几何结构,最终基于逐点的深度特征进行机载LiDAR点云的地物分类。
2.3.1 浅层特征提取
1)邻域内相对高程特征。相较平面坐标,高程信息是决定机载点云分布的主要因素。但受地势起伏等影响,同一类型地物在不同区域的绝对高程可能不同;同时地物种类丰富,如植被包含低矮植被、灌木、树木等高程不一的类别;且不同邻域下最低点的地物也可能不是地面。由于每个点经特征提取得到的全局特征是基于一定大小的邻域区块范围,因此直接引入邻域内的相对高程作为高程特征。
Zk=(Z-Zmin)
(5)
式中,Zmin为当前区块内所有点云的高程最小值;Z为点云重心化处理后的高程值;Zk为点在邻域内的相对高程。
2)回波特征。机载LiDAR点云原始数据除了3维坐标外还包含了反射强度、回波次数以及回波序号3类回波特征数据。多次回波是激光雷达发射同一脉冲受多目标反射而返回的信号,脚点的回波信息可反映所属的目标类型(熊艳 等,2018),末次回波以及单回波可能来自地面或非地表物体,首次回波和中间回波一定来自非地面目标物体,地面或平整的建筑物顶部仅有一次回波,植被则会返回多次回波。但相对目标反射一次回波的能量,其强度也被多次分散,因此多次回波中的反射强度不代表目标真实回波强度,也不能仅通过回波数据进行点云分类。本文同时增加了机载LiDAR点云原始数据中的反射强度I、回波次数N与回波序号R这3类回波特征。
2.3.2 层次化几何卷积神经网络
孙杰和赖祖龙(2014)利用随机森林进行特征选择的实验表明,由协方差矩阵获得的几何特征对于城区机载LiDAR点云数据分类的重要性更强。由于几何特征的提取需要考虑邻域空间特性,本文基于表1中曲率、平整度、线性度和球形度4个基于特征向量和特征值的特征,针对建筑物、地面和植被3类城市典型地物,在3个尺度下利用层次化几何卷积神经网络提取来描述多尺度下3维空间的深度几何结构。曲率(cu)、平整度(pl)、线性度(ln)和球形度(sp)分别计算为
(6)
式中,特征值λi(λ1>λ2>λ3)和特征向量vi是通过局部内点云在3个坐标方向上的协方差矩阵C求解得到(Huang等,2018)
C·vi=λi·vi,i∈{1,2,3}
(7)
如图1所示,在本文提出的机载LiDAR点云地物分类模型中,核心的FGC融合多特征几何卷积神经网络模块即在3个尺度上基于以上4类特征实现局部的层次化深度几何特征提取,同时该模块可视为给定输入和输出的编码器,这样的设计具备能够针对大多数网络的普适性和可插入性。
3 实 验
3.1 实验数据与环境
为验证方法的有效性,利用ISPRS(International Society for Photogrammetry and Remote Sensing)-Commission Ⅲ提供的Vaihingen地区benchmark的点云数据进行实验。数据区域为盛夏季节的城市中心,植被茂盛。在30%航向重叠、60%旁向重叠下全区域的点云平均密度为6.7 点/m2。训练集有753 876个点、测试集包含411 722个点。原始点云数据分为9类,按类别分级后数据集的统计信息如表1所示,数据集的分布如图2所示。
表1 Vaihingen实验数据集统计信息Table 1 The statics of Vaihingen experimental dataset
图2 Vaihingen数据训练集和测试集分布Fig.2 Distribution of Vaihingen training and testing sets((a) training area;(b) test area)
实验的硬件环境为CPU Intel i7-9750H、Nvidia GeForce RTX2060显卡、支持Nvidia的GPU加速;软件基于Ubuntu 18.04系统下的Cuda10.1、Python3.7和Pytorch1.2。
网络训练时,输入批次(batch)为16,迭代次数(epoch)为200,初始学习率为0.005,学习率衰减系数为0.5,衰减步长为20 000,选择随机梯度下降和L正则化的优化方法,各特征提取层后采用批次标准化处理。分类精度评价指标选择了精确度(precision)、召回率(recall)、F1得分(F1 score)、总体精度(overall accuracy,OA),平均精度(mean accuracy,mAcc)和平均交并比 (mean intersection-over-union,mIoU)。
3.2 实验设置
为了验证本文提出的几何卷积神经网络模型以及多特征融合策略的有效性以及各类特征的影响,共设置了5类实验,分别记为FT_0、FT_1、FT_4、FT_5_Geon和FT_8。其中基础参照实验为仅利用基础3维坐标的FT_0,融合浅层特征的实验为FT_1和FT_4,上述3组实验均未采用FGC模块。在证明FGC模型有效性时,设置FT_5_Geon和FT_8两类5组实验来验证4类几何特征的有效性并分析其各自针对性。
在只有3维点坐标的基础上,融合点云邻域相对高程特征后输入特征矩阵变为
ft1=(Z,Xi,Yj,Zk)
(8)
增加了机载LiDAR点云原始数据中的反射强度、回波次数与回波序号3个回波特征,进行基于4个浅层特征的语义分割实验,输入特征矩阵变为
ft4=(Z,Xi,Yj,Zk,I,N,R)
(9)
式中,I为反射强度值;N为多次回波的总数;R为本次回波在多次回波中的次数。
基于FGC模块,分析4类几何特征各自辅助点云分类的效果时,输入特征矩阵变为
ft5Geon=(Z,Xi,Yj,Zk,I,N,R,Geon)
n∈{1,2,3,4}
(10)
同时融合4类几何特征,并与单独几何特征的辅助效果进行对比分析时,基于8特征的语义分割实验的输入特征矩阵变为
ft8=(Z,Xi,Yj,Zk,I,N,R,
Geo1,Geo2,Geo3,Geo4)
(11)
式中,Geon表示点云在局部区域的4个几何特征,Geo1=cu;Geo2=pl;Geo3=ln;Geo4=sp。
3.3 实验结果与分析
3.3.1 定量分析
表2和图3给出了8组实验精度对比情况,可以发现随着多特征的融合,各类地物分类精度及整体精度均随之提高,后5组的实验证明了本文提出的FGC网络的有效性。
图3 融合多特征实验精度对比Fig.3 Comparison of experimental accuracy with different features fusion
仅利用APD模块进行浅层特征融合的前3组实验中,FT_1融合点云邻域相对高程特征实验结果表明,地面点的分类效果最好且精度显著提升,植被和建筑物的区分度进一步增强,这是由于邻域内相对高程可反映出地物在高程方向上的异质性,一方面辅助了地面点的分类,但另一方面由于高程特征的引入缩小了植被与建筑物间的特征差异,导致部分植被误分类为建筑物点,使植被精确度降低。
FT_4进一步融合回波特征的实验结果表明,初步的地物分类基本可以实现:地面点的分类趋于真实可靠、建筑物主体也已经实现较好分类、较地面点而言,植被的分类精度显著提升,这是由于植被会产生多次回波效应,增加的回波特征可显著提高植被与其他地物的可分性,明显改善了前面仅利用邻域高程特征无法对植被有效分类的问题,在植被覆盖较多的地区该模型可大幅提高分类精度,这进一步说明在机载点云分割问题中引入回波特征的必要性。
基于本文提出的FGC模块,观察FT_5_Geon的4组实验分类精度可以发现,4类几何特征均进一步提高了3类地物和整体分类精度,地面点的分类精度提高较少,而之前可分性较差的建筑物和植被在引入几何特征后分类精度显著提高,建筑物分类精度提高最多。其中,线性度特征增强了建筑物边缘的检测能力,平整度特征提高了建筑物屋顶被正确分类的点云密度,球形度特征显著提高了植被与其他地物的可分度,曲率特征则按照地物的曲率变化从整体上提高了各类地物的分类精度,与4类几何特征的描述一致。
本文提出的MFFGCNN方法在FT_8融合全部特征的实验结果表明,建筑物点云基本可以实现有效分类,正确分类的点云密度有很大提升,本文方法保证了建筑物和植被主体点云的一致性,又进一步提高了机载LiDAR点云分类精度,证明了模型的有效性和多特征融合的必要性。
3.3.2 定性分析
图4给出了FT_0、FT_1、FT_4和FT_8四组实验的分类结果和标准分类结果GT(ground truth),对比可以发现,仅依靠3维坐标,在密度较低、邻域空间一致性较差的机载地物上无法实现可靠的分类效果;融合邻域相对高程特征后,地面点分类得到增强,但在植被与建筑物分布密集区域,高程特征还不能很好地进行区分,导致测试集中复杂的尖状屋顶很多被误分类为植被;进一步融合回波特征后,植被和建筑物间的可分性极大提高,建筑物主体基本实现有效提取,但由于机载整体点云密度较低且Vaihingen地区主要为尖顶建筑物,在地物种类复杂且具有非典型建筑物形态的区域,建筑物的轮廓提取不够完整,建筑物主体的一致性也较差;在本文提出的MFFGCNN模型下,被正确分类的建筑物点云密度显著提高,轮廓更加清晰,主体保持一致,3类地物的可分界限明显。
4组实验分类结果显示了本文模型综合能力较强,虽然其他通用模型在基准测试上可以获得更高的精度,但在地物分类任务上,特别是在高树环绕的建筑和屋顶结构复杂的多层建筑等困难情况下,本文模型仍然取得了优秀的性能。
图5给出了一定侧视角下4组实验在同一片区域的误分类细节。为对比分析3类特征的针对性和本文方法的有效性,所选区域同时包含3类典型地物,建筑物与植被分布密集,同时建筑物屋顶包含平顶和尖顶两种形态。可以发现,除了本文模型外,都存在高建筑物类的离散点,这说明了本文多特征融合几何卷积模块的有效性。
图5 一定侧视角下4组实验误分类细节Fig.5 Misclassification details of four experiments from a side perspective((a) FT _0;(b) FT _1;(c) FT _4;(d) FT _8)
具体分析可以得到以下结论:
1)在地物分布复杂区域,仅依靠3维点描述的几何形态难以显著区分不同地物,稀疏的3维点坐标难以在空间上实现密度低的机载LiDAR点云分类;
2)邻域相对高程特征反映的高程方向异质性可使地面点实现正确分类,显著提升地面点的分类效果,但在非典型建筑物、非常规分布的植被以及有大量其他类地物干扰的区域,该方法仍有局限性;
3)回波特征能够进一步提高建筑物与植被两者间的可分性,这是因为植被的多样性使高程特征无法明显区分低矮植被、树木、灌木等,而植被的多次回波效应可显著提高可分性;
4)本文提出的FGC模块显著提高了建筑物和植被的分类精度以及各整体正确分类的点云密度,与其他先进的网络相比,本文模型引入的多尺度深度几何特征可以更有效地提取局部几何特性。由于建筑物或屋顶的特殊几何形状,几何特征的引入有助于区分建筑点和背景点,同时保证建筑物的主体一致性和清晰的轮廓。4类几何特征分别在地物的曲率变化、边缘、整体一致性和植被独有的球形特点上有地物针对性,进一步说明在机载激光雷达点云的语义分割问题中引入多类特征的必要性。
4 结 论
本文提出了一种基于多特征融合几何卷积神经网络(MFFGCNN)的机载LiDAR点云分类模型。具体地,首先设计了针对机载数据特点的网络增强模块(APD),通过数据结构化增强其通用性,其次引入了一种多特征融合的几何卷积(FGC)模块,提取多尺度深度几何特征,并与基于单点坐标和传统浅层特征的全局特征聚合,从而加深网络深度。该模型可在任何网络中实现,为深度学习方法在这一研究领域的更好应用提供了一个新的架构,促进了该框架的实际应用,同时可为3维城市建模等后续应用提供智能化的信息服务。
在ISPRS 3维标记基准数据集上对5类8组实验结果分析,实验结果表明相较仅使用原始3维坐标,本文模型在多个评估指标上取得了显著提升,总体精度提高15%。可视化结果也显示了模型的能力较强,特别是在高树环绕的建筑和屋顶结构复杂的多层建筑等困难情况下仍然取得了优秀的性能,但在地物的边缘、复杂场景的细节部分仍有提升空间。
在未来的工作中,将测试添加其他附加功能到本文方法中,如进一步考虑全局特征来从整体增强地物间的可分性,针对规则地物边界增加注意力机制或其他约束来提高分类精度等,同时考虑浅层特征、全局和局部深度特征的更有效融合方法,并尝试在本文框架中处理更复杂的城市点云。