一种车载LiDAR点云道路提取深度神经网络模型

刘 晋, 杨容浩, 文 文, 谭骏祥, 兰青龙, 高 祥, 汤 洪

(1. 成都理工大学地球科学学院测绘工程系, 四川 成都 610059; 2. 广州南方测绘科技股份有限公司成都分公司, 四川 成都 610031)

车载激光扫描(mobile laser scanning,MLS)作为一种先进的测量工具,能够快速采集大面积的道路场景点云数据,具有快速、实时、动态及高精度等优势[1],是高效采集精确道路三维几何信息的重要手段,但如何快速从复杂的三维场景点云中精确提取道路点云仍是一个难点[2]。

采用偏度平衡[3]、布料滤波(cloth simulation filter, CSF)[4]、基于扫描线[5]、移动动态窗口分类[6]等传统算法,能从MLS点云较完整地提取道路点云;但主要针对结构化道路场景,且依赖人工设置特征或阈值,普适性较差。在处理复杂的非结构化道路场景时,传统方法表现不佳,难以完整地提取道路点云[7]。

深度学习是一种数据驱动的机器学习方法,能够实现“端到端”的特征提取和模型训练,在计算机视觉、自然语言处理等领域表现出明显优于传统方法的性能。在点云分类和道路点云提取方面,也出现了一些效果良好的深度学习框架。文献[8-9]将三维点云投影到二维平面,利用二维卷积神经网络(convolutional neural network, CNN)实现道路点云的分割提取,但难以应用于大场景,且会损失道路边缘信息,精度较差。文献[10-11]将点云转化为体素,采用3D CNN进行特征学习,实现点云的语义分割,能够提取完整的道路点云,但需要设置很高的分辨率,内存消耗大。文献[12-13]采用PointNet网络,直接以三维点云作为输入,利用KNN算法增强点与点之间的互相关联实现点云自动分类,能充分保留点云原始信息,且计算量较小,能应用于大型道路场景中,但只关注点云全局特征,缺乏对局部特征的提取,道路提取精度较低。文献[14]提出的PointNet++网络,以及在此基础上改进的位置自适应卷积(position adaptive convolution, PAConv)网络[15]均采用编-解码结构,通过逐层下采样捕捉局部几何细节信息,对于道路点云提取精度有所提高,但在道路边缘存在过分割和欠分割的现象。

针对以上问题,本文提出一种邻域增强编码E-PointNet++网络模型,以PointNet++为基础网络,通过在特征提取前引入一个邻域增强编码模块,在模块中建立局部邻域内点与点之间的联系,以提高网络的道路边缘分割能力。

1 E-PointNet++网络结构

1.1 E-PointNet++基本架构

E-PointNet++采用与PointNet++相同的4层架构(如图1所示),即包括数据预处理(DG)层、编码(Encoder)层、解码(Decoder)层和全连接(FC)层。其中,DG层将原始点云划分为一组重叠的局部邻域并将其作为输入;Encoder层由4个下采样层(DS)组成,能将输入数据转换成4个包含不同尺度特征信息的特征向量。DS层包含采样和分组(SG)、邻域增强编码(DE)和特征提取(PT)3个模块。DS层首先利用SG模块对点云进行下采样,得到邻域中心点,并查找在中心点固定半径内的邻域点;然后通过DE模块重编码邻域点坐标,得到包含邻域中心点与邻域点及邻域点间关系的输出特征;最后经PT模块输出提取的特征。Decoder层由4个上采样层(US)组成。每个US层包含插值模块(IP)和特征提取模块(PT′)。PT′层和PT层结构相似,它在上采样中将特征进行降维操作。如在US4层中,它以PT4模块(即DS4层)的输出作为输入,经IP4进行插值后,通过残差连接与PT3输出的点特征进行cancat连接,再经PT′4层进行特征降维后,将其作为US3的输入。

图1 E-PointNet++网络结构

重复上述操作4次后,得到Decoder层的最终输出,再经FC层分类后得到道路的最终分割结果。

1.2 DE-邻域增强编码模块

DE模块位于Encoder层中每个SG模块后,PT模块前(如图1所示),其主要功能是对每个邻域点添加邻域中心点的坐标,以及该点对邻域中心点的相对坐标、到邻域中心点的欧式距离和强度信息。

原始的PointNet++网络的PT模块在局部邻域内的单点特征提取操作公式为

(1)

E-PointNet++网络在增加DE模块后,PT模块中特征提取操作公式为

(2)

与PointNet++相比,DE模块增强了邻域点间特征表达,使网络能够更好地提取点云的空间几何、结构、和语义信息。

2 试验与分析

为了验证E-PointNet++相对于现有道路点云分割方法的优越性,并讨论该方法在不同场景下的适用情况和性能,分别采用自建的广台高速点云数据集(Guangtai-Expressway-3D)和公开数据集Paris-CARLA-3D进行试验与分析。

2.1 数据集介绍

2.1.1 Guangtai-Expressway-3D数据集

该数据集原始点云数据由车载移动测量系统采集于广台高速某路段,共计3.32亿点,含空间坐标和强度信息。

由于原始点云不仅数量庞大,且存在大量的噪声和离群点(如图2(a)所示),为了获取较完整、干净且满足网络训练需要的高速公路场景点云数据,首先对原始点云数据进行分段和去噪预处理。分段预处理沿道路方向进行,将原始道路点云数据分成332段,每段平均100万点。点云去噪采用统计滤波方法[16],去噪后得到较完整、干净的高速公路场景点云数据(如图2(b)所示)。

图2 点云预处理前后效果对比

对预处理后的点云数据使用Cloud Compare软件进行逐点标注,得到包含高速公路和少量城市快速道路场景的样本数据;并按照6∶2∶2分成196个训练集、71个验证集和65个测试集。

2.1.2 Paris-CARLA-3D数据集

Paris-CARLA-3D数据集是由移动激光雷达和摄像机系统构建的面向室外环境的若干密集彩色点云数据集,主要由两组数据组成:在巴黎市采集的真实数据和CARLA模拟器的合成数据,共7.6亿点[17]。Paris-CARLA-3D数据集共包含13个场景,其中,真实采集数据包含了巴黎市中心的3条街道,直线距离为550 m,主要分为卢森堡花园附近的两个场景和道路两侧有建筑的4个密集城市场景点云,共6个场景,每个场景约1000万点。合成数据中CARLA的直线距离大约为5.8 km,主要分为4个城市道路场景和3个农村道路场景,共7个场景,每个场景约1亿点。Paris-CARLA-3D数据集将这13个场景分为6个训练场景、3个验证场景和4个测试场景。

2.2 试验环境及网络参数

试验操作系统为Ubuntu 18.04,环境采用的GPU为NVIDIA GeForce RTX 2080Ti,内存为12 GB,利用pytorch框架搭建网络。

试验中所有深度学习算法的训练采用一致的参数:学习率为0.001,每训练10轮按比率0.7下降一次;每批次输入大小为32,训练迭代次数为100;优化器使用Adam,相比于SGD优化器,Adam能使模型更快收敛至性能最优;输入场景块尺寸设置为5 m;输入场景包含的点数为4096(该超参数为每个场景下划分的局部空间输入点云数);损失函数使用有权重的NLL＿loss损失函数,与交叉熵损失函数相比,该损失函数能有效减小样本不平衡对模型训练的影响。

对比试验中,传统算法的各项参数通过反复试验调整至效果最佳。

2.3 评价指标

为了定量评价道路场景中路面点云提取精度,借鉴文献[18]的评价方式,将准确性(p)、完整性(r)、检测质量(q)作为评价指标,公式为

(3)

(4)

(5)

式中,TP表示正确提取的路面点数量;FP表示错误提取为路面点的点数量;FN表示错误提取为非路面点的点数量。

2.4 试验结果与分析

基于道路场景的特点,考虑本文是以解决道路边缘的过分割和欠分割问题,提高算法道路边缘分割能力为目标,因此,针对上述两套数据集,分别选择3种典型道路场景,即结构化道路场景(两侧有路缘石)、半结构化道路场景(一侧有路缘石)和非结构化道路场景(两侧都没有路缘石)进行测试,并与CSF[4]、基于多区域RANSAC的地面点云提取算法(MR-RANSAC)[19]、PointNet++[14]和PAConv[15]进行提取结果对比。

2.4.1 Guangtai-Expressway-3D试验结果与分析

3种道路场景下的原始点云、标签和5种算法的道路分割结果如图3-图5所示。

图3 结构化道路场景道路提取结果对比

由图3可以看出,对于结构化道路场景点云,布料滤波算法和MR-RANSAC算法提取的结果存在点云欠分割;而PointNet++、PAConv和E-PointNet++均能完整提取道路边界。

由图4和图5可以看出,对于半结构化和非结构化的道路场景,在道路一侧无路缘石或两侧都无路缘石时,CSF和MR-RANSAC会将道路边缘的植被误提取为道路,且道路中也存在大量的欠分割点云;PointNet++和PAConv都存在明显欠分割和过分割现象。E-PointNet++提取结果与标签更为接近,表明其能准确地提取结构化和非结构化道路场景中的道路点云,算法具有更强的稳健性。

图4 半结构化道路场景道路提取结果对比

图5 非结构化道路场景道路提取结果对比

对3种道路场景中4种算法的道路点云提取结果定量评价指标统计见表1。

表1 Guangtai-Expressway-3D数据集道路提取定量评价结果 (%)

由表1可以看出,总体上,E-PointNet++提取道路的准确性(p)、完整性(r)、检测质量(q)均高于CSF、MR-RANSAC、PointNet++和PAConv算法。相对于结构化道路场景,其他4种算法在半结构化和非结构化道路场景时各项指标均下降明显,但E-PointNet++能保持稳定,表明其对道路边缘的提取受道路边缘类型的影响较小,具有更好的稳健性。

2.4.2 Paris-CARLA-3D试验结果与分析

为进一步验证E-PointNet++在复杂道路场景下的有效性和泛化能力,在Paris-CARLA-3D公开数据集上进行试验分析,选取结构化、半结构化和非结构化3种道路场景,道路提取结果如图6-图8所示,定量评价结果见表2。

表2 道路提取定量评价结果 (%)

图6 结构化道路场景道路提取结果对比

由图6-图8可以看出,对于3种类型的道路场景点云,CSF算法提取结果普遍存在道路边缘点云的过分割;MR-RANSAC对于合成数据(如(图6(d)所示),由于该结构化道路场景中道路点云的z坐标均为0,因此提取效果非常理想;但对于半结构化(如图7(d)所示)和非结构化(如图8(d)所示)场景的自然采集数据,在道路中和道路边缘都存在较大面积的欠分割现象。PointNet++和PAConv对3种道路场景都存在道路边缘欠分割现象。E-PointNet++在3种道路场景的道路提取效果没有表现出明显的差异性,算法具有更强的稳健性,且整体上优于其他3种算法。

图7 半结构化道路场景道路提取结果对比

图8 非结构化道路场景道路提取结果对比

由表2可以看出,总体上,E-PointNet++提取道路的p、r和q均高于CSF、MR-RANSAC、PointNet++和PAConv算法。在该数据集中,对于结构化道路场景,除CSF外,另外4个算法都能取得较好的性能,p和r指标都在96%以上,而q也在95%以上。对于半结构化和非结构化道路场景,CSF、MR-RANSAC和PointNet++相对于结构化场景的3项指标都有所下降;而PAConv在结构化道路的边缘存在大量的过分割,因此它的完整性(r)、检测质量(q)有所下降,准确性(p)反而有所上升;E-PointNet++3项指标变化不大,仍在97%以上。由此说明,E-PointNet++算法道路边缘提取受道路边缘类型的影响较小,具有更好的稳健性。

试验结果表明:①E-PointNet++网络可用于高速公路场景和城市场景道路提取,能对道路点云进行高精度提取,且受车辆、植被和道路类型的影响较小。②与传统方法相比,本文方法无需人为进行阈值设置和特征选择,过程更为简单;与PointNet++网络模型相比,对于道路边缘提取能力更强,对道路中的点提取完整性更好,具有更强的稳健性。

3 结 语

本文基于PointNet++基础网络模型,对其局部区域特征提取和网络结构等方面进行改进,重新设计了一种包含邻域点间信息的邻域增强编码模块,并采用自建数据集和公开数据集进行了试验验证。试验证明,与传统的道路点云提取方法及PointNet++和PAConv网络相比,本文网络模型具有更强的稳健性,对道路边缘欠分割和过分割的问题进行了改善,对道路边缘提取效果更好,对于道路的提取更完整和准确,对道路点云的提取精度更高。此外,利用训练好的网络模型能够在相似的高速公路和城市道路场景中直接提取高精度的道路点云,可为智慧交通和自动驾驶等应用提供高精度的实用数据。在后续研究中,将会进一步研究如何将本文提出的邻域增强编码模块与其他网络进行集成,尝试用于其他类型地物点云的提取。