融合配准的多站室外大场景激光点云分割

徐 鹏， 徐方勇， 陈 辉

(上海电力大学 自动化工程学院，上海 200090)

1 引 言

近年来，基于深度神经网络直接对原始室外场景点云分割技术被广泛应用。Qi R C等[1,2]提出了一种新型端到端的深度学习网络体系结构PointNet，结构简单，分割效果良好，但该模型提取点云局部特征的能力不足，其改进的PointNet++通过增加对局部特征的提取结构，增强网络对点云场景局部信息的利用，实现点云数据场景分割并提高分割精度。文献[3]使用PointNet及PointNet++获取点云的全局和局部特征，在特征的基础上计算三个属性矩阵：相似矩阵、置信度矩阵、语义分割矩阵，综合多个结果实现实例分割。文献[4,5]对现有PointNet和NetVLAD进行组合/修改，实现端到端的训练和引导，从给定的三维点云中提取全局描述子，实现基于点云检索的场景识别。

三维模型的采集过程也是数字化重建过程，该过程可通过三维扫描仪完成，也可通过立体视觉采集设备来完成[6]。基于多视图立体视觉的三维重建技术能够获取精确的三维模型信息[7]。室外场景下，激光扫描仪在采集数据过程存在遮挡现象，使得点云数据会损失掉场景的部分三维结构。随着三维激光扫仪的扫描精度不断提升，采集到的点云密度一般大于10，这种高密度点云的地物几何结构往往更加丰富，较完整地保留了原始场景的空间拓扑结构。如何构建更大规模的点云场景，进而对其进行语义分割已成为研究重点。

2 工作原理

本文提出了一种基于PointNet++的室外点云大场景分割方法。首先，使用FARO FocusS 350激光扫描仪采集场景数据，分别在上海电力大学长阳校区5个站点采集到三维彩色激光点云数据，并依次对每两个视角下扫描得到的有重复区域的点云场景进行配准，由此提出一种基于采样一致性初始配准和迭代最近点精确配准的配准方案，构建出完整的室外点云大场景数据；然后，使用公共室外点云场景数据集Semantic3D训练基于PointNet++的点云场景分割模型，并将其做持久化存储；最后调用该模型，输入待分割数据，获取其预测结果，并进行可视化结果分析。其工作流程如图1所示。

图1 基于PointNet++的激光点云场景分割工作原理

3 多视角激光点云场景的配准

激光点云场景的多视角配准[8]与通常的两个视角配准问题相比需要求解更多的参数，因此难度大，很难有一个通用性的配准方法，对此，本文以第一帧点云场景坐标作为基准，对剩余帧场景依次进行双视角自动配准，算法流程如下：首先，基于八叉树编码的点云精简方法[9]降低原始点云数据量，提高后续配准计算效率，并手动选取重叠区域多的两组建筑点集；然后，使用基于采样一致性配准算法(sample consensus initial alignment, SAC-IA)[10]和迭代最近点(iterative closest point, ICP)[11]算法的配准方案计算出两点集之间的刚体变换矩阵；最后，对原始数据转换坐标系，如图2所示。

图2 双视角场景自动配准算法流程图

3.1 基于SAC-IA的点云初始配准

SAC-IA算法先提取点的快速点特征直方图(fast point feature histograms, FPFH)[12]特征，然后根据特征匹配原则进行配对点的选取，在减少运算量的基础上保证整体配准的精度，该算法取得大量的特征对应关系，从而快速得到较为准确的变换参数。假设源点云，目标点云，初始配准过程如下：

(1)对点云P选取n个采样点，且保证采样点之间的距离大于预先给定的阈值dmin，然后计算这批采样点的FPFH特征。

(2)针对(1)中选取到的每个采样点，在点云Q中搜索有相近FPFH特征的一系列点。

(3)计算点云P和点云Q对应特征点的刚体变化矩阵，此时距离误差函数用Huber函数来衡量，其计算公式为

(1)

式中：ei为点云P和点云Q中第i点的误差;te为所设定的超参数。

重复上述3个步骤，当误差函数值将至最低时，该变换矩阵就是最优变换矩阵。FPFH特征实质是针对局部点特征直方图(point feature histograms, PFH)[13]改进的快速简化模型，如图3所示。

图3 PFH的k邻域运算示意图

选定点云某一点pq，先搜索其附近范围内的k个点，将pq与所有选取的点进行两两配对，假设任意两点pi和pj，其法向量分别为ni和nj，依据以上向量定义局部坐标系uvw，可表示为：

(2)

根据该坐标系，可以计算每两个点之间的空间角度及距离关系如下：

α=v*nj

(3)

d=‖pj-pi‖

(4)

(5)

(6)

α、d、φ、θ参数描述点与点之间的几何关系，PFH特征即是对其每个参数统计直方图。为了提升其计算效率，并且不损失其特征描述能力，使用降低复杂度的FPFH快速算法，不仅运算速度更快，还能提取到更广阔的邻域特征。FPFH特征提取算法步骤如下：

(1)对点云中每一个点pn采用PFH算法计算，但不必计算两点之间的距离d，求得pn点与其所属邻域点的PFH特征，由于统计参数缺少距离信息，称为简单点特征直方图(Simplified PFH)，记作SPFH(pn)。

(2)重新确定每个点pq的k邻域，按1)法计算该点及其k邻域点的SPFH(pn)特征，并根据这些特征计算待求点pq的FPFH特征，见图4。假定第i个邻域点SPFH特征的加权值为wi，取为两点距离的倒数，根据下式计算FPFH特征：

图4 FPFH的k邻域运算示意图

(7)

3.2 基于迭代最近点的点云精确配准

经过SAC-IA初始配准后，两组点云已基本重叠在一个位置，但误差仍然较大，所以需要继续选用适合的精确配准算法，使得两点云能完全重合。本文选用ICP配准算法，其原理简单，效果良好。假设有源点云P和目标点云Q，配准的具体步骤如下：

(1)从源点云P采样得到子集P0；

(2)在目标点云Q中搜索与子集P0空间距离最近的点集Q0，此时能初步确定两点集间的对应关系；

(3)设定距离阈值Lmax，当两个点集的对应点距离大于Lmax时，视作错误点对并剔除；

4 基于PointNet++的室外点云场景分割网络结构

室外点云场景在采集过程中会产生区域点密度大小不一的问题，使得一般深度学习神经网络在密集区域内学习到的特征可能无法适用于稀疏区域。基于这点，本文选择使用PointNet++网络，它是一个可以根据区域点密度来自我选择特征的点云深度学习分割网络，对点云稀疏性具备自适应能力，其网络结构如图5所示。

图5 PointNet++语义分割网络图

PointNet++设计出set abstraction结构，不同层级逐级使用该结构，使得局部区域的抽象程度提升，单个层级独立处理一部分点集合。set abstraction的输入结构为N×(d+C)，表示N个点的d维坐标和C维特征，输出结构为N1×(d+C1)，表示N1个点的d维坐标和C1维特征，其中N>N1，C>C1，说明点集的数据量在逐步减少，抽象程度在上升。其中，采样层使用迭代最远点算法选取一批输入点的子集，该类选点方法比随机抽取点更加有利于后续划分区域的全局覆盖，分组层的输入是N×(d+C)的一组点和尺寸为N1×d质心坐标，输出是大小为后继续进入到PointNet层，输入结构为N1×(d+C1)，表示每个局部区域的局部抽象特征。set abstraction本质是将输入点不断减少，从中抽象出分层次的多个局部高维特征，而语义分割任务需要对场景中每个点做对应区分，这就需要还原所有点，PointNet++基于距离插值和跳跃连接的分层传播方法还原点的初始数量，最后输出每个点的分类的得分。

5 实验分析

5.1 实验数据

本实验使用Faro S350地面激光扫描仪对上海电力大学长阳校区图书馆附近进行多视角采集，真实场景见图6，图书馆的5个位置分别为S1、S2、S3、S4和S5。由于其各自坐标系不同，当将其全部置于MeshLab软件中时，5站场景呈错乱排布,见图7。

图6 数据采集场景

图7 5站场景未配准状态

实验前首先对场景进行数据精简，同时，为快速验证算法有效性，对实验中的各视角场景进行数据精简，选取更小的八叉树分层数，精简程度更高，以便更快选取较理想的配准参数。

5.2 场景配准实验

待配准点云场景共有5个，以S1的坐标系作为世界坐标系，求取其余4站点云的变换矩阵，从而将5个场景依次置于一个坐标系下。每组配准实验都挑选两组场景中重叠部分较多的建筑体作为配准对象。本文配准实验运行在windows10系统上，使用VS2017基于PCL 1.8.0点云库开发实验程序，其配准误差见表1。

表1 配准实验误差

4组场景配准如图8所示。实验中人工选取每组重叠区域较多的建筑点集，保证配准对象的共同性，使得算法更容易收敛，另外建筑物的三维点云有着突出的几何外形，利于ICP算法中对应点对的正确选取。然后，4组配准对象在未配准时，如图8(a)所示，两点集在同一坐标系下的位置相差较远，从图8(b)和图8(c)看出，初始配准后，2组点集确实较配准前靠近许多，其中第2组实验几乎完全配准，与后续精确配准结果差异不大。

图8 4组场景配准

采用旋转平移矩阵算法，最终得到4个场景，构建完整点云场景，如图9所示。

图9 场景配准结果图

5.3 场景分割结果分析

图10是模型预测结果图。从图10(a)看出：场景中的几个主要建筑都得到准确识别，但部分建筑中带有高植被的识别颜色，这是由于点云场景在室外场景时存在遮挡现象，大树的阴影偶尔会落在建筑物上，使其颜色采集不准，零散的点被识别为高植被。场景中的树木都有一定的识别能力，但是本文训练标准是将树木划分为高植被和低植被，图中表现的有些混乱。图10(b)是场景分割结果的图书馆近景，可看出图书馆附近的道路得到准确分割。

图10 模型分割结果图

6 结 论

点云数据的完整性影响三维场景分割效果，本文提出一种基于SAC-IA粗配准和ICP精配准的自动配准方案来构建几何结构完整的室外点云场景，其中，SAC-IA算法对重叠率较小的点集不敏感，所以进行人工处理，即选取每个站点中点云数据重叠区域较大的建筑点集，这样为后续精确配准提供良好初值。使用semantic3D数据集训练出基于PointNet++的深度学习点云分割模型，能对完整场景进行分割，实验证明：本文提出的方法有助于点云场景分割效果的提升。