一种面向3D点云识别的新型卷积神经网络∗

陈 盟 陈兴华 邹 鹏

（南京理工大学计算机科学与技术学院 南京 210094）

1 引言

无人平台环境感知与理解是人工智能研究领域的重点和难点。激光雷达凭借其探测距离远、精度高和抗干扰能力强等优点，得到广泛使用，其主要是利用光的收发时间差来获得被反射物体的相对方位角和距离。这种对周围环境物体表面稀疏采样点的数据集合称为点云。点云识别的研究存在三个重点问题：点云具有无序性、稀疏性和浮动性。由于卷积神经网络对于图像、点云等局部强关联特征提取的高效性，对语义信息抽象能力的优越性，广泛应用于环境感知任务中。在KITTI、Model⁃Net40和ShapeNet等点云数据集上，基于深度学习的检测算法均处于主导地位。

本文重点研究ModelNet40点云数据集的目标多分类任务。通过对点云三维空间位置进行球坐标下竖直与水平方向上的角度索引编码，把点云转换为紧密二维多通道点特征图。作为卷积神经网络的输入，以此解决点云无序性和浮动性的问题；设计的新型卷积神经网络，使用单点微型感知机对数据缺失空洞的鲁棒性进行点云局部特征抽象提高，并且使用跳跃连接结构进行不同层次间的特征补充，对点云进行多层次特征的提取与融合；最后使用提取出的全局特征实现点云分类，并且与当前主流方法进行实验对比。

2 点云特征图

点云处理与识别技术的发展可以概括为人为提取特征、经典机器学习和深度学习三个阶段。文献［1］提出了基于贝叶斯理论的栅格占用估计实现背景点云分割；文献［2］把点云映射到球坐标系下；基于RANSAC［3］的方法提取点云轮廓特征。文献［4］支持向量机（SVM）来识别障碍物，高斯混合模型（GMM）［5］和马尔可夫随机场（MRF）［6］在初步人为提取的点云特征下进行训练。文献［7］融合了单目视觉与雷达点云的多视图信息；文献［8～9］把点云的三维坐标信息映射到球坐标下，生成深度前视图。文献［10～11］对CAD模型和场景点云进行体素（voxel）栅格划分；文献［12～13］建立基于三维体素栅格特征提取的实时检测模型。文献［14～15］提出直接提取点云特征的神经网络；文献［16］提出无序点云的X变换来获得规则特征。

无人平台场景点云感知任务中，提取点云多层次的空间特征尤为重要。本节对原始散乱稀疏点云进行空间球坐标下竖直角（仰角）、水平角（方位角）的角度索引编码，把场景散乱稀疏点云转换为有序紧密的多通道点特征图，改善了原始点云无序性问题，方便卷积神经网络提取有效的局部关联结构特征与全局语义特征。

2.1 点云数据集ModelNet40

ModelNet40提供了如图1所示的CAD模型点云，数据集共包含40个对象类别（如飞机、浴池、植物等），其中9843个实例点云模型作为训练集，另外2468个实例点云模型作为测试集验证算法模型的性能。

每个CAD模型点云提供每个描述点的三维坐标(x，y，z) 并且包含四种分辨率：256/512/1024/2048，本文实验基础均建立在2048分辨率的CAD模型点云上。

图1 ModelNet40点云数据集

2.2 点云多通道点特征图

对散乱无序的CAD模型点云数据进行预处理，得到有序紧密的多通道点特征图，该流程如下：

步骤1：读取原始点云数据，每个数据点包含三维直角坐标(x，y，z) 及回波反射值intense；设定竖直、水平角度分辨率等相关参数；读取点云类别标注信息。

步骤2：数据点的三维直角坐标(x，y，z) 转换为空间球坐标( )γ，θ，φ如式（1）所示；再根据竖直角分辨率∆θ、水平角分辨率∆φ划分角度单位子空间，得到分辨率为m×n的空间紧密点特征图见式（2）。

其中，ε为任意无穷小量。

表1 点云单位子空间特征

图2 点特征图生成

步骤3：构造点云单位子空间内数目、矢量距离等k个特征，见表1。按照步骤2中点云转换后的m、n值对点云进行有序排列，构造大小为m×n×k的多通道点云特征图，得到如图2所示的从原始CAD散乱无序的模型点云，生成固定分辨率的多通道紧密特征图。

3 点云多分类网络

本节针对第2节点云预处理过后生成的多通道点特征图，设计点云分类模型进行单目标点云全局语义特征的提取，完成目标点云多分类任务（流程见图3）。

表2 分类网络详细结构

本文针对场景点云的特点，设计具有跳跃连接和点微型感知机等特殊结构的卷积神经网络对点云多通道点特征图进行特征提取。

点云分类模型面向经过欧式聚类分割后的单目标点云对象（共c种类别），使用卷积神经网络对预处理后的多通道点特征图（input_image）提取全局特征，利用全连接层对全局特征进行降维变换，得到点云的c维logits列向量，再通过softmax得到输入目标点云属于各个类别的概率，最后计算与点云目标类别标注的交叉熵得到预测类别与真实类别偏差损失，利用adam优化算法进行神经网络梯度反向传播更新参数权重，使得预测类别偏差损失尽可能接近于0，得到能够精确检测单目标点云所属类别的分类模型。

图3 点云识别方法流程

表2设计了点云分类模型的具体网络结构。根据2.1节所述的点云数据，预处理过后转化为分辨率为m×n的7通道特征图作为模型输入；先通过SRC模块进行概率随机池化作为后续concat层的通道补充合并浅层特征，设计的SRC模块实现相邻最大池化层间特征跳跃连接，concat层把浅层特征合并到当前池化层，作为当前池化层的新特征通道；PMP层包含的点微型感知机均为两层，并且相同PMP层中作用于每个点的两层感知机参数共享，通过点微型感知机相当于把单点的多通道特征进行维度提升，随着网络越深提升的维度越高，能够表达的抽象语义也越丰富；PMP层中的最大池化层提取相同通道内的局部显著特征，通过池化逐渐缩小特征图尺寸，逐步扩大显著特征提取的感受野，得到不同层次的特征表达；全局特征提取层（reduce_max）对经过PMP5层输出的最高层特征提取256个通道上的256个显著通道特征作为全局特征，通过3层全连接层的全局特征维度变换得到点云分类的c维logits向量，最后通过softmax层输出c个类别相应概率，取最大概率对应类别为输入点云的类别。其中，网络层名称按实际网络结构生成时的顺序命名，数据除了跳跃连接SRC模块外均由浅层向深层传输；网络层尺寸由该网络层数据节点存储矩阵大小表示；模块描述表示相应网络层涉及到的不同结构，PMP中的size和stride均为池化参数，PMP中的conv表示参数共享的MLP层的某1层，没有特殊说明时conv的步长与尺寸均为［1，1］，神经元非线性激活函数均为ReLU。

4 实验与对比分析

4.1 实验设计

本文在本地深度学习平台上进行网络模型的设计、训练与对比测试，实验环境如表3所示。

表3 实验环境配置

4.2 点云多分类

本节实验使用ModelNet40数据集进行40个类别的单目标点云分类，数据集包含12，311个已分类的CAD点云模型（每个模型共2048个三维采样点），将其中9，843帧划分为训练集，剩余2，468帧作为测试集，每遍历一轮训练集数据，测试一次当前模型训练结果，对比评价各个主流点云算法的性能。实验中，训练集与测试集数据源均相同，记录250轮训练中各算法模型总体分类准确率与类别分类平均准确率的测试结果，得到如表4结果（部分数据来源于文献［14］）。其中，根据输入点云的预处理方法分为二维栅格、三维空间体素、多视图图像、无预处理与本文使用的角度索引点云特征图。

表4 ModelNet40分类结果

本文网络设计基准（baseline）为文献［9］中提出的L05-Net，点云预处理方式都是角度索引，分类的全连接层共用本文设计的网络，由于其特征提取模型为简易的浅层网络，测试精度较低。MVCNN［7］在类别分类平均准确率上表现最好，本文方法由于CAD模型点云生成角度索引特征图时，相同水平与竖直索引位置上有部分采样点重合造成细节信息的损失，对于小部特殊分类别判断不够精确。

在总体分类准确率上本文方法处于主流方法的第一梯队，相比表现最好的 PointNet［14］，在相同测试环境下，本文使用ModelNet40相同训练与测试数据实验得到的测试结果对比曲线，模型算法运行时间为tensorflow中搭建的计算图运行测试集2，468帧点云数据所消耗的时间，PointNet［14］平均每轮数据测试耗时8.18s（每帧3.31ms），本文方法耗时3.77s（每帧1.53ms），在运行速度上具有很大优势，更适用于实际工程，测试准确率与算法运行速度变化曲线见图4。

图4 分类模型性能评估

5 结语

本文提出了一种新的CAD模型点云多分类识别方法，针对点云数据的无序性、稀疏性和浮动性等难点，把原始点云转化为角度索引点特征图实现点云特征表达的紧密有序化，并且利用卷积神经网络思想设计了单目标点云分类特征提取算法模型，通过在公有点云数据集上与多个典型点云识别算法相比较，证明了本文算法在保证检测准确率的同时，有效地提高了算法实时性。算法目前已成功应用在无人驾驶车上。