结合位置关系卷积与深度残差网络的三维点云识别与分割

杨军,王连甲

(1.兰州交通大学电子与信息工程学院,730070,兰州; 2.兰州交通大学测绘与地理信息学院,730070,兰州)

近年来,深度学习已经在二维图像处理如图像分类[1-2]、目标检测[3-4]和语义分割[5-6]等方面取得了显著的成绩。越来越多的研究开始对三维空间进行探索。三维点云由于其包含的信息丰富且数据结构简单,成为了三维空间的主要数据表达方式。与此同时,三维(3D)激光扫描技术的兴起使得点云数据的获取成本快速降低,促进了许多依赖3D点云数据应用的发展,例如自动驾驶[7]、机器人[8]和三维重建[9]等。三维点云的识别与分割算法作为以上应用开发的技术基石具有重要研究意义。三维点云识别就是将输入的三维点云模型进行分析并输出模型所属类别,而三维点云分割则是将输入的点云场景中每个点都预测其所属的物体或部件类别。然而,由于点云由三维空间中无序和不规则的点集组成,不能直接将处理二维图像的深度学习方法直接用于三维点云处理,这使得该领域的研究备受关注。

早期的研究将三维点云投影至二维平面,再用成熟的二维图像的卷积神经网络模型提取特征。但是,多视图方法会不可避免地丢失某些具有鉴别力的几何信息,并且投影视角的选择也需要丰富的先验知识。基于体素的方法将三维点云规则化至三维体素块,然后用三维卷积操作对体素块进行处理。该类方法一定程度上保留了点云的几何信息,然而将三维点云映射至三维体素的过程会消耗额外的内存与计算空间,并且无法细分物体边界的几何信息。以PointNet[10]为代表的基于点云的方法直接将原始点云输入深度学习网络进行处理,这样能够利用点云原始信息且不增加额外操作,可以充分获取点云所有信息,但由于点云具有不规则、无序等特点,当前此类方法存在局部特征提取不充分,点云识别与分割精度不足等问题。

针对上述问题,本文提出了基于位置关系卷积与深度残差网络(positional relation convolution and deep residual network,PRCDRNet)的三维点云识别与分割算法。位置关系卷积可以对局部邻域内点的语义特征与几何位置关系特征进行编码融合,增强局部特征的上下文信息。深度残差模块通过基本残差单元的堆叠能够对位置关系卷积得到的融合特征进行深层强化,充分提取深度语义信息,在获得更精细的点云特征的同时,解决了因网络层数加深而产生的网络退化问题。主要贡献与创新点有两点:一是构建位置关系卷积,充分提取并融合局部邻域内位置关系特征与几何结构特征,得到更丰富的局部邻域特征;二是引入深度残差模块,缓解因网络层数加深产生的网络退化问题,提升点云识别与分割准确率。

1 相关研究

目前,关于三维点云的分类与分割算法主要分为基于多视图、基于体素与基于原始点云三类方法。

1.1 基于多视图的方法

由于点云的不规则与无序性,早期的许多研究先将三维点云投影至二维平面,再使用现有的二维卷积神经网络模型分析处理。Su等[11]首先将三维点云按照不同视角投影至二维平面得到二维投影视图,然后将得到的二维投影视图分别送入用于二维图像分类的VGG[12]网络进行特征提取,最后将提取到的特征进行池化操作得到点云的全局特征描述符。冯元力等[13]通过对三维模型进行球面深度投影得到球面全景图,并将每个模型的球面全景图从多个角度展开, 创建多幅平面图像作为多分支的卷积神经网络的输入, 对多幅全景图进行整合分析后可获得三维点云的识别结果。Wei等[14]将二维投影视图看作节点构造有向图,然后将得到的节点特征最大池化后形成全局特征描述符,最后通过全连接层得到点云的识别结果。

基于多视图的方法可以利用现有成熟有效的二维卷积神经网络实现三维点云的识别与分割,但这种方法忽略了三维点云的空间内在几何关系,且在投影时三维点云的部分信息会因为被遮挡而损失,从而影响识别精度。

1.2 基于体素的方法

基于体素的方法通常将三维点云映射至三维体素块,然后使用标准的三维卷积处理。Maturana等[15]提出一种体素占用网络VoxNet,把不规则的点云数据规则化为三维体素网格的形式,然后用三维卷积神经网络处理三维体素网格获得特征描述符。Choy等[16]提出一种用于时空三维点云数据的4D稀疏卷积网络,并创建了稀疏张量自动微分的开源库。所提出的广义稀疏卷积能够有效处理高维数据,显著降低传统3D卷积核计算成本,且该卷积核对于立方体结构的物体识别能力更强。文献[17]在模型特征的提取过程中,使用堆叠小卷积核的深度卷积神经网络以便更加有效地挖掘模型内部的隐含信息并提取体素矩阵的深层特征,提高了复杂3D模型识别准确率。

基于体素的方法在一定程度上保留了点云的三维几何结构,然而体素化过程中体素块大小的选择会影响网络性能,体素块太大会丢失几何细节,太小会增加计算成本与内存消耗。设计基于体素的点云处理算法需要进行计算效率和体素比例的权衡。

1.3 基于原始点云的方法

Charles等[10]首次提出了直接使用原始点云作为输入的网络PointNet,充分考虑了直接处理点云所需的置换不变性与平移旋转不变性,利用多层感知机(multi-layer perceptron, MLP)学习每个独立点的高维表征,然后采用最大池化层对所有点的高维特征进行聚合得到全局特征描述符。PointNet是直接处理原始点云方法的先驱工作,但是其只关注到每个点对于全局特征的影响,没有考虑到局部特征。Qi等[18]在PointNet基础上提出PointNet++网络,通过划分局部点云分层提取多尺度特征,将提取到的局部特征与全局特征充分融合得到点云语义特征。周鹏等[19]提出一种基于资源平衡的神经网络架构搜索方法来实现三维点云模型的识别。Li等[20]利用点的规范顺序,通过X-Conv操作符对输入点和特征进行排列和加权,不同的输入顺序对应不同的X变换矩阵,并用常规卷积对重组后的点进行处理,解决了点云输入无序的问题。Dang等[21]提出分层并行组卷积,可以同时捕捉点云的区分性独立单点特征和局部几何特征,以较少的冗余信息增强特征的丰富性,提高了网络识别复杂类别的能力。PointWeb不仅考虑了局部邻域中邻近点与中心点的关系,还考虑到邻近点的结构,通过连接局部区域中的每个点对,以获得更具代表性的区域特征[22]。Wang等[23]提出边缘卷积EdgeConv来生成描述点与其相邻点之间关系的边特征,将每个中心点与其k个最近邻点连接起来构成局部邻域来聚合本地上下文信息;成对的特征由MLP独立编码构成图结构,并且在每层MLP编码后动态更新图结构,使得对不同规模与类型的点云得到更好的识别与分割结果。文献[24]提出了一种轻量级的代理点图卷积,能够简化边缘卷积操作且降低内存消耗,获得深层细粒度的几何特征,并对语义特征和局部几何特征进行编码,增强了特征局部的上下文信息。PointConv通过使用MLP逼近卷积滤波器中的连续权重和密度函数,将动态滤波器扩展到新的卷积运算[25]。PointASNL使用自注意力机制构建自适应采样(adaptive sampling,AS)模块与局部-非局部(local-non local,L-NL)模块提取特征,AS模块可以自适应地调整最远点采样后的点坐标与特征,L-NL模块用于捕获采样点的局部与全局依赖关系[26]。

基于原始点云的方法不需要将点云投影至二维平面或体素化,节省了计算消耗与内存空间,但现有的方法没有充分利用点云最重要的几何位置特征,缺乏对局部特征的精细提取。

2 位置关系卷积与深度残差网络

三维点云可以表示为空间中的一组无序点集。不同点云数据集包含的特征通道数并不统一。一般情况下,点云的输入特征通道数等于3,表示每个点由三维坐标表示,不同的点云数据可能包含其他额外的特征信息,如颜色、深度或表面法向量等。在各种特征中最具代表性与决定性的特征是点云的位置坐标特征,因此本文重点关注点云的位置信息特征。在位置关系深度残差神经网络中,通过位置关系卷积(positional relation convolution,PRConv)将局部邻域内当前点的语义特征、位置关系特征与几何特征充分融合,得到点云局部区域的高级特征;将融合后的特征送入深度残差模块(deep residual block,DRB)进行深层语义特征提取,将得到的深层语义特征按顺序分层送入位置关系卷积与深度残差模块即可得到包含丰富位置与几何特征的点云全局特征。

2.1 位置关系卷积

二维(2D)图像处理中的卷积操作是卷积神经网络中的核心步骤,如图1所示,大小固定的卷积核自左往右,从上而下的扫描整个图像,经过反向传播得到学习后的权重共享的核参数。二维卷积操作可以抽象表示为

图1 二维图像上的卷积操作

(1)

式中:Conv(·)表示卷积操作;v表示卷积核大小,例如1×1、3×3、5×5等;W(·)表示权重函数;Cv表示v范围像素上的通道特征。

由于点云(point cloud)的无序性与不规则性,每个点并不固定在如二维图像的规则网格中,因此不能直接使用二维卷积处理点云。当前主流处理方法如图2所示,首先使用最远点采样(farthest point sampling,FPS)算法对输入点云进行下采样,确定局部区域的中心点,然后用k最近邻(k-nearest neighbor,k-NN)分类算法确定中心点的k个邻域点,再对局部区域内处理。点云的卷积操作可以抽象表示为

图2 三维点云上的卷积操作

F(α+lα,β+lβ,γ+lγ)dlαdlβdlγ

(2)

式中:(α,β,γ)为点云通过FPS下采样后任意点的坐标;L表示以(α,β,γ)为中心点以k个点为邻域的局部区域;(lα,lβ,lγ)为局部邻域中的任意点坐标;F(α+lα,β+lβ,γ+lγ)表示局部区域L内的通道特征。

现有的基于原始点云三维模型识别与分割方法大多数都采用如式(2)所示的方式进行点云的特征提取,不同的方法区别在于对权重函数W(·)的设计不同。如图3(a)所示,图中每个圆表示点云中的一个点,其中红色表示点云下采样后的中心点,蓝色表示局部邻域内的点,点与点间的连线表示点与点的不同关系,PointNet++首次考虑了局部邻域内中心点与邻域点各自独立的特征,其卷积函数可表示为

(a)PointNet++

W=M(f(xj)),xj∈L

(3)

式中:M(·)表示权重共享的多层感知机;f(·)表示点的当前特征;xj为局部邻域内任意点。DGCNN通过学习高维特征空间中的点关系来捕捉相似的局部形状,如图3(b)所示,其卷积函数可表示为

W=M[f(xj),f(xj)-f(xi)],xj∈L

(4)

式中:xi为局部邻域中心点。PointWeb使用自适应特征调整模块自适应地学习局部邻域内每个点对之间的影响指标,如图3(c)所示,其卷积函数可表示为

W=M[f(xj),Frel(xj,xh)],xh,xj∈L

(5)

(6)

式中:xh为局部邻域内的任意点;Frel为自适应学习函数。

PointNet++考虑了局部邻域内中心点与邻域点各自独立的特征,但是缺乏对邻域内中心点与邻域点关系的探索,DGCNN考虑了邻域内中心点与邻域点之间的关系,但是邻域点与中心点的关系表示为点高维特征之间的运算,没有重点关注点云最重要的位置与几何特征,且随着网络层数加深,特征提取至高维时,网络的运算量变得很大,计算效率大大降低。PointWeb不仅考虑了邻域点与中心点的关系,还尝试将邻域内每个点的特征关联起来,但是这样会极大增加网络的参数,造成特征冗余,增加运算成本。为了挖掘点云邻域内的位置关系与几何拓扑结构,更充分地提取点云的高级语义特征,本文提出了位置关系卷积,其中邻域内点的关系如图3(d)所示,可以表示为

W=M[f(xj),xi,(xj-xi),Di,j],xj∈L

(7)

Di,j=‖xj-xi‖2

(8)

式中:Di,j为邻域中心点xi与邻域点xj的欧氏距离。式(7)中位置关系卷积函数将局部邻域特征f(xj)、局部邻域中心点位置特征xi、邻域内点与中心点的相对位置特征xj-xi和邻域内点与中心点的欧氏距离特征拼接后送入MLP进行特征融合,融合过程中既保留了当前点的高级特征,增强了当前邻域内中心点与邻域点位置关系特征,又引入欧氏距离强化了局部邻域内的几何拓扑特征。

综上,本文提出的位置关系卷积(positional relation convolution,PRConv)结构如图4所示。图中不同立方体表示位置关系卷积中产生的不同特征,矩形表示位置关系卷积中的运算操作,主要由两条分支组成。上路分支通过对原始点云的位置信息进行运算得到局部邻域内的强化位置特征与几何特征;下路分支通过FPS、k-NN操作得到当前局部邻域的高维语义特征。然后将两条分支获取的特征进行拼接后送入权重共享的MLP进行特征融合,最后对融合后的特征采用最大池化操作,输出表征整个局部邻域的高级语义特征。

图4 位置关系卷积结构示意图

2.2 深度残差模块

通过位置关系卷积,得到了整个局部邻域的高级语义特征,但是仅通过位置关系卷积中的MLP不能充分提取局部邻域中的深层特征。受ResNet[27]的启发,本文引入残差结构,构建了新的深度残差模块,在增加网络深度,充分提取局部邻域中深层特征的同时,降低梯度消失,缓解因网络层数加深产生的网络退化问题。

神经网络需要使用MLP来提取三维点云的特征,普通MLP结构对通道特征的处理可以简单表示为

Cout=f(Cin)

(9)

式中:Cin为输入特征;Cout为输出特征;f(·)为映射函数即MLP操作。MLP通过反向传播更新网络的参数,反向传播过程中需要对参数求导数

(10)

由于当前网络由多层MLP堆叠组成,当MLP层数过多时,反向传播时会产生梯度消失的问题,即f′(Cin)接近于0。这会导致反向传播过程难以进行,最终使MLP无法准确地提取通道特征。因此,ResNet提出一种残差结构,可以简单表示为

Cout=f(Cin)+Cin

(11)

此时对参数进行求导数可得到

(12)

当网络包含的MLP层数过多,在反向传播时会出现梯度消失问题,即f′(Cin)接近0时,MLP的梯度将大于等于1,在一定程度上解决了反向传播中梯度消失问题。据此,本文设计了一个基本残差单元(basic residual unit,BRU),如图5所示,其中立方体表示特征,矩形表示批归一化、激活函数等操作,其过程可以表示为

图5 基本残差单元结构示意图

Cout=σ(B(M2(σ(B(M1(Cin)))))+Cin)

(13)

式中:σ(·)为激活函数;B(·)为批归一化操作;M1(·)与M2(·)均为MLP操作,并且M1(·)与M2(·)输入与输出的通道数均等于Cin的通道数。

深度残差模块可由一个或多个基本残差单元串联组成。经过消融实验,本文构建的深度残差模块由两个基本残差单元组成,其结构如图6所示,其中立方体表示特征,矩形为基本残差单元(BRU)。

图6 深度残差模块结构示意图

2.3 基于位置关系卷积与深度残差网络的模型架构

本文构建的基于位置关系卷积与深度残差网络的模型架构采用编码器-解码器结构,如图7所示,其中矩形为位置关系卷积、插值等操作,不同颜色矩形块的堆叠表示网络各层输出的特征。在将原始点云输入编码器之前,先将原始点云的初始特征映射至高维空间,使编码器可以更充分地提取原始点云特征。为了充分挖掘点云的细粒度特征和多尺度上下文信息,编码器采用4层结构设计,每一层包含下采样、位置关系卷积模块和深度残差模块。在第一层中,首先将原始点云嵌入得到的高维点云特征Fe采用FPS算法下采样,并通过位置关系卷积模块对邻域内高维点云特征、位置关系特征与几何结构特征进行拼接融合,然后将融合后的特征输入深度残差模块充分提取局部邻域的深层语义特征,最后输出第一层结构提取到的浅层局部特征F1。通过相同的方法,可以得到更深层的局部特征F2与F3,直至最后在第四层输出提取到的最高级局部特征F4。通过最大池化操作得到包含丰富上下文信息的点云全局特征Fg,送入设计的全连接层(fully connected layer,FCL)得到点云分类的概率预测得分1×C,C为点云类别数目。

图7 基于位置关系卷积与深度残差网络的模型架构

解码器同样采用分层结构设计,每一层包含插值操作与MLP,插值操作用来实现分割所需的上采样过程,MLP融合深层语义特征与浅层语义特征并对齐插值特征中的通道数。首先对局部深层特征F3与F4用距离插值方法[18]进行合并插值,并将得到的结果输入MLP与局部深层特征F3的特征通道数对齐得到插值特征即解码器的首层输出FI4,通过相同的步骤可以分别得到插值特征FI3、FI2、FI1,插值特征FI1为编码器的最终输出。最后将全局特征与解码器的最终输出拼接后送入MLP得到点云分割的概率预测结果N×S,N为原始点云点的数目,S为每个点的语义类别数目。

3 实验结果与分析

为了探究本文构建的基于位置关系卷积与深度残差网络(PRCDRNet)的模型对点云识别与分割的有效性,分别在三维点云分类数据集ModelNet40[28]与三维点云部件语义分割数据集ShapeNet Part[29]上评估了网络模型的识别与分割性能。训练和测试的实验硬件为英特尔i9 10900k CPU和GeForce RTX3090 GPU(24 GB 显存)显卡,实验环境与主要参数如表1所示。

表1 实验环境与主要参数

3.1 三维点云识别实验

本文选择在ModelNet40数据集上进行三维点云识别实验。ModelNet40数据集是由普林斯顿大学用CAD软件构建的三维模型数据集,其包含来自40个类别的12 311个三维形状,如飞机、汽车、键盘等。其中9 843个模型用于训练,2 468个模型用于测试。采用总体精度作为识别的性能评估指标。

文中选取了基于多视图、体素与原始点云3种方法中性能突出的网络模型进行对比实验,其中以基于原始点云输入方法为主,并对较为经典且创新性较强的网络模型与本文PRCDRNet模型进行了性能对比分析。在ModelNet40数据集上的实验结果对比如表2所示。可以看出:本文算法在ModelNet40数据集上的总体精度达到了93.9%,由于本文采用的原始点云输入的方法不需要将点云转换为二维图像与体素块,减少了转换过程中信息的丢失,大幅领先基于体素方法的VoxNet[15]10.9%,相比基于多视图方法的MVCNN[11],总体精度超出3.8%;与基于原始点云输入方法对比,比1 000个点作为输入的PointNet++[18]的精度提升了3.2%,主要由于PRCDRNet模型中的位置关系卷积充分提取了局部邻域内的位置关系特征与局部几何特征;与网络层数较深、参数量较大的KPConv[32]模型相比,PRCDRNet模型中的深度残差模块在增加网络深度的同时降低梯度消失,缓解因网络层数加深产生的网络退化问题,使得总体精度提升了1%。此外,PRCDRNet模型仅采用1 024个点作为输入,总体精度超过了以更多点或更多信息作为输入的网络模型,如SpiderCNN[30]、PointWeb[22]等。所以,本文提出的基于位置关系卷积与深度残差网络的模型具有较强的点云识别能力。

表2 不同网络模型在ModelNet40数据集上的总体精度对比

PRCDRNet模型在ModelNet40数据集上的训练轮次与总体精度的关系如图8所示,可以看出训练在50轮内快速收敛,在269轮训练时达到最高识别精度。

图8 训练轮次与识别的总体精度

3.2 三维点云分割实验

本文选择在ShapeNet Part数据集上进行三维点云分割实验。ShapeNet Part数据集包含16个类别的15 881个CAD模型,每个类别包含2～6个不同部件,共有50个部件语义标签。在ShapeNet Part数据集上采用实例平均交并比MI与类别平均交并比MC作为网络分割性能的评价指标,公式如下

(14)

(15)

式中:z为类别数;p为每个类别中点的个数;TP为预测结果是正类,真实标签也为正类的点;FP为预测结果是正类,真实标签为负类的点;TN为预测结果是负类,真实标签为正类的点。

本文PRCDRNet模型和其他经典的网络模型在ShapeNet Part数据集上的实验结果对比如表3所示。可以看出,本文算法在ShapeNet Part数据集上的MC达到了最高的84.7%,MI达到了86.0%,高于大多数主流网络模型。与DGCNN[23]模型相比,本文算法的PRConv在EdgeConv的基础上融合了几何关系特征丰富了提取到的语义特征,并且将高维空间中的邻域空间搜索改为位置坐标邻域搜索,降低了高维特征信息冗余,使得MI与MC分别提升了0.8%与2.4%。虽然MI略逊于PointASNL[26]0.1%,但在手提包、车辆、耳机、匕首等11个类别实现了最近分割性能。实验结果充分证明,本文方法在点云语义分割任务中具有较强的竞争力。

表3 不同网络模型在ShapeNet Part数据集上的分割结果对比

PRCDRNet模型在ShapeNet Part数据集上的训练轮次与平均交并比的关系如图9所示,可以看出训练大概在120轮时收敛,在205轮时得到最佳分割结果。

图9 训练轮次与平均交并比

PRCDRNet模型在ShapeNet Part数据集上的分割结果可视化如图10所示,第一行为真实标签,第二行为PRCDRNet模型分割结果。可以看出,本文算法分割结果已接近于真实标签,可以准确地提取到点云特征。

图10 ShapeNet Part数据集分割结果可视化

3.3 消融实验

3.3.1k近邻点

本文提出的位置关系卷积在提取点云局部特征的过程中采用k-NN算法构建局部邻域,邻域点的数目k在一定程度上会影响网络提取到的局部特征。较小的邻域点数目构建局部邻域速度相对较快,网络计算量低,但是构建的邻域范围过小无法学习到全面的几何特征,导致精度较低,而邻域点数目过大会导致局部邻域范围重叠,会引入更多的噪声,影响网络对几何特征的学习。当前主流网络模型根据实验将k设置为16、24、32等数值。此外,不同的数据集点云的规模大小也不统一,不同近邻数目的选择对不同的数据集的影响存在差异。本文分别在ModelNet40数据集与ShapeNet Part数据集上进行了消融实验,测试了不同近邻数目k对识别总体精度与分割精度的影响。从表4可以看出,当k为16时,网络的总体精度与分割精度均较低,网络的总体精度在k为24时达到最高,当k为32时,近邻点过多反而导致了网络在ModelNet40数据集上总体精度下降。由于点云分割数据集ShapeNet Part的输入点是点云识别数据集ModelNet40的2倍,因此当近邻点较大时,网络能更充分地提取较大邻域内的几何特征,但如果近邻点数目过大也会导致不同邻域内的特征信息重叠冗余,影响分割结果。实验表明,网络的分割性能在k为32时表现最佳。

表4 近邻数目对点云识别与分割结果的影响对比

3.3.2 基本残差单元

本文提出了深度残差模块旨在加强提取局部邻域中深层特征,缓解因网络层数加深产生的网络退化问题。深度残差模块由如图4所示的一个或多个基本残差单元(BRU)串连堆叠组成。为了验证深度残差模块对点云识别与分割精度的影响,分别在Model-Net40数据集与ShapeNet Part数据集上进行消融实验,实验结果如表5所示。可以看出,当深度残差模块由2个基本残差单元串联组成时,点云的识别与分割效果最好,相较于没有深度残差模块的网络,总体精度提高0.5%,分割平均交并比提高0.2%。在一定配置下,深度残差模块能够加强局部邻域中深层特征的提取,提高点云的识别与分割精度。

表5 基本残差单元数目对点云识别与分割精度的影响对比

4 结 论

本文提出了一种基于位置关系深度残差神经网络的三维点云识别与分割算法。首先,对原始点云做嵌入操作,获得点云的高维特征表示。其次,通过FPS下采样并用k-NN算法确定局部邻域。然后,将局部邻域分别输入位置关系卷积对局部邻域当前点的特征与局部邻域内的几何特征做融合并强化局部邻域的中心特征,通过深度残差模块强化提取深层局部特征。分层重复以上步骤可以获得点云的深层上下文特征,实现了点云的识别与分割处理。本文算法在ModelNet40点云分类数据集和ShapeNet Part点云分割数据集分别达到了93.9%总体精度与86.0%的平均交并比,具有较好的点云识别与分割能力。

本文算法在点云规模较小的识别任务取得了较好的成绩,然而对于大规模点云分割任务的结果还不是很理想,仍然存在较大的改进空间。如何提高算法对大规模点云的分割能力并提升网络的泛化性能,是未来继续研究的方向。