基于PRPNet的三维表面重建方法

雷懂 宋俊锋 叶振

摘 要：

隐式神经网络用于三维表面重建时，存在重建物体的结构不准确、表面缺乏局部细节等问题，针对此问题，文章提出了一种基于PRPNet（点云残差编码网络）的三维表面重建方法。首先采用更深的网络结构且加入残差模块挖掘点云潜在的结构信息，加入PointMateBase模块，以增强局部细节表示能力；其次使用特征权重网络获取查询点的占用概率；最后通过区域增长的Marching Cubes算法提取三维表面。实验结果表明，PRPNet模型在ShapetNet和Synthetic Rooms数据集上的精度较DpConvONet模型相应数据集上的精度分别提升了2.5百分点和2.6百分点，能够有效提升三维表面重建性能。

关键词：三维表面重建；隐式神经网络；点云；残差模块；PointMateBase模块；特征权重网络；Marching Cubes算法

中图分类号：TP391.41  文献标志码：A

0 引言（Introduction）

三维重建是指从物体的二维图像序列或三维点云，通过视觉算法恢复真实世界的三维场景结构，在医学成像［1］、自动驾驶［2］和虚拟现实［3］等领域都有着广泛的应用。近年来，基于隐式神经网络的三维表面重建方法因具有计算简单、内存消耗少等优点而受到了广泛关注。韩煌达等［4］提出了一种纹理推断模型，该方法能够重建接近真实纹理的三维表面，但是采样方式复杂。CHABRA等［5］将点云划分为多个局部体积块后进行编码，可以提高重建精度，但是该方法无法提供全局特征约束。ERLER等［6］分别采样局部点和全局点进行特征提取以提高重建质量，但是该方法重建三维表面的速度较慢。GROPP等［7］提出了一种隐式几何正则化方法，让重建的三维表面更加平滑，但是丢失了局部细节。

综上，本文提出一种基于PRPNet的三维表面重建方法。首先采用更深的网络结构且加入残差模块挖掘点云潜在的结构信息，同时加入PointMateBase模块，以增强局部细节表示能力；其次利用特征权重网络获取查询点的占用概率；最后通过区域增长的Marching Cubes算法［8］提取三维表面。实验结果表明，该方法在ShapeNet和Synthetic Rooms数据集上能够提升三维表面重建模型性能。

1 方法设计（Method design）

本文基于隐式占用域实现三维表面重建，其隐式函数表达式如下：

其中：[WTHX]p[WTBX]i表示输入点云；[WTHX]θ[WTBX]表示隐式函数的矩阵参数；oi表示点云在三维空间中的占用概率；F表示多层感知机。

本文提出的基于PRPNet三维表面重建方法的整体网络结构如图1所示。首先将预处理点云数据输入由PRP Abstraction模块和Feature Propagation模块构成的特征提取网络中获取点云特征；其次将邻域特征与归一化相对坐标经过多层感知机融合获得相对特征后，利用特征权重网络获取查询点的占用概率；最后通过区域生长的Marching Cubes算法提取连续的三维表面。

1.1 点云特征提取网络

点云是表示三维对象的点集，每个点包含坐标、法向量等信息，具有稀疏性、非结构化、无序性等特性。可采用PointNet+[KG-*5]+等深度学习模型提取点云的空间结构特征。由于PointNet+[KG-*5]+是一个较小的网络，其编码器仅包含2个分类架构阶段和4个分割架构阶段，每个阶段仅包含一个Set Abstraction模块，因此提取的点云特征过于简单，导致三维表面重建精度较低。为此，本文基于分层抽取特征思想，采用更深层次的网络结构挖掘更多潜在的点云结构特征，同时在每个阶段的PointBase模块之后添加残差模块防止梯度消失。

为更好地对点云进行分析，LIN等［9］提出了PointMate元架构，如图2（a）所示，该结构主要包含邻域更新模块、位置编码模块、邻域聚合模块及点更新模块，其实现流程如下：

其中：n表示邻域更新函数；e表示位置编码函数；a表示邻域聚合函数；p[KG-1mm]表示点更新函数；[SX（B-*2]。[][SX）]表示函数的复合；N（i）表示采样点i的邻域点云；[WTHX]f[WTBX]i[KG-1mm]表示采样点特征向量；[WTHX]p[WTBX]i表示采样点坐标向量；[WTHX]f[WTBX]N（i）表示采样点邻域特征向量；[WTHX]p[WTBX]N（i）表示采样点邻域坐标向量。本文通过对PointMate元架构进行分析，将其实例化为PointMateBase模块，如图2（b）所示。其中，将邻域更新模块位于K最近邻分组前可带来效率增益；位置编码模块采用Point Transformer［10］中的显式位置编码实现，该编码方式可以解决邻域特征向量与相对位置向量维度不匹配的问题；邻域聚合模块采用最大池化实现，使模型轻量化；点更新模块采用多层感知机实现。本文将PointMateBase模块用于残差模块，以增强局部细节表示能力，并进一步提升点云特征提取网络的性能。

本文设计的PRPNet点云特征提取网络结构如图3所示，该网络由PRP Abstraction模块和Feature Propagation模块构成，其中PRP Abstraction模块由PointBase模块、Residual模块和PointMateBase模块构成，Feature Propagation模块由插值、特征拼接和多层感知机构成。

1.2 特征解码网络

针对点云特征提取网络获得的点云特征向量，需要通过特征解码网络得到查询点在空间中的占用概率。由于点云具有非结构化特性，查询点[WTHX]q[WTBZ]的特征与其邻域有紧密关联，因此本文聚焦于其邻域特征与相对位置特征，通过特征权重网络进行推断，特征解码网络结构如图4所示。

1.3 三维表面提取

在得到查询点在三维空间中的占用概率后，由于不能直接观察到隐式三维结构的表面，因此通常采用Marching Cubes算法提取连续的三维表面进行可视化。该方法首先根据设置的体素分辨率将三维空间划分为等大小体素单元。其次计算体素单元每个顶点的占用概率，并将概率大于阈值的顶点标记为占用状态，反之标记为空闲状态。假设占用概率是连续变化的，当一条边的两个顶点表示的状态不同时，则认为这条边与重建表面存在一个交点。最后采用插值算法得到该点的坐标信息，将所有交点相连生成重建的三维表面。

本文采用基于区域生长的Marching Cubes算法进一步提高重建精度。为清晰地观察重建表面的细节，同时不增加计算成本，本文将体素分辨率设置为128×128×128，然后从输入点云中点的体素开始，迭代添加符合占用条件的相邻体素，直到形成完整的区域。

2 [JP5]实验结果与分析（Experimental results and analysis）

2.1 数据集及预处理

ShapeNet数据集是由人工进行标注的大型三维模型库，本文从该数据集选取飞机、板凳、柜子、汽车、椅子、显示器、台灯、扬声器、步枪、沙发、桌子、电话和轮船共13类物体进行实验，共包含42 500个模型。Synthetic Rooms数据集包含5 000个合成的三维场景，涵盖客厅、办公室等场景。

在数据预处理阶段，本文采用与ConvONet等相同的策略对ShapeNet数据集和Synthetic Rooms数据集进行预处理。对于ShapeNet数据集，从每个类别的物体表面随机采样3 000个点作为输入，并对输入的点云数据进行均值为0、标准差为0.005的高斯加噪处理。同时，随机选取2 048个带有占用率标签的查询点，用于训练网络预测其在空间的占用率；对于Synthetic Rooms数据集，将随机采样点数增加到10 000个，将数据集划分为80%的训练集、10%的测试集和10%的验证集。

2.2 评价指标

为了定量评价本文算法的有效性，对于ShapeNet数据集和Synthetic Rooms数据集，本文均采用交并比（IoU）、倒角距离（Chamfer Distance，CD）、法线一致性（Normal Consistency，NC）、F分数（FS）4个指标评估模型的重建性能。

交并比（IoU）：评估重建表面与真实表面之间的重叠程度，计算公式如下：

2.3 实验参数

实验环境如下：服务器操作系统为Ubuntu 20.04，Python版本为3.7.10，使用的深度学习框架为PyTorch 1.8.1，显卡为Nvidia GeForce GTX 4070Ti。实验损失函数为二元交叉熵损失函数，BatchSize大小设置为16，学习率设置为0.001，Adam算法为模型参数优化器，在全连接层后采用Dropout（设置为0.5），训练周期为100次，当验证集损失值不再下降时，停止训练，防止发生过拟合。

2.4 特征提取网络对比实验

为证明本文提出的点云特征提取网络PRPNet对三维表面重建的有效性，本文将ConvONet模型中的点云特征提取网络PointNet分别替换为PointNet+[KG-*5]+、ASSANet、PointNeXt和PRPNet，并在ShapeNet数据集上进行消融实验。不同特征提取网络下的三维表面重建性能如表1所示。表1中的结果表明，PRPNet应用在ConvONet模型中均优于其他点云特征提取网络，其中与PointNet相比，PRPNet在交并比、倒角距离、法线一致性以及F分数上分别提升了2.5百分点、0.6百分点、0.6百分点和2.1百分点，表明本文提出的PRPNet能够有效改善表面重建效果。

2.5 模型实验结果

为验证本文模型应用在隐式三维表面重建中的优势，在相同的实验条件和数据集下，将本文模型与主流的隐式三维表面重建模型PointConv、ONet、ConvONet和DpConvONet进行对比。首先采用交并比、倒角距离、法线一致性和F分数4个评价指标进行定量分析；其次根据重建物体的视觉效果定性分析模型的性能优劣。

2.5.1 ShapeNet数据集三维表面重建实验

定量分析：ShapeNet数据集三维表面重建结果如表2所示。其中，本文模型在交并比、倒角距离、法线一致性和F分数指标上均明显优于对比模型，表明本文方法重建的三维物体表面与真实表面之间的差距更小，重建质量更好。

定性分析：ShapeNet数据集重建出的三维表面如图5所示，由视觉效果可以看出，PRPNet模型生成的重建结果更加接近真实表面，而DpConvONet无法重建出结构完整的三维表面，这也进一步表明本文提出的基于PRPNet的三维表面重建方法在三维物体表面的重建任务中，重建精度更高，模型整体性能更好。

2.5.2 Synthetic Rooms数据集三维表面重建实验

定量分析：Synthetic Rooms数据集三维表面重建结果如表3所示。结果表明，本文模型的交并比、法线一致性和F分数在所有模型中均是最高的且倒角距离最低，表明本文模型应用在三维场景表面的重建任务中，性能更好。

定性分析：Synthetic Rooms数据集重建出的三维表面如图6所示。由可视化结果可以看出，相比于ConvONet和DpConvONet模型，PRPNet模型取得了最好的重建效果，重建出更为细致的表面。这是由于本文设计的PRPNet模型在点云特征提取时能够更多地提取到语义信息，更充分地理解周围环境，从而在三维场景表面重建中获得不错的视觉效果。

3 结论（Conclusion）

针对隐式神经网络用于三维表面重建时，存在重建物体的结构不准确、表面缺乏局部细节等问题，提出了一种基于PRPNet的三维表面重建方法。该方法首先采用更深的网络结构且加入了残差模块挖掘点云潜在的结构信息，同时加入PointMateBase模块，以增强细节表示能力。其次利用特征权重网络通过邻域特征进行推断查询点的占用概率。最后通过区域增长的Marching Cubes算法进一步提升重建精度。实验结果表明，PRPNet模型在ShapeNet和Synthetic Rooms数据集上的重建精度较主流模型分别提升了2.5百分点和2.6百分点，能够有效地提升三维表面重建模型性能。由于缺失点云会严重影响重建表面的质量，后续将致力于研究使用更少的点云数据重建更高质量的表面，进一步提升三维表面重建模型的性能。

参考文献（References）

［1］ 李玮琳，曾琪峰，李颖. 多模态医学图像外边界点云数据实时配准仿真［J］. 计算机仿真，2019，36（3）：248＼|251，417.

［2］ 苟悦宬，邓志坚，黄成梁，等. 基于无人驾驶的点云数据处理与校园高精度地图应用［J］. 数字技术与应用，2021，39（12）：29＼|32.

［3］ 王瑜，曹大有. 虚拟现实场景图像点云大数据展示仿真［J］. 计算机仿真，2023，40（3）：228＼|231，353.

［4］ 韩煌达，张海翔，马汉杰，等. 基于隐函数的三维纹理网格重建［J］. 计算机时代，2021（12）：1＼|5，9.

［5］ CHABRA R，LENSSEN J E，ILG E，et al. Deep local shapes：learning local sdf priors for detailed 3D reconstruction［C］∥MORTENSEN E. Proceeding of the European Conference on Computer Vision. Berlin：Springer，2020：608＼|625.

［6］ ERLER P， GUERRERO P， OHRHALLINGER S， et al. Points2Surf：Learning implicit surfaces from point cloud patches［DB/OL］. （2020＼|07＼|20） ［2023＼|10＼|31］. https：∥arxiv.org/abs/2007.10453.

［7］ GROPP A，YARIV L，HAIM N，et al. Implicit geometric regularization for learning shapes［C］∥KORNBLITH S. Proceeding of the International Conference on Machine Learning. Diego：ACM，2020：2640＼|2654.