基于深度学习的三维点云重建

摘 要：三维点云重建技术在众多领域中有着广泛的应用，作为二维点云重建技术的改进版，它能够输出更丰富的信息，但同时，三维点云技术还有很大的发展空间。而深度学习是人工智能技术的核心，基于深度学习的三维点云重建技术则更加智能，配合神经网络模型性和PointNet网络结构，能够准确高效地提取处理点云信息，精准输出目标特征，本文就将对其进行探究。

关键词：机器学习;点云重建;卷积神经网络

引言：

人工智能是目前我国计算机技术发展的重要分支，基于深度学习的人工智能让很多基于计算机技术的设想成为现实，如无人机、无人驾驶、人脸识别都已经是人们熟知的应用成果。深度学习作为人工智能的核心，与三维点云重建技术相结合也产生不同凡响的效果。

一、深度学习技术概述

（一）人工智能与机器学习

人工智能的概念在20世纪50年代被提出，经过数十年的研究才发展到今天的水平。尽管目前人工智能？已经取得了突破性成就，但不久前还存在的技术障壁问题任然被质疑。直到2012年之后，人工智能技术才在世界频繁地出现在人们的视野。人工智能技术开始爆发式进步的关键就是机器学习新算法的出现，机器学习是一门多领域交叉的学科，主要研究计算机模拟或实现人类的学习行为的原理。

（二）卷积神经网络的组成与训练

卷积神经网络是一类包含卷积计算且具有深度结构的前馈神经网络，是深度学习的算法之一。输入层作为处理多维数据的结构，可以接受一维、二维或三维数据，这取决于卷积神经网络的维度。隐含层又包含卷积层、池化层和全连接层这三类常见构筑，其中卷积层主要负责对数据进行特征提取，池化层在卷积层工作后过滤输出的特征图，全连接层的作用只有一个，就是向其他全连接层传递信号。输出层是全连接层的下游结构，主要输出分类标签或者分类结果。卷积神经网络的训练过程分为两个阶段：数据由低层次向高层次传播阶段和将误差向底层传播阶段，即向前传播和向后传播两个阶段。

（三）深度学习的逻辑原理

深度學习的优势在于让机器也能具有学习、思考的能力，简单来说，借助数据的形式录入图像与声音等信息，让机器能够根据之前的图像或声音进行判断，使得机器能够获得一定的思考能力。因此，深度学习项目必须要先有图片或声音的“基础”，不同的“基础”会促使机器开展不同方向的研究。

二、基于三维点云的深度学习算法

（一）3DCNN

3DCNN可以从卷积过程中提取单一类型的特征，这是由于在整个卷积股过程中卷积核的权值都一致，相当于共享权值，也就是属于同一种卷积核，因此需要采用多种卷积核才能提取多种特征， 例如人脸检测算法就是使用了这样的信息输入方法，具体来说，很多高精度制造都应用了这一技术，例如车辆重建、辅助医学诊断、测量大范围地貌、三维数字化城市、三维地图、VR&AR游戏等等。

（二）PointNet

PointNet的关键在于权重共享的卷及操作，这是一种将数据等信息载体转化为其他信息形式。由于点云的无序性特征增加了数据处理的难度，针对无序点云数据深度学习的发法研究进展缓慢。PointNet网络模型的出现解决了这一问题，它允许直接输入点云进行处理，在这之后，依照所有点的特征生成全面的点云特征，不需要增加额外的规整点云的操作。不过PointNet也有不足之处，其一是提取特征的过程缺少对局部特征的处理及提取，对点云空间的邻近点没有区分，其二是均匀采样的点云训练忽视了现实中点云的疏密变化。

（三）PointNet++

PointNet++是对PointNet进行了改进的版本，解决了PointNet存在的问题。PointNet++可以实现对点云的局部划分，从而准确处理和提取局部特征，点云密度不均时的处理学习实际上和局部处理的问题存在关联，在对点云进行局部特征提取后，按照局部点的密度去组合它们。

三、基于深度学习的三维点云重建

（一）点云尺度空间

点云的概念是指某个坐标系下的点集合，包含丰富的数据信息，在逆向工程中通过测量仪器得到的产品外观表面的点数据集合也可以被称为点云，根据点数量与点间距的差别可以将其分为稀疏点云和密集点云。尺度空间即观测、获取或者处理信息的不同尺度的一种数学集合，也可以理解为一种在多个尺度下观察目标然后加以综合的分析和理解的技术。尺度空间的主要思路是，在处理模型中首先引入一个可以被视为尺度的参数，其次不断变化尺度参数捕捉并提取不同尺度下对应的模型特征信息，最后综合这些相互补充的信息，完整地还原模型的本质特征。

（二）MSS-PointNet结构设计

点云数据是多种信息的载体表现形式，其中3D voxel grids或图片的集合是点云数据的常见表现形式，点云数据具有不规则性，这意味着点云数据必须先转化为其他形式的信息表达方式才能被处理。网络直接处理场景的点云数据较少，但是能够极大提高点云数据处理效率，PointNet网络结构设计并不复杂，却能够高效准确的处理数据。要直接使用原始点云数据输入，在进行空间网络设计需要考虑到点云只是一系列点的集合，所以需要额外进行一些操作。

（三）多尺度结构

多尺度方法实际上就是对信息的多尺度特征进行采样，在不同的尺度下捕捉到不同的特征，并提取这些特征。一般来说尺度越小粒度越小，采样的密度更高，能够得到更精密的特征信息，尺度越大粒度越大，采样点精确性就越低，对信息的捕捉就更粗糙。在未来市场中，人工智能的应用必然集中在轻工业或精细化研究中，代替传统人力完成复杂、精细或劳累的工作，人工智能具备的观察和感知的能力，可以使得其做到简单理解和推理，代替人力完成一些较为浅显的逻辑任务，而强人工技能具有的自适应能力（即机器学习），更是使得其能够独立分析解决遇到过的问题。目前，三维重建技术已在医疗、安保、娱乐、城市建设等多个领域得到了广泛的应用，具体来说，很多高精度制造都应用了这一技术，例如车辆重建、辅助医学诊断、测量大范围地貌、三维数字化城市、三维地图、VR&AR游戏等等。面对不断增长的3D技术需求，未来还会有更多领域引入三维点云重建技术，并反推其发展进步。

四、结束语

综上，三维点云重建技术是二维点云重建技术的进一步发展，深度学习是人工智能的重要算法，两种技术结合带来了更高效的工作效率。基于深度学习的三维点云重建算法研究已经取得了一定成就，但是还有很多问题待解决。技术和领域的交叉已经成为科技发展的趋势，未来三维点云重建技术会越来会成熟。

参考文献：

[1]孔德慧，刘彩霞，王少帆，李敬华，王立春. 一种基于深度学习的三维重建方法[P]. 北京市：CN109993825A，2019-07-09.

[2]白静， 司庆龙， 秦飞巍. 轻量级实时点云分类网络LightPointNet[J]. 计算机辅助设计与图形学学报， 2019， 31（04）：102-111.

[3]邵昀岑. 基于深度学习的三维目标检测算法综述[J]. 信息与电脑（理论版）， 2019（23）.

[4]肖仕华， 桑楠， 王旭鹏. 基于深度学习的三维点云头部姿态估计[J]. 计算机应用， 2020， 40（4）：996-1001.

[5]冯智键， 周燕， 曾凡智，等. 基于深度学习的三维模型重建检索算法研究[J]. 福建电脑， 2017， 033（011）：9-10，53.

作者简介：

杨学伟（1983—），男，汉族，籍贯：河北迁安，学历：本科，职称：工程师 ，单位：上海商汤智能科技有限公司，研究方向：三维重建及应用。