基于图卷积网络的彩色点云超分辨率

周昳晨，张新峰

（中国科学院大学计算机科学与技术学院，北京 100049）

1 引言

随着3D传感器的广泛使用，点云作为表示形式灵活的三维数据表征形式，得到越来越多的关注。尽管3D采集技术在不断提高，但采集结果还是会受各种因素的影响，例如反射、仪器本身的精度等。所以直接采集的有噪声、稀疏点云不能满足点云的各种下游任务的要求，例如点云分割、点云匹配。因此，点云超分辨率是不可或缺的中间环节，通过点云超分辨率可以得到密集且具有准确细节的点云，从而可以有效地提高下游任务的精度。

随着卷积神经网络（CNN）在二维图像中的成功，研究人员开始利用类似架构来处理点云。为了扩展卷积神经网络［1］在图像领域的成功，VoxNet及其变种［3-4,6］开始将点云转移到利用网格［4］并应用三维卷积。早期的基于体素的网络将点云划分为规则和固定的体素网格来进行三维卷积，由于计算量巨大，限制了体素的分辨率［4,6,13］。为了减少计算负担，一些方法将网格自适应地划分为单元，这样就能以较高的分辨率重复发送点云［16］。此外，一些学者还关注了卷积核函数。Hua等人［18］提出了固定网格的离散空间上的卷积核，在同一网格中的点被赋予相同的权重。尽管如此，这些方法依旧没有根本上解决内存效率低的问题，转换后的规则结构失去了相邻点之间的大部分空间信息。

多层感知器（MLP）是一种点云处理方法，它直接操作点云数据，而不是通过中间的规则表示。最早的工作，PointNet［27］使用共享多层感知器来独立学习每个点的空间特征代表，并使用对称函数来聚合整个点集的全局特征，这解决了输入的无序问题。然而，局部几何信息在点云计算中是至关重要的，这一点被PointNet省略了。PointNet++［28］是PointNet的一个变种，它通过对点云进行分组并以分层的方式收集特征，明确考虑了局部几何结构。随后，新的分组策略被提出［29］，以增强模型的点云表征，许多方法［17,30］将其作为一个基本模块，以获得更好的性能。尽管目前基于PointNet的改进方法利用了点云的上下文信息，如PointNet++，但它们通过采样失去了很多详细信息，这限制了局部信息的提取。

图卷积神经网络［15］是一种处理不规则数据的有效方法，也已被广泛用于处理不规则点云。图卷积网络利用图卷积作为基本处理单元，直接处理点云的局部信息。这些方法［12,14］通常从每个点的邻居中生成局部图，应用池化操作，将每个点的邻居的局部特征汇总到图中。DGCNN［12］提出的EdgeConv操作将中心点和邻接点串联形成图，在每一层之后都可以动态更新。此外，LDGCNN［10］用不同的连接层取代了转换网络，以减少模型的复杂性并提高性能。继DGCNN之后，DCG［9］对局部点的连接进行编码以获得特征向量，并以从粗到细的策略逐步产生高质的点云。虽然目前的图卷积对点云处理有很好的适应性，并取得了较好的效果，但如何用图来表示点云仍是一个亟需解决的问题。

综合以上点云处理方法，基于图卷积处理方法最具优势，不仅可以对点进行直接处理减少格式转换的信息损失，而且可以通过局部图获取丰富的局部信息。本文提出一个新的图卷积网络，可以同时生成点云的几何坐标和颜色。其中，本文提出了一个新的图卷积操作，使用一种恰当且有效的方式构成局部图，使得相关性更强的点构成点云的局部图，从而高效地提取点云的局部特征。除此之外，本文提出了双通道并行的生成模型和全属性的判别模型，生成器中点云的几何信息和颜色信息并行处理，在图卷积操作中信息共享，点云颜色属性帮助几何信息的生成，点云几何信息辅助颜色属性的重建，从而生成高分辨率彩色点云；判别器通过对几何和颜色的共同判别决定是否为真实点云。本文还提出了基于结构的局部-全局几何约束来全面约束点云几何坐标重建效果，基于几何匹配的颜色可以通过使用准确的颜色匹配关系帮助颜色信息更好的重建。

2 基于图卷积网络的彩色点云超分辨率模型

给定一个有M个点的稀疏点云P和特定的上采样因子R，点云超分辨率任务的目标是产生一个密集且均匀分布的点云Q，其位于物体的同一表面，并具有更多的高频细节信息。所提出的图卷积网络旨在从稀疏的、有噪声的点云中恢复密集的高质量点云，包括几何坐标和相应的颜色属性值。如图1所示，本文的方法将包含几何属性和颜色属性的N*6的稀疏点云作为网络的输入，并采用生成式对抗网络来完成点云的几何坐标和多种属性的生成。在生成器中，本文提出一个并行框架，同时分别处理和生成点云的几何和颜色属性，这样就可以有效地针对不同的属性，同时保证几何和属性的对应关系。在每个属性通道中，使用一种新颖的特征表示，即强相关图卷积，来完成局部特征的整合。此外，为了有效利用点云几何和颜色信息的互补性，联合利用点云几何和颜色的高维结构特征，在强相关图卷积中共同确定图的构造，将更相关的点聚集成图提取相关特征，并能对图中出现的异常点进行规避。在判别器中，本文将点云的几何坐标和颜色属性作为一个整体来考虑，并将其作为判别器的输入，这样就可以同时考虑不同属性域的信息，有利于判别器的整体判别。

图1 图卷积网络模型

2.1 强相关特征提取

（1）初步特征

提取强相关特征需要对点云的特征进行分析，从而在高维特征空间中寻找强相关的点集。点云初步特征的获取则是点云特征分析的基础，在网络中具有重要的衔接作用。该模块的输出是原始点云中每个点的特征标识，并作为图卷积的原始输入，其决定了卷积初始局部图的组成。为了获得更合适的初始点云特征，采用了传统的图卷积操作和非线性操作叠加的方式，以原始输入点云为输入，形成一个特征单元。最终，特征单元获得了关于点云的每个点的c维特征。

（2）强相关图卷积层

传统的GCN［8］，根据三维几何空间的距离来衡量中心点和其他点之间的相关性，这限制了网络的学习能力。本文提出了一种新型的GCN，称为强相关GCN，以增强传统的GCN。本文所提出的强相关GCN依赖于高维空间的特征相似性来获得点云的强相关的结构表示，这打破了几何空间的邻域限制。所提出的强相关图卷积定义如下：

图连接的构建是关键，因为特征是从输入信息中提取的，这些信息在顶点之间通过边缘进行传递。一般来说，图卷积使用先验知识来构建图，但对于无序的点云来说，先验信息无法获得。为此，利用动态生成图的方法来解决传统图卷积的缺点。本文的方法使用相关性强的点构成图，在特征空间寻找相似点，而不是在几何空间的某个局部区域，扩大了中心点的范围，如图2右侧所示。与邻居项相比，相似项寻找点集以避免点集中出现异常点。例如，异常点可能与中心点极为接近，但它们可能属于不同的平面，具有不同的结构属性。

图2 图的构成方式

（3）多属性结合

在新提出的强相关图卷积中，利用点云的高维特征来表征点云的结构，并利用强相关的点集形成卷积图，进而完成卷积过程，获得更高层次的特征表示。然而，这种方法只使用几何或颜色信息，这存在局限性的，容易出现异常点。点云不仅有几何坐标，而且还有法线、颜色、纹理特征等。例如，几何位置相似的点云可能不在同一平面上，但几何坐标是无法区分的，而点云的几何结构可以通过不同点的颜色差异进行修改和补充，分布在不同区域的颜色相似的点也可以利用几何信息相互区分。因此，将互补性较强的几何域和颜色域作为网络的先验来源。本文还使用了点云颜色的高维特征来表示点云颜色的结构。结合点云的几何和颜色结构，找到结构最相似的点集合，形成局部图，这提高了局部图的相关性。为了处理几何域和颜色域的信息，本文提出了一个并行处理框架，使用对称的点云处理操作，以确保在共同决定局部图组成时使用相同层级的特征，如图3所示。

图3 几何、颜色并行的图卷积

2.2 上采样

本文采用渐进式上采样方法，这样可以降低学习难度，提高点云的重建能力。在特征表示过程中，点云的几何坐标和颜色信息相互作用，在几何坐标和颜色的上采样过程中独立进行。点云颜色属性的上采样与点云几何坐标上采样的方式类似，本文以点云几何坐标上采样为例进行介绍。点云几何坐标上采样过程是对点云几何特征进行有效整合和重构的过程。为了有效地整合特征，将图卷积块中每个卷积层的输出汇总，并按照与上采样操作的远近来组合权重，最近的卷积层输出权重较高，反之亦然。这就突出了有效的特征，防止了信息丢失。重建点云是一个预测过程，它通常有一个大的解决方案空间，并可能导致预测的难以达成。因此，为了使预测过程更好地收敛，在每个点云预测过程中，在上采样之前加入点云坐标信息，这样可以减少信息的不确定性，也可以指导点云预测。

2.3 多属性判别器

为了产生更接近原始分布的点云，除了生成器的损失约束，本文进一步采用判别网络，以类似分类的方式确定生成点云的真假，其中真假表示为接近原始点云分布和远离原始点云分布。为了提高判别器的分析判别能力，对判别器的特征表示采用了所提出的强相关图卷积，它可以整合点云更有效的局部特征，其中特征压缩模块由强相关图卷积组成。此外，判别器使用多属性联合判别法来提高判别的准确性。除了使用强相关图卷积外，本文还采用了一种不同于一般判别器的判别方法。一般判别器对完整的输入进行判别以得出真/假标志值，本文考虑到点云数据的特点，使用的是基于patch的判别器，对生成的点云进行多次降采样，并确定每个降采样点云的真/假值，以共同确定完整点云的判别结果。

2.4 损失约束

为了重建出更高质量的点云几何信息，本文提出了基于结构的局部-全局几何约束，全面地约束点云的几何重建。同时，为了更好地约束颜色信息的重建，提出了基于几何匹配的颜色约束，使用几何信息将点云颜色信息进行匹配，从而帮助点云颜色的重建。基于结构的局部-全局几何损失、基于几何匹配的颜色损失与基于网络结构的判别损失共同组成整体网络的复合损失，定义如下：

其中λgan、λshape、λcolor为对应项的权重。在网络训练过程中通过最小化复合损失值使得网络可以生成质量更好、可信度更高的高分辨率点云。

（1）基于网络结构的判别约束

在图卷积网络中引入了对抗损失，它从数据中学习，依靠生成器和判别器之间的博弈，自动更新网络参数。损失定义如下：

生成器G的目标是通过最小化Lgan(G)来生成欺骗D的̂，而D的目标是通过最小化Lgan(D)来区分和y。

（2）基于结构的局部-全局几何约束由于判别约束不能保证生成器生成的点都位于物体表面并达到想要实现的精度，更多的相似性指标可以弥补这一缺陷，主要包括CD距离和EMD距离。本文提出了一种基于结构的局部-全局几何约束，它结合CD距离、EMD距离和密度损失，包含了细节信息约束和全局信息约束。在基于结构的局部-全局几何约束中，使用CD损失约束点对之间的距离，用局部球的密度评估和球内间的点距来约束局部密度分布［33］，使点更接近真实值和分布更均匀。同时，EMD被用来约束点云的整体分布信息，鼓励预测的点接近物体的底层表面。公式如下：

其中λCD，λEMD和λuni是相应项的超参数。这些超参数值是根据特定实验设置的。

（3）基于几何匹配的颜色约束

将颜色信息作为输入的一部分，同时对点云颜色进行超分辨率，考虑到几何信息和颜色信息之间的相关性，本文提出使用几何信息来帮助生成颜色属性，不使用RGB颜色空间中的距离来匹配颜色点对，而是使用颜色所属点的几何距离来预测颜色值与真实颜色值的映射。为了更好地约束颜色的生成，使用对称的方法来计算相应点对的L2误差。颜色损失函数定义如下:

其中c1是预测的RGB值，c2是真实RGB值。m(·)表示基于几何距离的双向映射关系，即m(c1)是S2中匹配c1的颜色值，m(c2)是S1中匹配c2的颜色值。

3 实验

3.1 实验环境与数据集

本文在两个数据集上进行了实验，分别是JPEG Pleno数据库和人物数据集。由于没有公开的彩色点云超分辨率任务的基准，本文使用了JPEG Pleno数据库［13］中四个带有颜色属性的人物原始点云和本文收集的125个人物点云，其中本文收集的点云被命名为人物数据集。这两个数据集都有很高的分辨率，每个原始点云大约有几十万个点。在实验中，将分别在密集点云和稀疏点云上进行超分辨率，所以根据要求制作了不同的训练集和测试集。在原始的JPEG Pleno数据集中，把其制作为密集点云的训练集和测试集。为了保留点云的完整细节信息，根据点的几何结构对点云进行切片，每片点云有4096个点。而在人物数据集上，将其制作为稀疏的点云，对原始点云进行向下采样，以获得稀疏但完整的人体，每个采样的人体拥有8192个点。在测试中，使用在JPEG Pleno数据集中3个与训练时姿势不同的人体点云以及其他26个与人物数据集所划分的训练集不同的人体点云。在测试中，真实点云的数量为20000，通过使用最远采样方法采样得到的输入点为5000。所有的输入点云数据都以原点为中心，其坐标和颜色分别归一化为［-1,1］,［0,1］。

本文在Tensorflow上实现了所提出的点云超分辨率网络，并在GeForce-GTX 2080 GPU上运行。所有的可学习模块都采用ADAM优化器进行训练，学习率为0.001，batch size大小为10。该模型首先用LG训练80轮。然后，再添加Lgan(D)来微调模型40轮。此外，还采用了批量化（BN）来加速训练阶段，并在生成器上采用RELU激活单元，但在判别器上采用LeakyReLU。具体实验设置参数如表1、2所示。

表1 环境配置

3.2 实验指标

为了评估预测值和真实值之间的差异，使用了多种距离度量，如Chamfer距离（CD）、Earth Mover距离（EMD）和Hausdorff距离（HD）。距离指标容易受到异常值的影响，所以本文采用F-score和JSD作为互补的评价指标。F-score被广泛用于分类任务中，该指标的值越大，对应的性能越好。JSD（Jensen Shannon Divergence between marginal distributions）可以评估点云A倾向于与点云B占据相同位置的程度。为了更好地评价这些方法，还采用了PRE➝GT误差和GT➝PRE误差，这两部分分别计算预测点到离预测点最近的真实点的平均距离和真实点到离真实点最近的预测点的平均距离。此外，还使用PSNR和MSE对彩色超分辨率结果进行误差评估。通过使用这些评价指标，可以更全面地评价本文提出的超分辨率方法的性能。

3.3 对比实验分析

将所提出的方法与下列最先进的方法进行比较。（1）PCL［7］，一种基于PCL库中线性插值的上采样方法，无需训练；（2）Fc，一种类似于PointNet的简单全连 接网络；（3）PCN-CD［32］，利用堆叠 的PointNet进行特征学习，将CD作为损失函数的网络；（4）PCN-EMD［32］，使用与PCN-CD相同的结构，但使用EMD损失；（5）FoldingNet［31］，基于折叠的解码器网络；（6）PU-Net［5］，在特征空间学习多分支卷积的超分辨率网络；（7）AR-GCN［2］，基于基础图卷积的网络，是本工作的基线网络。

在基于密集点云的超分辨率的实验中，本文的方法在两个数据集上几乎所有评价指标都优于其他方法，如表3所示。此外，本方法在CD距离更具优势，将CD从排名第二方法的0.0175降低到0.0057。尽管PU-Net利用EMD作为损失函数的一部分，但本方法在EMD方面也优于它。此外，本文的方法实现了最低的JSD值，仅为PCL和AR-GCN的22.4%和17.5%。从可视化结果来看，也同样达到了较好的视觉质量，如图4所示，左至右分别表示真实点云、PCL、PU Net、AR-GCN和本方法。对于稀疏点云的超分辨率，由于可用点云信息减少但仍需要学习点云的完整结构信息，任务的难度增加，但本方法仍然表现良好，在大多数评价指标上超过了其他比较实验，特别是在CD为0.0058且F-Score达到了99.80%，如表4所示。

表3 在JPEGPleno数据集的测试集上对不同方法的定量比较

表4 在人物数据集的测试集上对不同方法的定量比较

图4 点云超分辨率结果

分析可得，整个完整点云的误差来自两部分：形状轮廓的预测误差和局部细节的误差。本文方法在代表整体误差的EMD上优于其他方法。此外，就稀疏点云超分辨率和密集点云超分辨率而言，本方法在Pred➝GT误差和GT➝Pred误差方面都有相当大的优势。表1和表2的结果表明，本方法可以生成更多的高精度点云，并且在整体点云和点云细节方面的失真都比较少。总体来说，本文的方法生成的高分辨率点云具有更少的噪声并实现了较高的视觉体验。

表2 参数配置

由于使用与几何超分辨率方法相同的方法对颜色进行超分辨率不能产生有效的颜色属性，所以本文对颜色提出了有效的约束，使其能生成质量较高的颜色属性，本文设计了基于损失函数的颜色超分辨率的对比实验来说明方法的有效性。

表6中的方法包括使用插值的超分辨率方法，没有几何信息输入并只使用颜色属性的超分辨率方法，以及几何辅助的颜色超分辨率方法，最后一个方法是本文提出的方法。图5为颜色超分辨率可视化结果，从左到右的图片分别表示真实点云、插值方法、原始颜色损失方法和本文方法。从可视化的结果来看，插值方法基本上能够重建点云的颜色，但细节却很模糊，这一点从CD、Pred➝GT和GT➝Pred指标中也可以看出。通过改变点对匹配的损失函数，在计算颜色重建错误时，将损失函数从颜色值相似性匹配改为几何位置相似性匹配，本文方法获得了大约0.3的CD增益，这表明了本文方法的几何辅助颜色超分辨率方法的有效性。

表6 不同颜色超分辨率方法的对比实验

图5 彩色点云超分辨率结果

3.4 消融实验分析

为了证明每个改进部分的有效性，本文进行了消融实验，相应的结果见表5。与AR-GCN相比，本文的方法有三个主要改进，即基于特征的图卷积、颜色属性处理模块和基于结构的局部-全局几何损失函数。如表5所示，明显可以看出，没有任何改进的基线方法效果并不理想。在geo-feature实验中，本文对基线方法应用了基于几何特征的图形卷积操作，通过利用特征的相似性来调整图形卷积中的图形组成，而不是根据空间距离来选择点。在geo-col-feature实验中，更多有用的信息被利用到图形表示中，包括几何特征和颜色特征。在PRE➝GT误差和GT➝PRE误差方面，geo-col-feature方法优于geo-feature方法。本文所提出的几何超分辨率方法是在geo-col-feature基础上外加基于结构的局部-全局几何损失函数，根据大多数评价指标，它进一步提高了重建性能。

表5 在JPEGPleno数据集上消融实验对比

4 结论

本文利用图卷积网络来完成点云超分辨率，提出了基于特征的图卷积来学习特征表示，引入了颜色属性来帮助预测坐标，并提出了基于结构的局部-全局几何损失函数来生成具有清晰边缘的形状。在进行基于特征的图形卷积时，为了获得更适合本任务的特征，使用了从网络中提取的特征，并通过网络自适应的学习。此外，本文采用了复合损失来进行生成器和判别器的训练，提高网络的性能。实验结果证明了本文方法的有效性，表明其在各种指标上优于其它方法。