基于图像边缘的彩色点云配准

王 琛， 徐玉华， 李纯明

(1.电子科技大学 信息与通信工程学院， 成都 611731；2.奥比中光科技集团股份有限公司， 深圳 518052)

0 引言

点云配准是计算机视觉、计算机图形学和机器人学等领域中的一个重要问题。该技术被广泛用于三维重建和同时定位与建图(simultaneous localization and mapping, SLAM)等算法中。随着虚拟现实和机器人相关技术的发展及其应用产品落地，点云配准技术的重要性日益显现。与此同时，由于深度相机这类传感器的广泛使用及其技术的快速发展，我们可以非常轻松地获取点云数据。并且大多数硬件模组将普通相机和深度相机结合起来，使得彩色点云的获取也非常高效。

对于点云配准的研究已经有几十年的历史，但是目前仍然有很多新的方法出现。已有的算法绝大多数都只考虑了点云的几何信息，其主要原因是以前的大多数相关传感器只能获取几何信息。当需要对存在几何退化情况的点云进行配准时，仅仅使用几何信息无法得到正确的结果。比如,对室内场景的点云数据进行配准时，通常会遇到两片点云的共同区域只有一个平面或者两个互相垂直的平面这样的情况，如图1所示。而随着RGB-D相机等相关设备的普及，可以很方便地同时获得几何和颜色信息。针对当前点云配准算法的主要缺陷并且考虑到当前传感器相关技术的发展，我们认为应该同时使用几何和颜色信息来提升点云配准的效果。

图1 图中是两种典型的几何退化情况第一行是两片点云的共同区域只有一个平面的情况；第二行是两片点云的共同区域只在两个互相垂直的方向上存在法线的情况。第一列是配准前两片点云的初始状态；第二列是使用点点距ICP算法得到的结果;第三列是使用点面距ICP算法得到的结果；第四列是使用本文提出的算法得到的结果。从图中的结果可以看出，这两种几何退化情况本文中的算法都可以有效处理。

本文提出了一种基于图像边缘的彩色点云配准方法。主要思路是使用颜色的边缘信息提升几何退化情况下点云配准结果的正确率和精度。为了提取颜色的边缘信息，该算法对点云进行正交投影得到其投影图像，然后使用Canny[1]算子提取该图像的边缘。得到颜色图像的边缘信息后，将其转换为稀疏的三维点云，最后再使用几何方法对颜色边缘点云进行配准。几何退化的情况通常意味着几何数据没有明显可区分的细节信息。提取颜色边缘并将其转换为三维点云的过程，相当于使用颜色信息将几何退化的数据转换为具有明显可区分细节的几何数据。也就是说，通过提取颜色边缘信息的方法，将几何退化问题转化为了非几何退化问题。因此，从理论上来说本文中的方法即使在几何退化的情况下也可以得到正确的结果。实验结果也证明了该方法可以明显提高几何退化情况下点云配准的精度。

文本的主要贡献可以总结为如下内容：通过提取彩色点云投影图像的边缘解决在几何退化情况下只使用几何信息的点云配准容易失败的问题。

1 相关工作

点云配准算法在过去一段时间内有着非常广泛的研究。点云配准技术的具体实现有多种不同的思路。总体上而言，点云配准方法分为局部配准方法和全局配准方法。局部配准方法依赖点云的初始位姿，而全局配准方法对点云的初始位姿没有要求。但是在通常情况下，局部配准方法相对于全局配准方法更为鲁棒。

最常见的点云配准方法分支是迭代最近点(iterative closest point, ICP)算法[2-3,11]。这类方法通过寻找三维空间中的最近邻作为匹配点对，使用匹配点对的坐标计算三维刚性变换。并反复迭代该过程直至收敛。这类算法存在很多的变种。最初的ICP算法优化目标是最小化点到点的欧式距离[2, 11]。后续出现了最小化点到面之间的距离的变种算法[3]。实际上两片点云中很难出现真正意义上的同名点。而我们通常将曲面看作是流形，可以将曲面的局部看作是平面。因此，在实际应用中点面距的ICP算法优于点点距的ICP算法。除了改变优化目标的ICP变种算法，还存在通过改变寻找匹配关系的方法得到的变种。例如在文献[4, 12]中，通过将实时重建的三维模型重投影到深度图上寻找匹配关系。针对使用深度图进行配准情况，这种通过投影寻找匹配关系的ICP变种算法效果更好，但是这种方法无法用于一般情况的点云配准。上述的ICP及其变种算法虽然经常被各类应用所使用，但是由于其只考虑到几何信息，所以在遇到几何退化情况时的表现并不令人满意。

除了ICP及其变种算法之外，还存在一些点云配准算法的思路是使用统计模型描述点云的形状并进行比较。3D-NDT算法[5, 14]使用高斯分布来描述点云的局部形状。这种方法被广泛用于LiDAR数据中，被认为比ICP方法更加鲁棒和高效。但是这种方法处理噪声比较大的数据时很难得到很好的结果，因为噪声会明显影响点云的局部形状。还有一类方法使用高斯混合模型(Gaussian mixture model, GMM)[6]。这种方法使用高斯混合模型描述点云，并且通过最小化两片点云之间的统计差异测度进行配准。基于高斯混合模型的方法通常不太鲁棒，因为这种方法的配准结果高度依赖协方差矩阵的设置。与ICP类的方法类似，基于统计模型的方法通常也只考虑了几何形状信息，很难处理几何退化的情况。

除了常见的这些只考虑几何信息的配准算法之外，也已经有了一些同时考虑颜色信息的点云配准算法[13-14]。同时考虑颜色和几何信息的算法通常都是专门为RGB-D图像数据设计。文献[7]中提出的方法专门用于相邻的RGB-D图像之间的快速配准，其主要思路是最大化光度一致性。但是该方法无法用于一般的彩色点云数据。文献[8]中提出的算法可以用于一般的彩色点云配准，该方法联合优化匹配点对的几何距离和颜色距离。但由于颜色和几何信息的量纲不同，并且物体被相机捕获的颜色容易受到很多因素的干扰，所以该方法在实际使用中并不足够鲁棒。本文提出的算法通过将颜色和几何信息解耦合，并且在利用颜色信息时转为使用颜色的边缘而非颜色本身提高鲁棒性和精确度。

除了刚刚提到的一系列局部配准方法，近年来也出现很多全局配准方法。例如文献[16-17]中描述的基于深度学习的全局配准方法。但是基于深度学习的方法通常需要大量的训练数据，并且通常对计算力的要求很高。文献[15]中的全局配准算法TEASER基于非常严密的数学推理和证明，但是其具体效果仍然依赖特征点的匹配。由于大量的全局配准方法都依赖点云特征的提取和匹配，因此，也出现了大量针对点云特征的研究[18-19]。

2 彩色点云配准

对于两片彩色点云P和Q，配准的目的是找到将P与Q对齐的刚性变换T。点云P和Q中的每个点都分别有坐标、颜色和法线信息。

本文的方法大致分为以下几步进行。首先，需要确定投影方向，决定投影方向的主要目标是使得点云P和Q的共同区域投影后占图像面积最大，这样做可以使得算法更加鲁棒和精确。然后，使用Canny算子提取该图像的边缘信息，并提取出边缘的三维点云Pe和Qe。最后，通过点点距的ICP算法配准点云Pe和Qe，由此得到配准结果。下文将详细描述算法的具体细节。

2.1 边缘点云配准

在提取边缘点云Pe和Qe之后，需要对其进行配准。通过提取图像的边缘信息得到的边缘点云Pe和Qe已经没有几何退化的问题了。因此可以直接使用ICP类方法对这两片点云进行配准。虽然在点云比较稠密的情况下点面距的ICP算法一般更优于点点距的ICP算法，但是在此时选择使用点点距的ICP算法。原因是在目前遇到的这种情况下，点面距并不能正确反映配准结果的精度，在实际同名点距离很远的时候其点面距仍可能为0。

将使用点点距ICP算法配准Pe和Qe的问题描述为如下数学模型：

治疗：更昔洛韦 5.0～7.5 mg/kg，静脉滴注，每12小时1 次，14～21 d；然后 5 mg·kg-1·d-1序贯维持治疗。 也可使用膦甲酸钠 180 mg·kg-1·d-1，分 2～3 次用 （静脉应用需水化），2～3 周后改为 90 mg·kg-1·d-1，静脉滴注，1 次/d。病情危重或单一药物治疗无效时可二者联用。CMV视网膜脉络膜炎可球后注射更昔洛韦。

(1)

式中，Te为边缘点云配准需要计算的刚性变换；pe为点云Pe中的点，qe为点云Qe中的点；Ke为匹配点对集合。目标是寻找刚性变换Te使得两片点云中同名点之间的欧式距离最小。

在每一次迭代中，通过搜索最近邻得到匹配点对集合Ke，然后使用文献[9]中提出的基于奇异值分解的最小二乘方法计算当前的刚性变换ΔT，并且更新Te=ΔT×Te。具体的迭代过程为：

(1)使用单位矩阵初始化Te；

(2)搜索最近邻更新匹配点对集合Ke；

(3)使用奇异值分解计算当前的刚性变换矩阵ΔT；

(4)更新Te=ΔT×Te；

(5)如果没有收敛则回到步骤(2)，如果收敛则结束迭代。

2.2 配准过程

为了在保证算法鲁棒性的同时求解完整的三维刚性变换矩阵，本文的方法在具体实现中对计算策略进行了一些改变。最终的流程具体分为三步进行，包括初始化、边缘配准和再优化。

首先进行初始化步骤。为了使得P和Q的投影角度基本一致，使用点面距ICP算法先对P和Q进行配准。其数学模型为：

(2)

式中，p和q分别为点云P和Q中的点；n为点q的法线；Ke为匹配点对集合。使用高斯牛顿法对其进行求解，并得到初始刚性变换Ti。初始化过程使得投影时两片点云的方向基本一致。同时使得两片点云中的同名平面贴合，为下一步只需要计算二维刚性变换矩阵打下基础。

然后使用边缘点云Pe和Qe计算二维的刚性变换矩阵。由于初始化步骤将两片点云的同名平面贴合在一起，对于几何退化情况来说目前只需要计算一个二维的刚性变换。此时执行2.1节中描述的算法，并且在计算时忽略投影方向的数据。在这一步后得到二维的刚性变换矩阵Te。

最后一步考虑到稀疏的边缘点云容易受到噪声的影响，再一次对稠密点云P和Q进行一次点面距ICP计算。此时得到再优化刚性变换结果Tr。

完成这三步之后，可以得到需要求解的刚性变换：

(3)

使得点云P与Q对齐。具体的流程图如图2所示。

图2 算法流程图

2.3 获取边缘点云

为了使用2.1节中提到的算法，需要先从稠密的彩色点云P和Q中提取出边缘点云Pe和Qe。该过程同样分为三步进行：确定投影方向，正交投影得到图像和提取图像边缘得到边缘点云。该过程中得到的数据如图3所示。

图3 提取边缘点云的过程首先通过正交投影得到彩色图像和掩膜数据；然后对彩色图像提取边缘信息；最后使用掩膜滤除点云投影边界上的边缘数据得到边缘点云。

在确定了投影方向之后，开始对两片点云进行正交投影。在实际的投影过程中，使用Z-Buffer算法处理三维空间中的遮挡情况。同时储存了与投影颜色图像对应的掩膜数据和三维坐标数据。

最后需要提取边缘信息。本文使用Canny算子提取颜色图像中的边缘信息，并且通过前一步保存的三维坐标数据还原得到边缘点云。这里需要注意的是三维点云的投影并不能填满整幅图像，所以三维点云的投影边界也会提取出边缘信息。需要使用保存的掩膜信息去除三维点云的投影边界。最后得到了边缘点云Pe和Qe。

3 实验结果及分析

3.1 误差分析

我们在公开数据集ICL-NUIM[9]上测试了本文的算法。首先将RGB-D数据的每一个序列分为多个片段，并将这些片段重建得到彩色点云。然后通过给真值数据增加不大于20°的随机旋转和不大于0.3 m的随机平移作为扰动进行测试。配准是逐对进行的，并且与点云的连续性没有关系。所以最终分析的是配准结果的相对位姿误差(relative pose error, RPE)。本文的算法与点点距ICP(Point-ICP)、点面距ICP(Plane-ICP)、文献[8]中提到的算法(Color-o3d)以及文献[15]中提到的算法(TEASER)进行比较。在表1中我们统计了每个方法RPE的均方根误差(root mean squared error, RMSE)，在表2中我们统计了每个方法RPE的算数平均值。在图4中我们展示了更详细的数据比较。

从表1和表2中可以直观地看到，本文的算法的精度在每个数据中都优于其他三个算法。在几何退化不明显的情况下，本文的算法优势没有那么明显。比如在livingroom1这个数据中，本文的算法并没有明显减少点面ICP算法的误差。但是在几何退化明显的数据中，比如在office2这个数据中，本文的算法相对于其他的算法有明显的优势。在使用了本文的算法后，精度相对于原本的点面ICP算法提升了10倍。

表1 RPE的RMSE，可以看出本文的算法在每个数据集中误差都是最小

表2 RPE的算数平均值，可以看出本文的算法在每个数据集中误差都是最小

需要解释的是，本文的算法虽然使用了点面ICP算法，但是实际上该算法的高精度并非完全来自点面ICP算法。在其他三种算法中，虽然点面ICP算法在数据集livingroom1和office1中表现最优，但是在livingroom2和office2这两个数据中明显劣于Color-o3d算法。而本文的算法在四个数据中都表现最优。其主要原因是该算法在面对几何退化的情况能得到更加精确的结果。

同时需要注意的是，TEASER是全局点云配准算法。虽然全局配准算法的优势是不依赖点云的初始位姿信息，但是带来的弊端是可能会得到偏差非常大的解。虽然TEASER算法在office2这个数据中表现比较优秀，但是在office1中出现了明显的错误。

3.2 重建结果

同时我们使用文献[10]中提到的方法作为三维重建框架，并使用本文的方法替换该框架中原有的配准算法进行三维重建。得到的重建结果如图5和图6所示。

图5 RGB-D序列office2重建结果

图6 RGB-D序列livingroom2重建结果

3.3 局限性

本文提出的算法仍然有其局限性。由于该算法在投影时高度依赖投影方向的选取，所以初始化的时候高度依赖点面ICP算法。而稀疏的边缘点云容易受到噪声的影响，所以必须再次使用点面ICP进行再优化。这样的过程明显提升了该算法所需要的计算量，使得效率相对较低。同时，由于三维数据的遮挡关系，两片点云的投影图像中提取的边缘信息所对应的三维点并不一定是同名点。这对选取投影方向的策略提出了更高的要求，投影方向的选择失误可能导致难以挽回的结果。

4 结论

常用的点云配准算法通常只使用了几何信息。因此,常见的点云配准算法无法处理几何退化的情况，而几何退化的情况在室内场景中尤其常见。为了解决这个问题，本文提出了一种基于图像边缘的彩色点云配准算法。通过提取颜色的边缘信息，该算法将几何退化的数据转变为非几何退化的数据来解决这个问题。并且通过多组实验证明该算法是确实有效的，可以明显提升点云配准的精度。并且随着RGB-D相机的技术发展和产品普及，该算法在未来会有更多的应用空间。