基于特征相似性的RGBD点云配准

盛 敏，彭玉升，苏本跃，王广军

基于特征相似性的RGBD点云配准

盛 敏1,2，彭玉升3，苏本跃2,4，王广军2,4

(1. 安庆师范大学数学与计算科学学院，安徽 安庆 246011；2.安徽省智能感知与计算重点实验室，安徽 安庆 246011；3. 合肥工业大学计算机与信息学院，安徽 合肥 230601；4. 安庆师范大学计算机与信息学院，安徽 安庆 246011)

三维点云数据的配准是计算机视觉领域的重要研究课题，也是三维重建的关键步骤。针对RGBD点云数据的配准问题，提出一种基于特征相似性的初始配准方法。首先需要计算待配准的RGBD点云模型的曲率和颜色特征度(CFD)，并对CFD进行统计分析，若模型颜色特征足够丰富优先采用颜色相似性策略，反之尝试曲率相似性策略。通过特征点提取精简点云模型，利用确定的对应点选择策略选择候选对应点对。在候选对应点对上采用优化样本一致性算法获得初始配准变换矩阵，实现两片点云的初始配准。针对不同颜色纹理的RGBD点云模型，本文方法可以自适应选择合适的特征点选择策略，实现点云间良好的初始配准。实验结果表明，对于几何特征不明显的RGBD模型，本文方法能够自适应选择颜色相似性策略来较好地完成初始配准。对于不同类型的模型配准结果较好，算法效率更高。

RGBD点云；初始配准；特征相似性；颜色相似性；曲率相似性

三维扫描点云数据的配准是计算机视觉领域的重要研究课题。点云数据也广泛应用于三维重建[1]、对象识别[2-3]、姿态估计[4]等研究方向。为了进行模型重建和姿态估计，需要将各种视图中获取的数据转换到公共坐标系下。其作为具有挑战性的研究课题，主要难点在于：输入点云数据的初始位置未知、原始数据具有噪声、点云密度各不相同并且模型之间的重合程度难以估计。因此，如何提高点云配准算法效率是实际应用中亟需解决的问题。

一般来说，点云配准方法包括初始配准和精确配准。初始配准的目的是估计两点云之间的初始变换，主要是通过特征匹配寻找对应点对来实现的。通常会采用迭代最近点算法[5]及其改进算法[6-7]来实现进一步的精确配准，初始配准的必要性有2方面：①如果初始阶段就采用ICP算法估计坐标变换，2片点云空间位置差异较大时ICP算法会陷入局部最优化；②良好的初始变换可以显著提高ICP算法的计算效率。

初始配准通常依赖于局部几何特征描述符建立3D刚性形状之间的点对应关系，其目的是通过特征向量全面地表示局部表面内包含的几何和空间信息。相关研究人员基于局部参考系(local reference frame)建立局部特征描述符[8-10]进行初始配准。GUO等[8]提出的旋转投影统计(rotational projection statistics, RoPS)描述符，是第一个基于“旋转和投影”机制的方法，目的是捕获由多个2D点分布图表示的多视图信息。QUAN等[9]提出一种局部体素化结构(local voxelized structure, LoVS)，使用点空间位置简单地将由点云表示的局部形状结构编码为位串，而不计算复杂的几何在特征表示阶段属性，例如法线和曲率。LoVS描述符是在周围的局部立方体积内提取的关键点以实现旋转不变性。QUAN等[10]提出利用来自多个视点的轮廓线索来表示局部几何形状以解决该问题，形成一种称为旋转轮廓图(rotational silhouette maps, RSM)的新二元特征。

相关学者提出一些基于直方图的特征描述符，不依赖于局部参考系。文献[11]提出了一种通过使用点特征直方图(point feature histograms, PFH)表征局部几何结构的新方法，具有很高的辨识力且对点云配准非常有效但是计算比较复杂。为了提高时间效率，文献[12]采用邻域点的简化点特征直方图(simplified point feature histogram, SPFH)来获得快速点特征直方图(fast point feature histograms, FPFH)描述符。文献[13]提出了一种新型的局部点特征直方图描述符(local feature statistics histogram, LFSH)，融合了3种局部几何特征去定义描述符，具有很强的抗噪能力。而且提出了一种优化采用一致性算法可以克服高自相似模型的匹配问题。但3种局部几何特征之间可能会有冗余，而且算法中为给定经验参数，均会影响算法的时间和效率。赵夫群等[14]利用局部深度、法线偏角和点云密度等局部特征生成特征描述子，通过特征描述子的相关性进行初始配准，进而通过改进的ICP算法实现点云的精确配准，对低覆盖率的点云具有良好的配准效果。

目前的特征匹配方法都是基于几何特征的，针对RGBD点云数据，本文提出一种基于特征相似性的点云配准方法，定义的特征相似性策略中包含了几何曲率约束和颜色约束，通过双重约束确定的对应关系有较高的准确率，本文针对不同类型的RGBD点云模型提出的2种特征相似性策略均具有较好的配准效果。

1 特征估计

1.1 曲率特征估计

曲率和法向是常用的几何特征，估算曲率和法向的常用方法是主成分分析法(principal component analysis, PCA)法，该方法是一种主元分析法，其对噪声点具有极强的鲁棒性。点云的曲率估算方法如下。

1.2 颜色特征估计

RGBD点云数据包含了点云的3D坐标和RGB颜色信息。针对RGBD点云数据的颜色信息，本章引入了颜色特征度(color feature degree, CFD)的概念，通过CFD刻画RGBD点云数据的颜色特征。

RGBD点云数据的颜色存储方式与二维图像的颜色存储方式不同，彩色图像处理中常用的特征提取方法均难以直接应用于RGBD点云数据中。3D点云数据是没有方向性的，考虑到拉普拉斯算子是具有旋转不变性的最简单的各向同性微分算子，因此将其应用于点云的颜色特征提取。对于点云的每个点，需要8个最近邻点的颜色信息，然后分别在3个颜色通道上应用拉普拉斯算子可以得到3个颜色通道上的CFD，并进行组合计算获得最终的CFD。具体描述如下：

2 对应点选择策略

点云配准的关键步骤是对应点的选择。初始配准主要是通过特征或描述符的相似性确定对应关系。根据点云曲率和颜色的旋转不变性特征，提出2种对应点选择方式：①颜色相似性策略，首先通过搜索颜色相似的点作为对应点，获得初始对应点对，然后通过曲率约束，删除对应点之间曲率差异较大的点对，确定候选点集；②曲率相似性策略，首先通过搜索曲率接近的点作为对应点构造初始对应点集，比较对应点之间的颜色差异，将色差较大的对应点对删除得到候选对应点对。

2.1 颜色相似性策略

同一点在不同视角点云中应该具有相同的颜色和曲率，但由于光照和采集设备的原因，2个视角下点云对应点的颜色和曲率可能会有偏差，但是对应点之间的颜色和曲率仍具有很高的相似性，所以颜色和曲率仍可作为对应点判别的一个准则。基于颜色相似性的对应点选择策略，主要是首先采用颜色相似性确定初始对应点对，然后采用曲率约束，获得候选对应点对。

2.2 曲率相似性策略

θ取值为对应点对之间颜色差的均值。*中的点对不仅曲率比较接近而且在颜色上也具有极高的相似性，因此点对之间具有正确对应关系的概率也比较大，正确匹配的可能性也很高。

3 本文算法结构

对于大多数模型，2种对应点选择策略均可得到良好的配准效果。对于颜色特征足够丰富的点云模型，基于颜色特征相似性的初始配准鲁棒性较高，因此本文提出一种简单的决策方法，只要模型的颜色特征满足要求，均可优先采用颜色相似性策略进行对应点选择。

通过对点云模型中所有点的颜色特征进行统计分析，提出一种简单的决策方法，即

大多数情况下，原始输入的点云数量庞大，需采用提取特征点实现点云精简。曲率特征和颜色特征均可提取特征点。颜色特征点对于颜色相似性更具鲁棒性，曲率对曲率相似性更具鲁棒性，因此通过在选定的选择策略中采用相应的特征提取特征点集。通过选择策略获得候选对应点对后，利用优化样本一致性策略(optimized sample consensus, OSAC)[13]获得初始坐标变换。

本文算法的主要步骤如下：

步骤5.通过相应的对应点选择策略，确定特征点集中的候选对应点集*；

步骤6.在候选对应点集*上采用OSAC策略，确定初始坐标变换；

步骤7.对源点云进行坐标变换，实现初始配准；

步骤8.通过改进ICP算法进行精确配准。

4 实验结果与分析

当点云初始位置差异较大时也需要用初始配准做初始估计，为精确配准提供比较好的初始位置。实验中的模型来自于Kinect采集获取，包括大卫1、大卫2和抱枕模型。Kinect采集获得的RGBD数据集具有低质高噪声的特点。本文还采用了一组高精度Bunny点云进行人工添加颜色构造RGBD点云进行配准实验。本文算法均在MATLAB环境实现，实验均在具有8 GB RAM的2.8 GHz Intel(R) Xeon®处理器上进行。点云配准效果采用MeshLab软件进行可视化展示。

4.1 本文方法实验效果

首先在高精度点云模型上进行配准实验。实验模型来源于斯坦福3D图形库，由于斯坦福3D图形库中的点云模型是纯几何结构的，没有颜色纹理，因此本文对1个视角下的Bunny点云模型人工添加了1组颜色纹理，然后将其进行旋转和平移操作，获得目标点云，从而进行验证实验。实验结果如图1所示。对比图1(b)，(c)可以发现本文方法的初始配准效果更好，误差更小，在Bunny模型耳部和脸部的错位情况明显小于LFSH[13]方法的粗配准结果。

图1 兔子模型粗配准结果

本文均采用Kinect自采集模型进行配准实验。如图2所示，每列自上而下依次为大卫1模型、大卫2模型、抱枕1模型和抱枕2模型。第1列是每组模型配准前空间分布的可视化结果；第2列是经过本文基于特征相似性方法进行初始配准的可视化效果；由于初始配准算法并不能实现模型的精准对齐，实验过程，采用改进ICP算法[6]进行精确配准，配准结果如图2(c)所示。经过精确配准后的模型实现了更精确地对齐，由于不同视角的光照不同，因此仔细观察可以发现配准后的模型有些许的颜色差现象。

本文与LFSH[13]和文献[14]方法进行对比，实验数据统计结果见表1。本文方法在兔子模型、大卫1模型、抱枕1和抱枕2模型上都具有最小的配准误差，保持明显的优势。但在大卫2模型上，本文方法粗配准效果不如LFSH方法和文献[14]方法。由于本文设计的曲率特征和CFD计算复杂度较低，因此在算法耗时上具有明显的优势，相比于LFSH和文献[14]，算法耗时分别提高了约70.45%和67.95%，保持明显的时间优势。

图2 自采集模型配准结果

表1 不同方法配准结果统计表

4.2 特征选择实验验证与分析

为了验证不同的特征选择对于初始配准效果的影响，本文在自采集模型上做了几组对比实验，实验结果统计数据见表2。对于每组模型，分别采用5种方式确定对应点：LFSH描述符、曲率特征、颜色特征、曲率相似性策略和颜色相似性策略。通过观察发现，在大卫1、抱枕1和抱枕2模型上，颜色相似性策略的配准误差最小，配准结果最好。在大卫2模型上，曲率相似性策略配准效果最好，LFSH描述符、颜色相似性策略次之。总之，将颜色特征引入到对应点选择任务可以提高对应关系的准确性及配准精度。

5 结束语

本文提出了一种基于特征相似性的RGBD点云初始配准方法。且提供了2种特征相似性策略用于对应点选择，分别是曲率相似性策略和颜色相似性策略，每个对应点选择策略中都是通过一个特征的相似性获得初始对应点集，通过另一个特征进行约束，去除可能的错误对应关系。经过双重约束获得的候选对应点对具有极高的正确性，对于初始刚性变换的计算会更加有效。实验结果也证明本文算法的有效性，对于不同类型的RGBD点云模型均有较好的配准结果。本文只是将曲率跟颜色相结合，在配准方法进行初步探索，后续将尝试将现有的高效的几何特征描述符与颜色信息进行结合，希望能够提高RGBD点云的配准精度。

[1] 林晓, 王燕玲, 朱恒亮, 等. 基于自适应权值的点云三维物体重建算法研究[J]. 图学学报, 2016, 37(2): 143-148.

[2] LIANG R H, SHEN W J, LI X X. et al. Bayesian multi-distribution-based discriminative feature extraction for 3D face recognition [J]. Information Sciences, 2015, 320: 406-417.

[3] WANG J H, LINDENBERGH R, MENENTI M. SigVox - A 3D feature matching algorithm for automatic street object recognition in mobile laser scanning point clouds [J]. ISPRS Journal of Photogrammetry and Remote Sensing, 2017, 128: 111-129.

[4] GUO Y L, BENNAMOUN M, SOHEL F, et al. An integrated framework for 3D modeling, object detection, and pose estimation from point-clouds [J]. IEEE Transactions on Instrumentation and Measurement, 2015, 64(3): 683-693.

[5] BESL P J, MCKAY N D. A method for registration of 3D shapes [J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2): 239-256.

[6] 戴静兰, 陈志杨, 叶修梓. ICP算法在点云配准中的应用[J]. 中国图象图形学报, 2007, 12(3): 517-521.

[7] 王森, 王璐, 洪靖惠, 等. 基于Sparse ICP的三维点云耳廓识别[J]. 图学学报, 2015, 36(6): 862-867.

[8] GUO Y L, SOHEL F, BENNAMOUN M, et al. Rotational projection statistics for 3D local surface description and object recognition [J]. International Journal of Computer Vision, 2013, 105(1): 63-86.

[9] QUAN S W, MA J, HU F Y, et al. Local voxelized structure for 3D binary feature representation and robust registration of point clouds from low-cost sensors [J]. Information Sciences, 2018, 444: 153-171.

[10] QUAN S W, MA J, MA T, et al. Representing local shape geometry from multi-view silhouette perspective: A distinctive and robust binary 3D feature [J]. Signal Processing: Image Communication, 2018, 65: 67-80.

[11] JOHNSON A E, HEBERT M. Surface matching for object recognition in complex three-dimensional scenes [J]. Image and Vision Computing, 1998, 16(9-10): 635-651.

[12] RUSU R B, BLODOW N, BEETZ M. Fast point feature histograms (FPFH) for 3D registration [C]//2009 IEEE International Conference on Robotics and Automation. New York: IEEE Press, 2009: 3212-3217.

[13] YANG J Q, CAO Z G, ZHANG Q. A fast and robust local descriptor for 3D point cloud registration [J]. Information Sciences, 2016, 346: 163-179.

[14] 赵夫群, 周明全, 耿国华. 基于局部特征的点云配准算法[J]. 图学学报, 2018, 39(3): 389-394.

RGBD Point Cloud Registration Based on Feature Similarity

SHENG Min1,2, PENG Yu-sheng3, SU Ben-yue2,4, WANG Guang-jun2,4

(1. School of Mathematics and Computational Science, Anqing Normal University, Anqing Anhui 246011, China; 2. The Key Laboratory of Intelligent Perception and Computing of Anhui Province, Anqing Anhui 246011, China; 3. School of Computer Science and Information Engineering, Hefei University of Technology, Hefei Anhui 230601, China; 4. School of Computer and Information, Anqing Normal University, Anqing Anhui 246011, China)

The registration of 3D point cloud data is an important research topic in the field of computer vision and a key step in 3D reconstruction. Aiming at the registration problem of RGBD point cloud data, a coarse registration method based on feature similarity is proposed. Firstly, the curvature and color characteristics of the RGBD point cloud model to be registered should be calculated. Through the statistical analysis of color characteristics, if the color features of the model are rich enough, the color similarity strategy will be adopted first, otherwise, the curvature similarity strategy will be tried. The feature point extraction can simplify the point cloud model. And we will use the corresponding point selection strategy to select all corresponding point pairs. The coarse registration matrix is obtained by adopting the optimized sample consensus algorithm on the candidate corresponding pairs, and the coarse registration of the two point clouds is realized. For the RGBD point cloud model with different colors and texture, this method can adaptively select the appropriate feature point selection strategy to realize the good coarse registration between point clouds. For different models, we can adaptively select the corresponding selection strategy to calculate the transformation matrix and complete the coarse registration. The experimental results show that the proposed method can adaptively select the color similarity strategy to complete the coarse registration for the RGBD model with less geometric features. For different types of model, the registration results are better, and the algorithm is more efficient.

RGBD point cloud; coarse registration; feature similarity; color similarity; curvature similarity

TP 391

10.11996/JG.j.2095-302X.2019050829

A

2095-302X(2019)05-0829-06

2019-06-13；

2019-07-02

国家自然科学基金项目(11475003，61603003，11471093)；教育部“云数融合科教创新”基金项目(2017A09116)；安徽省科技重大专项(18030901021)；安徽省高校优秀拔尖人才培育资助项目(gxbjZD26)

盛 敏(1975-)，女，安徽安庆人，教授，博士，硕士生导师。主要研究方向为图形图像处理、虚拟现实、行为识别等。E-mail：msheng0125@aliyun.com