基于相关熵的多视角彩色点云配准

2021-05-13李垚辰刘跃虎付靖文

图学学报 2021年2期

刘荧，李垚辰，刘跃虎，付靖文，马飞

基于相关熵的多视角彩色点云配准

刘荧1，李垚辰1，刘跃虎2，付靖文3，马飞1

(1. 西安交通大学软件学院，陕西西安 710049； 2.西安交通大学人工智能与机器人研究所，陕西西安 710049； 3. 西安交通大学计算机科学与技术系，陕西西安 710049)

针对双视角彩色点云配准问题，提出了基于相关熵的彩色点云配准算法，以增强传统配准方法的鲁棒性、提高配准精度。该算法在迭代最近点算法的基础上，利用HSV颜色空间的色调，结合传统三维空间坐标构成四维空间辅助配准，同时，引入相关熵以减小离群值和噪声对配准造成的影响，从而达到更精确的配准效果。完成双视角配准后，将该算法所计算的变换结果作为多视角配准的初值，然后通过运动平均算法减小累计误差，完成更加精确的多视角配准。双视角配准的实验结果表明，该算法在精度、鲁棒性方面与同类算法相比，均具有明显优势。此外，在模拟数据实验以及公开数据集上的真实数据的实验表明，该算法的计算结果作为初值与运动平均算法良好结合，能得到可靠的多视角点云配准结果。

相关熵；彩色点云；色调；迭代最近点算法；运动平均算法

与传统图像数据相比，三维彩色点云数据能够更加细致的表征物体的空间位置、颜色信息等。因此，运用点云数据来解决问题已成为计算机领域的热点之一。由于存在遮挡，每次使用设备采集时只能获取物体的部分信息，所以需要多角度采集，并将采集的数据进行配准，才能得到完整的三维点云数据。

从配准精度上，可以将点云配准分为粗配准和精配准。粗配准算法中，四点全等集(4-points congruent sets，4PCS)[1]算法及衍生算法的效果较好。而精配准算法中，迭代最近点算法[2]（iterative closet point, ICP）是最经典的点云配准算法之一。ICP算法通过不断迭代建立点云间对应关系并求解空间变换，最小化对应关系中对应点对之间的距离，直到算法收敛得到最优的匹配参数。该算法因为简单有效而得到广泛应用，但由于ICP算法本身存在局限性，众多学者对其进行了研究和改进，以提高算法的精确度和鲁棒性，因而催生了许多变种[3-4]。CHETVERIKOV等[5]提出了裁剪迭代最近点算法(trimmed iterative closet point, TrICP)，引入了重叠率，并只对重叠部分进行配准，从而减少了未重叠部分带来的配准误差。MEN等[6]提出了四维迭代最近点算法(color point cloud registration with 4D ICP，4DICP)，算法中加入了颜色信息进行辅助，用传统的三维坐标与HSL颜色空间的色调结合，形成了四维的特征向量，提高了配准精度。CHEN等[7]通过动态组合每个点的几何特征和色矩特征，建立点云之间的对应关系，从而使对应点同时满足几何相似度和颜色相似度，以此提高配准精确度。

然而，以上算法仍然是基于欧氏距离的，容易受到离群点和噪声的影响。相关熵[8]能够有效处理非高斯和非线性的配准，提升算法的鲁棒性。因此本文提出了基于熵的点云配准算法，同时利用颜色信息辅助建立对应关系，提高配准精度。将该算法的变换参数作为多视角点云配准的初值，结合运动平均算法[9]减少累计误差，经过多视角配准得到最终的旋转矩阵和平移向量。实验结果表明，本文算法精度高、鲁棒性有所提升，对离群点和噪声影响小。配准类型还可根据变换方式，分为刚性配准和非刚性配准，两者之间存在一定的相似性[10]，但非刚性的配准的情况更为复杂，在此不做讨论，本文只讨论刚性配准的情况。

本文的创新点如下：①用基于相关熵的点云配准代替传统基于欧氏距离的点云配准，减小离群点和噪声对配准的影响，提高配准的鲁棒性。②用HSV颜色空间的色调值辅助建立对应关系，提高配准的效率和准确性。③将基于相关熵的双视角彩色点云配准结果作为多视角初值，结合运动平均算法减小累积误差

1 点云配准基础理论

1.1 ICP算法

ICP算法的主要步骤如下：

(1) 根据1迭代的变换参数建立目标点云和模型点云之间第次对应关系

(2) 根据对应关系计算新的空间变换参数

ICP算法简单且有效，但容易陷入局部最小值，且对噪声和离群值比较敏感。

1.2 相关熵

相关熵可作为一种相似性度量代替均方误差衡量2个变量之间的相似性。假定2个随机变量为和，均方误差的一般形式可定义为

2 基于相关熵的彩色点云配准算法

2.1 颜色信息辅助

RGB颜色空间的R值、G值和B值会随着光照条件变化，因此在不同角度拍摄的图像的RGB值会发生变化，通过该特征值寻找对应点容易出现错误。而HSV颜色空间的色调H值去除了明度，即使在光照发生改变时也与相机位置保持相对不变，2个相同点的色调保持一致。因此本算法采用HSV颜色空间的色调信息辅助配准，将其作为寻找对应点的第四维特征。

图2 在角度q1及q2下拍摄的魔方图((a) q1下的魔方图；(b) q2下的魔方图)

图3 角度q1以及角度q2下魔方的RGB直方图 ((a) q1下的RGB直方图；(b) q2下的RGB直方图)

图4 角度q1以及角度q2下魔方的HSV直方图((a) q1下的HSV直方图；(b) q2下的HSV直方图)

2.2 颜色辅助基于相关熵的ICP算法

2.2.1 基于相关熵的配准问题描述

由于相关熵是负指数函数，因此要最小化配准误差，目标函数应该最大化相关熵为

2.2.2 色调辅助基于相关熵的ICP

2.2.3 刚体变换求解

高中物理中的定律、概念等知识是进行物理问题解决的基础，因此想要提高解题能力，前提必须要有扎实的基本功.因此教师在进行高中物理教学时首先要求学生形成扎实的理论基础，能够将这些定律或定理很好的融入到解题中，并且将理论转化属于自身的解题方法和解题技巧.只有学生掌握了基本知识，并且也内化成了解题技巧，才能形成稳定的解题能力，才能在遇到问题的时候，能够快速准确的进行解决.

将式(16)简化为

如果最大化目标函数，可以得到第次的旋转矩阵

2.3 多视角点云配准

多视角配准的目标就是找到所有点云相对基准点云的全局运动关系，再将每帧点云数据依据其全局运动关系进行匹配后形成一个完整的三维点云。但是由于双视角配准时本身存在误差，目标点云与模型点云基本不可能完全地匹配到一起，那么在利用双视角配准计算的相对运动结果计算点云的全局运动时，就会产生误差的传递，从而造成最终的配准结果效果不佳。

运动平均算法主要利用李群和李代数的相互转换减少误差的累积：①计算出相对运动和初始相对运动之间的修正值，并将修正值由李群转变为对应的李代数；②通过修正项的李代数矩阵建立列向量；③通过计算包含所有误差修正项的列向量以及包含对点云关系信息的矩阵，得到包含各帧点云全局运动修正信息的矩阵；④提取矩阵中各帧点云误差修正信息的列向量，并恢复李代数形式；⑤将各帧点云误差修正项对应的李代数转换为李群，并用于修正各帧点云的全局运动。而对于最新计算得到各帧点云的全局运动，令初始的全局运动等于此值，并重复之前的步骤，直到包含所有误差修正项的列向量已足够小。

3 实验

为了检验本文算法的有效性和鲁棒性，因此在公开数据集上进行了双视角和多视角配准实验。双视角实验中将本文算法与传统的ICP算法、4DICP算法、CICP算法(ICP based on correntropy)进行了对比；多视角实验中结合了运动平均算法计算配准误差并进行了对比。

3.1 双视角配准实验

3.1.1 模拟实验

在模拟实验中本文采用了MATLAB数据集中的房间场景数据点云，以证明本文算法可以得到精确的配准结果。数据点云沿着轴旋转一定角度获得模板点云，如图5所示，由于该数据集的数据点数量较大，为了提高配准效率，在配准前对数据进行采样，每帧原始点云数据量为80 000个左右，采样后为6 000个左右，降采样系数为13。接着分别使用经典的双视角配准算法以及本文算法进行配准。随后，将配准计算的旋转平移变换应用到采样前的原始点云上，最终得到配准结果，如图6所示，并通过计算旋转误差和平移误差衡量配准效果，见表1。

图5 原始点云((a)场景1；(b)场景2)

图6 双视角配准结果((a)场景1；(b)场景2)

表1 双视角配准结果

3.1.2 鲁棒性实验

在测试算法鲁棒性时，在原始点云和旋转一定角度生成的目标点云中都分别加入200个随机噪点，如图7所示，再对该2帧点云分别使用ICP算法、4DICP算法、CICP算法以及本文算法进行配准，得到配准结果，成功配准效果如图8所示。将计算的点云配准误差进行色谱表示，如图9和图10所示，色谱设置如图11所示，将误差从小到大分别表示为5种颜色：深蓝色、青蓝色、蓝紫色、洋红色和深红色。此外，对场景1配准结果进行可视化和放大如图12和图13所示。由于是模拟实验，虽然加入了随机噪声，但变换的真值依旧是模拟数据时设置的旋转和平移变换参数，因此计算配准的旋转误差及平移误差作为配准效果评判的标准，并记录了程序运行时间，见表2。

表2以及配准可视化结果中可以看出，本文算法在加入噪点的情况下优势更加明显。使用传统方法均方误差进行度量的方式，由于对噪声点和离群点比较敏感，在此情况下常常不能进行有效配准，点云配准误差较大。

图7 加噪后的点云((a)场景1；(b)场景2)

图8 加噪配准结果((a)场景1；(b)场景2)

图9 场景1点云配准误差色谱表示

图10 场景2点云配准误差色谱表示

图11 色谱设置

图12 场景1点云配准结果

图13 场景1点云配准结果放大

表2 鲁棒性配准结果

3.2 多视角配准实验

在模拟实验中，采用是kinectV1采集的CurtinFaces[12]公开人脸数据集。首先模拟数据，由于数据集中的人脸数据包含了采集时整个空间的场景，因此需要对人脸部分进行提取，然后将其经过一定角度的旋转平移生成其他点云数据，并进行多视角点云配准。

除了模拟实验外，本文还在实际数据(帽子)上进行实验：根据相机内参将公开数据集[13]中的RGBD图和分割二值图，转换为多帧彩色点云数据，应用4DICP算法以及本文提出的算法作为多视角配准的初值，然后利用运动平均算法减小累积误差初始点云及配准的可视化结果如图14所示。配准结果量化指标见表3。人脸数据和帽子数据都使用了5帧点云数据，人脸和帽子的点云数据量分别为每帧15 000个和16 000个左右。

图14 点云配准前后((a)人脸1初始点云；(b)人脸2初始点云；(c)帽子初始点云；(d)人脸1配准点云；(e)人脸2配准点云；(f)帽子配准点云)

表3 多视角配准结果

表4 运动平均算法减小的误差

4 结论

本文提出了色调辅助的基于相关熵的彩色点云配准算法。通过比较基于均方误差和相关熵2种度量方式的各种配准方法的实验结果以及是否加入色调辅助配准的结果，证明了本文算法的有效性。从鲁棒性测试结果可知，本文算法鲁棒性强，能够很好地处理具有噪声和离群点情况下的点云配准。利用本文算法计算出的结果作为多视角配准的初值，然后利用运动平均算法减小多视角配准的累积误差，最后的配准结果用目标函数进行定量分析，表明本文算法与运动平均算法结合计算的变换矩阵优于其他配准算法。

[1] TAM G K L, CHENG Z Q, LAI Y K, et al. Registration of 3D point clouds and meshes: a survey from rigid to nonrigid[J]. IEEE Transactions on Visualization and Computer Graphics, 2013, 19(7): 1199-1217.

[2] BESL P J, MCKAY N D. A method for registration of 3-D shapes[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 1992, 14(2): 239-256.

[3] KORN M, HOLZKOTHEN M, PAULI J. Color supported generalized-ICP[C]//2014 International Conference on Computer Vision Theory and Applications (VISAPP). New York: IEEE Press, 2014: 592-599.

[4] GRANGER S, PENNEC X. Multi-scale EM-ICP: a fast and robust approach for surface registration[C]//7th European Conference on Computer Vision (ECCV). Heidelberg: Springer, 2002: 418-432.

[5] CHETVERIKOV D, STEPANOV D, KRSEK P. Robust Euclidean alignment of 3D point sets: the trimmed iterative closest point algorithm[J]. Image and Vision Computing, 2005, 23(3): 299-309.

[6] MEN H, GEBRE B, POCHIRAJU K. Color point cloud registration with 4D ICP algorithm[C]//2011 IEEE International Conference on Robotics and Automation. New York: IEEE Press, 2011: 1511-1516.

[7] CHEN W L, YANG Y, FAN D D, et al. Registration of color point cloud by combining with color moments information[C]//2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC). New York: IEEE Press, 2018: 2102-2108.

[8] XU G L, DU S Y, XUE J R. Precise 2D point set registration using iterative closest algorithm and correntropy[C]//2016 International Joint Conference on Neural Networks (IJCNN). New York: IEEE Press, 2016: 4627-4631.

[9] GOVINDU V M. Lie-algebraic averaging for globally consistent motion estimation[C]//Proceedings of the 2004 IEEE Computer Society Conference on Computer Vision and Pattern Recognition (CVPR). New York: IEEE Press, 2004: 684-691.

[10] AIGER D, MITRA N J, COHEN-OR D. 4-points congruent sets for robust pairwise surface registration[J]. ACM Transactions on Graphics, 2008, 27(3): 1-10.

[11] DAN K. A singularly valuable decomposition: the SVD of a matrix[J]. The College Mathematics Journal, 1996, 27(1): 2-23.

[12] LI B Y L, MIAN A S, LIU W Q, et al. Using Kinect for face recognition under varying poses, expressions, illumination and disguise[C]//2013 IEEE Workshop on Applications of Computer Vision (WACV). New York: IEEE Press, 2013: 186-192.

[13] LAI K, BO L F, REN X F, et al. A large-scale hierarchical multi-view RGB-D object dataset[C]//2011 IEEE International Conference on Robotics and Automation. New York: IEEE Press, 2011: 1817-1824.

[14] ZHU J H, LI Z Y, DU S Y, et al. Surface reconstruction via efficient and accurate registration of multiview range scans[J]. Optical Engineering, 2014, 53(10): 102104.

Multi-view color point cloud registration based on correntropy

LIU Ying1, LI Yao-chen1, LIU Yue-hu2, FU Jing-wen3, MA Fei1

(1. School of Software Engineering, Xi’an Jiaotong University, Xi’an Shaanxi 710049, China; 2. Institute of AI and Robotics, Xi’an Jiaotong University, Xi’an Shaanxi 710049, China; 3. Department of Computer Science and Technology, Xi’an Jiaotong University, Xi’an Shaanxi 710049, China)

For the pair-wise registration of color point clouds, we proposed a color point cloud registration algorithm based on Correntropy to enhance the robustness and accuracy of traditional registration methods. On the basis of the iterative closest point algorithm, the proposed algorithm employed hue of HSV color space combined with the traditional three-dimensional coordinates to form a four-dimensional space to assist registration, and utilized Correntropy to reduce the impact of outliers and noise on registration, so as to achieve more accurate registration results. After the pair-wise registration was completed, the result calculated by this algorithm was taken as the initial value of multi-view registration, and then a more accurate multi-view registration result was achieved through the motion average algorithm that reduced the cumulative error. Experimental results of pair-wise registration show that the proposed approach is superior in accuracy and robustness compared with other approaches. In addition, the experimental results of simulated data and real data on public datasets show that the result computed by this algorithm can be well combined with the motion average algorithm as the initial value, and that the reliable results of multi-view point cloud registration can be obtained.

Correntropy; color point cloud; hue; iterative closest point algorithm; motion average algorithm

TP 391

10.11996/JG.j.2095-302X.2021020256

2095-302X(2021)02-0256-07

2020-08-01；

1 August，2020；

2020-09-01

1 September，2020

国家自然科学基金项目(61803298)

National Natural Science Foundation of China (61803298)

刘荧(1995-)，女，四川泸州人，硕士研究生。主要研究方向为点云配准、三维重建。E-mail：liuying1019@stu.xjtu.edu.cn

LIU Ying (1995–), female, master student. Her main research interests cover point cloud registration and 3D reconstruction. E-mail：liuying1019@stu.xjtu.edu.cn

李垚辰(1987–)，男，陕西丹凤人，副教授，博士。主要研究方向为图形图像处理、计算机视觉等。E-mail：yaochenli@mail.xjtu.edu.cn

LI Yao-chen (1987–), male, associate professor, Ph.D. His main research interests cover graphic image processing, computer vision, etc. E-mail：yaochenli@mail.xjtu.edu.cn