融合颜色与几何信息的点云配准

陆军，刘霜，乔鹏飞，鲁林超

（哈尔滨工程大学 智能科学与工程学院, 黑龙江, 哈尔滨 150001）

点云配准是一种重要的三维图像生成技术，是逆向工程、三维重建等工程领域的研究热点[1-4].三维点云数据配准按照点云配准的实现过程可以将其分为两个部分：初始配准（粗配准）和精确配准.常用的初始配准算法包括两类，包括CHEN 等[5]提出的数据对齐刚性约束穷举搜索、BUCH 等[6]提出的随机采样一致性这类基于RANSAC 的配准算法，以及另外一类基于局部特征的配准算法的点云配准方法，如JOHNSON 等[7-8]设计的经典Spin Image 配准，RUSU 等[9]设计的点特征直方图配准，还有RUSU 等优化PFH 得到的FPFH[10]，降低计算量的同时却又保障了准确性.由于KINECT 等[11]能够收集目标颜色以及深度信息的扫描设备的出现，点云配准得到更多的优化，不断出现基于RGB 颜色信息以及深度信息的配准算法.MA 等[12]使用RGB 图像检测局部关键点避免了局部迭代的点云配准方法.SHOT 描述符是一种稳定而且精度高的配准算法.TOMBARI 等[13]将点云的颜色信息加入SHOT 描述符中，设计了CSHOT描述符.颜色信息的加入虽然提高算法配准精度，但却会导致描述符的计算更加复杂、维度增高以及配准的时长变长.

点云的精确配准算法大部分都采取迭代进行点云配准.精配准算法大都采取BESL 等[14]设计出的迭代最近点算法的原理，基于此的算法大都只利用了点云数据空间状况.伴随点云扫描器械不断发展，融合点云颜色信息的精配准算法开始出现.如SERVOS 等[15]提出了multi-channel generalized-ICP 算法；苏本跃等[16]提出的4 维向量空间的ICP 算法.此算法将彩色点云中每个点的RGB 值转换成灰度值，再将灰度值映射到与其初始对应点云坐标数据范围，进一步组合成的4 维向量空间实现的颜色点云精配准.MEN 等[17]将颜色空间RGB 转化到HSL 空间中再组成4 维空间，提出了4D-ICP 彩色点云配准.FAKOOR等[18]在NDT 改进得到的彩色点云CNDT 配准算法.LIU 等[19]从点云的颜色信息中提取HSV 颜色数据，使切平面的HSV 分布连续，进而实现颜色点云的配准，并使用遗传算法对点云颜色信息进行一致优化进而进行点云配准.

现有的三维点云配准算法主要是对点云进行几何特征描述，颜色信息为配准提供了新的方式.

本文首先介绍关键点提取方法，利用关键点提取算法提取几何和颜色关键点，在此基础上，利用从二维拓展到三维的LGOP 描述符得到本文设计的三维点云颜色描述符，再在此基础上融合两种信息得到混合特征描述符，并用实验证明了其优越性.

1 关键点提取

关键点可以完整描述集合体表面的信息变化，而且比原始点云的数目少很多.通过关键点进行点云配准可有效增加配准速度且不影响配准效果.在选取关键点时，既要能反映物体特征，又不能大量提取，使得计算量过大，本节首先介绍采用的几何关键点提取算法，再介绍本文提出的颜色关键点提取算法.

1.1 几何关键点提取

现有的众多几何关键点的提取方法中基于法向量的关键点提取算法相对简单而且效果好.其思想为检测点云中数据中点云法向量和邻域内点的法向量夹角，求其平均值，若大于设定阈值，则为关键点，反之则不是.提取步骤如下：

步骤1：假设点云中某候选点p=(x,y,z)，以其为球心，r为半径.在此区域内的点为p1,p2,···,pm；

步骤2：根据式（1）和式（2）计算点p的单位法向量，可得n为其最小的特征值对应的特征向量，且一般规定其指向视点方向.

步骤3：选取适当的阈值T.计算该点p与邻域点法向量的夹角平均值作为特征度，若特征度大于阈值，则为候选关键点，反之不是.

步骤4：非极大值抑制.采用步骤3 步构成关键点候选集合.选取领域内特征度最大为关键点.

1.2 颜色关键点提取

基于像素差异性加速分割测试的特征点提取特征(features from accelerated segment test，FAST)方法是对二维图片根据邻近点像素点差异进行关键点提取，故通过将FAST 方法扩展到三维，可对三位彩色点云进行处理.提取具体步骤如下：

步骤1：三维彩色点云数据中一点q，其空间坐标和颜色值分别为(x,y,z) 、(r,g,b)，将点的颜色信息采用式（3）转化为灰度值

步骤2：以点q为球心，将点云平均欧式距离r的2.5 倍与3.5 倍形成的球环中的点{p1,p2,···,pm}，按式（4）计算N值，如果N大于设定T阈值，q纳入关键点候选点.

式中：sgn()为符号函数；T为灰度差阈值.

步骤3：非极大值抑制.按照式（5）给每个候选点赋值，以候选关键点为圆心，2r为半径，判断是否有多个候选点，如果存在，由式（5）得出每个点的得分值.其中得分最高的即为关键点，以此避免关键点集中.

式中：p为球心；i为在球环中的点.

2 特征描述

特征描述符作为点云配准最重要的基础之一，其对点云信息的描述程度直接影响点云配准精度.现今而言，大多数描述符只使用了几何信息.本文提出一种只描述颜色信息的三维彩色点云的局部灰度序模式(3DLGOP).为了更好地利用点云数据，将会在下一节3DLGOP 基础上结合FPFH 与CSHOT 描述符提出同时融合了颜色信息与几何信息的一种新的特征描述符.

2.1 3DLGOP 描述符

在二维领域的配准算法已经十分完善，其中基于局部亮度序模式的特征描述符(LIOP)因其计算简单、鲁棒性优秀而受到了广泛关注.由于彩色三维点云数据的一些性质，如无序性，导致其不能够直接在此使用.考虑将其进行改变扩展.从二维特征描述符建立可知，应当计算出关键点附近的点的LIOP.但是由于点云的无序性，无法对关键点邻域均匀采样，因此提出一种新的采样方法来对点进行选取，如图1所示.

图1 关键点邻域内一点的LGOP 构造Fig.1 LGOP construction of the neighborhood of a key point

设点p是点云中的一个关键点，q为p的一个相近点，点q为中心，以2.5 倍与3.5 倍点云分辨率为半径，形成的球环中的点集为o(q)={q1,q2,···,qm}.q与关键点p以及球环中的q1,q2,···,qm分别连接组成向量，并按式（6）计算向量分别与向量的夹角θ1,θ2,···,θm.对θ1,θ2,···,θm从小到大排列，均匀地按照角度进行采样，因此进行q的LGOP 描述

式中：a=，bi=，ni=(a×bi)/|a×b|，z(a×bi)表示a和bi叉乘运算后的垂直坐标轴的值.

假设q1,q2,···,qN是上一步后得到的点，q邻域灰度可以表示为G(q)=(g(q1),g(q2),···,g(qN))（N＜m）.利用映射函数把向量G(q)中的N个元素按照非降序排列顺序，同时采用映射函数将下标(i1,i2,···,iN)映射成N！维向量，q的LGOP 描述符此时为

式（7）中Ind()代表索引序号.

再利用此改进三维LIOP 构建3DLGOP 描述符，此时该描述符可以对颜色特征进行描述.描述符构建步骤具体如下.

步骤1：把关键点的邻域划为B个区域，划分标准为其灰度顺序.假设p为一个颜色关键点，p为圆心，点云分辨率为半径形成一个球区域，在此区域内关键点就是其邻近点，把所有的邻近点进行灰度值非降序排列，然后划分为B个区间中.

步骤2：利用改进的LGOP，计算三维点云的关键点邻域内点的LGOP 描述符.表1 展示了在此计算过程中N=4 的索引表.

表1 映射表Tab.1 Mapping table

步骤3：累加各个部分的中点的LGOP，然后连接从而得到关键点的3DLGOP 描述，用式（8）、式（9）表示为

式中：di表示第i个部分的全部中点LGOP 的累加，此时关键点的3DLGOP 描述符是一个B×N!维向量.

步骤4：取权值函数，使用权值函数如下

式中Tlp为灰度差的阈值.

关键点p的3DLGOP 描述符可以改为如下

考虑到描述符的建立过程中有着权值的累加，如果出现权值过高或者过低的点，而且此时该点如果存在误差，那么对于描述符的影响会很大，同时考虑到减低其维数，将Ind(π)的两个最值去掉，进一步简化同时减低其空间维数.

2.2 FPFH 描述符

FPFH 描述符的算法主要是通过计算关键点与邻近点法向量的夹角来描述邻域表面的变化情况，构建出一个多维的直方图.实现步骤为：①计算关键点以及关键点邻域内点的法向量；②计算关键点法向量与其他法向量之间的相对偏差即建立（SPFH）；③ 计算出领域内每点的SPFH；④最后利用求得的邻近的SPFH 值来取与关键点欧式距离得到的权重求和进而得到关键点的最终直方图（称为FPFH）.

2.3 CSHOT 描述符

CSHOT 描述符算法为在SHOT 算法引入点云颜色信息.其步骤为：①建立局部参考坐标系；②对局部球型邻域划分成32 个子块；③将彩色点云中的颜色信息由RGB 空间转化到Lab 空间中；④特征编码后进行直方图统计.CSHOT 描述符的颜色描述是一个992 维直方图，维度高，计算复杂，配准时间长.

3 融合颜色与几何信息的特征描述

本文提出一种融合颜色和几何信息的特征描述符，原理为选用FPFH 描述关键点几何特征，同时采用本文设计的3DLGOP 描述符以及CSHOT 描述符对三维彩色点云关键点的颜色信息进行描述.为了将这三种描述符进行融合，使得最后的描述符也是直方图，对 3DLGOP 和CSHOT 描述符中的颜色描述做出变化，具体实现步骤如下.

步骤1：将上节提出的LGOP 变为一维即简单的局部灰阶模式（simple local gray order pattern， SLGOP），求出每个关键点的SLGOP.q是关键点p领域内的点，利用2.1 节中的描述，以q为球心，2.5 与3.5 倍点云分辨率为半径，形成一个球环区域，在此区域选择5个点，记为q1,q2,···,q5，形成5 维的向量G(q)=(g(q1),g(q2),···,g(q5))用来对q的颜色信息进行描述；之后，利用式（13）映射函数 γ对G(q)=(g(q1),g(q2),···,g(q5))进行映射，使其映射到下标(i1,i2,···,i5)；在最后，把(i1,i2,···,i5)与映射表2 相对应，也就是得到使得q的SLGOP 为表中与其下标(i1,i2,···,i5)对应的序号Ind(π).

表2 映射表Tab.2 Mapping table

步骤2：求出关键点灰度序特征直方图（gray order feature histogram,GOFH）.①在关键点p领域内得到点q1,q2,···,qn，根据步骤1 求得q1,q2,···,qn的SLGOP；②划分区间，将得到的所有SLGOP 划分为20 个区间，从小到大，6 个为一个区间，例如[1, 6]代表SLGOP 为1～6 的点；③统计各个区间里面点的数量，得到一个二维的直方图，由于FPFH 描述符把关键点领域内的点只划分为11 个区间，为了平衡点云颜色与几何特征，把GOFH 中区间内的数值变为2 倍.

步骤3：利用式（14）～式（19）计算关键点与其邻近点的Lab 距离值，然后按照值域划成13 个区间，计算各个区间里面点的数量.得到一个13 维的二维直方图.

式中：r、g、b为三通道颜色值，区间为[0，255]；R、G、B为非线性色调编辑后的颜色值；x、y、z为XYZ空间中坐标值.

式中：L、a、b为Lab 色彩空间中的三通道值；xn=95.047,yn=100.0,zn=108.883.

步骤4：把步骤2、步骤3 中得到的两个直方图进行连接，也就形成了一个新的33 维的关键点颜色特征描述直方图.

与FPFH 描述的33 维几何特征直方图连接，得到66 维的融合颜色与几何信息的特征描述符（FPFH-3DLGOP）.

图2 展示了三维彩色点云数据中三个关键点的FPFH-3DLGOP 描述符，其前33 维描述了关键点的几何特征，后33 维则对颜色信息进行描述，在后33维中的前20 维为3DLGOP 描述符变形而来的，后13 维为CSHOT 描述符中变形而来的.

图2 FPFH-3DLGOP 特征直方图Fig.2 FPFH-3DLGOP feature histogram

配准过程如下：①对原始的源点云与目标点云数据进行关键点提取；②利用关键点邻域的彩色与几何信息对其进行特征描述；③使用最近邻比值法得到初始位置得到源点云中每个点与目标点云的对应关系，再利用随机采用一致性去除错误对应关系；④最后，使用奇异值分解(SVD）的求解方式利用匹配关系求解得到三维刚体变换矩阵，进而完成点云配准.

4 实验及结果分析

4.1 3DLGOP 彩色点云配准实验

本实验选用的点云数据为利用结构光扫描仪的三组点云，其中胡巴为同时有着颜色和几何信息的彩色点云数据，不过其含量有所差别；Bowl 数据则是有着丰富的颜色分布的圆柱形点云数据，且有着弯曲角度大致相同的较大弯曲区域；Food_bag 则是表面平面、无明显几何特征、却有着大量颜色信息的点云数据.图3 为两个角度下采集的原始数据和其初始位置，两个点云有明显的位移和旋转，需要粗配准拉近两个点云的位置.

图3 点云数据集及其初始位置Fig.3 Point cloud data set and its initial location

参数选择：3DLGOP 特征描述有2 个固定参数，为使描述符维度不至于过高影响点云配准速率，选取N=4、B=6.

图4(a)、(c)、(e) 是3DLGOP 特征描述得到的特征向量使用最近邻比值法对应后的初始匹配关系，不难有部分明显错误匹配点对；图4(b)、(d)、(f)是使随机采样一致性算法得到的正确匹配关系.

图4 点云配准对应关系示意图Fig.4 Schematic diagram of point cloud registration correspondence

图5 是对正确匹配关系利用SVD 计算出的转换矩阵进行配准后的结果，可以知道源点云与目标点云的初始配准完成得很好.

图5 点云配准结果Fig.5 Point cloud registration results

对于基于3DLGOP 的点云配准结果，配准精度采用均方根误差来表示，式（20）给出了其计算公式，这个结果反应了源点云与目标点云的平均距离误差.此值越小表示配准效果越优越.

式中：R为旋转矩阵；t为平移矩阵；pi为源点云坐标；qi为目标点云中距离pi转换后最近点的坐标；N为点云个数.

经过计算，三组数据的精度分别为5.339×10-4，5.700×10-6，3.812×10-6m；配准时间分别为28.945，11.218，70.100 s.均有拥有极高的配准精度，时间也在可接受区间，可以看出 3DLGOP 能够很好地利用点云的颜色信息进行配准，而且对几何信息无论明显与否的彩色点云数据均有着极好的配准效果.

4.2 FPFH-3DLGOP 配准实验

本实验基于点云配准精度（RMSE）和匹配率（正确匹配对数量/匹配对数量×100%）对本文提出的FPFH-3DLGOP 描述符和3DLGOP、FPFH 描述符的性能进行比较.

利用第一节中的关键点提取方法分别提取点云的颜色关键点和几何关键点.并且组合两种方法提取包含颜色与几何信息的混合关键点，本组实验只采用胡巴和Food_bag 这两个既存在颜色关键点又存在几何关键点完成不同特征描述符之间的比较.

4.2.1 关键点提取

图6 展示了三种彩色点云数据集关键点，绿色为颜色关键点，大多处在颜色变化区域，红色代表着几何关键点，大多处在曲面的凹凸部位，蓝色则是混合关键点，大多处在颜色与几何关键点的重合区域.

图6 点云关键点示意图Fig.6 Schematic diagram of key points of point cloud

关键点提取实验结果如表3 所示.

表3 三种提取关键点方法的实验结果Tab.3 Experimental results of three key point extraction methods

4.2.2 不同特征描述子的性能比较

利用这三种不同的关键点验证FPFH-3DLGOP特征描述子的配准效率和配准精度，并将其与FPFH和3DLGOP 描述符进行对比.图7～图12 展示了三维彩色点云数据集胡巴与Food_bag 在不同特征描述符、不同关键点下的配准性能对比，对比图横坐标表示关键点邻域描述半径，设置的值为点云分辨率的倍数.

图7 三种描述符基于颜色关键点的匹配率比较图Fig.7 Matching rate comparison of three descriptors based on color key points

图8 三种描述符基于颜色关键点的配准精度比较图Fig.8 Registration accuracy comparison of three descriptors based on color key points

从图7 能够容易看出，针对颜色关键点的配准，匹配率最高的为3DLGOP 描述符，显示出了提取颜色关键点的优势；由于颜色关键点更多的是描述了颜色信息，几何信息利用较少，因此FPFH 描述符的匹配率是最低的，能够看出FPFH 的局限性，更适合于几何信息明显的点云数据.从图9 可以看出，对于几何关键点，3DLGOP 匹配率也比FPFH 的匹配率高，有着更好的鲁棒性与泛用性；对于FPFH-3DLGOP 描述符，因其融合了两种描述符的信息，其匹配率一直处在两种描述符匹配率中间，匹配率变化趋势与两种描述符匹配率相同.

图9 三种描述符基于几何关键点的匹配率比较图Fig.9 Matching rate comparison of three descriptors based on geometric key points

从图8 和图10 中能够看出FPFH-3DLGOP 描述子配准精度最好，其原因在于相匹配的三维彩色点云点对颜色与几何信息都相似，有着更高的置信度，由此计算出的转换矩阵与真实转换矩阵更加接近，能够得到更高的点云配准精度.

图10 三种描述符基于几何关键点的配准精度比较图Fig.10 Registration accuracy comparison of three descriptors based on geometric key points

针对混合关键点的描述，从图11 能够看出融合了颜色与几何信息的FPFH-3DLGOP 描述符匹配率最高，原因在于两种信息的互补，从图12 同样知道此描述符的配准精度最高.

图11 三种描述符基于混合关键点的匹配率比较图Fig.11 Matching rate comparison of three descriptors based on mixed key points

图12 三种描述符基于混合关键点的配准精度比较图Fig.12 Registration accuracy comparison of three descriptors based on mixed key points

点云数据集Bowl 中由于缺少几何关键点，不同描述符无法进行比较，因此表4 列出了此点云数据集的FHFH-3DLGOP 配准实验结果，其中描述半径是5 倍点云分辨.对比bowl 数据集在3DLGOP 的配结果，可以看到FPFH-3DLGOP 描述符的匹配率与3DLGOP 相比有所下降，但精度是提高的.

表4 Bowl 的FHFH-3DLGOP 点云配准实验结果Tab.4 Bowl's FHFHFH-3DLGOP point cloud registration experiment results

4.3 对比实验

将本文设计算法与文献[20]的3DNPFH 算法进行对比，选用胡巴数据集对三种不同节点进行配准，实验对比结果如图13、图14 所示.

图13 基于三种关键点匹配率对比图Fig.13 Matching rate comparison based on three key points

图14 基于三种关键点配准精度对比图Fig.14 Registration accuracy comparison based on three key points

从图13 的三种关键点匹配率可以看出对于混合关键点与颜色关键点的匹配率，FPFH-3DLGOP 的性能更加优越，虽然对于几何关键点的匹配率低于3DNPFH，但是仍然有着较高的匹配率，有着极高的鲁棒性.从图14 能够看出，对比3DNPFH，FPFH-3DLGOP 保持极高的配准精度，对于几何关键点配准，与3DNPFH 精度相差不大，同样有着极高精度.对于颜色关键点以及混合关键点配准，由于本文设计描述符有着颜色信息，并且将颜色与几何信息两种信息进行融合，此时的配准精度更加优越，凸显了颜色信息在配准中的作用.无论在哪种情况下，FPFH-3DLGOP 均有着较高的匹配率与配准精度.

从以上的实验结果不难得出：FPFH-3DLGOP 描述符配准的综合性能是最优的，其综合了三维彩色点云的几何与颜色信息进行描述，提高配准精度的同时又有着广泛的应用范围.

5 结 论

本文提出一种融合颜色信息和几何特征的FPFH-3DLGO 混合特征描述符来完成点云的配准.该描述符将FPFH 描述符中的几何特征和本文提出的3DLGOP 中的颜色信息及CSHOT 中的颜色特征进行融合，使几何与颜色两种特征在一定程度上互补，提高了点云的粗配准精度.通过实验很好地验证了本文提出的融合颜色信息和几何信息的点云配准算法的优越性,当点云的几何特征或者颜色特征不明显时，利用另外一种特征进行补充，大大完善了点云配准的结果.同时当只有一特征时，由于融合了两种特征，同样可以很好地完成点云配准.