APP下载

基于FPFH描述子的高效点云配准与拼接方法

2024-12-11赵卫东朱军张丹丹周大昌

关键词:计算机视觉

摘要:为提高点云拼接精度,针对物体表面平整光滑而寻找关键点要求高的问题,提出1种改进的基于快速点特征直方图(FPFH)描述子的点云配准方法。对待配准的点云进行体素降采样,以此点作为关键点,并计算FPFH描述子用以描述局部特性;估计两点云之间点到点的对应关系,并经过随机采样一致性(RANSAC)算法取内点、去外点,估计初始位姿;利用迭代最近点(ICP)方法对点云进行精配准,完成点云数据的配准;依次对相邻的点云进行配准,获得旋转平移矩阵,实现点云拼接。利用公共数据集点云与自主扫描的石头点云数据,采用本文方法与传统ICP方法进行对比仿真实验,验证本文方法的有效性。结果表明:与传统ICP配准方法相比,本文方法的适应度分数为1.579E-05,显著低于点到点和点到面ICP配准方法的适应度分数;对于公共数据集不同角度下的点云拼接,本文方法的相邻点云间配准平均适应度分数达到2.058E-04,平均MSE为0.075;对于自主扫描的石头点云拼接,去除错误匹配点对后保留的对应关系基本呈现平行效果,拼接结果符合预期。使用降采样点作为关键点,并计算FPFH描述子后进行点云配准,不仅可有效降低计算复杂度,配准精度也得到显著提升,尤其在处理表面平整光滑的物体时,本文方法可为点云拼接提供良好基础,具有较好的实用性。

关键词:点云配准;FPFH描述子;体素滤波;点云拼接;计算机视觉

中图分类号:TP 242.6文献标志码:A doi:10.12415/j.issn.1671-7872.24046

An Efficient Point Cloud Registration and Stitching Method Based on the FPFH Descriptor

ZHAO Weidong,ZHUJun,ZHANGDandan,ZHOUDachang

(School ofElectricalamp;InformationEngineering,Anhui University of Technology,Maanshan 243032,China)

Abstract:To improve the accuracy of point cloud stitching,an improved point cloud registration method based on the fast point feature histogram(FPFH)descriptor was proposed,addressing the challenge of high requirements for keypoint detection on smooth and flat object surfaces.The voxel down-sampling on the point clouds was performed to be registered,and these points was used as keypoints,and FPFH descriptors were calculated to describe local features.The point-to-point correspondences between the two point clouds were estimated,followed by applying the random sample consensus(RANSAC)algorithm to identify inliers,removeoutliers,and to estimate the initial pose.The iterative closest point(ICP)method was utilized to achieve precise registration of the point clouds,and to complete the point cloud registration process.By sequentially registering adjacent point clouds,the rotation and translation matrices were obtained,enabling point cloud stitching.Comparative simulation experiments were conducted with public datasetpoint clouds and self-scanned stone point cloud data to validate the effectiveness of the proposed method against the traditional ICP method.The results demonstrate that compared to the traditional ICPregistrationmethod,the fitness score of the proposed method is 1.579E-05,significantly lower than the fitness scores of point-to-point and point-to-plane ICP registration methods.For point cloud stitching at different angles in the public dataset,the average fitness score between adjacent point clouds using the proposed method is 2.058E-04,and the average mean squared error(MSE)is 0.075.For the point cloud registration of stones scanned autonomously,the correspondences retained after removing mismatched points exhibit a nearly parallel effect,and the stitching results align with expectations.Using down-sampled points as keypoints and calculating FPFH descriptors for point cloud registration not only effectively reduces computational complexity,but also significantly improves registration accuracy.Especially when dealing with objects that have flat and smooth surfaces,the method presented in this paper can provide a good foundation for point cloud stitching,demonstrating better practicality.

Keywords:point cloud registration;FPFHdescriptor;voxelfiltering;point cloud stitching;computervision

计算机视觉作为当今科学技术发展的重要方向,赋予了计算机类似于人类的视觉功能,被广泛用于无人驾驶、机器人导航、虚拟现实和增强现实等领域\"。点云数据作为1种关键的三维数据形式,除包含基本的几何位置信息外,还包含颜色信息或反射强度信息,这些信息对于理解和分析物体的表面特性非常重要。点云配准是将多个视角下获取的点云数据合并到1个统一的坐标系中,以便进行后续的分析和处理;点云拼接则是将多个图像拼接成1个大的图像,使之成为1个连续的整体。点云配准与拼接技术的应用不仅提高了图像处理的精度和效率,还为三维重建和可视化提供强大的支持2-4。迭代最近点(iterative closest point,ICP)算法作为经典的点云配准方法,被广泛用于各种三维场景的配准任务。然而,ICP算法存在配准精度不高、容易陷入局部最优解以及对初始位姿敏感等问题,限制了其在复杂场景中的应用I5-6]。因此,研究如何提高点云配准与拼接的精度和效率,对于高精度的三维重建有重要意义。

近年,许多学者围绕提高配准精度、降低计算复杂度以及增强算法的鲁棒性对点云配准技术展开了研究。例如,在点云配准过程中引入预处理步骤,如将体素网格法和尺度不变特征变换(scale-invariant feature transform,SIFT)用于提取特征点,通过快速点特征直方图(fast point feature histograms,FPFH)描述特征点,并采用采样一致性初始配准(sample consensus initial alignment,SAC-IA)算法进行初始位姿校正,这些改进在一定程度上提升了配准效果7-9;此外,点到线ICP和点到面ICP算法也被相继提出,通过更精细的距离度量方式大幅提高配准精度10-11]。与点云配准类似,点云拼接也是三维重建中的关键步骤,这一过程通常涉及到多个视角下的点云配准,并需要解决遮挡、噪声和视角差异等问题。近年,随着深度学习和多视角融合技术的发展,点云拼接技术在精度和效率上得到了显著提升。例如:多视点一致性、稠密匹配等基于图像和点云结合的方法被广泛用于点云拼接任务1²-14;通过特征点检测与匹配、全局优化和细化处理相结合的方法,探索更鲁棒和高效的拼接策略5-17]。这些方法在特定场景下取得了良好的效果,但仍面临一些挑战。在光滑平面点云上,传统基于特征点匹配的方法在寻找关键点时存在难度,且在处理非均匀化点云或噪声较多的数据时,配准精度依然不够理想;当前的方法过于依赖初始配准阶段的准确性,对数据的初始位姿要求较高,在多视点点云拼接中尤为明显8。鉴于此,提出1种新的基于FPFH描述子的点云配准方法,通过优化特征点提取与匹配过程,并结合随机样本一致(random sample consensus RANSAC)算法进行内点筛选,以期进一步提升点云配准的精度和效率。

1点云配准与拼接方法的改进

对于需要配准与拼接的局部点云,采用1种基于体素网格的降采样方法,将经过体素降采样之后的点作为关键点,采用K-dimensional tree(KD树)的搜索方法对关键点进行法线计算,并计算其FPFH特征;根据FPFH特征估计2个点云之间的点对点对应关系,使用RANSAC对应关系拒绝算法进一步估计初始位姿关系;将初始位姿代入ICP配准,获得旋转变换矩阵,实现待配准的2个点云的拼接与融合。按照上述步骤,对相邻部分的局部点云进行配准,将俩俩配准的点云旋转平移到同一个坐标系,实现对整个物体的点云拼接。

1.1改进方法的原理

1.1.1点云降采样

在处理三维点云数据时,冗余数据的存在通常带来计算量的显著增加和处理时间的延长,这对计算资源和效率提出了更高的要求。因此,降采样成为1种有效减少数据规模的预处理步骤。文中采用体素降采样的方法创建1个空间体素栅格的点云模型,将该模型分割成多个栅格区域,每个栅格区域中的所有点用质心代替,这个质心就被称为降采样点Q,如式(1)。

(1)

式中:n为点云数量;(qxi,Qyi,q₂)为空间坐标系下第i个点沿x,y,z轴的坐标。

1.1.2关键点FPFH描述符

FPFH通过简化特征直方图的计算,可为高效、精确的点云分析提供可靠的工具,FPFH的生成过程如下:

1)对于每个查询点P,在其和相邻点之间计算1个元组α,φ,θ,其中α为点对法向量的投影,φ为点对之间的投影角度,θ为点对之间的旋转角度,将此元组组合称作简化点特征直方图(simplified point feature histogram,SPFH)。

2)重新选取每个点的k邻域,并利用相邻点的SPFH值,计算查询点P,的最终快速点特征直方图(fast point feature histograms,FPFH),具体计算公式如式(2)。

在给定的度量空间中,权重w.代表查询点P₄和相邻点PA的距离,可用来对某一对点(P,P)进行评价,具体表现方式如图1,其表示以点P,为中心的k邻域影响范围。其中:Pa,…,Ps为P₄的k邻域相邻点;P₆,…,P1s为空间离散点(若在PA,…,Ps的k邻域范围内,则参与点P,的FPFH计算)。

1.1.3 RANSAC粗配准

在点云配准中,会遇到点云的稀疏性和噪声的干扰,易造成匹配的点对出现错误匹配,进而影响粗配准的效果。为解决这个问题,文中采用RANSAC对应关系拒绝算法[19,在估计初始位姿的同时排除误匹配点对,提高配准的成功率。RANSAC算法的基本步骤如下:

1)从配对点集P中随机选择一小组样本,如3个点对,用以拟合模型(如直线、平面、刚体变换等);

2)对其余数据点分别求取其在拟合模型中的位置,如果各相邻点之间的距离比预设的临界值小,就将其当作1个内点来处理,否则当作1个外部点来处理;

3)反复进行以上过程,直至达到预定的迭代数目,在每个迭代过程中,选取内点个数最多的模型为优化模型;

4)针对最优模型所给的配点集,采用奇异值分解(singular value decomposition,SVD)方法求解粗配准点云的转换矩阵,为后续高精度配准(如ICP配准)奠定基础。

1.1.4 ICP精配准

进行点云配准时,对于ICP算法需要1个良好的初始配准结果,否则可能陷入局部最优解,难以达到理想的配准效果201。文中采用RANSAC粗配准对目标点云进行旋转变换,获得理想的初始姿态,以减少因空间差异造成的点云旋转平移错位,提高ICP精配准的速度与精度,避免陷入局部最优解。在此基础上,使用ICP进行点云配准,考虑模型点云和场景点云之间的对应关系,主要步骤如下:

1)设模型点云Cp={p;,i=1,2,3,…,u},场景点云Cg={q,i=1,2,3,…,t},其中u和t表示云数量。

2)在模型点云Cp中随机选择3个或以上的点集Cpi,从场景点云C₄中选取与之最接近的点集Cq,确定他们之间的对应关系,并求出对应的旋转矩阵R和平移矩阵T。

3)对转换后的模型点云和场景点云进行均方差的计算,计算公式如式(3)。

(3)

4)在均方误差低于初始设定值e₀时,结束迭代,并将当前的R和T作为最终的旋转平移矩阵,若条件不成立,反复进行步骤2)和步骤3),直至条件被满足为止,其中N表示随机选取点数目。

1.2改进方法的实现

1.2.1点云配准

本文提出的点云配准方法流程图如图2。由图2可知,点云配准的主要步骤如下:

1)对输入的源点云P₁和目标点云P₂进行降采样;

2)将降采样之后点云中的点作为关键点,计算其FPFH特征描述子

3)基于FPFH特征,估计两点云之间的点对点对应关系;

4)采用RANSAC粗配准,进一步估计初始位姿;

5)采用ICP精配准,获得最终变换矩阵。

1.2.2点云拼接2)将配准后的点云进行旋转平移,任意选择拼

获取多视点相邻局部点云变换矩阵的原理如图3。根据图3可知,提出的点云拼接主要步骤如下:

1)将2个相邻的局部点云进行点云配准,如计算P₁与P2,P₂与P,…,P-1与P,间的变换矩阵,分别记为T₁₂,T₂…,T-1;

2)将配准后的点云进行旋转平移,任意选择拼接完成后点云所在的坐标系,如将完整拼接后的点云放入P₂坐标系,点云P₁与变换矩阵T₁₂相乘,点云P₂不变,点云P₁与变换矩阵T₂-相乘,…,点云Pn与变换矩阵(T₂-,T-¹,…,T-1n)相乘;

3)根据步骤2),将所有配准后的点云旋转平移到同一坐标系,就会构成1个物体完整点云。

2实验结果与分析

在点云数据处理过程中,点云配准与点云拼接技术的精度是关键。为验证基于FPFH描述子的点云配准与拼接方法的有效性,设计三类实验:基于FPFH描述子的点云配准方法与传统ICP方法的配准性能对比仿真实验、公共数据集点云拼接实验和自主扫描石头点云拼接实验。

2.1点云配准对比实验

为能够验证本文方法在源点云和目标点云位姿有显著差异时的配准精度,选定公共数据集Bunny中的局部点云bun000(图4(a)左边部分)和局部点云bun045(图4(a)右边部分)进行点云配准,采用本文方法与点到点的ICP以及点到面的ICP配准方法进行仿真实验。设置3种方法的参数一致,点云降采样的体素为0.001,ICP方法中最小转换差异为1e-8,对应点对之间的最大距离为0.001,均方误差和的阈值为1,最大迭代次数为2000。3种配准方法得到的配准结果如图4。

由图4可看出:源点云bun000和目标点云bun045存在较大的位姿差异,本文方法中使用降采样后的点作为关键点进行配准,bun000局部点云获得了较好的位姿矫正效果,配准完成后对应点间的距离较小;点到点和点到面的ICP配准方法并未正确配准或完全配准,这是由于并未获得较好的初始位姿,使结果陷入了局部最优解。

适应度分数是衡量点云配准精度的指标,通常通过计算配准后两点云中每对最近邻点的距离来评估,分数越低表示配准结果越精确。为进一步比较3种方法的配准性能,选取1组相同的点云数据集进行测试,3种方法配准的适应度分数(配准后两点云中最近邻点的平均距离)及总时间如表1。

由表1可知:本文方法的适应度分数为1.579E-05,显著低于点到点和点到面ICP配准方法的适应度分数,本文方法的配准精度最高;但本文方法需计算大量的FPFH描述子以及估计初始位姿,使得配准时间显著高于点到点和点到面ICP。总的来说,本文算法在配准精度上表现优秀,但在效率上有待提高,对于需要高精度配准的应用,本文方法是1种较好的选择。

2.2公共数据集点云拼接实验

为保证点云拼接的准确性,选取斯坦福大学公开的三维点云数据集Bunny作为研究对象进行实验验证。选取Bunny数据集中6个不同视角的局部点云,角度分别是0°,45°,90°,180°,270°,315°,不同视角的原始点云使用不同颜色展示,如图5。

利用本文的点云配准方法对Bunny公共数据集进行多视点点云配准实验。按照图1中点云配准的流程,将各部分相邻点云进行配准。通过源点云和目标点云中各关键点的FPFH描述符,设定相应的最大距离阈值,实现对各个点云的连续配准,以相互查找的方式获取对应关系。图6为使用FPFH描述子建立点云对应关系的效果,其中每1条彩色连接线表示1组对应点对。

从图6可发现:FPFH描述子在特征描述上表现优秀,能找到很多匹配点对,但还存在不正确的对应关系,需采用RANSAC算法剔除错误匹配点对。采用RANSAC算法剔除错误匹配点对后的点云对应关系如图7所示,彩色连接线大多互为平行关系。

相邻点云的配准结果如图8,对每次配准后的结果进行误差分析,并校正误差。当某次ICP精配准得到的适应度分数过大或MSE过大时,调整RANSAC的内点阈值,并对ICP迭代的终止条件进行调整,通过设置最大迭代次数和收敛阈值,使配准达到预期效果,有效减小误差。利用颜色变换表示点云拼接的过程,记录此时所有配准变换矩阵的结果,分别为Tb,Tbe,T,Tde,Ter,Ta,并计算出每次配准相应的ICP配准的适应度分数以及均方误差(mean squared error,MSE)。其中:变换矩阵T的下标字母对应图8中的副标题字母;均方误差表示源点云和目标点云之间每个对应点距离平方的平均值,与适应度分数类似,数值越小代表配准效果越好,具体参数如表2。

由表2可见:在所有的配准对中,适应度分数均在1个较小的范围,最大值为5.053E-04、最小值为1.383E-05,表明配准对均取得了较好的配准效果;MSE也在1个较小的范围,最大值为0.089、最小值为0.065,表明配准对均取得了较好的配准效果;配准时间在不同配准对之间略有波动,但整体上在15s左右,配准效率比较稳定,没有出现显著的时间差异。综上看,所有的配准对都取得了较好的配准效果,且配准时间比较稳定,本文方法的配准结果在精度和稳定性上均表现良好。

再根据旋转平移变换矩阵的换算完成拼接过程,将拼接的点云旋转平移到bun315点云所处的坐标系。将点云bun000乘以Ter,Tde,T,Tbe,Tb旋转平移变换矩阵,使点云bun000旋转平移到bun315坐标系;将点云bun045乘以T,Tde,Td,Tc变换矩阵,使点云bun045旋转平移到bun315坐标系。同理,将剩下的点云经过旋转平移到bun315所在坐标系,最终拼接的完整点云(如图9)由Bunny数据集中不同局部点云的不同颜色组成。

由图9可看出:在观察不同视角的点云时,拼接点云的耳朵、身体轮廓等特征点在各个视角下的对应关系都准确无误,没有出现未对齐的空隙或不必要的重叠现象。整体来看,点云的形态符合预期。

2.3自扫石头点云拼接实验

采用自行设计的由2台Basler摄像机(acA1920-150μm)、步进电机、线性激光器、驱动电路等组成的点云采集系统,获得点云数据。实验装置如图10。

通过双目扫描点云设备获取石头多个方向的局部点云数据,石头实物如图11。

固定相机位置不动,通过旋转石头从同一方向扫描出石头的局部点云,分别使用不同颜色区分,如图12。

对石头的局部点云采用本文点云配准方法,进行连续点云配准实验,根据图1中点云配准算法的流程,分别对各部分点云进行相邻配准。对所有局部点云进行体素降采样预处理操作,限制点云个数为3.000,并使5个局部点云密度相似,不超过0.05。设置计算法线参数为300(寻找邻近点数),计算源点云和目标点云中每个关键点的FPFH描述子时,设置在半径为25 mm范围进行邻域点搜索,并设置对应关系之间的最大距离阈值为3,以相互查找的方式获取对应关系,结果如图13。由图13可看出:寻找的对应关系错乱复杂,存在较多的错误匹配点对。

再经RANSAC算法去除匹配点对后的对应关系,如图14所示,剔除错误匹配点对后保留的对应关系基本呈现平行、整齐的效果,证实了RANSAC算法能有效寻找正确的匹配关系,可为后续的点云配准环节提供基础。

通过上述得到的正确匹配点对结果,对相邻石头进行点云配准,结果如图15所示,利用颜色变换表示点云拼接的过程,记录此时所有配准变换矩阵,

通过旋转平移矩阵,将所有石头的点云都转化到石头5的点云坐标系,如将石头1的点云乘以T4s,T₃₄,Tz₃,T₁₂矩阵,可将石头1的点云旋转平移到石头5的点云坐标系。同理,将其他石头点云转化到石头5的点云坐标系,结果如图16。

由图16可看出:石头的配准拼接基本没有瑕疵,通过对待配准的点云进行降采样,将降采样的点作为关键点,既简化了关键点的寻找过程,减少计算的复杂度,又使FPFH描述子应用在RANSAC和ICP相结合的配准算法中有效提高了配准精度;再依次对相邻点云进行连续配准,使点云配准与拼接的效果优异。

3结论

针对传统点云配准算法在处理光滑物体时的局限性,提出1种改进的点云配准方法。采用降采样后的点作为特征点,结合FPFH描述子进行点云配准;通过引入初始配准和精配准的两步策略,在源点云和目标点云位姿差异较大的情况下显著改善初始位姿,提高点云配准的整体精度。相较于其他传统ICP配准方法,提出的配准方法具有较高的准确度,其中公共数据集配准的平均适应度分数达到2.058E-04,平均MSE达到0.075;对于数据集中的点云拼接,本文方法能够有效处理点云数据的连续拼接,显著减少拼接误差,提高了整体拼接的精度和一致性;对于自主扫描的石头点云拼接,本文方法不仅可准确对齐各扫描片段,还展现了优异的拼接效果,验证了其在实际应用中的高效性和实用性。

本文方法在处理光滑平面和非均匀点云时表现出较好的鲁棒性,且能有效降低对初始位姿的依赖,在点云拼接中优势显著,可为高精确的多视点点云拼接提供有力支持。但本文方法在连续配准拼接过程中,对于多视点点云拼接误差的传播和积累处理仍不够全面,会导致拼接精度的逐渐降低。因此,下一步需研究改进误差补偿和校正机制,以减少误差累积对最终点云拼接质量的影响。

参考文献:

[1]黄丹丹,郝文豪,杨阳.基于误匹配剔除和地面约束的视觉SLAM算法[J].中国惯性技术学报,2024,32(2):163-169,179.

[2]GOJCIC Z,ZHOU C,WEGNER J D,etal.Learningmultiview 3d point cloud registration[C]//Proceedings of the IEEE/CVF conference on computer vision and pattern recognition.Seattle,WA,USA:IEEE,2020:1759-1769.

[3]张文丽,程兰,任密蜂,等.基于AGConv局部特征描述符的点云配准[J].计算机工程,2023,49(11):231-237.

[4]杨佳琪,张世坤,范世超,等.多视图点云配准算法综述[J].华中科技大学学报(自然科学版),2022,50(11):16-34,43.

[5]李运川,王晓红.一种用于点云配准的改进迭代最近点算法[J].软件导刊,2020,19(9):175-179.

[6]刘玉珍,张强,林森.一种改进的基于快速点特征直方图的ICP点云配准算法[J].激光与光电子学进展,2021,58(6):283-290.

[7]RUSU R B,BLODOW N,BEETZ M.Fast point feature histograms(FPFH)for 3D registration[C]/2009 IEEE international conference on robotics and automation.Kobe,Japan:IEEE,2009:3212-3217.

[8]宋成航,李晋儒,刘冠杰.利用特征点采样一致性改进ICP算法点云配准方法[J].北京测绘,2021,35(3):317-322.

[9]王文博,田茂义,俞家勇,等.改进的迭代最近点点云配准方法[J].激光与光电子学进展,2022,59(2):390-399.

[10]CENSIA.An ICP variant using a point-to-line metric[C]/2008 IEEE international conference on robotics and automation.Pasadena,CA,USA:IEEE,2008:19-25.

[11]LOW K L.Linear least-squares optimization for point-to-plane ICP surface registrationJ].Chapel Hill,University of North Carolina,2004,4(10):1-3.

[12]安超,赵文政,刘银华.面向车身虚拟匹配的非均匀点云数据配准算法[J].机械设计与研究,2021,37(4):129-134.

[13]彭熙舜,陆安江,黄际玮,等.三维激光点云的网状RANSAC分割与计数[J].应用激光,2022,42(2):54-63.

[14]张建伟,权庆乐.一种融合区域生长和RANSAC的稠密点云平面分割方法[J].西安科技大学学报,2022,42(2):341-348.

[15]陶四杰,白瑞林.一种基于降采样后关键点优化的点云配准方法[J].计算机应用研究,2021,38(3):904-907.

[16]ZHONG Y,BAI F,LIU Y,etal.Point cloud splicing based on 3D-harris operator[C]//2021 3rd International Symposium on Smart and Healthy Cities(ISHC).Toronto,ON,Canada:IEEE,2021:61-66.

[17]XIE F G,DONG B,WANG H,etal.A local feature descriptor based on rotational volume for pairwise registration of point clouds[J].IEEE Access,2020,8:100120-100134.

[18]张龙,朱学军,马心知,等.融合特征点提取的三维点云配准方法[J].应用激光,2023,43(12):139-149.

[19]YANG J,HUANG Z,QUAN S,etal.Toward efficient and robust metrics for RANSAC hypotheses and 3D rigid registration[J].IEEE Transactions on Circuits and Systems for Video Technology,2021,32(2):893-906.

[20]WANG X,LI Y,PENG Y,etal.A coarse-to-fine generalized-ICP algorithm with trimmed strategy[J].IEEE Access,2020,8:40692-40703.

责任编辑:何莉

猜你喜欢

计算机视觉
基于光流技术的障碍物检测方法
无人驾驶小车定点追踪系统的设计与实现
基于深度卷积神经网络的物体识别算法
双目摄像头在识别物体大小方面的应用
机器视觉技术发展及其工业应用
危险气体罐车液位计算机视觉监控识别报警系统设计
计算机视觉在交通领域的应用
基于计算机视觉的细小颗粒团重量测量的研究
对于计算机视觉商业化方向的研究
基于Matlab的人脸检测实验设计