最佳采样率下的大部件位姿快速配准方法

2023-07-25张文卿陈根良

机械设计与研究 2023年2期

阚艳, 柏森, 张文卿, 王皓, 陈根良

(上海交通大学机械与动力工程学院,上海 200240,E-mail: cztzx@sjtu.edu.cn)

大部件的对接目前采用人工观测对接或激光跟踪仪测量靶点对接的方法,如图1所示。

▲图1 常见大部件装配方式

人工观测对接的方法自动化程度低、耗时长且精度不足,需要借助精密仪器辅助装配。目前,常用的辅助仪器为激光跟踪仪。激光跟踪仪可以精准地定位靶标球的位置,配准精度很高。但是,激光跟踪仪只能定位预先安装靶标球,提取单个点的信息,无法利用部件的结构特征,此外,使用激光跟踪仪具有较高的成本。

为了解决激光跟踪仪测量目标单一、靶标球安装不灵活等缺陷,也可以使用三维点云相机进行代替。以点云为信息输入可以利用部件本身的轮廓、表面等特征,无需预先安装靶标球,从而提高装配的自动化程度。不过,三维点云数据量较大,配准速度受到点云数量的限制,需要在现有方法上进行改进,降低配准耗时。

基于点云的配准方法,最具代表性的是Besk和Mckay[1]提出的迭代最邻近算法即ICP算法,该方法通过迭代寻找两幅点云重叠区域内的对应点对,计算两者之间的旋转平移矩阵,直到两次旋转平移矩阵差值足够小或达到预定的迭代次数。传统的ICP方法仅基于最短距离选取对应点,极易陷入局部最优。Rusinkiewicz 等[2]在该方法基础上,从选取对应点、配对、设置权重、删除异常点、解算距离和最优化计算方法几个方面总结了典型的 ICP 改进方法的特点,并提出了基于法向空间采样的对应点采样方式,改善了现有均匀采样的方法在特征分布不均匀模型中收敛效果差的问题。Zhang等人[3]优化了误匹配去除步骤,在迭代过程中设置动态阈值,使用法向量作为补充约束,同时使用Kd-tree结构优化搜索操作,有效提高了配准算法的效率,但该距离阈值过高会降低配准精度与速度,阈值过小则可能导致不收敛。Chetverikov等[4]提出基于截断最小二乘法的优化方法,通过设定截断比例能够在迭代过程中动态调节距离阈值,但是该方法要基于点云特性和重叠度设置恰当的截断比例。

在本研究背景下,由于大部件物体点云体积过大,ICP方法难以满足运行速度的要求,需要对场景点云进行进一步处理,以提高ICP方法在大部件配准中的效率,并尽可能地保证配准的角度。

因此,本文依据形状指数算子提取场景中的关键点;接着权衡速度与精度,分析并计算配准效果最佳的采样率;再以改进的ICP方法对目标进行位姿计算;最后利用调姿机构执行大部件对接验证算法的精度与效率。

1 关键点提取算法

为了提高点云配准的速度,需要对点云进行降采样处理,保留具有关键特征的点云。常用的点云特征有SIFT特征、NARF特征等,这些特征点的判断依据为点云处的相对曲率,这些方法参考的是曲率变化极值,从而筛选出模型中棱角突出的部分。由于这些方法不能在大部件表面均匀选取特征点,会忽略大部件的表面信息,导致配准的精度降低。为了解决这一问题,本文提出了基于形状指数算子的关键点提取方法。

对于任意点P与其临近点构建协方差矩阵有:

(1)

式中:pi为P的临近点,临近点总数为n,C为该点周围的协方差矩阵,是半正定矩阵,将其特征值依次记作λ1、λ2、λ3(λ1≤λ2≤λ3),对应特征向量记作v1,v2,v3。其中,λ1对应的特征向量v1代表切平面的法向量,v3、v2对应的特征向量代表切平面的两个相互正交的方向,λ3、λ2即为该点处的主曲率。平均曲率kP可以特征值的形式记为:

(2)

针对点云中任意点P,定义其形状指数算子:

(3)

式中:k1、k2为该点处的主曲率,从式(3)中可知,对于任意对任意点P有0

(4)

式中:N(p)为点P的邻近点集合,其中点的数量为N,α、β为因子控制关键点的数量,具体的数值选取需要结合点云模型实际情况进行设置。此处选取两种不同型号的航空发动机模型的点云模型进行关键点提取,分别提取NARF关键点和形状指数算子的关键点如图2所示。

▲图2 不同关键点算法的分布图

2 最佳配准性能下的采样比例

完成了基于形状指数的点云关键点提取后,点云仍具有较大的密度,不能直接使用迭代最邻近点算法,需要对处后的点云进行降采样处理。由于该处理会增大配准的误差,针对不同情况下的大部件对接的精度要求,研究点云采样密度与配准精度和配准速度的关系可以有效指导大部件对接流程中的具体操作。

2.1 点云滤波处理

在对点云进行配准前,需要先滤除噪声点与环境中的无关点。常用的点云滤波可分为统计滤波与线性滤波。统计滤波方法通过分析点云的邻域特征,计算点云到其一定数目或距离的临近点间的平均距离与方差,以整体点云的平均距离为依据,过滤点云中平均距离过高的离群点。该滤波方法的实现方式如下。

对于模型中任意点,记该点坐标为(x,y,z),周围半径ε内临近点的集合为V,集合有n个点,则有:

(5)

式中:v、σ2分别为该点到邻域内所有点的距离均值与方差。

根据待测物体的形状特性定义加权距离d=v+α*σ,式中α为标准权重系数,通过设定阈值ζ搜索满足d≤ζ的点并保存,则实现了统计滤波。图3(a)、(b)展示了统计滤波前后采集到的发动机点云模型,可见滤波后随机噪声明显减少了。

完成统计滤波后,仍需要滤除桌面、地面等无关点云。在这种情况下,我们可以使用线性滤波,通过限制点的x、y、z坐标的范围获得我们需要的目标点云。图3的(c)则展示了经过统计滤波后进行直通滤波的点云效果,获得了我们需要的发动机模型的主体部分。

2.2 点云采样与误差分析

点云降采样后,由于场景点云密度降低,点云配准时临近点关系会出现错误匹配,如图4所示。

▲图4 采样前后对应点示意图

▲图5 采样前后临近点平均距离示意图

考虑到原点云配准后的整体配准误差为ε,在平均距离增大的情况下,考虑到点云本身精度的缩减,以及实际点的立体维度分布,采样后的点间误差与采样率间关系的幂指数不确定,则有采样率k与配准误差的关系有:

▲图6 采样比例与配准误差关系图

(6)

考虑到迭代最近点算法的临近点迭代、误差计算次数与参与配准的点对数量呈正相关,且在计算过程中存在数据读写、阈值比较等环节,可以得出对点个数为N1,N2的两点云模型C1,C2,不提供初始值加速配准的情况下完成解算需要的时间t与点个数有如下关系:

(7)

▲图7 采样率与配准性能关系图

综上所述,迭代最近点算法的解算速度与采样率成正比,随着采样率减小而逐渐减少。而配准结果的误差则与采样率的平方根成反比,随着采样率的减小而增大,如图7所示。通过求解解算时间与配准误差关于采样率的数学模型,即可在满足精度要求与时间要求下,得到相对性能最佳的采样比例,实现效率最优。

3 实验验证与结果

为了验证前文理论的正确性,并针对大部件对接机构优化采样密度和估计速率,针对性设计三组实验。首先以斯坦福的“happy数据集”,以及航空发动机表面点云模型与实测模型对关键点选取效果进行测试与验证,并再以航空发动机模型为对象,分析配准效率与采样率的关系,最后搭建视觉引导调姿实验台,测试传统ICP方法并验证本文所提出方法的效率。所有实验均在2.6 GHz CPU(Inter i7-9750H)、NVIDIA GTX 1660Ti显卡和16GB RAM的笔记本电脑以单线程进行计算。编写的程序均基于PCL算法库使用C++编写。

本文使用的佛像模型具有参考变换矩阵;发动机模型的点云数据使用面结构光相机RVC-Mini得到。图8为两种模型的原始数据集。

▲图8 原始点云数据(左)与目标点云数据(右)

3.1 关键点提取效果验证

以“happy”佛像模型和航空发动机模型对本文提出的基于形状指数算子的关键点进行验证,图9反映了SIFT方法与形状指数算子方法所提取的关键点分布状态,两种方法的数据结果如表1所示。

表1 关键点提取性能统计

▲图9 形状指数算子(左)与SIFT算子(右)关键点

针对本文所研究的大部件而言,传统算法提取的关键点集中在边缘处,在点云遮挡、缺失等非特征处更加集中,模型表面处却分布稀疏,无法反映类似筒段等模型的表面特征。而利用本文方法提取的关键点数量更多,分布更均匀,更能反映实际物体的特征,且不受表面凸起、边缘等曲率突变的干扰,在该应用场景下具有更好的效果。

3.2 采样率与配准效率关系验证

▲图10 发动机模型配准效果图

以航空发动机模型作为实验对象,计算不同的采样比例并计算比例下的配准误差和时间。使用最小二乘法分别拟合采样密度与解算时间和配准误差。100%采样率下模型配准效果如图10所示。统计配准采样率与误差、解算时间的关系如表2所示。

表2 发动机模型采样率与配准性能关系表

将误差与耗时进行归一化处理,绘制采样率与配准时间和配准误差的关系如图11如所示。

▲图11 采样率关系拟合图

由图11中可知,在采样率20%-40%间,解算时间线性增长而配准误差较稳定,这部分整体误差小于1 mm,满足精度要求,因此该模型的最佳采样率为20%。使用最小二乘法将采样率与解算时间以及配准误差分别拟合,有:

t=34 483x+16.8, (R2=0.978 1)

(8)

e=0.467 4x-0.201, (R2=0.899 8)

(9)

由拟合公式可知,与上文推导模型基本一致,验证了前文推导的采样率与性能模型,而拟合出的误差关系模型与另一模型类似,该幂次系数为-0.2。

3.3 大部件匹配效果验证

为了验证本文提出方法的效果,搭建了如图12所示的发动机视觉导引调姿系统。本系统包含的硬件包括三维视觉测量系统、调姿平台、飞机发动机部件,机舱段部件等硬件。其中,三维视觉系统选用如本科技有限公司的RVC-Mini相机。为了给实验提供真值,比较位姿估计与部件对接的理论效果,本系统还使用LeicaAT960激光跟踪仪作为真值测量设备,该设备有三个测量精度,最高可达微米级。