基于方向直方图签名描述符的点云配准方法

赵卫东 ，程 星 ，陈香梅

(安徽工业大学 电气与信息工程学院，安徽 马鞍山 243032)

近年，机器视觉在机器人领域得到迅速发展，且广泛用于工业抓取、焊接及装配等作业中[1]。错误的目标位姿会导致机器人抓取、焊接等作业出现明显偏差、缩短机器人使用寿命，严重影响工业生产效率。因此，对物体识别定位的研究具有重大的工程意义。物体识别定位是从计算、比较或学习物体的几何属性、形状属性和结构属性等特征出发[2]，常见的物体识别定位方法大致分为基于2D 图像特征和三维点云特征的物体识别法，两者均利用物体在不同维度上的相同特征来完成对物体的识别定位。特征匹配作为机器视觉领域的核心问题之一，本质是通过物体的特征将不同场景下的物体建立联系，从而将各场景下物体位姿进行仿射变换[3]。物体的特征可通过2D 图像的亮度、姿态、形状等属性表示，利用2D 特征对特定物体进行识别定位[4]。郑晶怡等[5]提出一种图割法与形状先验模型相结合的工件识别定位方法，通过先验模型将目标工件分割出来，对采集的工件拟合出平面，计算拟合工件表面法向量，从而对目标工件进行识别定位；程义民等[6]在对物体深度图像分割的基础上，计算深度图像高斯曲率、平均曲率等几何信息，再利用属性关系图(attributed relational graph，ARG)描述物体，最后通过模型库ARG 图匹配来完成物体的识别定位。基于图像的物体识别方法能够快速识别定位物体，但受拍摄图像质量、光照、2D 特征不显著等问题的影响，无法准确、高效地识别定位物体。

基于三维点云特征的物体识别作为物体识别定位领域研究热点之一，具有较好描述物体细节特征的能力，从三维角度比对物体特征，可将特征分为局部特征和全局特征。基于点云全局特征的方法如视点特征直方图[7]、聚类视点特征直方图[8]等，对点云完整性要求较高，对遮挡、噪声等问题处理效果不佳，无法用于复杂环境。基于点云局部特征的方法，通过对点云局部特征计算编码来识别整体，一定程度上解决了点云遮挡、残缺和噪声等问题。Rusu 等[9]提出快速点特征直方图(fast point feature histogram，FPFH)，根据特征点与其邻域半径内的点估计法线方向角度差异，建立一个多维直方图，通过比对、匹配直方图完成点云识别。谭国威等[10]利用FPFH 描述子对点云进行粗配准后，使用迭代最近点(iterative closest point，ICP)进行精确配准，为点云配准提供一种“粗细结合”的配准方式；陆军等[11]在点云配准中加入关键点计算，优化点云配准速度；宗晓萍等[12]在粗配准过程加入KD 树数据结构，加快对应点对搜索，进一步优化整体配准速度；Tombari等[13]提出方向直方图签名(signature of histograms of orientations，SHOT)，将特征点附近空间划分为32 个子空间，计算统计每个子空间法线特征直方图，再将每个子空间直方图综合到一起得到高维描述符，该描述符鲁棒性较好。基于局部特征的点云识别对遮挡、残缺等情况有较好的识别效果，但依然存在识别速度慢、精度低、鲁棒性差等问题[14-16]。鉴于此，针对复杂场景下传统点云识别效率低、精度低、鲁棒性差等问题，提出一种基于SHOT 描述符的点云配准方法，在目标存在遮挡、残缺和其他干扰物的情况下，利用高维SHOT 描述符记录物体局部特征，对目标进行快速识别定位，为机器人提供精确的点云变换矩阵，具有较好的配准效率和鲁棒性。

1 基于点云局部特征的识别

针对传统点云识别存在的问题，对采集的点云进行降采样和内部形状签名[17](intrinsic shape signatures，ISS)提取关键点预处理，采用KD 树搜索匹配特征相似点对，缩短配准用时；对提取的关键点采用鲁棒性较好的SHOT 描述子计算、保存点云特征；采用随机采样一致性[18-19](random sample consensus，RANSAC)优化配对点对和估计初始位姿，为迭代最近点[20](ICP)配准提供初始条件，提高配准精度。

1.1 点云降采样

点云数据量庞大，需进行降采样预处理，但不能破坏点云的局部特征。文中采用体素重心降采样，即通过建立空间体素栅格，将点云划分数个栅格区域，将栅格包含的所有点用质心代替，此时质心称为降采样点Q，如式(1)。

式中：n为点云个数；(qxi,qyi,qzi)为 空间坐标系下第i个点沿x,y,z轴的坐标值。

1.2 ISS 特征点提取

特征点是能够充分展现点云特征的点集，数量远小于原始点数。ISS 提取特征点的步骤如下：

1.3 关键点SHOT 描述符

提取特征点后，对特征点建立空间SHOT 描述符。SHOT 描述符作为一种局部特征子，在特征点F处建立局部坐标系，对半径为r的球邻域内经线、纬线和径向方向分别划分8，2，2 个部分，共形成32 个区域，如图1。统计区域内每个点的法向特征编码至直方图，将32 个区域的直方图综合到一起得到高维描述子。

图1 SHOT 描述符分割示意图Fig.1 Schematic diagram of SHOT descriptor splitting

计算SHOT 描述符的步骤如下：

1) 对ISS 提取的关键点pi构建协方差矩阵M，其中p表示关键点pi邻域内的其他点，p*表示邻域内所有点的质心，d表示邻域内的点到质心p*的距离。■

2) 对协方差矩阵M求解得出特征值，可得λ1＞λ2＞λ3，对应特征向量v1，v2，v3代表x，y，z坐标轴。

3) 计算分布在32 个区域内第k区域某关键点pi与其邻域点p的 夹角余弦 cos θki，如式(6)。其中vki表示第k个区域内第i个点的法向量，v3表 示关键点pi的法向量。

4) 统计各个区域内夹角余弦，共分为11 维直方图，再将32 个空间直方图组合，最终得到 3 2×11=352维度的SHOT 描述符。

1.4 KD 树对应点对匹配

KD 树是一种分割K维数据空间的数据结构，将无序的K维数据按一定顺序排列，以方便快捷高效地检索，大幅减少搜索时间。KD 树多用于处理多维数据，KD 树中每一个节点代表一个空间范围，构建KD 树的过程是一个逐级展开递归的过程。构建KD 树后，对于特定点pi，对给定距离r找出满足式(7)的所有点pr。

不同点云的相同位置SHOT 描述符应近似相同，在对模型点云和场景点云提取特征后，需将相同特征的点联系起来。对提取到点的SHOT 描述符进行二进制编码，得到每个特征点的特征向量Di，构建KD 树检索匹配相似特征向量的点对。匹配结果如图2，圆圈代表特征点，实线代表正确配对，虚线代表错误配对。

图2 模型点云和场景点云配对关系Fig.2 Matching relationship between model point cloud and field point cloud

1.5 RANSAC 粗配准

由于点云的稀疏程度、噪声等影响，匹配完成的点对会存在误匹配，直接影响粗配准结果。文中采用RANSAC 在估计初始位姿的同时，剔除误匹配点对，提高配准成功率。RANSAC 步骤如下：

1) 从配对点集P中随机选取3 组对应点对，并拟合出模型A1；

2) 对P中剩余配对点对，计算每个点与拟合模型A1的欧式距离，若距离超过提前设定阈值认为是局外点，不超过阈值则认为是局内点，记录此时局内点数量m；

3) 重复上述步骤直到迭代上限，统计不同刚体变换下样本内点个数，选取样本内点个数最多的模型为最佳数学模型，并保留所有样本内点，剔除在此刚体变换下的样本外点。

对于最佳模型给出的配对点集，利用奇异值分解[20](singular value decomposition，SVD)计算粗配准点云变换矩阵，为后续ICP 配准提供良好的初始配准条件。

1.6 ICP 精配准

ICP 配准需良好的初始配准结果，否则会陷入局部最优解，难以完成理想配准。RANSAC 算法提供了较好的初始位姿，将目标点云经过旋转平移变换，降低由空间差异造成的两片点云之间的旋转平移错位，有助于提高精配准的速度和精度，不会陷入局部最优解。采用ICP 配准的主要步骤如下：

1) 设模型点云Cp={pi,i=1,2,3,···,u} ，场景点云Cq={qi,i=1,2,3,···,t}，u和t表示两点云数量。

2) 在模型点云Cp中 随机选取3 个即以上的点集Cp1, 从场景点云Cq中选择预期最近的点集Ct1,确定其对应关系，并计算对应的旋转矩阵R和平移矩阵T。

3) 计算变换后的模型点云和场景点云的均方差函数e，计算公式如下

4) 当均方误差小于初始设定值e0时，终止迭代，选择当前R和T为最终旋转平移变换矩阵。若不满足条件，重复步骤2)，3)，4)，直到满足条件要求。其中N表示随机选取点个数。

2 实验与结果分析

2.1 实验过程

通过自主搭建的双目点云扫描设备获取点云，该双目设备主要由2 个Basler 相机型号为acA1920-150 µm相机、步进电机、线激光发射器和驱动电路构成。实验装置及实验平台如图3。

图3 扫描设备及实验平台Fig.3 Scanning equipment and experimental platform

通过双目点云扫描设备获取热电偶工件模型点云，对其处理得到红色模型点云(图4(b))，点云数量为35 215；为加快配准速度，对模型点云进行体素重心降采样(图4(c))，降采样后点云个数为3 000；对降采样后的点云采用ISS 提取特征点，设置搜索半径为60 mm、阈值为0.03，最终提取特征点个数为132 个，特征点用绿点表示(图4(d))。模型点云预处理过程如图4。

图4 模型点云的预处理Fig.4 Preprocessing of model point clouds

计算特征点SHOT 描述符，并进行二进制编码后存放在本地模板库中，为后续场景点云配准做准备。对包含热电偶目标场景进行扫描，获取的场景点云同样进行体素重心降采样预处理，限制场景点云个数在5 000 个以下，并计算其特征点。取特征点周围10 个点计算法线，领域搜索半径为60 mm，计算SHOT 描述符。对提取到的SHOT 描述符构建KD 树，与本地模板库中的模型对比，设置阈值为0.25，完成与模型点云的点对匹配；设置RANSAC 最大迭代次数为500、阈值为0.5，通过RANSAC 去除误匹配点对并获取粗配准位姿；将粗配准获取的初始位姿作为输入，设置ICP 最大迭代次数为200、转化差值为1e-6，结合粗配准位姿完成最终精配准。

为方便直观观察点云配准效果，将整个过程用可视化结果表示，如图5。图5(a)为KD 树配对后的点对关系，包含较多的误匹配点对；图5(b)为经RANSAC 去除误匹配点对，矫正后的配对关系；图5(c)为经RANSAC 粗配准后的初始位姿；图5(d)为最终ICP 配准后位姿。

图5 本文方法配准的可视化流程Fig.5 Visualization process of this method registration

对于图5(d)中的配准结果，最终模型点云相对于场景目标点云的位姿转换关系T如下：

2.2 实验结果分析

为验证本文方法的有效性，按照上述配准流程，分别对热电偶和H 型钢进行点云配准，并与传统ICP 算法作比较，配准效果如图6，7。从图6，7 可看出：直接使用ICP 配准会陷入局部最优解，导致配准失败；本文方法能够较好地完成配准，不会陷入局部最优解。为衡量配准精度，取两片点云空间距离接近程度SRMSE，定义为

图6 本文及传统方法热电偶配准效果比较Fig.6 Comparison of thermocouple alignment effect between this paper and traditional method

其中：N为对应点数量；Xi为 配准后对应点之间的欧式距离；X︿i为对应点之间欧氏距离的真值。

图7 本文及传统方法H 型钢配准效果比较Fig.7 Comparison of H-beam alignment effect between this paper and traditional methods

对工件热电偶和H 型钢按照本文方法配准，配准评估结果如表1。由表1 可看出：传统的ICP 配准都会使两片点云产生明显的错配，RMES 达到厘米级，H 型钢的配准误差更大，而本文方法误差在毫米级、精度较好；本文方法配准用时较短，在2 s 以内。这是因为本文方法在ICP 精配准前通过粗配准为ICP 配准提供了良好的初始条件，避免配准陷入局部最优发生错配现象。

表1 不同方法的配准效果评估Tab.1 Evaluation of alignment effect of different methods

对热电偶及H 型钢采用本文方法进行50 次扫描配准，结果如图8。由图8 可看出：配准平均误差较稳定，由于热电偶表面凹凸变化明显，相对于H 型钢其特征更明显，热电偶的配准精度比H 型钢好。

图8 平均配准精度与配准次数的关系Fig.8 Relationship between average alignment accuracy and alignment number

为验证本文方法具有较好的鲁棒性，根据上文实验结果，采用本文方法对选择特征不明显的H 型钢在遮挡和众多干扰物干扰情况下进行识别实验，结果如图9，10。由图9，10 可看出：对于无明显特征的H 型钢，在其他干扰平面和遮挡物存在的情况下，本文方法依然能够对其进行准确识别，具有较好的鲁棒性。

图9 本文方法对干扰物的识别情况Fig.9 Identification of interferers by this method

图10 本文方法对遮挡物的识别情况Fig.10 Recognition of obstacles by this method

3 结 论

为实现复杂场景下机器人能够高效、准确地识别和定位目标工件，提出一种基于SHOT 描述符的点云配准方法。通过双目点云扫描设备获取目标工件点云，对其进行预处理，并计算SHOT 描述符且将其存储在本地；对场景点云计算SHOT 描述符并进行二进制编码，构建KD 树加速与本地模板库的匹配，提高配准速度；对配对完成的点对，使用RANSAC 去除误匹配点对后，利用SVD 估计点云初始配准位姿，提高配准准确率；使用ICP 优化配准结果，再次提高配准精度。实验结果表明：本文方法能够快速准确的识别目标工件，配准精度在5 mm 以内、配准时间在2 s 以内；相比于传统点云配准ICP，本文方法配准精度更高，鲁棒性更好；对目标特征不明显的工件在目标遮挡、残缺和其他干扰物的情况下，本文方法依然有较好的识别效果，鲁棒性较好，能够满足复杂环境机器人场景的应用。