基于二次曲面拓扑关系的工件位姿估算方法*

徐进 李德平 柳宁

基于二次曲面拓扑关系的工件位姿估算方法*

徐进1,2李德平1,2柳宁1,2

（1.暨南大学信息科学技术学院 2.暨南大学机器人智能技术研究院）

针对Bin-Picking系统中工件6自由度位姿估算，基于全局和局部特征的点云匹配算法，对工业零件存在的一定局限性问题，提出一种基于二次曲面拓扑关系的工件位姿估算方法。该方法考虑到工业零件表面的曲面特征，利用图结构描述曲面间拓扑关系；并通过子图同构匹配完成目标对象的识别；最后利用曲面特征参数进行快速的位姿估算。实验证明，该方法比传统位姿估算方法更快速、准确，具有良好的鲁棒性和可拓展性，能满足工业实时性要求。

Bin-Picking；点云匹配；二次曲面；子图同构

0　引言

在现代生产制造过程中，装配是必不可少的环节，而工业机器人的分拣功能是自动化装配过程中最基本的功能之一。基于3D视觉的分拣系统又称为3D-Bin-Picking系统，其核心问题之一，是如何从散乱堆叠的工件中识别出最上层工件并获取其6自由度位姿信息，该位姿信息是引导机械臂进行工件捡取的关键。

目前，针对物体位姿识别主要有2种方法：1）基于全局特征方法，先对点云场景进行分割，再计算每个点云聚类的全局特征，并与模型的全局特征库进行匹配，从而得到其对应位姿，该方法的代表算法有VFH[1]，CVFH[2]和GFPFH等；2）基于局部特征方法，先分别对场景和模型进行关键点提取，然后计算每个关键点的局部特征，并对场景和模型的关键点进行基于局部特征的匹配，最后根据匹配对估算变换矩阵，该方法的代表算法有PFH[3]，FPFH[4]，SIFT[5]和SHOT[6]等。

以上方法对于纹理特征明显的物体有较好的识别效果。但工业零件的表面多为规则二次曲面，有大量特征相似的关键点，缺乏纹理信息，使用上述方法对工业零件进行位姿识别会产生大量错误匹配对，无法计算出正确的位姿变换矩阵。为此，本文提出一种工业零件的位姿估算方法，该方法充分利用工业零件的二次曲面特征，能快速、准确地完成位姿估算。

1　工业零件的二次曲面表征

工业零件表面一般包含一个或多个二次曲面，具体包括平面、圆柱面、球面和圆锥面，分别用特征参数的方式描述，如表1所示。

表1　二次曲面的特征参数

通过二次曲面提取技术，可从点云中提取所需的二次曲面。目前常用的二次曲面提取算法主要有最小二乘法、区域生长法和RANSAC。如图1所示，1个三通零件模型点云通过二次曲面提取技术，可分割成2个圆柱面点云。

图1　三通零件的曲面特征表征

如图2所示，对提取出来的2个曲面（圆柱面）拟合其特征参数中的轴线（点和轴向量）特征。这2条轴线可参数化地表示该三通零件模型，并包含其位姿信息。分别对模型点云和场景点云进行二次曲面提取及特征参数拟合，构成模型曲面库和场景曲面库。

图2　模型参数化转换示意图

2　基于图结构的曲面拓扑关系描述

提取模型和场景的二次曲面后，利用图来描述它们的曲面间拓扑关系。

2.1　构造模型子图

对工件模型构造模型子图结构，如图3所示。

1）对提取的曲面按照曲面类型和曲面参数进行编号，如平面①、平面②、柱面①、柱面②……；

2）计算每个曲面与其他所有曲面之间的以下关系：①质心距离；②轴向量或法向量之间的夹角（球面忽略），并把这2个值存储在1个二维变量中；

3）以编号为顶点，对应编号间的关系为边的权值，构造一个完全图。

2.2　构造场景母图

对场景点云构造场景母图结构，如图4所示。

图4　构造场景母图示意图（图中数字仅表示标识序号）

1）对提取的曲面按照曲面类型和曲面参数进行编号，其编号方式与模型子图构造方法一致，且模型与场景中参数相同的同类曲面编号也应一致；

其中，代表该曲面的拓扑性质与模型中标准值的相近程度，越接近1，表示两曲面拓扑关系越正确，并以为权值为这2个顶点构造边；若超过阈值，则不为这2个顶点构造边。该过程构造了1个有权无向图。

2.3　子图同构匹配

图5　子图同构映射

3　基于曲面特征参数估计工件位姿

子图同构匹配识别场景中的最佳抓取对象，并建立该对象曲面与模型曲面一一对应的关系，利用对应曲面的特征参数可估算工件位姿。

如表1所示，在4种二次曲面中，除了球面只有1个空间向量（点）之外，其他曲面均有2个空间向量（点和方向），这些点和方向向量包含了曲面的位置和方向信息，因此可通过对对应曲面的空间向量的配准来完成模型与目标对象的配准。

图6　通过子图同构找到场景中的目标对象

图7　根据特征参数配准三通零件对应轴线

上例中的三通零件利用了2条轴线参数（点和向量）进行位姿估算。理论上取任意2个线性无关的曲面（即轴线不平行，点不在轴线上）都可按照一定规则完成位姿估算，具体规则如表2所示。

表2　特征参数位姿估算规则表

4　实验分析

为验证本文提出方法的有效性，选取4种常见的工业零件作为实验对象，每种工件取20种散乱摆放的场景模拟实际拾取情况，分别采用基于局部特征的SHOT算法及本文提出方法对场景中工件的位姿进行识别。各工件的CAD模型与采集的散乱堆叠的场景点云如图8所示。

图8　工业零件实验数据集

图9~图12展示了本文提出方法对每个工件在其对应的5个场景中的识别结果。2种方法的实验结果统计如表3所示。

图9　工件一位姿识别结果

图10　工件二位姿识别结果

图11　工件三位姿识别结果

图12　工件四位姿识别效果

表3　SHOT算法和本文提出方法的实验结果统计表

由实验结果可见，基于局部特征的SHOT算法对工业零件尤其是表面特征变化较小的零件（工件二和工件四均只含有2个圆柱面）的位姿识别率较低，远达不到工业应用的准确性要求；且平均识别时间均在10 s以上，也达不到工业应用的实时性要求。相比之下，本文提出方法识别率都能保持在80%以上，且识别总时间均在5 s左右，识别率和识别速度均有了明显的提高。另一方面，本文提出方法识别时间主要集中在曲面分割上，而位姿识别时间均在1 s以内。因此，在时间优化问题上，可以更集中于曲面提取的策略和算法优化，这也体现了该方法良好的拓展性。

5　结论

本文分析了一般工业零件的二次曲面特征，把位姿识别问题从以点为处理单元转化为以特征曲面为处理单元，继而建立工件和场景的子图同构模型，并利用曲面特征估算对应的位姿。实验证明，与基于局部特征的方法相比，该方法能更快速、准确地识别出工业零件的位姿，具有良好的工业应用价值。

[1] Rusu R B, Bradski G, Thibaux R, et al. Fast 3D recognition and pose using the Viewpoint Feature Histogram[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems, October 18-22, 2010, Taipei, Taiwan. DBLP, 2014:2155-2162.

[2] Aldoma A, Vincze M, Blodow N, et al. CAD-model recognition and 6DOF pose estimation using 3D cues[C]. IEEE International Conference on Computer Vision Workshops, Barcelona, Spain, 2012:585-592.

[3] Rusu R B, Blodow N, Marton Z C, et al. Aligning point cloud views using persistent feature histograms[C]. IEEE/RSJ International Conference on Intelligent Robots and Systems, France, 2008:3384-3391.

[4] Rusu R B, Blodow N, Beetz M. Fast point feature histograms (FPFH) for 3D registration[C]. IEEE International Conference on Robotics and Automation, IEEE, 2009:3212-3217.

[5] Lowe D G. Distinctive Image Features from Scale-Invariant Keypoints[J]. International Journal of Computer Vision, 2004, 60(2):91-110.

[6] Tombari F, Salti S, Stefano L D. Unique Signatures of Histograms for Local Surface Description[J]. Lecture Notes in Computer Science, 2010, 6313:356-369.

[7] Cordella L P, Foggia P, Sansone C, et al. A (sub)graph isomorphism algorithm for matching large graphs[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2005, 26(10):1367-1372.

A Method of Workpiece Pose Estimation Based on Quadric Topological Relation

Xu Jin1,2Li Deping1,2Liu Ning1,2

(1.College of Information Science and Technology, Jinan University 2.Robotics Research Institute of Jinan University)

For Bin-Picking system of workpiece 6-Dof position matching problem, point cloud based on global and local feature matching algorithm for industrial components has certain limitation, then put forward a kind of topological relations based on quadric surface scattered workpiece position estimation techniques, the proposed algorithm considering the surface characteristics of industrial components surface, graph is used to describe topological relations between surface and through the subgraph isomorphism matching complete target recognition, the use of surface characteristic parameters for pose estimation. Experimental results show that the method we proposed is faster and more accurate than traditional pose matching algorithm, and has good robustness and expansibility.

Bin-Picking; Point Cloud Matching; Quadrci Surfaces; Subgraph Isomorphism

徐进，男，1994年生，硕士研究生，主要研究方向：信号与信息处理。E-mail: 491886539@qq.com

国家自然科学基金（61775172）；广东省自然科学基金（2018030310482）。