基于3D 视觉的辊道输送线驱动盘装配系统设计＊

吴 俊 袁海兵 夏 檑

（湖北汽车工业学院机械工程学院，湖北 十堰 442002）

辊道输送线在制造领域中可节省大量劳动力，极大提高了制造效率与自动化水平[1]。其中，驱动盘是辊道输送线的重要零部件，驱动盘总成的装配质量在辊道输送线中占有重要地位。

目前，国内大部分辊道输送线生产厂商，在进行驱动盘总成装配时，仍然以传统人工装配的方式进行装配，劳动强度大，工作效率低下，远不能满足目前辊道输送线批量生产的需要。也有部分生产厂商使用传统机器人替代人工进行装配，但生产任务相对固定，在生产任务更换后需要对机器人重新示教编程，严重影响生产效率，缺乏柔性，智能化不高[2-4]。因此，采用视觉引导机器人完成零件搬运、装配成为目前研究热点[5-8]。

针对以上问题，设计了一套基于3D 视觉技术与工业机器人相结合的辊道线驱动盘总成智能装配系统，通过安装在机械手末端的工业相机获取驱动盘零部件的点云图像，并通过图像处理获取驱动盘零部件的位置和姿态，引导机器人抓取和装配。该系统装配精度高、可靠性好和适用性强，可大幅降低人工劳动强度，提高劳动效率。

1 驱动盘总成装配系统设计方案

1.1 主要技术参数

该系统主要完成辊道输送线驱动盘总成装配工作，图1 为驱动盘总成结构，由1 个驱动外盘、1个驱动内盘、4 个螺钉以及4 个弹垫构成，外盘外形尺寸参数为375 mm×60 mm，内盘外形尺寸参数为165 mm×15 mm。系统定位误差不超过0.5 mm，装配节拍20 s 以内。

图1 辊道线驱动盘总成

1.2 系统原理及组成

驱动盘总成装配系统由Pro S Enhanced 工业相机、KUKA-kr60 六轴机器人和多功能夹具构成。多功能夹具包括内盘抓手、外盘抓手、螺钉、弹垫抓手和伺服拧紧装置。其中工业相机和机器人通过以太网连接通讯，如图2 所示。多功能夹具安装在机械臂末端，工业相机安装在机器人抓手顶端，随着机器人移动，机器人到达指定位置通过I/O 口发送拍照命令给相机对驱动内盘、外盘、螺钉以及弹垫进行拍照，采集的图像在计算机中进行处理，最后机器人根据处理结果进行抓取。

图2 驱动盘总成装配系统

待抓取的零件分别放置在同一平面的不同料框中，机器人末端到达料框正上方固定位置后先由外盘抓手将驱动外盘抓取放置分装台上，由于在放置过程中出现振动和抖动会导致工件定位孔与分装台定位孔产生移位，导致后续装配过程产生误差，为保证两定位孔中心线重合，分装台会弹出定位轴使两孔重合，从而减少后续装配误差。螺钉和弹垫轮廓较小，在抓取过程中有多种姿态产生，因此在抓取过程中机械手会分别把螺钉和弹垫放置螺钉定位槽和弹垫定位轴上使姿态固定方便后续装配，如图3 所示，最终由伺服拧紧装置完成拧紧工作。

图3 分装台与工件

2 3D 视觉系统设计

视觉系统采用梅卡曼德公司Pro S Enhanced 工业相机，该相机精度高，可对驱动盘产生完整的3D 点云数据，相机本身具有较高的防护等级，可应对辊道输送线生产现场的粉尘、振动等环境。相机参数如表1 所示。

表1 Pro S Enhanced 相机参数

2.1 驱动盘深度测量

为了获取料框中驱动盘完整点云数据，在进行图像采集时，还需获取驱动盘的深度信息。

与传统的2D 视觉[9]测量相比，3D 视觉[10]测量获取的信息能够更全面、更真实地反应客观物体，提供更多的信息量。Pro S Enhanced 3D 相机的测距原理如图4 所示，P为目标工件位置，GL、GR分别是2 个相机的光心，点P在两个相机感光器上的成像分别为PL和PR，f为相机的焦距，B为两个相机的基线，Z为待求的驱动盘深度信息，设PL到PR的距离为dis，故

图4 Pro S Enhanced 相机测距原理

根据相似三角原理可得

其中：焦距f、视差dis都可通过相机标定得到，基线B为相机的出厂参数，根据以上公式即可求得驱动盘的深度信息Z。

2.2 手眼标定

手眼标定是为了得到像素坐标系与机器人坐标系的坐标转换关系。该视觉系统在标定过程中主要引入4 个坐标系：世界坐标系Ow(Xw,Yw,Zw)、相机坐标系Oc(Xc,Yc,Zc)、图像坐标系Op(x,y)以及像素坐标系Oo(u,v)，为方便转换计算以及更准确地描述物体位姿，将机器人坐标系看成世界坐标系。基于该系统所建立的各坐标系示意图如图5 所示。

图5 基于各组件建立的坐标系

由像素坐标转换为机器人坐标需要经过放射变换、投影变换和刚体变换三次转换。根据针孔成像原 理，像素坐标(u,v) 与世界坐标(Xw,Yw,Zw) 之间的转换关系为

式中：S为比例因子；F为内参数矩阵，R和T分别为相机坐标系转换为世界坐标系的旋转矩阵和平移向量；[R T]为相机的外参数矩阵。

本系统采用张正友标定法，相对于其他主动视觉标定法和自标定法具有操作简单和设备成本低等优点。具体做法为标定板放在工作台上固定不动，通过机器人带动相机在至少9 个不同位置进行拍照，如图6 所示。

图6 手眼标定

通过标定得到的Pro S Enhanced 相机参数信息如下。

相机的内参矩阵为

相机的外参旋转矩阵为

平移矩阵为

相机径向畸变系数为

切向畸变系数为

2.3 图像处理

图像处理过程是机器人能否成功抓取目标物体的关键，本系统采用梅卡曼德公司的Mech-Vision软件对驱动盘点云图像进行处理，软件操作界面如图7 所示。Mech-Vision 作为新一代机器视觉软件，可通过完全图形化的无代码编程环境，对采集的点云图像进行分析处理。

图7 Mech-Vision 图像处理操作界面

2.3.1 点云滤波

由于相机投射光栅到驱动盘表面会产生密度不均匀的点云数据集，因此采集的点云图像会有许多稀疏的离群点和凹凸点生成，不利于局部点云特征提取也会影响点云配准，为删除图像中的稀疏的离群点和凹凸点，在Mech-Vision 中使用Statistical Outlier Filterl 点过滤类型，设置保留的点云数据中点的坐标在某方向轴上的最小值和最大值，对点云的法向量进行计算并滤波。图8 为相机采集的深度图像转换成的处理前的3D 点云图像，图9 为通过点云滤波处理后的点云图像，通过图中点云数据对比可以看出，去除稀疏点和凹凸点后，点云中点的个数由初始的2 304 000 个缩减到1 070 736 个。

图8 驱动盘原始点云图像

图9 滤波后驱动盘的点云图像

2.3.2 点云分割

经过前期的点云滤波已经降低了图像中点云的数量，但是剩余的点云数量依然很大，因此还需进行点云分割，将滤波后的点云进行点云分割，可以移除背景点云，得到驱动盘的点云。

点云分割主要是根据空间、几何和纹理等特征对目标点云进行划分，通过点云分割，可以划分出许多点云子集，使得同一划分区域内的点云子集具有相似特征。常用的点云聚类分割方法有欧式距离聚类分割、区域生长分割和超体聚类分割等。

欧式距离聚类分割方法是一种基于近邻属性的分割方法，利用点云的特征属性进行聚类，每个点对应一个特征向量，包含了若干个属性不同的特征值，将不同属性的点云分割出来。欧式距离聚类具体算法流程如图10 所示。

图10 欧式距离聚类分割算法流程

对于空间中某点云数据P，通过KD-tree 近邻搜索算法找到N个距离P最近的点，并且将这些点中距离小于设定阈值的点聚类到集合Q中，如果搜索过程中Q中的元素数目不再增加则完成聚类，否则再集合Q中选取P以外的点重复上述过程，直至Q中元素不再增加位置。为提高搜索效率和精度，这里将输出类中相邻点距离设置为5 mm，类的最小点数105，类的最大点数 3×106，图11 为点云聚类分割后的图像。

图11 通过聚类分割处理后的图像

2.3.3 点云匹配

要确定料框中散乱叠放的驱动盘位置和姿态，需要获取用于进行点云匹配的模板点云，再将模板点云与已经分割的驱动盘点云进行点云匹配，最终得到散乱叠放状态下驱动盘的位置和姿态。

获取模板点云有两种方式，一种方式可从生产企业获得驱动盘的CAD 理论模型，然后通过离散处理得到驱动盘的点云数据；另一种方式通过生产现场拍照测量，对实物图像进行重建和拼接从而形成点云模板。通过第二种方式得到的模板使用更加简单、方便，因此本文采用第二种方式建立匹配模板，驱动盘点云模板如图12 所示。

图12 驱动盘现场测量建立的点云模板

目前，ICP（iterative closest point）算法是点云匹配最常用的匹配算法之一，与其他算法相比，ICP 匹配搜索目标临近点更快，匹配精度较高，具有很好的鲁棒性。通过不断求解模板点云与目标点云之间的变换矩阵，直到两幅点云之间的配准误差收敛于局部最优解。具体实现步骤如下。

（1）给定模板点云集合和目标点云集合，P={pi,i=1,2,···,Np}和Q={qi,i=1,2,···,Nq}。

（2）在P中找到Q中任意一点pi的最邻近点qi得到配对的点的集合 {(p1,q1),(p2,q2),···,(pNp,qNq)}。

（3）计算模板点云集与目标点云集之间的旋转矩阵R*和平移矩阵T*。

（4）计算最优匹配参数使得两点云之间的均方误差函数最小，误差函数为

（5）重复以上步骤，当均方误差不再改变或者低于设定值时，终止迭代。

迭代停止后即可得到模板点云与目标点云之间的旋转矩阵R*和平移矩阵T*。驱动盘目标点云与模板点云配准结果如图13 所示。其中深色部分为目标点云图像，浅色部分为模板点云图像。

图13 点云配准结果

3 机器人装配系统设计

本系统采用KUKA 公司的Kuka kr60-3 机器人，内置六轴伺服电机、谐波减速器和制动器系统，具有结构紧凑、安装空间小和定位准确等特点，可广泛应用于物料搬运、码垛和自动化装配等工业场景。Kuka kr60-3 机器人的常规参数如表2 所示。

表2 Kuka kr60-3 机器人参数

通过Mech-Vision 视觉软件对工件图像处理后，可以准确得到驱动盘抓取点的坐标信息。机器人与工控机接口程序使用TCP/IP 通信协议，工控机将处理好的坐标信息发送给机器人控制柜，控制柜下达抓取指令，机器人将驱动盘、螺母和垫片抓放置分装台上，由伺服拧紧装置完成拧紧工作。流程简图如图14 所示。

图14 装配流程图

机器人抓放程序在Work visual 库卡编程软件中完成，操作界面如图15 所示。可在线显示机器人控制系统的系统信息，并且可以对机器人进行离线编程。

图15 Work visual 操作界面

4 实验与结果分析

在驱动盘总成装配过程中，驱动盘能否被准确识别定位至关重要，可直接影响后面的装配工序能否正常运行，驱动外盘作为其他工件的抓取基准，因此抓取实验对象选为驱动外盘，驱动外盘初始图像如图16 所示。通过改变外盘的摆放位置，对其进行多次抓取实验。机械手法兰末端位置与图像位姿信息数据对比如表3 所示。通过表中实验数据表明，该装配系统在工作过程中机械手法兰末端位置与视觉定位结果的误差值在0.13～0.47 mm，具有较高的定位精度，满足生产任务中定位精度要求。

表3 实际抓取机械手法兰末端位置与视觉定位结果对比 mm

图16 驱动外盘原始图像

产生定位误差的主要原因，一方面在企业进行驱动盘装配实验时，工件表面光滑，相机进行图像采集时会受到生产现场光照影响；另一方面视觉标定以及相机自身的畸变系数都会影响定位精度。

通过现场装配测试，该系统装配节拍为12 s，人工装配节拍24 s 左右，使用该装配系统，生产节拍提高了50%。提高了驱动盘总成的装配效率，降低了劳动强度。

5 结语

针对国内企业辊道输送线驱动盘总成人工装配劳动强度大、效率低的问题，本文将3D 视觉与工业机器人相结合，设计了一套基于3D 视觉的装配系统，该系统使用KUKA 机器人、Pro S Enhanced工业相机等硬件。通过EIH 手眼标定获取相机的内参和外参，完成相机与机器人的坐标转换。通过Mech-Vision 软件对驱动盘的点云图像进行滤波、聚类分割等图像处理，获取工件抓取点的位置和姿态，实现了机器人自动抓取装配的过程。最后通过实验数据表明，该系统抓取定位误差范围0.13～0.47 mm，装配节拍12 s，相比传统人工装配，装配节拍提高了50%，满足企业生产需求。