机器人动态装配生产线目标中心点视觉跟踪软件设计

田 刚，曹 凤，韩 昌*

(1.天门职业学院，湖北 天门 431700；2.武汉商学院，湖北 武汉 430056)

0 引言

随着产品多样化的发展，包装盒的需求与日俱增，比如酒盒、手机盒、礼品盒等，这类盒子统称天地盖，盒子的盖子为“天”，底部为“地”。传统方法是手工贴合，盒子有4个角，需要贴合4次，效率极低，有的厂家使用辅助设备配合人工完成包装盒裱糊，不仅会存在人工误差，还会增加原料以及生产成本。

以机器人为主体，可以批量完成产品装配的流水线，即机器人动态装配生产线[1]。此生产线可以让大量劳动力得以解放，降低生产成本，保证产品的生产效率和稳定性。目前，机器视觉广泛应用于食品包装、制药、消费电子、印刷、安防监控等领域[2]。机器人视觉系统也在朝着智能化、高精度、多目三维发展。常见的视频目标检测措施有光流法[3]、帧间差分法[4]、背景差分法[5]等。李鹏[6]等人使用了视觉注意辅助ViBe算法进行目标检测。该方法首先估计背景运动模型，然后用辅助ViBe算法处理补偿帧，进而获取运动背景下序列图像中的前景目标，提高了检测能力，但是如果运动目标较大则无法达到要求。牛文雨[7]等人在补偿相机运动时，采用二维稀疏光流法，利用帧间差分法将检测到的目标与静态区域分离，从而达到了更好的补偿相机运动的效果，这些方法减小了运动目标对相机位姿估计的影响，但是耗时有所增加，而且该方法在对垂直相机平面运动的物体检测方面有待完善。近期又陆续出现了许多视觉定位的方法[8-9]，在定位精度或者处理速度上会有所限制。鉴于此，本文提出了基于目标中心点的机器人动态视觉定位系统。

1 机器人动态视觉跟踪与定位系统设计分析

1.1 机器人视觉跟踪与定位系统架构

在裱糊线机器人定位过程中，视觉系统属于核心部分。光源负责给采集对象打光，使采集对象在采集的图像中更加清晰。该设计的相机部分主要由图像采集卡和CMOS芯片组成。图像处理系统是对目标的有效信息进行提取，是视觉系统的核心部分，包括图像分析和特征提取等。机器人视觉跟踪与定位系统架构如图1所示。

图1 机器人视觉跟踪与定位系统架构

1.2 图像采集模块设计分析

本设计选用COMS芯片的MVC5001MF数字摄像头，其综合性价比较高。相机成像时，光源对成像效果具有一定影响。打光不好会使视觉系统采集图像的质量变差，甚至影响算法定位精度。光源一般有白炽灯、LED、红外线、紫外线等。工业视觉所使用的光源主要为LED，其单色性好，颜色多样，寿命长，成本低，是工业拍照打光首选。本设计选用红色LED灯作为光源。依据本设计实际情况，选用vanch公司中的V4L140210-R24矩形光源及VR205-90-red环形光，是通过4根LED条形光组成的，可以更好地提高图片质量等。

1.3 位置标定处理模块分析

1.3.1 相机参数

相机成像模型表达了给定世界坐标与图像坐标的关系，每台摄像机的自身特点以及摆放位置等参数都对世界坐标和图像坐标的转换有极大影响，因此，需要一组已知的坐标作为参考点来计算这两种影响因素所表达的参数。从World坐标系转换为pixel坐标系的转换关系为：

(1)

结合公式(1)，可知相机内参矩阵为公式(2)。

(2)

1.3.2 基于多点测量的目标定位

本文提出了一种基于四点排序筛选的四点目标中心定位法。首先在像素坐标系将工件的4个角点检测出来，然后对矩形工件画对角线，对角线的交点即为工件中心点，再用四点排序筛选出工件中心点坐标(即工件行坐标的中间坐标与列坐标的中间坐标组合)。本文研究对象的尺寸为长350 mm、宽194 mm。设工件的角点为A，B，C，D，工件中心点为E(x,y)。工件行坐标的中间坐标为AB的中点,工件列坐标的中间坐标为AD的中点。

四点排序过程：首先在像素坐标系将工件初始行坐标和结束行坐标从小到大排序，取中间行坐标(即为x)，将工件初始列坐标和结束列坐标从小到大排序，取中间列坐标(即为y)，将筛选出的行列坐标组合即为中心点(x,y)。通过像素坐标系与世界坐标系之间的关系矩阵，将像素坐标系的工件中心点坐标转化为世界坐标系的工件中心点坐标，视觉定位系统将处理得到的工件中心点坐标信息通过网络通信传递给机器人，即可实现中心点定位。四点目标中心点定位法如图2所示。

图2 四点目标中心点定位法

2 机器人动态跟踪视觉跟踪与定位软件系统实现

视觉软件实现过程首先要进行相机内参和位姿标定，通过这两个标定对相机进行矫正，然后用halcon算法提取产品中心点，最后采用四点排序筛选出交点中的工件中心点(见图3)。

图3 中心点跟踪算法实现过程

3 软件设计结果与验证测试

3.1 软件设计结果

界面会显示当前时间、视觉定位系统通信状态、系统信息以及手动/自动设置等信息以及模式切换，可以将系统模式变为管理员、顾客、自动生产等模式。管理员模式可以设置7个选项，分别是选择产品、产品设置、相机设置、制作模板、相机标定、坐标系标定、双相机位置标定。

在所有的参数都设置好以及产品匹配、手眼标定、传送带标定完成后，系统会根据设置好的参数自动进行目标跟踪。在生产模式的界面最下面会显示当前系统状态为自动运行，显示目标的行列坐标以及旋转角度，还会显示对这3个参数的补偿数据、生产效率等。另外还可以设置开始时间、产出数量等。

3.2 相机标定结果

在管理员模式对相机进行标定。制作模板，将标定板分别摆成各种姿态，进行图像采集并保存，本实验选取了16种姿态图片可进行相机内参标定；导入采集的整个标定板图进行相机位姿标定；采集标定板的左右标志点获取横纵坐标，计算夹角。相机内参和外参可利用World坐标系和pixel坐标系的关系矩阵进行求取，进行计算之后就可以对相机进行矫正。

3.3 结果分析

在进行相机标定、坐标系标定、坐标及角度补偿等过程后，机器人视觉定位系统成功地进行了包装盒中心点定位，因此，本次机器人视觉跟踪与定位系统软件设计测试比较成功，较精确地实现了工件中心点定位。在相机内参标定时选取了16种位姿，成功在图像中建立了标定坐标，使标定更加精确。对坐标系的标定也较成功，获取的点位置计算较精确，计算夹角时算法也未出现异常。切换至自动生产时，视觉算法较好的进行了位置补偿，实现了精准定位，大大提高了包装盒生产效率和装配精度。

4 结语

本文介绍了一种视觉定位系统，设计了机器人视觉系统架构，对图像采集模块进行分析，包括相机选型、光源选型等。位置标定处理模块进行分析，提出了四点目标中心点定位法，分析了工件位置运动补偿原理，设计了视觉定位软件系统，最终经过测试，该软件可以精确实现包装盒中心点跟踪定位。