基于视觉的六自由度机器人搬运过程监控系统研究

李 柯，祁宇明，周旺发，杨璐璐

（1.天津职业技术师范大学机器人及智能装备研究所，天津300222；2.天津博诺智创机器人技术有限公司，天津300222；3.天津科技大学电子信息与自动化学院，天津300222）

随着“中国制造2025”及人工智能的实施和推广，以机器视觉技术为基础的工程检测、测量、监控逐渐代替人工操作[1]，成为智能监控系统的重要发展方向之一[2]。早期国内设备主要依靠进口，但随着视觉技术的发展，国内视觉应用也越来越广泛。

在机器人搬运过程中，会因机器人故障或者吸盘故障导致吸取的物体严重偏离程序设计的预定轨迹，过大的偏离会产生巨大的影响，例如导致物体在搬运过程中掉落，或者无法放置到预设安全位置导致不必要的人身与财产损失，给整个搬运工程带来了一定的不安全因素。本文以ABB IRB120六自由度机器人搬运蓝色塑料物块的过程为研究对象，采用固定摄像头监控整个搬运过程，通过摄像头采集图像提出了基于视觉技术的六自由度机器人搬运过程监控方法。在一定程度上提高了搬运过程的可靠性和安全性。

1　搬运过程监控系统设计

IRB120是ABB制造的最小的机器人，广泛应用于电子、食品饮料等领域，其结构设计紧凑，所占用的面积小，是物料搬运和装配应用的理想选择。机器人搬运过程在如图1所示的实验台进行，ABB IRB120机器人移动至A位置物块上方后，真空吸盘开启，吸盘吸附物块沿着图中线条A-B-C-D的顺序，机器人移动至位置D后，真空吸盘关闭，将物块放置在左边的平台上，完成物块的搬运过程。

图1　机器人搬运过程

基于视觉的六自由度机器人搬运过程监控系统以视觉识别、追踪搬运过程中的物块为对象，监控并诊断搬运路线是否符合预设轨迹，当轨迹发生过大偏移时发出报警，整体包括ABB IRB120六自由度机器人、搬运平台、彩色物块、罗技摄像头。系统流程如图2所示，具体为：采用固定摄像头采集图像，利用Camshift算法识别并跟踪机器人搬运的彩色物块，计算物块在图像中的质心位置，将实际质心运动轨迹与预设的运动轨迹方程对比，计算得到图像中实际偏离量。通过判定偏离量与设定阈值的大小决定系统的下一步运行：当偏离量小于设定阈值时，系统继续读取下一帧图像，循环执行Camshift算法并计算对比质心位置；当偏离量大于设定阈值时，监控系统将发出提醒，并结束监控。

图2　系统流程图

2　摄像头标定

选用罗技摄像头C310，摄像头采用CMOS感光芯片，像素达到500万，捕获幅面达到1 280×720.为了计算图像中兴趣目标的质心位置，将三维空间中的点与二维成像平面建立对应关系，需要对摄像头进行标定。

本文摄像头使用张正友标定法进行标定，自制棋盘格标定图纸，每个方格尺寸为25×25[3]。使用罗技摄像头拍摄10～30张角度不同的标定图纸图片，使用Microsoft Visual Studio 2012，基于Opencv2.4.9函数库编写标定程序，实现摄像头标定。图3为使用罗技摄像头拍摄的几张标定图纸图片及对应的角点提取结果。

图3　罗技摄像头拍摄的几张标定图纸图片及对应的角点提取结果

最终得到罗技摄像头内参数矩阵[4]为：

3　Camshift算法

Camshift算法是以颜色为目标特征的跟踪算法，全称为连续自适应均值漂移算法[5]。该算法是Meanshift算法的延伸计算，在获得的多帧图像中选取兴趣目标的颜色，通过颜色的概率分布实现对兴趣目标的追踪[6]。算法的实现主要由以下步骤：

（1）反向投影

由于罗技摄像头采集到图像是以RGB色彩空间表示，所以需要将RGB色彩空间转换成为HSV色彩空间在采集的图像中选中兴趣目标，并在HSV色彩空间中提取H分量，形成颜色直方图，在颜色直方图中确定像素概率分布，得到目标颜色概率分布图。

（2）确定目标质心

计算图像中的零阶矩M00和水平、垂直方向上的一阶矩M10、M01得到搜索区域的质心，并实时调整搜索区域大小，将区域中心移动到质心位置。计算区域中心与质心之间误差是否满足设定阈值，不符合设定值则重新计算并调整，直到满足阈值条件或者达到循环迭代上限。

该算法具有计算速度快，实时效果好，准确度高等特点，并且对于兴趣目标的形变和旋转不敏感。因此在以颜色为特征的目标跟踪算法中具有很高的稳定性，在背景颜色不是过于复杂的环境下具有很理想的跟踪效果。

4　预设运动轨迹与偏差计算

首先，按照预设的运动轨迹，操纵ABB机器人运动，采用罗技摄像头采集运动过程图像，运行Camshift算法程序识别蓝色物块，计算物块质心位置并将质心位置输出，得到整个运动过程质心位置坐标。采用基于最小二乘法的线性函数y=k·x+b进行拟合，如图4得出AB、BC、CD段方程。

图4　运动轨迹线性拟合

AB段：v=7.909 9u-5 191.5

BC段：v=0.004 8u-414.3

CD段：v=-13.312u-3 960.4

因此在机器人搬运过程监控中，可以通过计算摄像头识别的物块质心位置与各个搬运阶段的运动轨迹的距离得到物块的偏离距离，即

其中，u、v为质心在图像中的像素坐标，k为各阶段方程的斜率，b为各阶段方程的截距。

由于以上求出的物块质心与预设运动轨迹的偏离距离是以像素为坐标，无法体现出偏离距离在图像中的真实物理位置，因此，为了更加直观的记录偏离量的大小可以建立像素坐标与图像平面坐标之间的转化关系：

5　实验验证

在LabVIEW下编写监控系统界面，开启摄像头，操纵机器人抓取物块。在机器人完成如图1中AB段搬运轨迹后，继续将物块向上提升，模拟机器人发生搬运路线远离预设轨迹，仿真搬运故障，验证系统监控效果，得到图5所示。

图5　实验效果图

由图5可以看出在正常搬运过程下，系统实时计算物块质心与预设轨迹位置，当完成AB段搬运，物块超出预设轨迹后，系统弹出窗口报警提示。系统整体具有较好的实时性和准确性，监控效果良好。

6　结束语

本文利用基于颜色为特征的Camshift跟踪算法，实时计算搬运过程中物块的质心位置，利用最小二乘法拟合预设运动轨迹，得到预设的运动轨迹方程，通过对比质心位置与预设运动轨迹方程偏离量提出了一种基于视觉的六自由度搬运机器人过程监控的方法，为六自由度机器人搬运过程监控应用于实际工业生产环境提供了实验依据。

参考文献：

[1]周金丽.口服液中可见异物的机器视觉检测系统研究[D].长沙：湖南大学，2012.

[2]赵庆磊.关于智能监控系统的探讨[J].江西建材，2014（19）：269-269.

[3]刘 洋.基于圆形靶标建面的立体视觉测量方法研究[D].哈尔滨：哈尔滨工业大学，2016.

[4]沈义平.多机动模式下移动机器人目标跟踪控制研究[D].哈尔滨：哈尔滨工程大学，2013.

[5]邱泰生.基于均值漂移的视频目标跟踪算法的研究[D].广州：中山大学，2010.

[6]杨 杰，穆平安，戴曙光.一种改进Camshift算法的研究[J].计算机应用与软件，2014，31（2）：167-170.