Eye-to-Hand机器人系统的平面工件识别研究

孙 琦,罗志增

(杭州电子科技大学机器人研究所,浙江杭州310018)

0 引 言

在现代工业自动化生产中,涉及到各种各样的检验、零件识别应用及元件装配,例如零配件批量加工的尺寸检查,电子装配线的元件自动定位,IC上的字符识别等。通常人眼无法连续、稳定地完成这些带有高度重复性和智能性的工作,普通的工业机器人也只能通过示教或离线编程的方式来对工作任务进行路径规划和运动控制编程,在效率和智能化上存在一定的局限性[1]。而带有视觉引导的机器人可以利用光电成像系统采集被控目标的图像,通过计算机进行数字化处理,并从中获取目标物的有用信息来控制机器人完成作业任务,减少了人的工作量,提高了生产的效率和质量。因此,对机器人视觉在工件识别上的应用进行研究具有十分重要的意义。本文在Eye-to-Hand类型机器人平台上,开展平面工件的识别研究并完成机器人的手眼标定和工件质心的标定。

1 机器人视觉系统

本系统的硬件由上位控制计算机、Adept S650型机器人、机器人伺服控制器、Cognex智能摄像机、工作台和实验工件等组成。摄像机固定安装在工作台的顶部支架上,构成Eye-to-Hand位置给定型机器人视觉控制系统,利用视觉采集到的位置作为机器人位置控制的给定。其视觉控制框图如图1所示:

图1 机器人视觉控制流程图

本文首先通过摄像机完成目标图像的获取,经过采集卡的量化获得数字图像,再经过图像处理判定工件是否存在并通过识别算法得到目标在图像中的位置,最后用定位算法得出工件在机器人基坐标系中的位置和姿态,将其作为控制机器人运动的数据。

2 图像处理

2.1 工件存在判定

该步骤主要是对摄像机捕获的图像进行预处理,消除阴影、支架抖动等导致的测量噪声的影响,判断目标区域中是否存在待拾取的工件[2]。在摄像机采集到图像后,需要对图像中是否存在工件进行判断,如存在则进行后续处理,不存在则重新采集。首先给出如下公式:

式中,FQ(i,j)是待处理图像的灰度图的某一象素点,FD(i,j)是无工件存在的原始图像的灰度图的对应位置象素点。g是灰度判定的阈值,通过大量的实验进行设定。该算法是将待处理图像灰度图象素点FQ(i,j)与原始图像灰度图FD(i,j)的对应象素点的灰度值相减,从而消除了测量噪声的干扰,统计出所有差值大于阈值g的象素点的数量,与灰度图的全部象素点的个数作比值,比值如大于门限k,则证明目标区域存在工件,本系统选择k为15%。该算法具有较高的识别正确率,通过实验验证,正确率最高可达到99.3%。

2.2 基于H阈值的图像分割

相对于几何特征而言,颜色对需寻找的工件图像的尺寸和位姿都不敏感,具有很好的抗干扰性。本文采用HSV空间代替RGB空间进行图像处理,因为HSV空间将颜色与饱和度和亮度分开,是图像分割中常用的模型[3,4]。其各个分量是相互独立的,具有稳定的数值变化范围。

对有外来光源照射下的含工件的图像做H、S直方图,如图2(a)所示。可以看出在该场景下直方图变化范围小。对自然光照下采集的含工件图像,同样做H、S直方图如图2(b)所示,可以看到在光线发生变化的情况下,S直方图发生了较大的变化。在图2(a)和图2(b)中,纵坐标表示数量值,左图的横坐标为色调值,右图的横坐标为饱和度值。对比两图可以发现,对同一颜色属性的物体,H分量对光照强度不敏感,具有较稳定和较窄的变化范围,因此可以选择H作为分割的阈值,H在待识别工件图像色调中的最小阈值和最大阈值间取值。

图2 工件图像直方图

3 工件位姿识别方法

机器人和摄像机具有各自固定的坐标系,要得到工件重心在机器人坐标系中的坐标,首先需对机器人进行手眼关系的标定,手眼关系的标定是指机器人坐标系(世界坐标系)与摄像机坐标系之间位置关系的标定[5]。工件在图像上的重心坐标xc,yc计算方法如下:

式中,f(i,j)是图像中第i行,第j列的象素点的灰度值;M是图像全部象素点灰度值的总和;m是象素最大列数;n是象素最大行数。

摄像机获得的平面工件图像姿态往往是任意的,因此需要知道工件图像主惯性轴x'与相机坐标系水平轴x的偏差角θ,偏差角θ可用以下方法计算。

先按下列各式求图像对x,y轴的惯性矩Ix,Iy,Ixy:

求偏差角θ:

最后计算给定伺服控制器的机器人末端需移动到的二维坐标:

式中,x0,y0为相机中心点在机器人系统中的坐标,x1,y1为工件图像的质心在相机坐标系中的坐标,x2,y2为机器人末端在机器人坐标系中对应的产品拾取位置。

4 机器人识别实验

将同一工件作为目标,放在两个不同的位置,工件所处的位置和姿态均有较大差异。经过摄像机和图像采集卡得到一副数字化的RGB彩色图像,用户手动选定其中所需识别的工件,得到模板。将模板的彩色图像转换为HSV模型,对H分量生成直方图,从而得到模板的H阈值。

识别开始时,程序将读取实时图像与前面得到的阈值进行比较,剔除背景,分割图像,从而找到工件边缘和质心点。在所需识别工件未改变的情况下均无需重新选定模板。实验得到的工件的外部轮廓提取图像和工件质心在图像上的坐标位置如图3所示。实验得到的工件质心的位姿如表1所示。实验结果表明该位姿精度能够满足一般工业的要求。

表1 目标质心的位姿定位结果

5 结 论

图3 目标的边缘检测和质心位姿定位图像

本文在Eye-to-Hand类型机器人平台的基础上,完成了对目标平面工件的识别和定位实验。首先利用灰度阈值作为门限判断工件是否存在;然后利用基于彩色图像H分量阈值对工件图像进行分割,获得工件的边缘。最后对视觉系统进行手眼标定,获得机器人坐标和摄像机坐标的转换关系,并给出确定工件质心的算法以得到工件的位姿信息。实验结果表明,本方法得到的工件定位信息准确度较高,误差较小,能够满足一般工业的精度要求。

[1] 贾云得.机器视觉[M].北京:科学出版社,2000:15-16.

[2] 张星明.视频图像捕获及运动检测技术的实现[J].计算机工程,2002,28(8):130-132.

[3] Ercan Ozyildiz,Nils Krahnst-over,Rajeev Sharma.Adaptive texture and colorseg mentation for tracking moving objects[J].Pattern Recognition,2002,35(3):2 013-2 029.

[4] Rasmussen C,Toyama K,HagerG D.Tracking Objects by Color Alone[R].New Haven:Department of Computer Science and Engineering in Yale University,1996.

[5] Hager G D,Hutchinson S,Corke P I.A tutorial on visual servo control[J].IEEE Transaction on Robotics and Automation,1996,12(5):651-670.