基于LabVIEW的螺钉柔性抓取关键技术研究

段 怡,刘 超

(1.重庆建筑科技职业学院数字工程学院,重庆 401331;2.贵州习酒股份有限公司,贵州习水 564622)

0 引言

螺钉是装配的重要附件之一,其质量检测也是生产中重要环节[1]。随着现代化工业的发展,人工抽检方式不能满足企业对螺钉批量生产的质量管控需求,迫切需要一种全自动化螺钉筛选设备。螺钉自动上料问题是全自动筛选机的关键制约环节[2]。随着自动化、信息化、计算机技术的快速发展,机械手在一些繁杂重复性的工作中很好地替代了人工,极大地提高了生产效率[3]。上料机器人在制造业中占有重要地位,工业机器人在自动化设备或智能化产线上典型应用之一是工件识别与抓取[4]。

传统上料机器人通常按照预先示教位姿执行抓取任务[5],被抓取目标位姿严格受限,系统的灵活性、柔性不明显,一般会因环境改变或目标对象变化而导致抓取失败,很难满足柔性高效生产对物料输送系统的要求。机器视觉具有快速、非接触的特点,将机器视觉技术引入工业机器人领域,通过视觉引导机器人进行定位抓取、搬运等任务作业,对于提高生产线自动化、柔性水平具有十分重要意义[6]。文献[7]通过图像处理中的张正友标定和Hough变化的应用,实现了双目视觉引导Delta机器人在食品分拣中的高精定位与有效抓取。万国扬等[8]设计了基于视觉定位与轨迹规划的铸件打磨机器人,实现了上料、打磨、下料全自动化作业。文献[9]设计了基于5自由度关节式机器人的视觉定位抓取平台,具有良好的开放性和广泛应用性。

针对非标螺钉自动上料问题,提出基于机器视觉的螺钉柔性定位抓取系统。采用视觉系统引导机器手获取规定范围内的目标位置信息,实时识别和定位目标工件所处位姿,突破工业机器人使用局限性。通过对采集的螺钉图像进行预处理以识别目标,采用图像处理算法计算活动螺钉工件的抓取点位姿信息。以抓取点为中心设计符合末端气动夹爪抓取特性的ROI区域,设计螺钉可抓取判断条件进行可抓性分析。通过标定计算出抓取点在世界坐标系下的空间信息,将位置信息通过PLC控制器传送给机器手,从而引导机器人自主完成螺钉定位与抓取。现场实际测试结果显示机器人能够准确抓取螺钉,验证了系统的可行性和适用性。

1 系统总体设计

机器人抓取作业时,预先示教法难以满足位姿不固定的目标螺钉抓取任务。视觉引导是机器视觉应用在工业领域的关键技术之一,基于机器视觉协同工业机器人系统定位抓取工件的解决方案可提高机器人的通用性和智能水平。为了解决某系列非标螺钉的自动上料问题,提出了基于LabVIEW的螺钉柔性抓取系统拟达成机器人自适应抓取策略。

定位抓取系统包括工件抓取单元、工件定位单元、逻辑控制单元、上料单元。工件抓取单元主要用于协助机器人将目标工件从工作台上顺利抓取。工件定位单元包括硬件部分和软件部分。硬件部分主要指视觉系统,用于采集清晰的载台图像。软件部分通过图像处理算法获取图像中的螺钉数量及螺钉目标,并通过位姿求解算法确定位姿信息,通过标定将像素坐标转换为世界坐标。逻辑控制单元用于控制工业相机拍照,协调上位机进行图像处理及控制机械人完成抓取任务。上料单元由圆形振动盘、工作台、回流导轨构成,实现将圆形振动盘的一批螺钉工件输送到工作台面上,未被抓取的螺钉将通过回流导轨回流至振动盘中。

系统以YK400XR四轴机器人为基础平台,采用工业相机、光源、镜头等共同搭建视觉定位单元,采用PLC控制器构成控制单元。设计的Eye-to-hand视觉定位抓取系统将工业相机固定在机器人外的设备顶端,用于监测规定范围内的目标物位置,利用视觉定位实现机械手对工作台上的螺钉进行定位抓取,其中定位信息由基于LabVIEW平台的视觉库从实时采集的图像中提取计算而来。图1为系统流程图。图像采集子模块主要完成相机连接、图像采集等任务。图像预处理子模块主要通过二值化、去噪、粒子分析等处理改善二值图像。图像分析子模块主要完成对预处理后图像目标轮廓识别、分析,获取目标的位置、角度计算等功能。

图1 系统流程图

定位单元选型如表1所示。工业相机通过千兆以太网与计算机通讯。相机安装在载台正上方,距离被测工件750 mm,CCD芯片尺寸2/3英寸(1英寸=2.54 cm),整个视觉系统的视野范围为130 mm×100 mm。系统基于LabVIEW开发平台[10],利用NI-IMAQ视觉库进行二次开发[11]。系统工作原理:PLC触发振动盘上料,圆形振动盘输送螺钉至工作台上,PLC触发CCD相机采集一帧图像并送入图像处理系统。通过图像分析处理,完成目标工件识别、定位位置及角度位姿信息计算、可抓取判断、工件数量统计等。上位机系统将相关信息通过通讯接口发送至PLC控制器,控制机器人进行规定的作业任务,引导机器人运动到相应位置以实现任意位姿工件的柔性抓取。

表1 定位单元选型

2 位姿计算

2.1 图像预处理

工件识别与位姿计算需要经过图像采集、预处理、特征提取、几何分析等系列操作才能准确求解出相关信息,是基于机器视觉的螺钉柔性抓取系统的首要任务。图像预处理是通过图像处理算法尽可能多地降低或减少噪声干扰,凸显特征信息进而完成目标识别。为了降低系统目标识别算法误差,采用背景光照明方式,成像图像如图2(a)所示。为了提取螺钉目标,选用二值化进行特征提取。二值化处理是常见的图像分割算法,通过阈值将灰度图像创建一个二值图像,并将物体从需要检测的背景中分割出来。本系统阈值设置为75,二值化运算将原图像中的背景像素设为0,而将物体像素设成非零值。为了准确提取目标,需进一步改善二值图像,通过IMAQ Particle Analysis函数对粒子面积进行统计分析,采用IMAQ RemoveParticle函数去掉干扰粒子,正确识别目标。图2(b)为特征识别后的单颗螺钉二值图像。根据工艺要求,距离螺钉头部L远处的A点即为机器手夹爪的抓取位置。

(a) (b)图2 螺钉图像

2.2 基于最小二乘法的特征中线拟合

最小二乘法通过最小化误差的平方和寻找数据的最佳函数匹配,可快速实现直线拟合。假设数据、之间的线性关系如式(1)所示[12-13]:

f(x)=a+bx

(1)

式中:a为截距;b为斜率。

最小二乘法估计参数时,当所测各yi值与拟合直线上各估计值之间偏差的平方和最小时,所得拟合公式即为最佳经验公式。即:

(2)

根据式(2)的要求,应有:

(3)

(4)

(5)

(6)

Circle Detection是IMAQ Vision常用的圆检测函数,通过使用Danielsson丹尼尔森系数重建粒子的形状以分离重叠的圆形粒子。对于工作台上任意螺钉(图2(b)所示),采用Circle Detection函数可求解出系列圆串,如图3所示。所有圆心坐标拟合的直线为该螺钉的中线,通过最小二乘法拟合出中线数学表达式,如式(7)所示。

图3 Circle Detection圆检测效果

(7)

2.3 螺钉头部中点与抓取位置计算

以螺钉中线两端为起点,垂直中线方向的直线为2条直线ROI,通过边缘检测函数(edge detection)在图像中沿着ROI指定方向查找边缘点,通过测量起点与对应边缘点之间的距离大小即可判断出螺钉头部方向。进一步,以螺钉中线为直线ROI,在图像中将能查找到螺钉头部的中点。图像处理结果如图4(a)所示,螺钉头部正方形标识点是以中线为ROI直线与螺钉头部的交点,即螺钉头部中点。

螺钉头部中点为A(x,y),L为半径的圆描述如下:

(x-x0)2+(y-y0)2=L2

(8)

将中线直线方程改为如式(9)所示:

Ax+By+C=0

(9)

通过求解式(8)、式(9),即可求得直线与圆的交点,即求得抓取点A的位置。LabVIEW求解抓取点位置的程序如图4(b)所示。

(a)螺钉中点处理效果

(b)抓取点坐标计算的LabVIEW程序

2.4 可抓性判断

计算出螺钉抓取点后,并不能确定该螺钉是否能够被抓取。可抓性判断依据:机械手夹爪在抓取螺钉时,以A点附近距离D处为圆心,以r为搜索半径的ROI区域内无其余螺钉或异物才能进行该螺钉的抓取,否则将会阻碍机械手夹爪抓取动作,可抓性处理示意图如图5所示。

图5 可抓性处理示意图

已知抓取点A坐标(x0,y0),假设螺钉中线与X轴中线夹角为θ,C1、C2为距抓取点A为D的点。则直线C1C2与水平线的夹角β1,β2为

β=β1=β2=90-θ

(10)

已知点A(x0,y0),按三角关系求得如下值:

(11)

C1点、C2点坐标值为(x1,y1)、(x2,y2):

(12)

图5中线左右两侧圆ROI内无多余螺钉或异物,则此螺钉可抓取。

3 实验结果

为了测试系统的效果,基于YK400XR四轴机器手、Baumer的EXG50、气动夹爪、透明有机玻璃、圆形振动盘等搭建的视觉抓取系统试验平台,如图6所示。系统以LabVIEW为开发平台,进行集成界面及业务逻辑设计,采用NI-IMAQ Vision视觉库进行视觉算法的开发。

图6 视觉抓取系统试验平台

通过试验平台进行了多次不同位置工件的抓取测试,测试效果如图7所示。图像处理后可抓取螺钉工件的抓取位置将被标记,并用数字进行序列标识。视觉系统将测量结果,包括可抓数量及对应螺钉的位姿信息(抓取位置坐标及角度)发送给PLC控制器,由PLC控制器通过网络通信将位姿信息顺序发送给机器手控制器,引导机器手到达相应位置并控制末端气动夹爪的开闭动作以完成螺钉工件的正确抓取。视觉定位系统设计精度为0.05 mm,图7所示3颗螺钉的图像处理耗时1 964 ms。通过对系统平台进行大量测试,抓取准确率达到99.5%,系统稳定可靠,快速、准确地实现任意位姿螺钉抓取,为设备自动化改造提供了一种可行思路。

图7 测试结果

4 结论

基于机器视觉的定位方法具有非接触、柔性好、智能化水平高等特点,能够较好地满足工业自动化生产的需求。为了解决某系列非标螺钉的自动上料问题,更好地实现批次性全质量检测,提出了基于机器视觉的螺钉柔性抓取上料系统。本文详细分析了螺钉柔性抓取总体方案和关键技术,最终建立了视觉机器人螺钉柔性抓取系统。针对圆形振动盘输送的任意位姿螺钉工件,采用二值化、粒子分析等图像处理算法进行螺钉工件识别,通过拟合圆、最小二乘法实现中心拟合及抓取点位置坐标的计算,并对工件进行可抓性判断,将位姿信息发送给控制系统实现了利用机器视觉技术对视场内任意位姿工件的定位与引导抓取。实验结果显示抓取准确率达到99.5%,满足工程实际需求。