基于视觉的随机位姿工件抓取系统的设计与应用*

2020-10-20陈明方臧家秀李俊男王学军葛天佑姚国一

中山大学学报(自然科学版)(中英文) 2020年5期

陈明方，臧家秀，李俊男，王学军，葛天佑，姚国一

（昆明理工大学机电工程学院，云南昆明650500）

在显示器生产装配过程中，输送线上显示器的定位和抓取是自动化改造的关键点之一。目前，大多输送线是通过机械方式来对显示器进行预定位，通过预先示教的方法控制机器人抓手的姿态达到设定位置［1−3］。然而，因显示器装配线上大多采用倍速链对显示器进行输送，当显示器尺寸型号不同，位置、姿态无法确定时，机器人无法完成抓取动作［4］。目前，存在一些采用视觉技术的抓取机器人，但它们需要对显示器进行预定位，且当显示器尺寸、型号不同时，需采取不同的抓取方案［5−6］。

为了实现工件抓取的自动化、柔性化，国内外众多学者对视觉抓取技术进行了研究。曾劲松等通过双目视觉系统对定位板上的6 个孔进行拍摄，根据孔中心在相机坐标系下的位置，求得工装板相对相机坐标系的位置，然后转化为机器人坐标系下的位置，供机器人抓取工件［1］。王增磊等［7］以盲区待装配零件为对象，提出了一种基于机器视觉的增强现实盲区装配方法。黄金梭等［8］采用工业相机和机器人动态抓取系统模型，基于视觉和工业机器人的动态抓取技术，提出了一整套位姿数据计算方法。季旭全等［9］采用机器学习与双目视觉的方法，提出了机器人与视觉引导的星载设备智能装配方法。上述研究侧重于坐标系变换与标定方法，未涉及图像处理与控制系统的连接问题，理论性强、可操作性论述不足。

本文以输送线托盘上随机位姿显示器的抓取为研究对象，采用滤波、二值化和特征提取等图像处理方法，获取显示器的位姿数据，将其送给PLC，控制机械手的抓取动作。该方法的可靠性好、操作简便、处理速度快且精度高。

1 系统总体方案设计

本文设计了直角坐标机器人作为显示器的抓取控制本体，通过工业相机获取当前显示器位姿图像，将实时图像送至图像处理系统生成实时位姿数据，通过该数据来控制机器人抓手的动作。

如图1所示，本系统主要包括两个部分：图像采集与处理系统和机器人控制系统。图像采集与处理系统由工业相机及Labview 软件组成，主要负责获取显示器图像，并对采集的图像进行处理计算，然后输出显示器的位姿；机器人控制系统主要由PLC、伺服电机等组成，用于对直角坐标机器人的控制，实现最终的抓取动作。

图1 系统方案框图Fig.1 System block diagram

2 图像处理

图像处理是对所获取图像进行加工、计算和处理，以便能达到视觉、机器决策的要求［10］。抓取机器人要能准确抓取到显示器，机械手需要知道显示器的轮廓尺寸及其位姿，本文中显示器型号尺寸可预先给定，所以在图像处理后只需将显示器位姿数据传送给PLC 即可。图像处理过程如图2所示。

图2 图像处理过程Fig.2 Image processing process

2.1 滤波除噪

图像在采集或传输过程中经常被各类信号干扰，图像会夹杂一些噪声，会导致图像中的一些重要信息难以被读取。所以在图像处理前需要对图像进行除噪，便于图像的进一步处理。在处理中，可以把图像看成一种二维信号，使用傅里叶变换将其变换成频率域，然后逆变换为空间域［11］。傅里叶变换卷积定理如下：

若H(u，v)为滤波函数h(x，y)的频谱，则由上式可知，对图像f(x，y)进行傅里叶变换得到结果F(u，v)，再通过滤波函数h(x，y)进行滤波，然后用H(u，v)与F(u，v)相乘，并对其进行傅里叶反变换，即可得滤波后的图像。

根据所采集图像，经过多次实验发现，本文采用理想低通滤波器可以达到较好的除噪效果。低通滤波器使频率高于D0的信号为0，低于D0的信号1，其他频率的信号不变，其传递函数为：

其中，M、N为图像的长和宽。在实际应用中，可以使用需要保留的能量占总能量的比例来确定截止频率D0。Labview 处理图像时，使用IMAQ Com⁃plex Truncate 实现理想滤波器的滤波，见图3。使用该函数时，只需改变参数Truncation Frequency%来确定需保留总能量的百分比即可。滤波时，程序先将图像读进内存进行傅里叶变换，然后使用IMAQ Complex Truncate 对图像进行滤波，滤波后对图像进行傅里叶反变换，得到滤波后的图像。参数Truncation Frequency%分别取5%、15% 及25%时的图像如图4 所示。经对比发现，参数Truncation Frequency%应取15%。

图3 Formular Filters代码Fig.3 Formular Filters code

图4 不同截止频率对比图Fig.4 Comparison diagram of different cut−off frequencies

2.2 阈值分割

图像分割能够进一步将除噪后的图像简化，其根据图像的颜色、形状和灰度等参数把图像划分为不同子区域。也就是说，将具有相同特征分在同一个区域而不同特征的分开［12］。图像分割一般输出为二值图像，即用0 表示背景，1 表示目标区域。由于显示器与托盘有较强的对比度，所以本系统采用图像阈值分割有效。

阈值分割根据不同特征设置单个或多个阈值，将图像的像素分为2类或者多类。以图像的灰度直方图作为参考，图像灰度阈值分割可选择阈值将图像的目标与背景分开来。假设原图为f(x，y)，T为阈值，阈值分割最简单的表示方法为：

其中，g(x，y)为分割后图像。

图像阈值分割分为手动阈值分割和自动阈值分割方法。手动分割需人为确定阈值，存在主观性，所以本系统采用自动阈值分割方法。NI Vision可支持5种自动分割方法：最大熵法、最大类间方差法、矩保持法、聚类法和均匀性度量法。其中，最大类间方差法不受图像对比度及亮度的影响、计算简单，被认为是阈值选取的最佳算法［13−14］。将图像分为目标和背景两类，这两类间的方差越大，说明这两类的区别就越大。如果有一阈值使其方差最大，那么这个阈值就是最佳阈值。

假设k为某一灰度级为i的图像的最佳阈值，其将图像分为X、Y两类，X和Y分别出现的概率为P(X)和P(Y)，那么它们的类间方差为：

对工业相机获得的图像经滤波后进行灰度直方图计算，结果如图5 所示。图5 的横坐标为灰度级i，纵坐标为每一级的像素数ni。图6 的直方图报告中Area(pixels)为该图像的总像素数n。那么i级像素点出现的概率为：

图5 灰度直方图Fig.5 Gray histogram

图6 直方图报告Fig.6 Histogram report

将式(11)代入式(7)和(8)，可求出μT和μ(k)。只有ω(k)未知，因此只要找到k让类间方差最大，那么k就是最佳阈值。

2.3 二值化图像

二值化是使图像呈现出黑白状态的过程，此时图像上点的灰度值为0 或255［15］。因此，图像的二值化使图像数据量减少，使目标轮廓更加清晰，更有利于图像的进一步处理。其原理就是小于最优阈值的像素点其灰度值变为0，大于最优阈值的像素点变为255，即可将目标区域转化为黑色，背景或其他区域转化为白色。图7 为二值化程序框图，根据上节阈值分割的方法可求出本系统最佳阈值为167，输入最佳阈值可得到二值化后的图像，如图8所示。

图7 二值化程序框图Fig.7 Binarization block diagram

图8 二值化后图像Fig.8 Binarized image

2.4 特征提取

利用IMAQ AutoBThreshold2对采集到的图像自动进行阈值分割，将图像的背景与目标区域分开。默认情况下，坐标以图形的像素坐标表示，但是实际控制系统一般按照世界坐标系的坐标值工作，所以需要事先对其进行坐标转换，为后续自动建立坐标系做准备。转换公式如下：

其中，(x，y) 为图像像素坐标，Zc为物距，(dx，dy)为工业相机的像素大小，f为相机的焦距，(u0，v0)为图像坐标原点至图像左上角的距离，它们均为相机的内部参数。R为旋转矩阵，其为相机坐标系到世界坐标系所做的旋转操作。B为平移矩阵，其为相机中心在世界坐标系中的坐标。XW、YW和H为所求的显示器原点的世界坐标系。由于显示器高度和机械手原点位置一定，所以H可知。因此，在图像处理过程中就可以对XW和YW进行计算，并直接返回世界坐标系的坐标。

由于每个显示器的位置不尽相同，程序采用函数IMAQ Find CoordSys(Rects)2，其可根据指定搜索方向检测目标区域中的目标边缘，且根据这些边缘确定坐标系。确切地说，该指令先根据设定的方向搜索一组平行线上目标的边缘点，然后进行曲线拟合来确定坐标系的主轴(Y轴)，接着再沿着与搜索主轴时垂直的方向搜索目标上的边缘线确定辅轴(X轴)，两轴交点即为坐标原点。如图9 所示，Direction 可选择搜索方向。在CORE：Initialize中，程序将标准图像(如图10所示)存入内存，并调用IMAQ Find CoordSys(Rects)2 将标准图像确定为参考坐标系。然后，在Update Coord⁃Sys 模式下调用IMAQ Find CoordSys (Rects)2 确定下一图像的测量坐标系。

在实际应用中，显示器摆放于托盘上，而托盘在输送线的位置已确定，且托盘上的挡块对显示器已有了一个预定位，所以显示器位姿不会变化很大。本文用IMAQ Find CoordSys(Rects)2 在目标区域内沿着从左向右、从下向上的方向进行搜索并确定坐标系。采用IMAQ Find Concentric Edge 2来表示测量图像的角度，其由边缘线相对于x轴正向逆时针的旋转角表示。

图9 坐标系搜索方向选择Fig.9 Search direction selection of coordinate system

图10 标准图像Fig.10 Standard image

如图11 所示，由于显示器为矩形，根据图像原点坐标值可由公式(12)、(13)求出显示器中心坐标值，由公式(14)便可得出机械手所需移动的距离及角度。

标准图像中心坐标(x1，y1)：

测量图像中心坐标(x2，y2)：

其中，XW1、YW1为参考坐标系原点坐标，XW2、YW2为测量坐标系原点坐标，α为测量图像的角度，a为显示器长度，b为显示器宽度。

图11 标准图像与测量图像位置Fig.11 Standard image with measured image position

3 抓取系统设计

抓取系统由光电传感器、工控机、S7−1200PLC、工业相机和机器人组成。光电传感器用于检测显示器是否到达指定位置，并通知工业相机，工控机实时读取工业相机的图像并将计算结果传送给下位机PLC，控制抓取机器人的动作。其控制方案框图如图12所示。

图12 控制方案框图Fig.12 Control scheme block diagram

当光电传感器检测到显示器到达指定区域，工业相机开始对显示器进行拍照，采集图像后将其传送给图像处理软件。由Labview 软件对图像进行处理计算获得显示器的位姿坐标值，然后将其送给PLC，PLC 根据计算结果控制机器人各轴的移动和转动，使机械手移动到指定位置，控制机械手抓取显示器，其抓取控制流程图如图13所示。

图13 抓取控制流程图Fig.13 Capture control flow chart

为减少图像处理难度及提高图像处理速度，背景托盘颜色选择白色，工业相机采用USB 接口形式。PLC 采用位置控制方式控制伺服驱动器，PLC发出脉冲串，电机便会运行至相应位置。图像处理软件Labview 与PLC 采用以太网通讯，在本系统中，S7−1200PLC 是数据的接收方，只需编写TRCV_C 程序读取数据，Labview 将坐标值和角度传输给PLC 的DB 数据块中，DB 变量定义如图14所示。