机器视觉在柔性制造生产线分拣机械手中的应用研究*

解明利 胡占齐

(燕山大学机械工程学院，河北 秦皇岛 066004)

随着计算机技术、人工智能的迅速发展，做为数字视觉技术与工业制造相结合的机器视觉技术被越来越多的应用在现代化柔性制造生产线中，其特点是代替人工在单一或恶劣的环境下对观测对象进行检测，并向其他的控制系统提供准确的输入控制信号源。本文基于以上，以BS-8ML01型柔性制造生产线为基础，对其基于PLC的示教式分拣系统进行改进，将机器视觉技术与工业机械手结合，设计了基于机器视觉的分拣机械手，采用多目标分块的Hough算法实现了对物料的智能分拣，解决了在实际工况中，当目标工件与理想工件存在位置偏差，也能迅速准确地完成工件的抓取、分拣问题，具有高效、智能的优势。与现有的基于视觉的机械手相比[7]，本设计的机械手将摄像头和机械手集成在一起而没有分置于传送带的不同位置。改进后的设计使整体系统结构设计简单，集成化程度增强，便于后期的维护。

1 机械手结构设计及工作流程

针对现有的BS-8ML01型柔性制造生产线，分拣机械手布置在如图1所示系统的末端分拣部分，主要包括机器视觉模块、控制模块、传送带、分拣盘等部分，其中分拣机械手结构模型如图2所示。采用Delta并联机构，其较三坐标机械手的优点是无累积误差、精度较高、结构紧凑、高刚度承载能力大，而且驱动装置可置于定平台上或接近平台位置，这样运动执行部分重量轻，速度高，动态响应好。该机械手主要由动平台、定平台、机械手爪等组成。其中定平台布置有伺服电动机、上臂，动平台上连接有机械手爪、下臂。上臂和下臂由球形万向节连接组成3个呈120°均匀分布的运动链。机械手爪由齿轮、内臂、外臂组成，由伺服电动机带动齿轮内壁、外臂实现手爪的夹紧和放松。

当传送带来料时，光电开关被触发，机械手调整位姿摆至工作原点，避让开拍照区域。传送带携物料运行至拍照区域范围内后暂停，此时工业摄像头进行图像采集，并进行图像处理，计算机根据采集到的目标进行机械手抓取路径规划，并驱动伺服电动机实现机械手的分拣，分拣完毕后进入下一个工作流程。

2 相机参数标定

工业摄像机标定的目的是建立空间点在图像坐标系和空间坐标系的对应关系[8]。设M为任意空间点，其坐标为(x,y,z)；(u,v)为计算机图像坐标点，则二者之间的关系可表示为(1)式。

(1)

表1 相机标定内参数表

fxfycxcy5247.42645247.42641263.7438964.5556

3 目标的图像处理与定位

3.1 图像预处理

在图像的采集/传输或者变换过程中，由于多种因素的影响，如系统噪声、曝光不足或者过量等，都容易引起图像的降质，降低图像的视觉效果。通过图像预处理，可以按照特定需求改善整幅图像的视觉效果，增强图像中的某些特定信息，便于控制系统对视觉信号进行准确的识别。本文采用平滑线性滤波法进行图像预处理，其方法是以一个3×3的滤波模板为例，将模板中心像素的灰度值与其邻域上8个像素的灰度值取平均值作为模板中心像素的新的灰度值。处理结果如图3所示，通过滤波较好的抑制了图像在获取和传输过程中的噪声干扰。

3.2 图像分割

图像分割的目的是使摄像头采集的工件图像与背景区分开来，以便进一步的研究和分析。目前常用的边缘提取算法有Sobel算子、LOG算子、Robert算子、Canny算子等。Canny算子因其对光照改变时仍然鲁棒，具有较高的边缘定位能力，所以本研究中采用Canny算子进行边缘检测。具体做法是首先用高斯滤波器如式(2)所示对图像进行平滑滤波。

(2)

其中σ是决定图像平滑程度的关键参数。设f(x，y)为原始图像，则滤波后的图像可表示为式(3)。

fG(x,y)=G(x,y)⊗f(x,y)

(3)

Canny算子使用2×2窗口大小的一阶偏导数有限差分来计算滤波后的图像梯度矢量。设任一点(i，j)处的两个方向的偏导数如式(4)。

(4)

则任一点(i，j)处的梯度幅值表示为：

其梯度方向θ表示为：

得到梯度向量后，要对其进行非极大抑制，找出梯度幅值局部变化较大的点，然后用高、低两个阈值进行边缘检测和连接。图4即是Canny算子对工件图像分割的结果。

3.3 工件特征提取与定位

BS-8ML01型生产线所分拣工件的大部分是圆形回转体工件。所以本研究中采用基于有序Hough变换的SQHT(sequenced hough transform)算法来确定工件边缘。该算法通过圆的几何性质与梯度信息，遍历搜索圆边缘点，快速定位目标圆及获取基元参数[11-12]。与传统的Hough算法相比，SQHT算法具有检测快速、效率提高、抗干扰力强等优点。其计算圆心坐标的算法流程如下：

如图5所示，设算法遍历的圆上3点为C1、C2、C3。

(1)首先算法搜索到圆上点C1，计算点C1的梯度，梯度值记为C1。

(3)在点C1向右同行搜索至边缘点，若存在记为C2,并执行(4),否则返回(1)。

(4)计算C2的梯度，其值记为C2，若|C1+C2|

(5)根据C1、C2，预估计圆心坐标，以确定第三点C3，可得C3的目标坐标为(xc1，yc1+Δy)。

(6)以目标坐标(xc1，yc1+Δy)为中心，从上向下搜索边缘，若存在直接确定C3点，否则返回(3)。

(7)计算点C3的梯度，其值记为C3，若|C1+C3|

(8)根据点C1、C2、C3计算出圆心坐标和圆半径。

4 分拣机械手轨迹规划

综合考虑设备的空间布置、避障等问题，分拣机械手将传送带Ⅰ上的工件放置在分拣盘Ⅱ中，其运动轨迹规划可由图6表示，抓取过程路径的序列点为Si(i=0，1，2，…，7)。设水平段运行时间T1=0.2 s，上升、下降段运行时间T2=0.1 s，则机械手的工作空间轨迹规划详见表2。

表2 机械手工作空间轨迹规划表

运行区间段始终点时间方向运行状态上升S1→S2T2/2竖直加速圆弧S2→S3T2/2水平加速竖直加速水平S3→S4S4→S5(T1-T2)/2(T1-T2)/2水平加速水平减速圆弧S5→S6T2/2水平减速竖直加速下降S6→S7T2/2竖直减速

在机械手轨迹规划时,要求同时考虑机器人的执行时间和动态性能[13-14]。因此要求机械手在满足较大速度、加速度的前提下，还能保证机械手运动平稳，不产生运动突变。因此机械手动平台在单一方向上的运动方程可由式(5)描述。该运动方程具有三阶连续可导，所以在机械手作业空间的轨迹规划设计中被普遍采用。

(5)

其中：T为运动总时间，t为当前时刻。

各运动区段可按照式(5)运动规律，通过运动学反解求得机械手上臂运动参数，通过传动系统的传动比反算，即可得到驱动电动机的脉冲序列，从而实现机械手在空间中对工件的抓取。图7～图9为机械手动平台的位移、速度、加速度曲线，从图中曲线可以看出，机械手在达到峰值后，并没有直接保持一段匀速，而是在小范围内速度逐渐减小，这样做的好处是机械手的动平台虽然速度、加速度峰值较高，但整体速度、加速度曲线变化连续平稳，且初始和终了处的加速度为零。这样满足了机械手较高的抓取效率的同时，还避免了刚性冲击。

5 工件抓取实验

研究中实验基于BS-8ML01生产线进行。实验系统样机平台如图10所示，样机采用以太网与上位机、工业相机、控制器相连，使用MCGS组态软件实现了界面的触屏控制以及写入和读取机械手运行过程中的相关数据。

实验中首先采用单个和多个工件的抓取来验证机械手的空间定位精度。首先在以机械手为参照坐标的坐标系下放置工件，机械手实现定位抓取。通过组态软件实时读取抓取时的坐标数据进行比对，将抓取位置和预设位置在空间进行比对,结果绘制成如图11所示的抓取实际空间位置曲面。采用基于局部形状特征的相似算法将之与理论空间位置曲面(图12)进行相似性比较，其基本过程是根据曲面产生的参数域曲率云图，在其中遍历特征点，计算出各特征点的类shift算子，将该算子组成算子集合来表征该曲面，通过比较两个集合的相似性来比较两个曲面的相似度。采用Matlab程序计算出两个曲面的偏差为7.3%，考虑到手爪张开夹紧的工作范围这个偏差是满足工作要求的。

在多个工件的分拣实验中，考虑到传送过来的工件数目可能分布不均，分别尝试了在来料奇偶不同个数情况下的抓取，抓取结果如表3所示。实验表明该基于机器视觉的分拣机械手工作稳定可靠，定位准确，可用在非精密小尺寸工件的分拣场合中，装备于柔性自动化生产线中可提高其智能化及人际交互水平。

表3 抓取结果

实验序号零件个数抓取个数未爪个数1330255036604880510100

6 结语

本文研究了一种基于机器视觉的分拣机械手可应

用于柔性制造生产线中，其中工业相机直接配置于机械手的定平台上，提高了基于机器视觉分拣机械手的集成度。采用基于有序Hough变换的SQHT算法实现了机器视觉下的工件识别定位，研究表明这种算法较传统的Hough算法能显著提高工件识别定位的速度，增强其抗干扰能力。样机实验表明，该机械手识别准确可靠，稳定性好，适合于一般小尺寸工件的分拣工作，能提高柔性制造生产线的智能化与自动化水平，具有较广泛的应用价值。

[1]齐伟,张秀如.基于PLC的柔性自动生产线实验仿真系统的平台设计[J].制造业自动化,2011,33(12):96-98.

[2]段振华,吴张永,王庆辉,等.工业机器人自动分拣输送线的研究[J]. 实验室研究与探索,2013,32(3):113-116.

[3]赵立辉,霍春宝,陈晓英.实验室自动分拣仓储系统设计[J]. 实验技术与管理,2013, 30(11):130-132,150.

[4]李红英,王耀南.高速自动化生产线上机械手次瓶自动分拣系统研究[J]. 中国仪器仪表,2008(12):44-47.

[5]王攀峰,梅江平,陈恒军,等.基于多并联机械手的锂离子电池自动分拣装备控制系统设计[J]. 机械工程学报,2007,43(11):63-68.

[6]谢俊,刘月,肖朝蓬,等.三自由度并联物料振动分拣平台机构设计及运动仿真[J].工程设计学报, 2013,20(6): 501-506.

[7]李和平,陈育新.基于LabVIEW工业机器人自动分拣系统设计[J]. 机床与液压,2015,43(9):90-93.

[8]王帅,徐方,陈亮,等.视觉技术在机器人零部件装配中的应用研究[J]. 组合机床与自动化加工技术,2015(8):107-110.

[9]邓小峰,姚睿,周翟和,等.工业自动化产品质检中机器视觉系统标定方法研究[J].测控技术,2014,33(3):144-147.

[10]付贵,李克天,李阳.基于机器视觉的导光板模具网点测量系统研究[J]. 制造技术与机床,2016(10):58-61.

[11]AO Djekoune, K Messaoudi, K Amara. Incremental circle hough transform: An improved method for circle detection [J]. OPTIK, 2017,133:17-31.

[12]叶峰,陈灿杰,赖乙宗,等.基于有序Hough变换的快速圆检测算法[J].光学精密工程,2014,22(4):1105-1111.

[13]熊永康.三自由度并联机器人轨迹规划及其控制实现[D].大连:大连理工大学,2014.

[14]Jiang XL,Gosselin C. Dynamic point-to-point trajectory planning of a three-DOF cable-suspended parallel robot [J]. IEEE Transactions on Robotics, 2016,32(6):1550-1557.