基于机器视觉的工业机器人工件分拣系统*

蒋智蓓，崔亚飞，秦 龙

（永州职业技术学院，湖南 永州 425100）

0 引言

随着德国工业4.0 和中国制造2025 等战略的发布，网络信息技术与大数据和云计算技术深度集成。传统的制造业正逐渐进入智能时代[1-7]。由于视觉优势，机器视觉技术在当今占据了重要地位，它极大地促进了工业发展的智能过程[8-12]。与人类视觉的原理相似，机器视觉主要由视觉传感器组成。首先，它是相机获得的图像。然后，将图像传输到计算机上，经过处理和分析，有用的信息最终用于实际的检测、测量和控制。

在工件分拣生产线上，大多数公司采用传统的人工分拣。然而，多年来，国内劳动力成本却急剧上升。显然，手动排序没有任何优势。因此，一些公司开始使用工业机器人[13-16]来进行分类。操作人员在教学环节的指导下完成教学内容。对于这种机器人，工作过程是开环的。一旦工作环境发生变化，机器人可能会抓取不正确的对象。它在很大程度上降低了生产力。在这种情况下，将机器视觉技术应用于工业分选系统具有重要意义。与传统的分类技术相比，它具有更高的质量、速度和智能性。机器视觉与工业生产相结合，不仅可以降低人力成本，还可以保证工业生产的效率[17-20]。

本文建立了一个工件分拣系统来解决分拣问题。同时，我们研究了相关的识别算法。通过对实验数据的比较，可以采用基于概率霍夫变换和弗里曼码的工件形状匹配算法来提高分拣效率。

1 系统整体设计

1.1 系统构成

如图1所示，该系统是基于一个具有6个自由度机械臂的工业机器人。本研究使用的机器人是TKB1400 机器人。TKB1400 工业机器人采用轻量化设计，结构紧凑，动作空间大，动态响应快，性能稳定可靠。该产品安装方便，占用空间小，满足柔性化生产的需求，提高生产效率。同时，本系统的主要部件如下：工业相机、相机支架、传送带、各种惯性和几何工件、工件箱、计算机、控制柜、工业机器人等。工业摄像机固定在工作区中，可以在传送带上拍照。通过千兆以太网电缆，将所有图像传输到计算机上。计算机负责根据特定的算法进行处理、识别和定位。当计算机计算出工件的空间坐标后，它就会将位置信息发送到控制柜。控制柜控制工业机器人将工件抓取到相应的位置。

图1 系统组成

1.2 相机标定

摄像机作为机器视觉系统的核心部件，负责图像的采集和传输。它的重要性不言而喻。经过慎重考虑，决定选择Basler acA640-120gm 相机。该相机采用索尼ICX618 CCD 感光性芯片，最多支持120 帧/s。此外，传输模式是基于GigE Vision 的，这是一种通过千兆以太网通信协议实现的摄像机接口标准。传输速度可达1 000 Mbit/s，最远的距离可达100 m。因此，该相机可以完全满足系统性能的要求。

相机标定是视觉系统中的关键步骤。它的基本任务是处理从相机中获得的图像。为了获得三维空间中物体的几何信息，重建和识别物体，相机校准在机器视觉中发挥着必要的作用。通过建立相对坐标系，计算出图像坐标系与空间坐标系之间的对应关系。

该分选系统是基于针孔成像模型的。采用经典的张正友校准方法。在实验之前，已经准备了一个校准板。然后从不同的角度在校准板上拍照。最后将校准板的图像和基本数据加载到MATLAB 校准模块。相机的固有参数可以自动计算出来。如图2 所示，为了提高对相机进行校准的精度，取了17张照片作为校准模板。

图2 相机标定

2 实现过程

视觉算法主要分为3 个主要部分：边缘提取、形状识别、排序和抓取。工件涉及许多不规则和几何形状，如三角形、正方形、圆度等。详细实现过程如图3所示。（1）边缘提取：对采集到的图像，使用Canny 算法进行边缘检测，该算法能够尽可能多地标识出图像中的实际边缘，漏检真实边缘的概率和误检非边缘的概率都尽可能小，可以提取出有效的边缘信息。（2） 形状识别：结合概率霍夫变换和弗里曼链码进行形状识别。（3）定位和抓取：计算各工件的中心空间坐标，通过串口将特征信息发送到机器人控制柜，然后机器人机械手可以自行完成抓取操作。

图3 实现过程

2.1 Canny算法

Canny 边缘检测算法是边界点位于高斯函数平滑后的梯度振幅最大点。利用二维高斯函数对图像进行平滑滤波分析。其效果是抑制噪声。高斯函数和卷积公式如（1）所示。

为了确定边缘点，需要抑制梯度振幅的非最大值。保留每个像素的最大梯度振幅值，并删除其他值。这一步的目的是使模糊边界清晰。图像仍然有很多噪声。Canny 算法采用了一种称为双阈值的技术，即设置上阈值和下阈值。如果该像素大于上阈值，则认为它是一个边点。同样，小于下阈值，它不能是边点，其他的则需要进一步处理。

在Canny 算法中，阈值选择是图像边缘提取的关键。如果阈值设置过高，可能会错过重要的信息。相反，阈值过低，会造成不必要的干扰效应。因此，很难给出一个一般的阈值。经过多次实验，最终确定了OpenCV中的阈值参数。下限为48，上限为190。图4为Canny边缘检测的效果。

图4 Canny边缘检测效果

2.2 霍夫变换

工件识别是整个系统中最重要的组成部分。精度直接影响到排序结果。在传统的形状识别中，几何通常使用几何矩不变量来识别，如胡矩、泽尼克矩等。它们拥有较高的匹配速度，但区分精度较低。因此，本文提出了一种新的基于概率霍夫变换和弗里曼链码的匹配算法。

霍夫变换是图像识别的基本方法之一。它能有效地降低噪声干扰。霍夫变换的主要思想是将参数平面划分为许多小的情况。如图5所示，通过“多对一”的映射，从图像空间中的共线点计算出参数空间中相应的参数。当结果在参数空间内时，将累加器加1。最大的累加器是图像空间[8]中的线性参数。

图5 霍夫变换

在标准参数化方法下，直线l用图像空间表示：

式中：ρ为从原始点到直线l 的距离；θ为包括直线l和x轴之间的夹角。根据式（2），第l 线中的不同点（x，y）转换为一群在点p相交的正弦线。显然，如果可以确定参数空间中的p点（累加器的最大值），那么直线检测就完成了。圆度类似于直线。霍夫变换对直线的检测具有较强的鲁棒性。它可以有效地排除噪声中的干扰问题。然而，不利影响也非常明显，需要处理大量的数据。因此，在这里不采用传统的霍夫变换。

2.3 概率霍夫变换

概率霍夫变换的主要思想：如果所选的数据点是准确的，那么确定一条直线只需要两个点。这表明在霍夫变换的过程中浪费了大量的数据。这导致了上述数据大量的问题。所以应该选择部分的点来进行变换。概率霍夫变换不影响最终的检测结果，同时也大大缩短了测试时间和计算量。实现这个算法的困难在于如何选择分数的那部分。由于图像的数据冗余性，霍夫变换结果中的几个点可以表示图像的所有点。只要累加器达到一定的值，就会检测到一条直线。在这种情况下，就不需要考虑要选择多少百分比了。检测算法分为4 个步骤。（1）在数据收集中随机选择（xk,yk）点。如果未测试该点，则请对该点进行霍夫变换。（2）有一个累加器A(ρk,θk)。如果其值大于设定阈值参数和空累加器A的值，输出对应(ρk,θk)。（3）根据检测到的线性参数，将所有线性点标记为检测点。（4）检查未处理点的数量。如果该数字小于某个阈值，退出算法，或继续步骤（1）。

2.4 弗里曼代码

在形状识别中匹配对象的边界时，必须在一种方法中存储边界信息。弗里曼代码（链码）是描述边界信息最常用的方法。中心像素的方向表示4 个连接邻域或八个连接邻域中链码的值。一旦链码值加上1，方向就会逆时针旋转45°或90°。如图6 所示，根据链码的不同斜率，链码可以分为4向和8向。

图6 4向和8向链码

在链码中，起点是关键因素。起点不同，链码值也不同。当链码发生改变时，目标链码的值将会有所不同。因此，基于第一个差分来构造差分链编码。差分链码可以通过后一个代码方向减去前一个代码方向并进行模8操作得到。差分链码是一个新的序列。它相当于对原始链码进行旋转规范化。

2.5 霍夫弗里曼码算法

该算法综合了概率霍夫变换和弗里曼码的优点。识别图像的具体过程如下。（1）首先使用概率霍夫变换来检测直线。可以得到直线的数目和线性方程。（2）根据直线的方程，计算出两条直线之间的交点。确定交点是否在有效区域内。如果是，则计算两条相交线之间的角度。如果不是，它就不是没有计算的顶点。（3）将角度定义为链码的参数，并转换为差分链码，得到一个霍夫-弗里曼码。（4）将该代码与模板相匹配。（5）如果剩余的点数大于某个阈值，则使用Hough变换来确定是否存在圆度。

3 实验与结果分析

为了验证该算法的可行性，进行了工件识别实验。在实验中，将不同尺寸的工件（三角形、正方形、五边形、圆形）放置在传送带上。实验结果如表1所示。相对于胡矩和泽尼克矩，霍夫-弗里曼码算法具有较高的识别精度。关于识别时间，胡力矩最短，其次是霍夫-弗里曼代码。泽尼克矩出现的时间最长。因此，霍夫-弗里曼码的识别效果优于基于几何矩不变量的识别方法。

表1 3种算法的识别精度

在抓取之前，必须确定工件的位置。根据边缘信息，可以计算出426 个工件的重心坐标。接下来，通过矩阵变换将图像坐标转换为空间坐标。最后将特征信息发送到控制柜，使机械手自动完成分拣操作。

4 结束语

本文阐述了基于机器视觉、实现过程和主要算法的几何工件分类系统。其中，采用背景差法减少后续识别的时间浪费。精明的算法可以帮助获取工件的准确的边缘信息。该算法能很好地完成了工件识别。建立了硬件实验平台来测试算法。实验结果表明，该识别算法具有较好的精度和鲁棒性。