基于双目视觉的包装过程分拣技术研究

（茂名开放大学，广东茂名 525000）

0 引言

为提高产品的核心竞争能力、拓宽市场范围，最近几十年包装行业得到了迅速发展，因此对包装设备以及附属配置的智能化、智能化要求越来越高[1]。从调查结果来看，当前国内大多数包装企业仍旧采用人工实现重复性拾取作业，尤其是中小企业。在某种程度上，人工拾取不仅劳动强度大而且容易造成二次污染，特别是食品包装[2-5]。产品包装不合格一方面会导致企业生产成本大幅度提高，另一方面会降低产品竞争力，造成不良影响。为解决此问题，需要在包装生产线自动化程度上下功夫，同时附属机械手的配置可以实现物料的自动抓取和分类。一般情况下，机械手主要包括两种基本形式，即：并联式机械手和串联式机械手。实际使用效果表明：并联机械手动态性能比较好、响应速度较快而且整体质量轻，更加适合块状物料包装[6-7]。

随着机器视觉技术发展，越来越多的研究者将机器视觉引入到机械手控制系统中。视觉控制可以根据物料图像分辨出其具体位置，执行机构迅速做出响应完成相关拾取操作[8-10]。仲训杲等针对智能机器人抓取识别问题，利用多模特征深度学习与融合的方法，提高了抓取判别的精确性[11]。王修岩等针对工业装配生产线的自动装配问题，利用单目视觉技术设计了一种机器人自动识别和智能抓取结构，该方法具有较好地识别效果和实时性[12]。李星云等为解决工业机器人准确抓取和摆放工件问题，设计了一种处理简单、计算准确的单目视觉定位系统，可满足生产过程对工件空间定位和姿态测量的要求[13]。朱良等设计了一种6自由度工业机器人，利用机器视觉和相关数学运算实现了积木规则摆放[14]。

本文在现有研究的基础上，将双目视觉引入到包装分拣过程，设计一种基于预测算法的机械手视觉伺服控制，并通过实验验证所述方法的优势。

1 定位分拣系统

1.1 系统结构

基于机器视觉的机械手定位分拣系统主要包括：CCD工业相机、图像采集卡、机械手、关节控制器、主机、工作台等。其中工业相机，一共两个，固定在机器人末端执行器上，跟随机器人一起运动。总体来说，机器人视觉伺服控制由运动控制、控制量计算以及视觉处理等几个主要部分组成。在图像平面内，利用工业相机所获取图像的特征和期望图像特征之间差值实现视觉反馈，根据该差值获取对应控制量，然后将控制量发送到机器人控制器，进而驱动机械手各关节运动。如果期望图像特征和实时图像特征趋近一致，则表明伺服控制已经完成[15]。定位分拣系统结构如图1所示。

1.2 双目视觉模型

对于该视觉伺服控制系统，两台工业相机平行放置，成像平面分别为x-y平面和l-y平面。从图中可以看出：两个成像平面的x轴同线、y轴相同、轴z1和轴z2平行且垂直于x-y平面。假设左工业相机成像平面坐标原点o1和原点O重合，成像系统焦距等于物距。两工业相机之间的距离为 S，物点坐标为 P（x，y，z）。双目视觉模型如图2所示。

在左成像平面内，物点坐标可表示为p1（-x，-y）；在成像平面内，物点坐标可表示为 p2（l，-y）；文 中 使 用 来 描 述 物 点 坐 标cP=[X Y Z]T；机械手末端执行器速度可用u=[TXTYTZpXpYpZ]T来描述；工业相机焦距用f来描述；两相机光轴距离用B描述。那么双目立体视觉模型可表示为：

定义运动物体上任意一个特征点为mi=[x y l]T，那么其速度和末端执行器的速度u之间满足：

式（2）中Ji（mi）表示特征点图像雅克比矩阵。由此可得运动物体视觉伺服系统的状态方程为：

2 视觉伺服控制

滑模控制在机械手臂、机器人、航空航天等领域的应用十分广泛，主要是因为其具有结构简单，对外界干扰不敏感等特点，可很好地解决一些非线性问题。在视觉伺服控制系统中，文中以滑模控制为基础设计了一种机械手视觉定位控制器。该控制器主要包括两部分，一是滑模面切换函数设计；二是滑模控制规律设计。结合上述两个部分可实现实际图像特征δ和期望图像特征δd之间偏差小于给定阈值。

高校图书馆创业发展模式与协作构建模式相结合。创业发展模式主要是各专业的师生共同参与，互相商讨与切磋，各展所长，共同进行产品研发，促进创业萌芽，将idea变成现实。同时，随着创客空间的发展，鉴于协作构建模式的优势，该种模式在高校图书馆创客空间的构建上，也逐渐采用。

文中选定滑模面切换函数s为：

如式（2）和式（3）所示，为便于描述，文中使用图像雅克比矩阵J来描述机械手末端执行器在运动空间的速度r˙和目标在图像特征空间中的运动之间满足以下关系：

那么机械手视觉滑模定位控制规律可描述为：

式（6）中J+表示图像雅克比矩阵伪逆矩阵；其中Φ-1=diag（φi），φi表示第i个运动方向上滑模面的边界层厚度而且满足φi＞0；sat（.）表示一种饱和函数，可定义为：

所述机械手为手眼构型，工业相机随机械手运动而运动，那么则有d=0，所以式（8）可转换为：

定义机械手任意一个运动方向的控制率为ui，对其相应李雅普诺夫函数求导可以得到：

由式（11）和式（12）可以看出：机械手任意方向上的视觉滑模控制律对应的李雅普诺夫函数均满足V˙＜0，表明所设计的视觉定位规律是十分稳定的。综上所述，机械手视觉滑模定位控制规律（6）可使机械手运动趋向期望图像特征。

3 试验研究

3.1 试验装置

为验证所述控制方法的可行性和有效性，文中进行了相关试验研究。试验装置结构如下：

视觉传感器即工业相机的型号为Basler生产的ACA1600-20GM以及Computar生产的M1614-MP，相机分辨率为1600×1200，该两个相机均采用高清晰、低噪声的CCD成像技术，可通过Gige接口与控制器进行通信。

图像采集卡型号为PWLA8492MT，其配有两个千兆以太网口。

机械手则选用六自由度安川机械手，其作为主要执行机构。

试验装置如图3所示。

3.2 试验结果

进一步地，文中设定目标物的数目为6，目标物形状包括圆形、方形和三角形。对每个目标均进行100次抓取试验，记录实际位置并计算平均值。同时从示教器中获取理论抓取点的坐标。作为对比，文中基于传统控制方法，即没有加入滑模控制，进行同样的试验。通过比较理论位置和实际位置可以得到控制偏差，试验结果如表1所示。

表1 试验结果

由表1可得：基于本文所述方法，抓取点实际值和理论值之间偏差的平均值为1.154 mm，最大值为1.543 mm；对比而言，采用传统方法，实际值和理论值之间偏差的平均值为2.554 mm，最大值为2.907 mm。试验结果表明：基于滑模控制的机器视觉定位控制能够明显地提高机械手分拣精度，可以满足相关行业需求。

实验时，在待分拣物、分拣速度和机械手运动轨迹一致的情况下，连续工作30 min，采用本文方法能完成：圆形分拣151 8个，方形物分拣152 2个，三角形分拣150 9个；传统方法完成：圆形分拣138 2个，方形物分拣138 5个，三角形分拣137 2个。分拣精度提高直接使机械手的分拣效率得到了提升。在相同时间内，分拣效率可以提高约10%。

4 结语

以包装过程物料分拣为研究对象，将双目视觉引入到分拣控制系统中。同时基于滑模控制设计了一种机器视觉定位控制器，用于提高机械手的分拣精度。试验结果表明：所述分拣控制方法能够提高机械手的分拣精度而且分拣效率也有所提高。基于双目视觉的包装分拣技术可以满足相关行业需求，具有一定的应用和推广价值。