基于双目视觉的并联机械臂控制系统

刘富成 黄俊华

摘 要：本文提出一种基于双目视觉的并联机械臂控制系统，并联机械臂为用于果实采摘的四杆型三自由度并联机构，其执行末端为采摘口，通过固定在采摘口旁边的双目视觉来追踪被采摘果实，采用深度学习的办法精准识别果实，将果实坐标实时反馈至控制系统，通过将果实坐标到机械臂转角的解算，并联机械臂可将采摘口逐渐靠近被采摘果实，最终完成工作。

关键词：双目视觉;并联机械臂;深度学习

DOI：10.16640/j.cnki.37-1222/t.2019.20.110

0 引言

并联机构在机械领域有着广泛的应用，而农业机械也是重要的发展分支，本文介绍了一种四杆型三自由度并联机构，在其控制中，被采摘果实的笛卡尔坐标是控制并联机械臂所需的重要参数，精准识别果实并反馈笛卡尔坐标有利于实现并联机械臂的高性能控制。双目视觉模仿人的双眼，通过视差建立特征间的对应关系，最终匹配还原出目标空间三维立体信息，将其反馈至控制系统。

1 视觉识别系统

因为苹果形状和颜色的不规则性，仅通过简单的单目彩色识别来识别的，识别精准度和识别效率是远远不够的;为提高苹果采摘的效率和识别精准度，我们采用深度学习的办法利用卷积神经网络（cnn）来进行对苹果的精准识别，卷积神经网络受视觉神经机制的启发而设计，是为识别二维或三维信号而设计的一个多层感知器，这种网络结构对平移、缩放、倾斜等变形具有高度不变性。

CNN可以用来识别位移、缩放及其他形式扭曲不变性的二维或三维图像。CNN的特征提取层参数是通过训练数据学习得到的，所以其避免了人工特征抽取，而是从训练数据中进行学习;其次同一特征图的神经元共享权值，减少了网络参数，这也是卷积网络相对于全连接网络的一大优势。

利用tensorflow搭建训练好的苹果卷积神经网络后，然后利用opencv将图像中的苹果轮廓的重心坐标Cx，Cy提取出来进行下一步的空间定位。

2 双目立体视觉空间定位

2.1 双目立体视觉测量介绍

双目成像的模型可看作是由两个单目成像模型组合而成。在一般情况下，透镜物距U>>焦距f，可得像距v近似为f，所以实用中可以用小孔成像模型来代替透镜成像模型，利用双目系统可以确定具有像平面坐标点（Cx， Cy ）和（X2， Y2）的世界点W的坐标 （X， Y， Z），所以利用视觉识别系统得出来的苹果得平面坐标（Cx，Cy），然后利用双目立体视觉便可得出苹果的空间坐标，然后并联机器人实施吸取。

2.2 立体视觉测量方法

首先利用matlab双目摄像头标定工具包，得到双目摄像头参数，并且有了旋转矩阵R和平移向量T后，立体矫正Bouguet算法就能简单地使左右图像中的每幅重投影次数最小且重投影畸变最大，所以使立体匹配更加准确和快速。立体匹配，即完成左右摄像机视图相同特征的匹配，并得到视差图即深度图，Open CV提供了BM和SGBM等双目匹配的多种算法。

人用两只眼睛观察景物时会有远近的感觉，用两个摄像机模仿人类的眼睛以获得果实目标的深度信息。如图1当用两个摄像机同时观察同一空间点P时，这一点在两个摄像机的图像平面上分别有投影点P1和P2，两条直线O1P1与O2P2的交点即为P点的三维空间位置。

3 并联机械臂控制系统

四杆型三自由度并联机械臂结构如图2，工作过程中，双目首先建立绝对坐标系，然后识别在坐标系中的苹果，将已识别出的苹果的绝对坐标传送至控制系统;控制系统将坐标值解算为相对应的机械臂所转动的角度;并联机械结构根据解算出的角度和规划出的电机转速最优变化规律进行运动，将采摘口移动至苹果的正下方;柔性采摘系统将果实吸入管道，传送至收集箱，完成整个采摘过程。

4 并联机械臂运动学分析

利用蒙特卡洛方法完成对并联机械臂的运动学正解、反解所得到的并联机械臂解析式，模拟出其工作空间，利用matlab仿真优化出并联机械臂空间运动的最优解。测量电机调速产生的误差，完成电机算法的误差矫正，并进行调参，进一步精细化采摘系统。

5 结语

双目视觉利用双目视差形成深度图，解析出算法，将目标位置解算为以摄像头为坐标原点的三维坐标，并训练多层卷积神经网络，经过大量计算得到准确度达到90%以上、能够在目标存在遮挡的不完全图像中识别目标的机器学习算法。为并联机械臂的準确控制和采摘口的稳定追踪果实提供了精确的笛卡尔坐标数据，通过双目视觉和控制系统的协调工作，可准确、高效地采摘果实，具有较强推广意义。

参考文献：

[1]李强.苹果采摘机器人视觉系统研究[D].硕士学位论文，2017.

[2]白晓宁.空中目标的双目立体视觉测距[D].硕士学位论文，2004.

[3]周雁丰，丁晋，乔文刚.三自由度并联机器人运动学分析及轨迹研究[J].工具技术，2016，50（06）：31-34.