基于双目视觉的猕猴桃剪枝机器人研究

王龙宁 张 鹏 林丰山 潘时佳 李京儒

(西北农林科技大学，陕西 杨凌 712100)

0 引言

我国猕猴桃总产量和栽培面积均已居世界第一位，产业前景非常广阔。但是，截至目前，猕猴桃树剪枝方式大多仍为人工剪枝，而且需经常找专业人员进行操作，严重依赖人工操作，不仅成本高昂，而且浪费人力、效率低下。另一方面，随着我国城市化进程的加快，乡村劳动力向城镇转移的速度也在加快，越来越多的农村人民选择到城镇谋生。随着现代果园种植规模扩大，技术工短缺、成本增加等问题突出。果树枝干复杂性、剪枝技术性和不可逆性等问题导致剪枝机械发展缓慢，成为限制水果生产重要因素之一[2]。因此，在此大背景下，发展猕猴桃自动化剪枝技术，特别是研发猕猴桃智能剪枝机器人，具有重要意义，而且具有较大应用前景。鉴于近年来使用较多且效果较好的双目视觉以及神经网络技术，本文研究了一种基于双目视觉的猕猴桃树剪枝机器人，旨在改善完全依靠人工剪枝的现状，解决人工剪枝成本高昂、浪费人力、效率低下等问题。

基于双目视觉的猕猴桃树剪枝机器人，考虑到猕猴桃剪枝工作带来的困难，其整体机械结构复杂，包括履带形式行走底盘总成，行走底盘总成上设置有剪叉式升降机、升降机驱动电机和控制器，叉式升降机的升降台上设置有四自由度机械臂，四自由度机械臂的末端设置有末端剪枝器和双目视觉模块，所述升降机驱动电机、所述双目视觉模块、所述末端剪枝器、所述四自由度机械臂分别与所述控制器连接，所述控制器与所述行走底盘总成的遥控器通信连接。本文着重研究剪枝机器人的运动方式和运行机理，为基于双目视觉的猕猴桃树剪枝机器人的进一步智能化研究提供参考。

1 剪枝机器人的机械结构

图1(a)为基于双目视觉的猕猴桃树剪枝机器人的结构示意图，该机器人由底盘、升降机、机械臂、末端执行机构等组成。图1(b)是本实施方式中基于双目视觉的猕猴桃树剪枝机器人的上下升降示意图。末端剪枝器用螺栓螺母连接固定在四自由度机械臂末端，有一个张开和闭合的自由度用于剪枝动作的执行；双目视觉模块用螺栓螺母连接固定在四自由度机械臂上末端剪枝器后方，用于识别所要进行修剪的枝条；四自由度机械臂用螺栓螺母连接固定在升降台上，剪叉式升降机用螺栓螺母连接固定在电机支座上，四自由度机械臂和剪叉式升降机驱动末端剪枝器到猕猴桃枝条附近。

图1

2 剪枝机器人的工作方式

2.1 剪枝机器人执行机理

通电后机器人启动，履带式车底盘将进行工作，使用履带保证了机器整体的操纵稳定性以及对复杂地形的容错性，有效提升了机器人对猕猴桃树园松软地面的适应性，微型控制器控制四自由度机械臂默认执行已经写入微控制器的特定动作组使双目视觉模块在机械臂的带动下在垂直方向停靠，以方便识别待修剪枝条，并将此动作位置作为四自由度机械臂的初始位置，然后，控制器控制升降机驱动电机通过减速器驱动剪叉式升降机工作，将升降台升起适当高度，使末端剪枝器达到枝条下方一定距离，确保四自由度机械臂执行剪枝动作组时末端剪枝器能够完成枝条修剪；人工使用红外线遥控器遥控行走底盘总成在猕猴桃树架下匀速缓慢前进；在行走底盘总成缓慢前进过程中，双目视觉模块识别待修剪枝条，识别到后向控制器发送目标枝条坐标，控制器进行分析工作，控制器向遥控器发送信号，使遥控器内置蜂鸣器报警，提醒操作者停止车身总成前进；机器人停止前进之后，控制器根据获取的目标枝条坐标控制四自由度机械臂驱动末端剪枝器完成对目标枝条的修剪，修剪完成后控制四自由度机械臂复位，并向遥控器发送信号，使遥控器内置蜂鸣器报警，提醒操作者一个工作循环已完成，进入到下一个工作循环。

2.2 剪枝机器人执行机理分析

本文所述基于双目视觉的猕猴桃剪枝机器人采用双目视觉模块1采集枝条图像及坐标，并采用卷积神经网络(convolutional neural network，CNN)方法对图像进行处理和枝条识别(主要是通过花芽的个数来确定枝条是不是待修剪枝条)，CNN方法对图像具有极强的数据表征能力，普适性、鲁棒性好。与人工剪枝相比，所述基于双目视觉的猕猴桃剪枝机器人有自动化程度高、节省成本及人力、操作简便、剪枝准确高效等优点，但因本身猕猴桃枝条在修剪时期的特殊形态，造成视觉识别较为困难，以及双目视觉识别模块并未成熟等问题，有小概率出现目标剪枝识别错误等问题，仍需解决。

3 结论

智能控制器使用，保证了该剪枝机器人的智能性；采用高密度锂电池供电保证了该剪枝机器人的续航时间；可遥控履带底盘总成的设计保证了该剪枝机器人转向前进的通过性、灵活性以及人工操作的简便性，有效提升了机器人对猕猴桃树园松软地面的适应性；剪叉式升降机和四自由度机械臂的设计保证了剪枝的可靠性，双目视觉模块及末端剪枝器的设计保证了其剪枝的准确性与高效性。综合以上优点，本文所述基于双目视觉的猕猴桃剪枝机器人与人工剪枝相比，自动化程度高、节省成本及人力、操作简便、剪枝准确高效，有很大的应用前景及发展空间。