基于机器视觉的多机械臂菠萝采摘机器人设计与试验*

林桂潮，吴志铭，严茂森，梁仁杰，吴遥禺，严富威，吴天骏，邓广坤，姚佳炎，张有柳

（仲恺农业工程学院机电工程学院，广州 510631）

0 引言

菠萝是我国第三大重要水果，全国种植面积和总产量分别占全球总量的7.2%和8.1%。随着我国菠萝产业的发展，我国菠萝产量总体上呈逐年增长态势，产量从2010 年的1 070 000 t 增长至2020 年的3 000 000 t[1-2]。菠萝采摘劳动强度大，并且季节性强。据统计，菠萝采摘高峰期仅有15 天[3]。现阶段，我国菠萝采摘机械化程度低，主要以人工采摘为主。受农业青壮年劳动力短缺和新冠肺炎疫情影响，人工采摘费用不断攀升，为降低菠萝采摘成本，促进菠萝产业的协调发展，研发菠萝采摘机器人十分有必要[4]。

目前国内外菠萝采摘机械主要分为两种：半自动式菠萝采摘机械和全自动式菠萝采摘机械[5-6]。前者主要依靠人工手持采摘机械进行采摘，能在地势较为复杂的菠萝种植区域中推广，简化人工采摘流程，在一定程度上能提高采摘效率。后者使用机电一体化和人工智能技术进行菠萝采摘。仁晓智等[7]研制一种立式夹持菠萝采收装置，通过连杆式夹持机构实现对菠萝的夹持与松放，再使用锥齿轮折断机构分离果实和茎秆，实现菠萝的扭转采摘。实验表明，菠萝采摘成功率为95%，单颗果实采摘时间为14 s。张日红等[8]设计一种搭载在拖拉机上的菠萝自动采摘机，使用一级传送带机构将动力传递至前端采摘机处，后使用采摘机的圆盘式切刀对果实进行分割采摘。邓详丰等[9]设计了一种集采摘、传收一体的菠萝采摘机，在设计上利用菠萝根茎易折断的物理特性，设计出旋转采摘机构，模仿人手的夹持动作从而实现对果实的紧固，然后利用旋转采摘机构旋转所产生的位移将果实摘取。姜涛等[10]发明出一种可实现自动采摘、搬运、收集和转移的菠萝自动采摘收集机，使用三轴自由度机械臂，结合基于图像检测与定位的智能技术，使末端执行器定位到果实正上方并切割。试验结果表明，该机器切割效率可达1 636 株∕h。周巧鸥等[11]对菠萝特性及种植规律进行研究，设计了一种扭断加辅助切断采摘方式的菠萝收割机，通过导向机构引导菠萝进入切割区域，使用推进切割机构与辅助传送机构完成菠萝的切割工作。何东健等[12]设计一种基于双目机器视觉的菠萝自动采收机，使用双目视觉系统对菠萝果实进行识别与定位，进而控制采摘装置移动到合适的位置完成采摘作业，后续使用传送带将菠萝果实输送至收集装置，完成菠萝的收集作业。

针对菠萝智能机械化采摘需求，结合上述提到的研究及目前国内外菠萝采摘机器的现状，本文提出一种基于机器视觉的多机械臂菠萝采摘机器人。首先，研究由多个两自由度机械臂组成的机器人本体，克服采摘机器人作业效率低和成本高的问题；其次，设计一种由V形悬臂、切刀及挡板组成的推剪式末端执行器，实现菠萝果实与茎秆的分离；第三，应用深度神经网络YOLOv5 检测菠萝果实，使用基于随机抽样一致性的球体拟合算法以估计菠萝果实位置；最后，在实验室环境下对采摘机器人性能进行验证。

1 总体思路

目前，我国菠萝普遍采用双行种植方式，即两沟之间种植双行单株排列的菠萝。基于此，提出使用轮式移动平台横跨两行菠萝植株的作业方式。为提高采摘效率，提出多机械臂协同作业，设计一种多机械臂菠萝采摘机器人，如图1所示。该机器人由多个两自由度机械臂、多个末端执行器、一套视觉检测与定位系统组成，其工作原理：将轮式移动平台推到菠萝垄体上，使用视觉系统检测和定位菠萝果实，并将果实位置信息传输给机械臂；接着，机械臂通过横向和纵向移动，结合小车的前进运动，使末端执行器接近果实进行切割；切割完成后，末端执行器水平移动至收集通道附近，实现对菠萝果实的收集。

图1 多机械臂菠萝采摘机器人结构

图2 两自由度机械臂结构

2 机械结构设计

2.1 两自由度机械臂

为高效地采摘菠萝，本文设计一种由两个两自由度机械臂构成的机器人。每个机械臂均由同步带平移机构和滚珠丝杆平移机构组成，如图2 所示。同步带平移机构由步进电机、同步带、执行导轨、承重板、压板等组成，主要用于横向移动末端执行器位置，其中承重板主要用于连接同步带及滚珠丝杆平移机构，承受滚珠丝杆平移机构和末端执行器的质量。滚珠丝杆平移机构由滚珠丝杆、滑块、步进电机、联轴器、线性导轨等组成，主要用于纵向升降移动末端执行器，解决因田间菠萝果实高度位置不一而导致末端执行器无法准确接近菠萝杆茎的问题。

2.2 末端执行器

末端执行器是采摘机器人的关键部位。目前菠萝采摘机器人的末端执行器主要通过先抓取后切割的方式进行分离。这类末端执行器在检测定位精度低、菠萝果实抓取失误或菠萝切割位置无法调整等情况下，会影响采摘效果。本文设计一种结构简单、合理且成本较低的末端执行器，解决上述问题。

如图3 所示，该末端执行器主要由V 形悬臂、切刀及挡板组成。该末端执行器工作原理：通过机械臂调整V 形悬臂位置，使其开口正对行进方向上的菠萝果实；在车体行进过程中，切割刀片与果实根茎处进行接触并切割，在侧挡板与正挡板的斜面推力作用下，实现菠萝果实与杆茎的分离；随后经两自由度机械臂的移动，使末端执行器靠近果实收集通道，舵机旋转一定角度释放果实，使果实掉落至收集通道内。

图3 推剪式末端执行器结构

2.3 轮式移动平台

本文作者在仲恺农业工程学院白云校区种植了一块适宜机械化作业的菠萝试验田，菠萝垄体宽度为1 000 mm，沟深100 mm，如图4 所示。据此设计宽度为1 300 mm 的轮式移动平台，如图5所示。该轮式引导平台的前轮使用无齿无刷轮毂直流电机驱动，后轮采用万向轮实现转向；整体框架利用50 mm×50 mm 铝型材设计而成，四周使用倾斜式铝型材使其更加牢固。另外，后方设有储物篮，用于搭载蓄电池、笔记本电脑等配件；平台两侧使用小型铝型材和帆布构建收集装置，以便采摘后能有效地收集果实。

3 菠萝检测与定位方法

3.1 总体思路

图4 菠萝试验田

图5 轮式移动平台结构

在复杂环境的菠萝生长地中，未成熟的菠萝颜色与生长环境相近，同时因为受到非线性光照及枝叶遮挡等诸多自然因素影响，使得传统的图像处理并不能精准地识别出菠萝的位置。近几年，深度学习技术在农业机器人领域得到了广泛应用，如运用深度学习的方法对苹果检测[13]，对马铃薯芽的检测方法[14]等。为此，本文利用深度学习模型YOLOv5 检测菠萝果实；在此基础上，利用深度相机内参数将菠萝果实转换为三维点云，提出基于随机抽样一致性的球体拟合算法，精准测量菠萝果实中心点位置。

3.2 数据采集与处理

本文使用英特尔公司生产的深度相机D435i 采集图像。该相机由2个近红外相机、1个RGB 相机和1个激光发射器组成，使用双目立体视觉技术生成深度图像。深度图像分辨率为848 像素×480 像素，帧率为30 帧∕s；RGB 相机的分辨率为640 像素×480 像素，帧率为30 帧∕s。由于深度图的分辨率与彩色图不一样，使用相机的内外参数进行配准，使深度图与RGB图一致。

图像采集后，将数据集划分为训练集、测试集与验证集，划分比例为6∶3∶1。另外，使用Labelme 软件对每张图像中的菠萝果实进行标注，获取目标框位置坐标和类别信息。图6 所示为菠萝果实标注效果。

图6 菠萝果实标注效果

3.3 菠萝果实检测方法

以农田下的菠萝作为研究对象，采用轻量级YOLOv5模型，该模型能够更好地获取菠萝果实的特征信息，并且完成端对端的检测。YOLOv5 模型以跨阶段局部网络CSPnet 作为主干网络，有效提取田地里菠萝果实的特征，并且通过FPN 的方式较好地融合了不同层次间的特征，本文采用LGIOU作为边界框的损失函数，如式（1）～（2）所示。

式中：A为真实边框的值；B为预测边框的值；C为A与B的最小外接矩形面积值。

在模型上，使用了2张24 GB的Titan RTX，在Ubuntu 系统上一共训练150 轮次，每次输入网络的图片为4张，图片大小统一裁剪为640 pixel×640 pixel 的大小，同时使用SGD 作为优化器。初始学习率为0.01，采取余弦退火对学习率进行迭代。

3.4 菠萝果实定位方法

由于菠萝果实呈球状，提出基于随机抽样一致性的球体拟合算法，对菠萝果实进行近似，并使用球体中心点作为菠萝果实的三维位置。

菠萝检测完成后，结合深度图像，运用公式（3）将矩形框内的菠萝图像转为三维点云。

式中：（fx，fy）为深度图像的焦距；（u0，v0）为深度图像的光心位置；zc为像素点（u，v）的深度值。再对点云下采样、滤波，然后用RANSAC 算法将点云拟合成球体，具体步骤如下[15]。

（1）在初始点云中随机抽取4个点，将4个点的坐标带入下述球面方程得到球心坐标a、b、c和半径r。

（2）计算所有点至该球面的距离di。

若di≤dthreshold，则该点认为是模型内点；若di＞dthreshold，则认为是模型外点，记录当前的内点数n。

（3）重复以上步骤k次，选取内点n数量最多的球面对应的模型参数为最佳拟合参数。

（4）输出最佳拟合效果的球心坐标a、b、c和半径r作为菠萝拟合的结果。

通过多次试验，权衡机器运算量与采摘效率的比重，本文将参数计算的迭代次数设置为500，图7 所示为菠萝果实拟合效果。

图7 菠萝果实拟合效果

4 采摘作业流程

作业时，手动移动机器人到菠萝垄体上，使用视觉检测与定位系统感知菠萝果实位置和大小；随后，机器人根据反馈位置，控制同步带移动机构将末端执行器运送至果实准确方位上，并且控制滚珠丝杠机构将末端执行器抬升或下降至果实根茎部位；接着，轮式移动平台向前助推，切割刀片将果实根茎切断，与此同时，末端执行器判断切割是否完成，若已完成则停止运动，两自由度机械臂分别向两侧移动至指定位置，压力传感器传送指令至舵机，舵机旋转打开挡板，果实落入收集槽；至此，机器人完成采摘作业。采摘作业流程如图8所示。

图8 采摘作业流程

5 试验与结果

5.1 菠萝检测试验

本文采用精度、召回率和平均准确率来评价YOLOv5在测试集上的性能。精度指正确检测数量与所有检测数量之比PP，计算公式如式（5）所示；召回率指正确检测数量与图像中果实数量之比为PR，计算公式如式（6）所示。

式中：NTP为正确检测的果实数量；NFP为错误检测的果实数量；NFN为未被检测的果实数量。

在菠萝测试集上，YOLOv5 的精度和召回率如图9 所示。由图可知，该精度-召回率曲线走势良好；YOLOv5算法的精度和召回率分别 为 达 到 97.0% 和95.75%。 因 此， YOLOv5 模型能精准地检测实际环境中的菠萝，满足农业采摘菠萝的应用需求。YOLOv5 算法在试集上的检测效果如图10所示。

另外，YOLOv5 的平均推理时间为0.006 s，能够满足实时检测的应用需求。

5.2 菠萝定位试验

本文使用球体对菠萝果实进行拟合，以球体中心点作为果实三维位置。由于菠萝果实三维位置的真实值难以测量，本文仅对菠萝果实的直径拟合误差进行测量。试验方法：首先，应用本文算法检测和定位20 个菠萝果实，获得果实直径计算值；接着，使用游标卡尺测量果实真实直径，并与计算值进行对比得到测量误差。经统计可知，菠萝直径误差均值为9 mm，误差标准差约为30 mm。考虑到菠萝体积较大，作业时较为容易采摘，拟合误差值对采摘效果影响较小，故拟合误差在接受范围内。

图9 YOLOv5的精度-召回率曲线

图10 菠萝效果

5.3 采摘作业试验

在实验室环境下放置菠萝果实道具，开展相关试验。试验方法：应用视觉检测与定位系统感知菠萝三维位置；轮式移动平台向前移动，两自由度机械臂驱动末端执行器接近果实茎秆；测量末端执行器相对于菠萝果实的位置误差，根据误差值判断试验是否成功，并记录采收时间，结果如表1所示。由表可知，在实验室环境下，试验成功的末端执行器离菠萝果实位置的平均误差为23.9 mm，采摘成功率为90%，平均成功采摘时间为5.4 s。虽然两自由度机械臂有位置误差，但由于末端执行器悬臂有引导作用，故位置误差及采摘成功率在接受范围之内。

表1 菠萝采摘试验结果

6 结束语

针对菠萝智能机械化采摘需求，本文设计一种基于机器视觉的多机械臂菠萝采摘机器人。该机器人由龙门式移动平台、2 个两自由度机械臂、2 个末端执行器、1套视觉检测与定位软件系统和控制系统组成。其中，两自由度机械臂采用平移关节，操控末端执行器移动至菠萝茎秆位置进行推剪；视觉检测与定位软件系统应用YOLOv5 实时检测菠萝，使用基于RANSAC 的球体拟合算法确立菠萝三维位置和大小。田间试验表明，菠萝检测精度和召回率分别为97.0%和95.75%，菠萝果实大小误差为9 mm±30 mm；实验室环境下的采摘试验表明，末端执行器到菠萝果实的平均误差为23.9 mm，采摘成功率为90%，平均成功采摘时间为5.4 s。该机器人基本满足菠萝智能机械化采摘需求。未来将研究多机械臂协同作业技术，进一步提高菠萝采摘效率。