名优茶采摘机器人收获试验

李亚涛 周宇杰 王少卿 陈建能 贺磊盈 贾江鸣 武传宇

收稿日期：2023-09-18             修订日期：2023-12-14

基金项目：国家自然科学基金（52305289、U23A20175）、浙江省领雁计划项目（2022C02052）、国家茶叶产业技术体系（CARS-19）、中国博士后科学基金（2023M733153）、浙江理工大学科研启动基金（22202328-Y）、福建省茶产业大数据应用与智能化重点实验室开放基金资助项目

作者简介：李亚涛，男，博士后，主要从事机器人3D视觉和农业机器人智能装备技术研究。*通信作者：cywu@zstu.edu.cn

摘要：研制新一代履带式名优茶采摘机器人并以其为试验对象，在田间进行龙井茶采摘试验，对其检测、定位、末端采摘的精度以及各环节耗时进行试验评估。结果表明，所研制的名优茶采摘机器人检测成功率为88.54%，定位成功率为84.07%，末端采摘成功率为87.22%，整机采摘成功率为61.30%，所采茶叶可满足中端龙井茶要求。单芽采摘时间约1.51 s，1 h可采摘2 000多个，基本实现一台机器替代一个工人的采摘效率。

关键词：名优茶采摘；机器人；采摘成功率；收获时间

中图分类号：S571.1；S225               文献标识码：A                文章编号：1000-369X（2024）01-075-09

Experimental Study on High-quality Tea

Plucking by Robot

LI Yatao1，2，3， ZHOU Yujie1， WANG Shaoqing1， CHEN Jianneng1，2，

HE Leiying1，2， JIA Jiangming1，2， WU Chuanyu1，2*

1. School of Mechanical Engineering， Zhejiang Sci-Tech University， Hangzhou 310018， China;

2. Key Laboratory of Transplanting Equipment and Technology of Zhejiang Province， Hangzhou 310018， China;

3. Fujian Key Laboratory of Big Data Application and Intellectualization for Tea Industry （Wuyi University）， Wuyishan 354300， China

Abstract： This study evaluated the performance of a newly developed track-type tea plucking robot on Longjing tea picking， including its detection accuracy， localization accuracy， end effector plucking accuracy， time consumption across each stage. The results show that the detection success rate of the developed robot was 88.54%， the localization success rate was 84.07%， the end effector plucking success rate was 87.22%， and the overall plucking success rate was 61.30%. The plucked tea leaves met the requirements of middle-grade Longjing tea. The single tea shoot plucking time was approximately 1.51 s， and the machine could pluck over 2 000 tea shoots per hour， basically achieving the picking efficiency of one machine replacing one worker.

Keywords： high-quality tea plucking， robot， plucking success rate， harvesting time

我國茶园面积已达333.03万hm2、茶农人数6 000多万、产茶县超过1 000个，其中100多个县以茶产业为支柱产业[1-2]。但是，目前茶产业生产方式和技术水平与农业现代化的推进要求仍存在较大差距，突出问题就是名优茶采摘严重依赖人工，而采摘是整个茶叶生产劳动中作业次数最多、劳动力消耗最大、劳动强度最高的作业任务[3]。由于大部分年轻人不再愿意从事重复性采摘工作，劳动力价格在不断上涨，导致名优茶采摘作业劳动力日益紧缺，这严重制约了茶产业的发展，因此通过“机器换人”推行智能化采摘已成为名优茶可持续发展的必然选择[4]。

目前关于名优茶智能采摘机器人样机的设计方案多种多样，但其主要由相机、机械臂、机械手、移动底盘、计算机等“眼-臂-手-脚-脑”系统硬件设备组成。其中“眼”系统负责感知目标对象的信息，对目标作物进行检测定位[5-7]，由可以获取田间名优茶嫩梢彩色图像和深度图像的深度相机组成[8-9]；“臂”系统负责带动采摘机械手运动到指定位置，多采用XYZ式机械臂[10]、串聯式机械臂[11]、Delta式机械臂[12]；“手”系统负责实现名优茶嫩梢的采摘[11，13-14]，需要结合名优茶嫩梢自身特点进行结构设计；“脚”系统负责在田间带动整机自主移动到不同的工作位置，常采用轮式[15]、履带式[16]、轨道式[4]等高地隙底盘；“脑”系统负责将相机获取的信息进行处理实现名优茶的检测定位，然后控制机械臂运动到指定位置，给机械手发送指令进行采摘[17]，由具备相应算力的计算机设备组成。

由于田间名优茶嫩梢与背景颜色相近、生长密集、尺寸较小、形状不规则、生长高度不一等，对名优茶的智能化采摘提出了挑战。针对该问题，本研究对名优茶采摘机器人的“眼-手-臂-脚-脑”各模块系统进行研究，进而搭建新一代名优茶采摘系统样机，在田间进行试验验证名优茶收获的有效性，并对相关采摘性能参数进行统计分析，为助推名优茶高效智能化采收提供了一种新装备及其快速实现方法。

1 试验材料与方法

1.1 设备与材料

田间嫩梢采摘试验于2023年3月28—29日在浙江省杭州市中国农业科学院茶叶研究所龙冠实业有限公司试验基地进行，多云天气，茶树品种为龙井43。

田间采摘试验以履带式名优茶采摘机器人样机为试验对象，如图1所示，主要由深度相机、机械手、机械臂、移动底盘、计算设备等“眼-手-臂-脚-脑”系统单元硬件设备组成。

1.1.1 名优茶嫩梢的检测与定位（眼单元）

考虑到田间嫩梢检测速度需求，本研究采用YOLOv7网络架构对茶叶嫩梢检测模型进行训练。相较二阶检测器，YOLO作为一阶检测器具有检测速度快、部署方便的优点，满足实际田间快速检测需求。为了确定嫩梢的3D采摘位置，在嫩梢检测的基础上结合点云处理技术提出了一种基于局部点云处理定位方法[9]，如图2所示。

首先根据RGB-D相机自身彩色传感器和深度传感器坐标位置关系进行图像对齐，将RGB图像中目标检测区域（x， y， w， h）内的像素点坐标（u， v）与Depth图像的深度信息进行映射，继而结合相机参数获取边界框内所有点在相机坐标系下对应的3D坐标（x， y， z），实现局部目标嫩梢区域点云的生成；之后通过对区域内点云进行直通滤波、体素滤波实现点云的预处理，以滤除无效点云，并使密集点云稀疏化以减少后期点云处理的计算量；然后通过点云聚类对各个目标框内的点云进行分割，通过提取距离相机最近的子聚类作为嫩梢点云，并以嫩梢点云最低点为特征点，结合农艺生长特性沿茶垄生长负方向延伸一定距离作为嫩梢的3D采摘点[17]。

1.1.2 名优茶嫩梢采摘（手单元）

根据茶叶嫩芽主要分布在树冠表层这一特点，自上而下的采摘方式可以有效减少老叶的干扰，结合轻量化、集成化的末端设计要求，本研究提出的嫩梢采摘末端机械手如图3所示，主要由舵机、传动机构、剪切机构及负压管组成。其中舵机作为源动件驱动传动机构运动，通过舵机旋转（转角为30°）驱动刀具在初始位置与剪切点之间运动以实现剪切刀具的张开与闭合（行程32 mm）。传动机构

主要由连杆组成，其中二号连杆（长度62 mm）与三号连杆（长度19 mm）能够有效形成省力杠杆以方便用较小的动力带动滑轨运动；各连杆与其他构件相互铰接，通过滑轨带动两侧刀具做同步运动实现芽叶的剪切。负压管与固定板连接，刀具剪切中心位于负压管中轴线上，此外，负压装置、暂存盒与负压管通过软管连接，如图3B和图3C所示。当控制刀具进行剪切时，同步驱动负压系统（120 Pa）使负压管内与管口形成负压，通过负压吸附剪切的茶叶嫩梢到收集暂存盒中，方便剪切芽叶的收集[18-19]。其中剪切机构由两片刀具组成，左侧刀具经过线切割处理为分体式刀具，刀齿宽度2.63 mm，刀具厚度0.9 mm、刀齿长度20.03 mm；右侧为未经线切割的一体式刀具。在剪切过程中，刀具的工作原理如下：当嫩梢周围无茎秆时（图3D），由于茶叶节间的弹性模量较小，左侧分体式刀具在不发生弯曲变形的情况下即可与右侧刀具相配合完成顶芽采摘工作。而当茎秆较长与嫩梢采摘节间处于同一高度且紧邻嫩梢时，左右两侧刀具在舵机动力源的驱动作用下相向转动并首先夹持茎秆，随着刀具的继续运动，由于茎秆弹性模量较大，与茎秆所接触的分体式刀具的刀齿发生弯曲变形，而其他刀齿可与右侧一体式刀具相配合完成嫩芽采摘，以此实现嫩梢和茎秆紧邻时嫩梢的采摘。

1.1.3 机械手运动（臂单元）

考虑到茶叶嫩梢生长高度不一，Delta式机械臂采摘Z向空间有限，本研究采用X-Y-Z式机械臂进行嫩梢采摘。以茶蓬面宽度和高度为参考指导机械臂水平和竖直方向行程的设计，其水平和竖直方向的行程分别为115 cm和60 cm，并结合嫩梢在茶园空间垂直方向的分布范围确定机械臂垂直方向的行程为40 cm。考虑到相机视场有限，而相机深度在0.3～1.0 m时精度较高，当目标茶垄较宽时，可采用双相机-双臂对茶垄采摘区域进行划分，每一个相机和机械臂各负责一块茶垄区域，以提高嫩梢的收获效率。针对公共采摘空间可通过合理规划采摘顺序初步实现协同采摘。

1.1.4 底盘运动（脚单元）

名优茶采摘样机采用龙门架结构橡胶履带底盘，具有接地面积大、抓地力强、负载能

力强、驱动力大的优点，能够满足平原茶园和缓坡茶园的行进需求。为确定运动底盘的关键参数，结合茶树的农艺生长特征，对实际茶园中标准茶垄种植参数进行测量，指导底盘关键参数的设计。其中以茶树行沟的宽度为参考指导履带式底盘中心宽度的设计，两履带中心间隔为153 cm；以茶树的高度为参考指导底盘高度的设计，作业安装平台距离地面的高度为134 cm；以垄沟的宽度为参考指导履带宽度的设计，橡胶履带宽度为18 cm。此外，整机底盘采用电力驱动，两侧履带分别采用直流无刷电机驱动，功率2 kW，通过控制器局域网总线各自独立控制，可在茶园环境中轻松实现前进、后退和转弯功能。同时，底盘可通过遥控控制和上位机驱动，方便人为操控驾驶和田间采摘过程的自动行进（速度5 km·h-1）。

1.1.5 名优茶采摘决策（脑单元）

“脑”系统单元整机控制程序部署在移动工作站上，工作站型号为戴尔Precision 7550，处理器为Intel? CoreTM i9-10855H CPU @ 2.40 GHz八核十六线程，机带内存为32 G，操作系统为Windows 10。

“脑”系统單元负责整机传感信息的处理和执行装置控制命令的下发，将“眼”模块获取的嫩梢采摘点位姿信息通过手眼标定转换到“臂”模块坐标系下，然后驱动“臂”模块带动“手”模块运动到目标位置进行嫩梢的采摘，然后给“脚”模块发送信号行进到下一个位置。其通过对各模块的信息进行分析、处理和控制，完成名优茶采摘机器人的底盘行进以及嫩梢的检测、定位、运动和采摘。“脑”系统单元由具备相应算力的计算机设备以及驱动器、控制器、可编程逻辑控制器等控制模块组成，各系统模块通过总线式结构进行数据通讯实现整机的系统集成。

1.2 试验方法

基于上述采摘样机进行名优茶采摘试验的具体流程如图4所示。（1）对所有硬件设备进行初始化，之后控制底盘在田间前进并进行相机数据流的读取；（2）通过深度相机进行嫩梢数据流的获取，主要包含嫩梢的彩色图像信息和深度信息；（3）在嫩梢彩色图像上通过加载训练好的嫩梢深度学习模型进行嫩梢区域的检测，如果检测到目标则控制底盘停止进行后续操作，否则继续前进获取新的数据流；（4）根据检测到的嫩梢区域位置信息，获取相应的深度信息生成目标区域的点云，然后通过手眼标定结果将相机坐标系下的目标区域点云转换至机械臂坐标系下，之后对点云进行处理，并沿机械臂z轴反方向使用提出的定位算法对嫩梢采摘位置进行3D定位；（5）对目标进行越界判断，之后分配双臂各自的运动空间并依次运动到目标采摘位置；（6）控制末端执行器进行嫩梢采摘，采摘后通过负压装置对嫩梢进行收集，之后将末端执行器复位，然后进行下一个目标的采摘，直至当前位置所有采摘空间内的嫩梢目标全部采摘完毕后机械臂复位到原始位置避免干涉下次图像采集；（7）根据用户命令，确定是否结束采摘或者控制底盘继续以5 km·h-1的速度运动到下一采摘位置进行采摘。

2 结果与分析

在茶园中进行全自动化名优茶采摘试验，控制底盘共计运动到10个不同的采摘位置后进行嫩梢采摘，分别对各个采摘位置中检测、定位、末端采摘3个阶段的收获嫩梢个数与采摘速度进行统计分析。

2.1 采摘精度

各阶段嫩梢的数量统计结果如表1所示。在10次不同采摘位置的采摘试验中，目标视场下分布嫩梢共约323个，其中成功检测到的嫩梢有286个，检测成功率为88.54%。在检测到的286个嫩梢中，共有16个嫩梢没有深度信息导致无法定位，其中有9个嫩梢因超过设定的深度获取阈值而没有深度信息，7个嫩梢由于光照影响而无深度信息。在获取到深度信息的嫩梢（270个）中，成功定位的嫩梢有227个，定位成功率为84.07%。在定位失败的嫩梢中，18个嫩梢因为点云数量较少，点云预处理失败；12个嫩梢由于固定的聚类阈值，导致聚类失败，未获得定位结果；13个嫩梢由于被老叶大面积遮挡，致使在嫩梢点云提取过程中误提取到老叶点云，导致定位错误。在227个成功定位的嫩梢中，符合采摘标准并成功采摘的嫩梢共有198个，末端执行器采摘成功率87.22%。在采摘失败的嫩梢（29个）中，10个因为超出采摘空间导致未能进行采摘，8个由于附臂未成功收集，11个由于采摘误差导致嫩梢芽叶分离或者采摘到一芽二叶，不满足名优茶的采摘标准。在目标视场下的全部323个嫩梢中，最终采摘到198个的嫩梢符合名优茶采摘标准，部分如图5所示，名优茶采摘全过程整机采摘成功率为61.30%。

2.2 采摘速度

各个阶段的采摘时间统计结果如表2所示。为了获取到更高质量的嫩梢点云，在相机数据流获取过程中使用高动态范围成像（High-dynamic range，HDR）技术对不同曝光的多个画面进行合成，使得在相机数据流获取阶段较为耗时（约0.671 s），这主要与相机

（结构光相机）的成像原理有关。同时，也可以通过减少HDR的曝光次数缩减数据流获取的时间。嫩梢检测模型平均每帧的检测时间约为0.064 s，满足田间嫩梢快速检测需求。10个位置处共有270个嫩梢有深度信息，定位共耗时0.942 s，平均每个嫩梢耗时约3.49 ms，满足嫩梢的定位效率需求。不同位置处的嫩梢定位耗时不一，这主要是因为不同位置处的点云数量不同所致。底盘每次运动时间为0.60 s，共移动10个采摘位置耗时315.590 s，末端共计采摘次数209次，平均采一个芽叶时间约1.51 s。对比嫩梢采摘全过程，发现机械臂的运动采摘过程最为耗时，平均为每个1.44 s，是造成名优茶嫩梢采摘耗时的主要原因。这主要与嫩梢的生长密度和机械臂的安全运动速度有关，不同位置处嫩梢生长密度不一、运动距离不同也是导致不同位置嫩梢耗时不同的主要因素。

3 讨论

针对试验结果，分别从名优茶采摘机器人的硬件结构、感知算法和控制系统对采摘结果进行分析。

硬件结构：本试验基于嫩梢的定位精度需求选用结构光相机进行信息采集，点云精度符合嫩梢定位需求，但结构光相机帧率极低，而实际田间非结构化环境下，会存在微风或其他干扰物的影响，嫩梢在相机采集过程中发生晃动，影响嫩梢原始点云数据的生成，从而极大地影响定位的精度。后续可添加遮风、避光等装置减少外界环境的干扰。同时，试验发现机械臂在快速运动过程中容易产生反作用力致使平台振动，后续可通过对机械臂的运动轨迹进行研究，并结合全局最优采摘路径实现密集目标的快速、稳定采摘运动。此外，目前试验采用的末端尺寸较大，由于茶叶生长密集，在控制末端下降过程中会碰撞茎秆引起嫩梢位置偏移导致采摘误差。在后续的研究中可以对该末端进行轻量化设计并开发新的避障算法以实现更精准地采摘。

感知算法：试验发现嫩梢的检测精度未达到模型训练测试集的精度，这是因为田间实际部署的嫩梢检测模型样本为上一年在中国农业科学研茶叶研究所嵊州茶叶综合实验基地采集的春茶样本图像，由于不同产地、不同时间的茶叶样本，其特征存在差异，实际试验时的茶树嫩梢与建立数据集时的嫩梢数据集特征存在差异，导致嫩梢检测精度有所下降。后续试验需考虑随时间变化的嫩梢生长特征的变化，结合茶叶本身的生长特性对模型进行迁移学习以提高不同时间段茶叶嫩梢检测算法的精度。

控制系统：田间采摘试验依赖视觉进行检测和定位，从而指引机械臂进行采摘作业。目前在整个视觉手眼采摘系统中为开环控制，未引入视觉伺服反馈，因此虽然各环节的精度满足需求，但由于误差累积，最终整体流程采摘精度鲁棒性不足，极大地影响最终整体采摘的成功率。在后续研究中可引入视觉伺服反馈机制或在末端执行器套筒末端增加新的传感器进行反馈提升田间嫩梢采摘整机的鲁棒性。

田间试验结果表明，新一代名优茶采摘机器人检测成功率为88.54%，定位成功率为84.07%，末端采摘成功率为87.22%，整机采茶成功率为61.30%，所采茶叶可满足中端龙井茶叶要求。此外，采摘机器人单帧图像嫩梢检测耗时0.064 s，每个嫩梢定位耗时约3.49 ms，采摘一个嫩梢的时间约1.51 s，即1 h可以采摘2 000多个，一天可采2 kg左右的芽叶，基本达到一臺机器替代一个工人的采摘效率。

参考文献

[1]杨亚军. 坚持问题导向 推动我国茶业高质量发展——我国茶产业发展现状与建议[J]. 中国茶叶， 2023， 45（1）： 1-5.

Yang Y J. Adhere to problem orientation and promote high-quality development of China's tea industry： current situation and suggestions of tea industry development in China [J]. China Tea， 2023， 45（1）： 1-5.

[2]梅宇， 张朔. 2022年中国茶叶生产与内销形势分析[J]. 中国茶叶， 2023， 45（4）： 25-30.

Mei Y， Zhang S. Analysis of China's tea production and domestic sales in 2022 [J]. China Tea， 2023， 45（4）： 25-30.

[3]陆德彪， 尹军峰. 我国名优绿茶机械化采摘的意义与实现路径[J]. 中国茶叶， 2018， 40（1）： 1-4.

Lu D B， Yin J F. Significance and realization of mechanized picking of high-quality green tea in China [J]. China Tea， 2018， 40（1）： 1-4.

[4]周宇杰， 吴强， 贺磊盈， 等. 名优茶采摘机器人的系统设计与试验[J]. 机械工程学报， 2022， 58（19）： 12-23.

Zhou Y J， Wu Q， He L Y， et al. Design and experiment of intelligent picking robot for famous tea [J]. Journal of Mechanical Engineering， 2022， 58（19）： 12-23.

[5]方梦瑞， 吕军， 阮建云， 等. 基于改进YOLOv4-tiny的茶叶嫩芽检测模型[J]. 茶叶科学， 2022， 42（4）： 549-560.

Fang M R， Lü J， Ruan J Y， et al. Tea buds detection model using improved YOLOv4-tiny [J]. Journal of Tea Science， 2022， 42（4）： 549-560.

[6]Yan L J， Wu K H， Lin J， et al. Identification and picking point positioning of tender tea shoots based on MR3P-TS model [J]. Frontiers in Plant Science， 2022， 13： 962391. doi： 10.3389/fpls.2022.962391.

[7]Zhang L， Zou L， Wu C Y， et al. Locating famous teas picking point based on Shi-Tomasi algorithm [J]. Computers， Materials & Continua， 2021， 69（1）： 1109-1122.

[8]Li Y T， He L Y， Jia J M， et al. High-efficiency tea shoot detection method via a compressed deep learning model [J]. International Journal of Agricultural and Biological Engineering， 2022， 15（3）： 159-166.

[9]Li Y T， He L Y， Jia J M， et al. In-field tea shoot detection and 3D localization using an RGB-D camera [J]. Computers and Electronics in Agriculture， 2021， 185： 106149. doi： 10.1016/j.compag.2021.106149.

[10]Han Y， Xiao H R， Qin G M， et al. Developing situations of tea plucking machine [J]. Engineering， 2014， 6（6）： 268-273.

[11]许丽佳， 刘琦， 代建武， 等. 茶叶嫩梢采摘末端执行器的设计研究[J]. 茶叶科学， 2021， 41（5）： 705-716.

Xu L J， Liu Q， Dai J W， et al. Design of end effector for picking tea shoots [J]. Journal of Tea Science， 2021， 41（5）： 705-716.

[12]Chen C L， Lu J Z， Zhou M C， et al. A YOLOv3-based computer vision system for identification of tea buds and the picking point [J]. Computers and Electronics in Agriculture， 2022， 198： 107116. doi： 10.1016/j.compag.2022.107116.

[13]罗坤， 吴正敏， 曹成茂， 等. 茶鲜叶嫩梢捏切组合式采摘器设计与试验[J]. 农业工程学报， 2022， 38（13）： 1-9.

Luo K， Wu Z M， Cao C M， et al. Design and experiment of the combined pinch and cut picker for tea fresh leaf tips [J]. Transactions of the Chinese Society of Agricultural Engineering， 2022， 38（13）： 1-9.

[14]贾江鸣， 叶玉泽， 程培林， 等. 手持式名优茶嫩梢采摘机械手设计与试验优化[J]. 农业机械学报， 2022， 53（5）： 86-92.

Jia J M， Ye Y Z， Cheng P L， et al. Design and experimental optimization of hand-held manipulator for picking famous tea shoot [J]. Transactions of the Chinese Society for Agricultural Machinery， 2022， 53（5）： 86-92.

[15]孙艳霞， 陈燕飞， 金小俊， 等. 名优绿茶智能化采摘关键技术研究进展[J]. 包装与食品机械， 2022， 40（3）： 100-106.

Sun Y X， Chen Y F， Jin X J， et al. Review on key technologies of intelligent plucking of high-quality green tea [J]. Packaging and Food Machinery， 2022， 40（3）： 100-106.

[16]Yang H L， Chen L， Ma Z B， et al. Computer vision-based high-quality tea automatic plucking robot using Delta parallel manipulator [J]. Computers and Electronics in Agriculture， 2021， 181： 105946. doi： 10.1016/j.compag.2020.105946.

[17]Li Y T， Wu S K， He L Y， et al. Development and field evaluation of a robotic harvesting system for plucking high-quality tea [J]. Computers and Electronics in Agriculture， 2023， 206： 107659. doi： 10.1016/j.compag.2023.107659.

[18]Zhu Y P， Wu C Y， Tong J H， et al. Deviation tolerance performance evaluation and experiment of picking end effector for famous tea [J]. Agriculture， 2021， 11（2）： 1-18.

[19]陳建能， 李杭， 任萍， 等. 螺纹管吸附式名优茶采收器设计与试验[J]. 农业机械学报， 2023， 54（5）： 131-139.

Chen J N， Li H， Ren P， et al. Design and experiment of threaded tube adsorption type famous tea harvester [J]. Transactions of the Chinese Society for Agricultural Machinery， 2023， 54（5）： 131-139.