茶叶智能采摘技术研究进展与展望

2022-07-26李杨董春旺陈建能贾江鸣

中国茶叶 2022年7期

李杨，董春旺，陈建能，贾江鸣

1.中国农业科学院茶叶研究所，浙江杭州 310008；2.浙江理工大学机械与自动控制学院，浙江杭州 310018

中国是茶叶生产大国，茶叶种植面积大、分布广、产量高。2021年，全国干毛茶产量和产值分别达到306.32 万t 和2 928.14 亿元，据统计，2021年我国生产茶叶86.17%在国内消费，名优茶作为产业价值的绝对担当，对内销额贡献率长期保持在70%～75%。茶产业属于劳动密集型产业，尤其采摘环节需耗费大量劳动力，其中名优茶的人工采摘消耗占整个茶园管理用工的60%左右。近年来，农业劳动力老龄化趋势明显加剧，招工难、用工贵已成为制约茶产业发展的瓶颈。因此，研究智能采茶技术对促进我国茶产业发展具有重要意义。

目前国内外大宗茶机械化采摘主要采用往复切割的方式，属于无差别采摘方法，存在茶叶芽叶完整率低、齐整度差（鲜叶组成复杂，老叶、老梗、碎片多）、后续加工品质难以控制等问题，其主要用于大宗炒青绿茶、珠茶、乌龙茶、红碎茶等原料的采摘。国内主要采用单人手持式、双人抬式等中小型采茶机。南京农业机械化研究所以及钱争光等、宋扬扬等还设计了多种试验型中小型采茶机。对于乘坐式采茶机，日本的研究较早，已有一些商品化的产品，如落合、川崎等公司均有生产乘坐式采茶机。国内对乘坐式采茶机研究起步相对较晚，南京农业机械化研究所研发的4CJ-1500 型采茶机，其采用全液压驱动和高地隙底盘设计。浙江工业大学设计了一种基于机器视觉的乘用式智能采茶机，初步提出了自动识别茶叶嫩芽和割刀自动调平控制方法。对于采用末端采摘执行器的方式进行选择性采摘的研究，国内浙江理工大学、青岛科技大学、四川农业大学、长春理工大学等单位都做了初步的探索研究。

综上，国内外采茶机多采用往复切割方式采摘茶鲜叶，所采芽叶匀整度不高，易出现芽叶破损、误采、漏采等现象。名优茶对芽叶的嫩度和完整度有极高的标准（包括一芽、一芽一叶、一芽二叶），目前包括日本、印度在内的产茶国其高档优质茶原料仍依靠手工采摘。高档名优茶芽叶（包括一芽、一芽一叶、一芽二叶）采摘时叶梢细嫩、目标较小、相互间易遮挡，且生长的位置、姿态和密集程度不一，特别在微风和光照变换的非结构化环境下机器采摘实现难度大。由于国内饮茶习惯对名优茶有着较高的要求，目前针对高档名优茶的智能采摘技术受到广泛关注，本文对智能化采摘技术中的基于图像处理的芽叶识别技术、末端采摘执行器、智能控制系统等方面的国内外研究现状进行了分析，对智能采茶机的应用前景提出了展望，为后续的研究提供思路与借鉴。

1 基于图像处理的茶叶识别

实现自动化采茶，首先必须解决的是茶树嫩芽的精准识别。近年来，随着计算机技术的发展和应用，基于图像处理的茶叶嫩芽的准确识别成为研究的热点，其主要包括：基于颜色空间的传统图像处理算法、基于传统机器学习的识别方法和基于深度学习的识别方法。

1.1 基于颜色空间的传统图像处理算法

由于茶叶嫩芽与老叶、树干存在明显颜色差异，可利用颜色特征提取出图像中的嫩芽区域，因此早期的茶叶嫩芽分割研究大多是基于颜色特征的。基于颜色空间的传统图像处理算法，其主要过程包括图像预处理、颜色特征选取与分割等步骤。

1.1.1 图像预处理

图像预处理是传统图像处理算法完成识别的重要步骤，目的是通过一些基本图像处理方式尽可能改善图像数据，去除噪声的影响，并增强某些重要的图像特征，提高识别系统实时性以及精确性。常用的图像处理算法包括均值滤波、中值滤波、低通滤波等。

吴雪梅等对比了均值滤波、高斯滤波、中值滤波、双边滤波等多种预处理方法，结果表明中值滤波法计算简便，处理时间最短，去噪效果较好。黄海军等使用偏微分方程去噪模型去除图像中的噪点。为防止茶叶嫩芽灰度值较高的部分在滤波去噪时被处理掉，袁加红等利用维纳滤波和梯度增强术对图像进行滤波去噪。由于中值滤波方法具有计算时间短、适用性强等优点，目前采用此方法的研究最多。在背景较简单的情况下，其滤波效果优于均值滤波，但仍无法抑制严重的图像噪声。

1.1.2 颜色特征选取与分割

基于颜色空间的传统图像处理算法首先要进行颜色空间选取，由于直接获得的彩色图像大多是RGB图像，在研究中为增加研究对象和背景间的差异，也会使用其他的，如HSⅠ、Lab、YⅠQ、YCbCr、HSV等颜色空间，通过直接使用某个颜色空间中的单个或几个分量来区分嫩芽与背景，进而利用分割算法实现图像分割。用色差法分割嫩芽与老叶及茶梗成为了其中一个主流方法，其中Zhang 等提出了一种基于改进分水岭算法的茶芽自动分割新方法，通过分段线性变换增强G-B 成分，提高老叶和茶芽分化程度。试验结果表明改进后的算法在100 个样本的平均分割准确率为94.26%。周礼赞等利用灰度拉伸扩大G-B 色差图对比度，然后应用迭代法获取全局阈值，实现自然条件下茶叶嫩芽分割。Shao等使用HSⅠ颜色空间中的S因子对茶芽进行识别和分离。Bojie等采用HSV空间变换对图片进行分割，通过设置阈值组合3 个通道分量的方法可以获得嫩芽的图像，实际应用效果良好。姚波等利用G-B 灰度图结合直方图阈值法实现了新茶（嫩芽与鲜梗）分割，对新茶二值图像进行形态学腐蚀操作确定嫩芽与鲜梗的分割点，通过逐行扫描实现了自然环境下嫩芽与鲜梗的采摘点标记。还有一些研究利用不同颜色空间组合进行识别，如韦佳佳等研究了不同颜色组合对识别效果的影响，结果表明基于R-B和Ⅰ分量的识别方法在处理时间和识别率上较其他方法更优。

常用的分割算法包括：阈值分割算法、颜色特征聚类分割算法、边缘分割算法和区域生长分割算法。唐仙等研究了不同阈值分割方法〔直方图法、迭代法、大津法（OTSU）〕的优劣点，结果表明OTSU法用时最少。Ya通过对G和B的差异增强图像进行OTSU 动态阈值分割，得到初始萌芽区域。以实地获取的茶叶图像为研究对象，提出了一种混合图像分割算法。该算法使用改进的基于标记的分水岭变换和基于统计的快速区域合并算法从茶叶图像中分割茶芽。吴雪梅等提取嫩芽与老叶的G、G-B颜色信息进行背景分割，利用改进的最大方差自动取阈法计算G 和G-B 分量的分割阈值对图像进行阈值分割，研究结果表明采用图像的G、G-B分量差异能有效区分嫩芽和老叶，同时设定初始分割阈值可有效缩短计算时间，在相机与茶树距离10 cm 时采用本算法，其识别率高达92%以上。

国内外研究团队在传统图像处理方法的基础上，引入了新的思路和方法。如蔡丽萍等针对优质崂山茶的种植及生长特点，通过设置蓝光作为拍摄环境背景对一芽二叶崂山茶的嫩梢识别、芽尖的特征提取及定位等进行了方法研究。方坤礼等提出一种新的彩色纹理图像的分割技术（JBSEG），该技术克服了基于颜色和纹理的分割算法的局限性，基于边缘检测方向算子的幅值来调节JSEG，同时兼顾局部区域相似性和边界非连续性。试验表明该技术能更好地避免过分割现象的发生，同时结合超绿特征2R-G-B能有效分离茶叶中的嫩芽。

综上所述，为避免光照变化带来的影响，基于颜色空间的图像分割算法在提取颜色分量时，一般提取如G分量、R-B分量、Ⅰ分量、b分量、S分量、Cb 分量以及综合G 和G-B 分量等。基于颜色空间的图像分割算法，虽然广泛应用于学术研究中，在茶叶相互遮挡较小的情况下具有较优的识别效果，但当茶园环境中茶叶目标和背景相似且芽叶生长密集，对茶树芽叶的检测造成了困难。基于固定阈值的分割算法处理速度较快，但由于实际环境中自然光照强度不断变化，因此很难满足光照强度不断变化下的分割要求，同时在逆光情况下，茶叶表面较暗，其与背景颜色的色差变小，较难直接分割。OTSU 法自动阈值法可以自动获取茶叶分割阈值，且可满足不同光照强度下的分割，但不能满足图像直方图单峰分布下的分割。

1.2 基于传统机器学习的识别方法

为了进一步解决自然条件下茶叶分割易受老叶、树枝、土壤等外界环境影响，茶叶互相遮挡与重叠的问题，后续研究中引入了机器学习的方法，通过提取并综合各种特征样本数据进行训练来识别检测，常见的嫩芽识别方法是基于颜色、纹理、形状等特征，结合使用诸如K 均值（Kmeans）聚类法、支持向量机方法（SVM）、贝叶斯判别方法以及级联分类器等。

张可等提出了K-means 的茶叶嫩芽分割方法，通过与传统的颜色阈值分割方法比较，基于聚类的茶叶分割方法可有效抑制颜色阈值分割受光照的影响，且实现了自然光照下茶叶嫩芽有效分割。黄海军等提出改进分水岭算法的图像分割方法，其通过OTSU 法和分水岭算法对去噪后的图像进行2 次分割，得到茶叶嫩叶的分割图。结果表明：图像第一次用OTSU 法和第二次用分水岭算法进行分割，茶叶图像中嫩叶均被很好地分割出来。王琨等基于颜色及区域生长实现茶叶嫩芽图像分割。Shao 等采用改进的K-means算法对茶芽进行识别和分离，试验结果表明，改进的K-means 算法对茶叶图像中嫩叶的分割有很好的效果。吴雪梅等基于Lab 颜色模型中a 分量、b分量信息的K-means聚类法识别彩色图像中的茶叶嫩芽，对比分析OTSU法和3个聚类中心的K-means 聚类法的目标识别效果和识别效率。结果表明，OTSU 法虽然可以完成嫩芽的识别，平均识别率在89%左右，但不能较好地保证分割后嫩芽的完整度。基于Lab颜色模型和K-means聚类法的识别算法能较好地区分嫩芽和背景，平均识别率达到94%左右，且能较好地保证分割后嫩芽的完整度，为智能采摘技术研究提供技术支持和理论基础。Li 等设计了一种基于支持向量机的茶叶图像自动识别方法。该方法从茶芽图像中提取颜色和形状纹理两种图像特征进行判别。采用RGB 模型提取颜色特征，利用LBP/C 算子提取芽叶的形状和纹理特征。将提取的特征作为训练样本的特征向量，进行支持向量机模型训练，得到支持向量机分类器，实现对茶芽图像的识别。试验结果表明，该方法的识别率、召回率和综合评价指数均高于传统方法，证明该方法具有较高的识别准确率。

综合比较上述方法，K-means 聚类法原理比较简单，容易实现，可解释度也比较强，但当样本集规模大，算法收敛速度会变慢，对孤立点数据也较为敏感。支持向量机分类方法能解决小样本、非线性的问题，但对核函数的高维映射解释力不强。而基于传统机器视觉的识别方法仍依赖图像预处理与数据转换，前期处理如不合理将会严重影响模型的精度。

1.3 基于深度学习的识别方法

基于深度学习的算法在复杂背景下具有较高的精度，为复杂背景下茶叶嫩芽的智能化采摘设备的研究提供了基础。近年来，国内外学者也通过基于深度学习的方法对茶叶的识别进行了开发与研究。基于深度学习的算法可以分为3 类，分别是分类算法、目标检测算法和语义分割算法。

基于深度学习的分类算法是对1 副图像进行分类，判别出图像是否是嫩芽或者识别图像中的嫩芽的状态，如芽叶开面状态、是否处于可采摘的状态等。罗浩伦等提出了基于VGG16 卷积神经网络的茶叶嫩芽自动检测方法，能够有效减少特征选择和重叠等对检测结果的影响。吕军等提出一种基于AlexNet卷积神经网络的茶叶嫩芽状态识别方法，试验结果表明该方法可有效识别自然光照下茶叶嫩芽状态。Paranavithana 等基于CNN 开发了一个可以识别和预测茶芽是否适合采摘的模型。结果表明，CNN 模型对10 000 张图像样本的识别准确率为70.15%，而支持向量机（SVM）和Ⅰnception V3 的识别准确率分别为65.86%和68.70%。因此，CNN 的分类表现更好，可以有效提高茶芽的分类效率。

在基于深度学习的目标检测算法方面，许高建等选用了基于VGG-16、ResNet-50 和ResNet-101 特征提取网络的Faster R-CNN 深度网络模型，分别对茶叶嫩芽数据样本进行训练，同时，该方法与3 种相同特征提取网络的SSD 深度网络模型进行对比，为茶叶的智能化采摘提供了技术支撑。孙肖肖等提出了基于深度学习的茶叶嫩芽图像目标检测算法，其改进了YOLO 网络架构，选用大尺度和中尺度检测方法。Chen 等先使用Faster R-CNN 检测茶叶芽叶区域，然后使用全卷积网络FCN 实现对采摘点的定位，实现了茶树芽叶的检测和采摘点的2D 定位。Yang 等提出了一种利用改进的YOLO-v3深度卷积神经网络算法识别嫩芽采摘点的方法，并从预测帧中的芽叶的图像中提取骨架，找到骨架的最低点来确定采摘点的位置。Chen 等提出了一种通过图像增强和改进的融合SSD 开发了检测新鲜茶芽的新方法，其通过基于RGB通道变换的图像增强算法获得增强图像，该算法使用原始新鲜茶芽彩色图像作为输入。增强的图像可以提供更多的输入信息，其中新鲜茶芽区域的对比度增加，背景区域减少。结果表明，所提出的方法茶芽测试数据集平均准确率为83.9，具有良好的性能。

还有一些研究人员基于深度学习的语义分割算法对茶叶嫩芽进行分割，如Qian 等提出一种基于改进的深度卷积编码器-解码器网络（TSSegNet）的茶芽分割新方法，通过综合利用类内紧凑性和类间可分离性，自动提取更具判别力的茶芽特征。结果表明，与其他深度架构相比，所提出的方法具有较高的精度。台湾大学的Lin等训练了包括FCNs 和ENet 在内的语义分割模型，以实现像素级别的茶行、粘虫纸和人的自动分类。ENet模型的平均交并比为0.734，平均处理时间为每张图像0.176 s。系统导航线的角度偏差为6.2°，距离为13.9个像素。

分析并综合比较上述方法，基于深度学习的方法具有较好的识别效果，不仅能准确识别茶叶嫩芽，同时还可区分不同嫩芽的状态，其可满足自然光照下茶叶嫩芽识别要求，实用性较好。但基于深度学习的方法依赖大样本，同时检测效率较低。因此还需要进一步开展茶树芽叶检测研究，增加芽叶图像数量，开发速度更快、精度更高、稳定性更优的算法。

2 末端采摘执行器

末端采摘执行器是农业机器人机械臂前端直接作用于采摘对象的部分，直接影响整体采摘性能，是采摘机器人的核心部件之一。由于农产品种类多样且特性各异，所以不同的采摘对象需要采用不同的采摘方式，设计不同的末端采摘执行器。茶叶的采摘对象是芽叶而非果实，传统的末端采摘执行器难以适用，因此相关的研究人员针对茶叶嫩芽开发了新的末端采摘执行器。如2014年秦广明等研制了一种采摘手爪，收获茶叶芽叶的完整率约为76.6%。范元瑞等提出了核心部件为Delta 并联机构的茶叶采摘机器人，通过对Delta并联机构进行运动学分析，推导出采摘机器人的运动学反解模型。利用单支链约束方程求解了采摘机器人的采摘空间，并基于MATLAB建立了采摘机器人工作空间模型，绘制了工作空间立体图像。2018年郝淼等研制了一种能够模仿人工“提手采”动作的仿生采摘指，并完成了气力驱动与控制系统的设计，室内初步试验的采摘成功率近70%。许多设计了提采式夹持装置，通过建立爪指尺寸与采摘力的数学模型，借助MATLAB 软件进行了优化设计，并通过ADAMS 动力学仿真验证了优化结果的正确性和合理性。2019年，尚凯歌提出了一种茶叶采摘机器人的总体构思和结构设计，对采茶机Delta并联机器人机械结构进行设计，运用解析法对其运动学正逆解进行推导解算，并对并联机构进行ADAMS 运动学正解仿真。为采茶机装备并联机构样机设计与制作提供理论依据。2021年，许丽佳等设计了一种可夹提式采摘茶叶嫩梢的末端执行器，通过对其控制实现茶园采摘。试验结果表明，一芽一叶的漏采率为2.8%、采摘完整率为91%；一芽二叶的漏采率＜3%、采摘完整率为94%。

这些现有的茶叶采摘末端执行器大多采用单纯的机械式结构，基本没有误差补偿能力，无法确保采摘成功率和嫩梢完整率。为解决此问题，浙江理工大学Zhu等人设计了一种基于负压导向的名茶采摘末端执行器。这种末端执行器利用负压以自上而下的方式引导茶芽，从而纠正它们的姿势和空间位置。试验结果表明，设计的末端执行器具有偏差容限性能，可以提高拾取成功率，可为类似名茶采摘末端执行器的设计提供参考。

由于茶叶嫩芽质地较为柔软，在茶园非结构化及微风环境下易存在定位误差和随机误差，因此为提高名优茶芽叶采摘成功率和完整率，既要在采摘的同时做到不伤害嫩芽，也要采用合适的误差补偿方法，故需要研究具有容差能力的柔性末端采摘执行器。同时，目前末端采摘执行器均为单个，为了进一步提高效率，未来还需要研发设计多组芽叶末端采摘执行结构。

3 智能控制系统

为了实现茶园机械对茶芽的自动采摘，智能控制系统必不可少。智能控制系统的功能主要包括行驶系统的控制和采摘装置的控制。日本在茶园智能机械行驶系统控制上已有一些研究成果，如日本松元株式会社利用人工智能（AⅠ）和传感器开发出在无人驾驶的情况下走动收获茶叶的“无人采茶机”，并已开始销售。

在采摘装置的控制上，针对传统往复切割式采收装置，汤一平等设计了一种基于机器视觉的乘用式智能采茶机，提出了自动识别茶叶嫩芽和割刀自动调平控制方法，试验表明该机可解决现有采茶机无选择性切割老叶和嫩芽的弊端。还有一些研究针对采摘机械手进行控制，如辛文文对采茶机器人自动控制系统进行设计与分析，该控制系统依据TMS320F2812DSP 内核实现，以C 语言进行编写，并置入DSP 控制板内，满足串口通信与数据分析的伺服控制，确保了茶叶采摘的回收率与品质。为了实现茶芽的自动采摘，浙江理工大学的Li 等开发了一种基于RGBD 相机图像的算法用于茶叶采摘机器人检测和定位田间茶芽。在这项研究中，首先为茶园中多个时期和品种收集的图像建立了标签标准。然后，使用YOLO 网络在RGB-D 相机收集的RGB 图像上检测茶芽（一芽一叶）区域。此外，茶芽的检测精度为93.1%，召回率为89.3%。为了实现采摘位置的三维（3D）定位，通过融合RGB-D相机捕获的深度图像和RGB图像来获取检测到的目标区域的3D 点云。然后，使用点云预处理去除噪声，并使用欧几里德聚类处理和目标点云提取算法获得茶芽的点云。最后，结合茶树生长特征、点云特征和套筒采摘方案确定茶芽的3D采摘位置，初步解决了采摘点在田间可能不可见的问题。茶园茶芽定位和采摘试验表明，茶芽采摘成功率为83.18%，每个目标的平均定位时间约为24 ms。Yang 等提出了一种基于计算机视觉的可模仿人手采摘的优质茶叶采摘机器人。机器人样机由3部分组成：机械结构（MS）、视觉识别系统（VRS）、运动控制系统（MCS）。根据全局相机获取的整体茶叶图像，首先利用PSO-SVM算法从老茶叶背景中提取嫩茶芽，并获得它们在工作区域的初步坐标。MCS会根据枝条的坐标分布，调用改进的蚁群算法来规划采摘路径，寻找机械手的最优平滑轨迹。一旦机械手到达要采摘的茶芽附近，安装在机械手上的摄像头就会快速拍摄到茶芽的图像。然后采用改进的深度卷积神经YOLOv3 模型来识别茶梗上的采摘定位。最后，安装在机械手上的剪刀将采摘茶芽。对嫩茶芽提取、采摘点定位、最优路径规划和轨迹平滑进行仿真和实验室平台实验，结果表明PSO-SVM可以快速准确地提取嫩茶芽，无需大量数据和用于计算的内存。改进后的YOLOv3 模型可以准确识别各种姿势的茶芽采摘点。

目前针对采摘手控制系统所控制的末端采摘执行器个数均为单个，此时的采摘效率仍不高，未来还需针对多个末端采摘执行器、多机械臂协同控制系统进行研发。

4 存在问题与展望

在过去几年，尽管智能采茶技术受到较多的关注，但目前国内外针对高档名优茶采摘机器的研究刚起步，尚处于概念样机试验阶段。在实际应用中仍然存在一些挑战，如当前农业生产中存在着农机农艺结合不紧密的问题、嫩芽识别受光照影响较大、难以分割含与嫩芽颜色相近背景的图像、叶子间的遮挡和重叠造成识别效果不理想等。相比较传统的机器学习而言，目前基于深度学习的芽叶识别方法具有良好的应用前景，但需要大量的标记样本进行训练，且随着网络复杂程度的升高，硬件系统升级也是一个需要解决的问题。随着机器视觉、人工智能技术的飞速发展，这为智能采茶机的研发提供了良好的基础。未来的智能采茶机将会有以下发展趋势。

4.1 增加样本数据，研发识别模型，提高算法效果

目前茶芽识别和定位的难点在于茶叶种类和生长环境的多样性、遮挡和重叠情况下茶叶嫩芽识别策略、动态干扰，以及算法稳定性和通用性较差。未来应对不同品种、不同茶季、不同等级、不同产区、不同光照下的茶园茶叶图像进行数据采集，实现茶叶图像样本的数据集扩充，丰富样本的多样性，建立多品种、多等级茶叶芽叶数据库，提高算法普适性。