基于计算机视觉的茶叶嫩芽识别方法研究进展

关键词：计算机视觉；芽叶嫩芽识别；品质等级分类；智能化采茶

我国不仅是世界上第一茶叶种植国和产茶大国，也是世界主要的茶叶出口国。2023年，全国茶园总面积为343.31万公顷，干毛茶总产量333.95万吨，总产值3296.68亿元，茶园面积持续微增，茶叶产量稳定增长，产值显著提高。当前茶叶尤其名优茶的采摘过分依赖手工，是制约茶产业高质量发展的关键因素，机械智能化采摘技术是解决这一困境的有效手段。目前国内常见的茶叶机械采摘都是无差别、无选择的采摘方式，虽然采摘效率较高，但是在采摘过程中易破坏嫩芽的完整性，因此只适用于大宗茶的采摘，并不适用于名优茶的采摘。近些年，计算机视觉技术被越来越多地应用到茶叶嫩芽采摘中，利用该技术能够准确地将茶叶嫩芽从茶树中识别出来，并能对茶叶嫩芽的品质等级进行分类识别，从而实现茶叶嫩芽有选择地精准化、智能化采摘。本文综述了基于计算机视觉的茶叶嫩芽检测识别和品质等级分类技术的研究进展，总结了目前应用研究中存在的问题，并对未来的研究方向进行了展望。

1基于计算机视觉的茶叶嫩芽识别技术

视觉检测技术作为智能采茶系统的“眼睛”，主要工作是从茶树丛中找到所有嫩芽及其所在位置，因此其检测性能的优劣决定了整个智能采茶系统的工作能力。目前在视觉检测系统中使用最多的是计算机视觉技术，且随着该技术的飞速发展，已产生了一些成熟的理论成果，并逐渐开始应用在农业领域，推动了农业信息化的进程。

作为检测目标的茶叶嫩芽不仅具有体积小、生长位置多样、密集度不一以及芽头间易遮挡等特点，而且与老叶的颜色差异相比于其他农作物较小，同时这种颜色差异还会受季节的影响，因此如何提高复杂场景下的茶叶嫩芽识别准确率，成为当前研究的热点之一，也是解决智能化采茶的关键一步。目前茶叶嫩芽的识别方法主要有基于颜色特征的传统图像处理与识别法、基于机器学习的识别方法和基于深度学习的识别方法。其中视觉检测系统结合深度学习的茶叶嫩芽识别方法是目前智能化采茶研究的主流方法。

1.1基于颜色特征的传统图像处理与识别方法

早期的茶叶嫩芽识别基本上采用传统的图像处理技术，该方法是基于颜色特征进行的，只有当嫩芽与其周围场景的颜色差异明显时适用，且需要经过图像预处理、颜色特征提取与图像分割、形态学处理等过程，才能将茶叶嫩芽从背景中提取出来。

1.1.1图像预处理一般来说，由相机直接采集到的图像都伴随着随机信号噪声，图像预处理主要就是对图像进行去噪处理，以增强茶叶嫩芽的特征，便于后续的分割处理，进而提高嫩芽识别的准确率。

图像去噪大多采用基于滤波器的去噪方法，使用的滤波主要有中值滤波、均值滤波、高斯滤波、双边滤波和维纳滤波等，其中采用中值滤波来去除噪声的方法使用较多，但是该方法需要设计大小合适的卷积核。吴雪梅等对比了均值滤波、高斯滤波、中值滤波、双边滤波等方法对原始图像的去噪效果，结果表明中值滤波能有效消除各类随机噪声，并且计算简便、处理速度较快。张可等采用中值滤波对茶叶彩色图像的R、G、B分量分别滤波并合成新的图像，以削弱或清除噪声。为避免去噪时将嫩芽图像灰度值较大部分也处理掉，袁加红等先使用梯度增强法锐化灰度图像，再利用维纳滤波进行去噪。

虽然目前研究中使用滤波器去噪的居多，但是使用滤波器去噪会模糊茶叶嫩芽与老叶的边界，影响后续分割效果。因此有研究者尝试使用其他方法进行去噪：如黄海军等使用微分方程原理的去噪模型来有效消除茶叶图像中的噪声，该方法不会模糊图像边缘轮廓；姜宏涛等采用BM3D去噪算法对原始茶叶图像进行去噪处理，同时对比了其与中值滤波、均值滤波的去噪效果，结果表明BM3D去噪算法的峰值信噪比最高。

综合可见，不同去噪方法有各自的特点，要依据后续分割处理方法选择恰当的去噪方法。

1.1.2颜色特征提取与嫩芽分割传统的茶叶嫩芽识别方法是基于嫩芽与老叶间的颜色差异进行的，需要选择合适的颜色空间对茶叶图像进行分割处理。通常使用的颜色空间有RGB、HIS、YCbCr、Lab、HSV等，可以选择颜色空间内的一种或几种颜色分量来区分图像中嫩芽与背景间的差异，再采用分割算法分割出茶叶嫩芽，常用的分割算法有阈值分割算法、边缘分割算法、区域生长分割算法。

RGB是最常见的面向硬件的色彩空间，因此基于RGB颜色空间的色差法相关研究较多。邵佩迪等通过将R-B颜色通道调换来增大嫩芽的对比度，提取出颜色特征进而分割出茶叶嫩芽。汪洋等选择R-B和S分量下的灰度图，使用大津法（OTSU）进行分割，得出R-B颜色分量分割在算法鲁棒性和正确性上效果明显。唐仙等选用RGB颜色空间的R-B分量进行分割，对比直方图法、迭代法、OTSU法三种阈值分割方法，得出阈值法可快速有效地识别嫩芽，其中OT-SU法耗时少。吴雪梅等提取出茶叶图像的G和G-B颜色分量，利用改进的最大方差自动取阈值法计算G和G-B分量的分割阈值进行阈值分割，提取出茶叶嫩芽，得出G、G-B分量能有效地区分嫩芽和老叶，设定初始分割阈值能满足实时性的要求，并表明该方法能有效消除光线的影响。姚波等利用G-B灰度图结合直方图阈值法实现了茶叶嫩芽的分割。袁加红等采用G-B颜色因子结合迭代法同样分割出茶叶嫩芽目标。姜宏涛等提取G-B分量对图像灰度化处理，并进行灰度拉伸操作进一步提升嫩芽与背景的区分度，然后应用分水岭算法分割出完整的嫩芽图像。周礼赞等通过灰度拉伸扩大G-B分量色差图对比度，利用迭代法获取全局阈值，实现了自然条件下茶叶嫩芽的分割。龙樟等提取茶叶嫩芽图像的超绿特征，采用OTSU法进行阈值分割，并通过闭运算去除噪声，通过色彩合成来获得嫩芽分割图像。

除RGB外，基于其他颜色空间下的色差法进行研究的也较多。张博等将图像在HIS色彩空间下进行灰度处理，发现S色彩分量能够较好分割出茶叶嫩芽：进一步对灰度图像进行阈值分割，同时对比分析了多种分割方法的效果，发现采用局部分割中的背景矫正法来分割处理茶叶嫩芽效果最好。汪建提出一种基于图像颜色和区域生长相结合的茶芽分割方法，将RGB色彩图像转化为HIS空间，选取H和S属性进行初步的种子选择，在确定了种子区域后，再根据茶芽颜色相似性的特征进行区域生长，最后结合颜色距离和边缘距离进行区域生长和合并，同样取得不错的分割效果。张修提出一种基于改进型色差法的茶叶嫩芽识别方法，将图像切割后对每一部分图像用OTSU法进行背景过滤，然后基于HSV空间上亮度V的差值特点运用色差法提取茶叶轮廓，将二值化后的茶叶轮廓图像通过一阶高斯滤波器降噪，再通过图像形态学中开闭运算消除杂质，最终根据嫩芽和老叶的色差再一次分割，就可以准确地获得茶叶嫩芽图像。陈龙将图像转换到HSV颜色空间下，通过设定固定阈值范围将嫩芽从图像中提取出来，与其他方法相比该方法提取嫩芽的速度较快。

综上所述，基于颜色空间来分割茶叶嫩芽图像时，一般先选定颜色空间和颜色分量，如RGB空间下的G、R-B、G-B分量以及HIS或HSV空间下的H、S分量等，然后采用分割算法将嫩芽从图像中提取出来。最常用的方法是基于阈值的分割算法，其中，基于固定阈值的分割方法处理速度快且分割效果好，但是该方法具有特定性，只适合在实验室场景下研究使用；OTSU法作为最常用的阈值分割算法之一，根据最大类间方差能自动获取图像最佳分割阈值，能在一定程度消除场景中光照变化的影响，但是当处理复杂场景下的图像以及图像中要分割的芽头数增加时，就会导致分割的嫩芽完整度下降，因此在实际应用时需将OTSU法与其他算法结合使用才能保证分割出完整的嫩芽，如Qi等使用OTSU算法与传统的分水岭算法相结合来提升分割效果。

1.2基于机器学习的识别方法

自然环境下老叶、茶梗等因素的干扰会影响茶叶嫩芽分割的精准率，因此引入机器学习算法通过颜色、纹理、形态等特征信息来识别茶叶嫩芽。常用的机器学习算法主要有K-means聚类法和支持向量机法。

吴雪梅等采用基于Lab颜色模型中a、b分量信息的K-means聚类法来识别彩色图像中的茶叶嫩芽，并对比了其与最大方差自动取阈法的识别效果，结果表明K-means聚类法能较好地保证嫩芽嫩叶形态的完整性，并且平均识别率比最大方差自动取阈法高5%。张可等研究表明，在Lab颜色空间下采用K-means聚类法能有效地实现自然条件下茶叶嫩芽的自动识别。张蕴等基于支持向量机法，结合茶叶嫩芽目标与背景区域的颜色特征和纹理特征，选用R、G、B、H、S、I、L、a、b颜色分量作为训练分割模型的颜色特征，选用能量、熵以及对比度作为训练分割模型的纹理特征，建立了基于颜色特征、纹理特征以及RBF核的支持向量机茶叶嫩芽分割模型，分割效果最好。邵明等设计了一种混合图像分割算法将龙井茶叶嫩芽从图像中提取出来，并利用提取出的茶叶嫩芽特征信息训练支持向量机对嫩芽进行识别，同样取得良好的识别效果。Karu-nasena等提出一种将支持向量机和梯度直方图特征相结合的级联分类器方法，可以有效识别茶叶嫩芽。

通过比较来看，K-means聚类法可保证分割嫩芽的完整性，同时能克服一定自然场景下的干扰，但是用聚类法处理图像数据时，图片的大小会对其性能产生显著影响，即图片尺寸增大会影响到算法的收敛速度，从而导致识别速度下降：支持向量机法也能分割出较完整的嫩芽，并且对嫩芽提取方法的包容性更广。虽然基于传统机器学习的视觉识别方法能取得较好的识别效果，但该方法同样依赖于前期对图像的预处理，因此实用性还有待提升，今后还有很大的发展空间。

1.3基于深度学习的识别方法

深度学习的本质是构建含有多隐层的机器学习模型，利用大量数据样本进行训练，得到丰富的、更具代表性的特征信息，进而对样本进行分类和预测，可大大提高分类和预测的精度。目前基于深度学习的检测识别方法主要流程是将采集到的原始图像数据先进行相应的预处理、数据标注和数据增广等操作，再通过一系列卷积层、池化层等网络结构学习到图像中深层次的特征，经过长时间的训练得到检测识别模型。该方法能避免人工提取特征的弊端，同时泛化能力强，适用于复杂多样的实际工作场景。近些年深度学习飞速发展，国内外学者使用深度学习方法在茶叶嫩芽检测领域也展开了诸多研究。

基于深度学习的目标检测算法可分为双阶段检测算法和单阶段检测算法。在目标检测时分为两阶段进行，第一阶段产生候选区域，第二阶段再对目标区域进行分类，这类算法称为双阶段算法，典型的代表算法是R-CNN系列算法．如R-CNN、Fast R-CNN、Faster R_CNN等。与R-CNN和Fast R-CNN相比，Faster R-CNN抛弃了滑动窗口，引入区域生成网络（RPN），使区域提取、分类、回归共用卷积特征，解决了目标定位和分类的同步问题，具有更快的检测速度和精度。Chen等采用Faster R-CNN深度学习模型对茶叶嫩芽进行检测识别，模型平均精度（AP）可达86.04%，检测速度约为7FPS，同时又对另一品种的茶叶进行检测，验证了该模型的适用性。罗浩伦等通过Faster R-CNN网络模型和VGG16卷积神经网络进行茶叶嫩芽检测识别，分别对晴天和阴天两种天气下的茶叶图片进行训练与测试，初步解决了天气因素的影响，避免了传统图像特征提取的不足，同时提高了模型的普适性和鲁棒性，平均精度为64%。朱红春等探索了基于Faster R-CNN模型和VGG16特征提取网络在复杂背景下茶叶嫩芽类型（单芽、一芽一叶、一芽两叶）的检测精度，同时与传统目标检测算法进行了对比，结果表明基于深度学习的目标检测算法具有良好的检测效果，在检测精度和速度上明显优于传统目标检测算法。

但从目前的文献资料来看，在茶叶嫩芽检测识别领域所使用最多的算法是单阶段检测算法，主要有SSD系列和YOLO系列算法。这类算法不需要产生候选区域，直接生成检测目标的类别概率和位置坐标值。张雯娟通过相邻高低层特征融合的方式对传统SSD网络进行改进，提高了传统SSD模型对茶叶嫩芽检测的精度。王子钰等以茶叶嫩芽为检测对象，对比分析了YOLOv3和SSD两种深度学习检测算法，得出YOLOv3算法检测茶叶嫩芽拥有更高的精准度和更快的速度。张晴晴等在同样的茶叶数据集下分别构建了YOLOv3和SSD两种神经网络模型，都能准确识别出茶叶嫩芽，但是YOLOv3模型的平均精确度均值（mAP）为87.5%，比SSD模型高9.1%。施莹莹等使用多种光照条件、多种类型的茶叶嫩芽作为数据集，采用基于深度学习的YOLOv3目标检测算法进行检测，取得了较高的召回率及检测精度。孙肖肖等对YOLO网络进行改进，使用大尺度和中尺度检测代替原来的多尺度检测，又结合超绿特征和OSTU算法，提高了模型在复杂背景下对茶叶嫩芽的检测精度。邹倩等在原YOLOv3的基础上，使用改进的K-means++进行重新聚类获得适用于茶叶嫩芽的先验框，同时添加了一个152x152的浅层特征层，并加入空间金字塔池化结构（SPP）和注意力机制CBAM（convolutional block attention module）来增强特征图的表达能力，经改进后的模型检测精度为79.9%，召回率为80.2%，相比于原YOLOv3模型，精度提高7.8%，召回率提高10.7%。方梦瑞等通过在YOLOv4-tiny模型颈部网络添加52x52特征层，并引入卷积注意力机制，然后采用双向特征金字塔网络融合不同尺度的特征信息，得到97.77%的检测精确率和95.23%的召回率，有效提高了不同尺度嫩芽检测的精准度，大幅度减少了小尺寸或遮挡嫩芽的漏检情况。吕军等提出一种基于区域亮度自适应校正的YOLOv5检测模型，可利用图像分块和阈值判断获取图像中高亮度区域，并对高亮度区域进行Gamma亮度自适应校正，能有效降低高亮度茶叶图像中嫩芽的漏检率，取得了92.4%的检测精度和90.4%的召回率。

综上可见，无论是双阶段检测算法还是单阶段检测算法都比传统的图像处理技术有更大的优势。但双阶段算法由于模型设计的原始架构原因，处理效率低，推理速度慢，不适用实日寸性高的茶叶嫩芽检测识别任务。单阶段算法在检测速度上有着无可比拟的优势，能满足茶叶嫩芽的实时检测识别需求，但使用原始模型检测识别复杂场景下的茶叶嫩芽时仍存在问题，在实际应用中可通过一系列手段改进原始模型的不足，从而进一步提高模型在复杂场景中检测识别的精准度和速度。而对模型的大量改进往往会增加模型的大小和计算量，因此模型的轻量化也是当前亟待解决的重要问题之一。

2茶叶嫩芽品质等级分类识别方法

茶叶嫩芽品质等级分类是指将检测识别出的茶叶嫩芽再进行等级分类识别，分成单芽、一芽一叶和一芽两叶等不同的等级．有利于名优茶品的智能化采摘和分级。现阶段茶叶嫩芽的品质等级分类采用深度学习模型的方法居多，该方法具有识别速度快、分级准确等优势，同时不易受人为主观因素和环境因素的影响。

许高建等采用基于VGG16特征提取网络的Faster R-CNN深度网络模型在MS-COCO数据集上先预训练好，然后运用到茶叶嫩芽数据集上，可将茶叶嫩芽分成4种不同等级。陈妙婷利用改进后的PSO-SVM算法提取出茶叶嫩芽特征，然后利用YOLO算法进行等级分类，准确率为84%。俞龙等基于YOLOX算法添加注意力模块SE提高模型的特征提取能力，并引入Soft NMS算法提高不同场景下的识别能力，结果表明该方法能准确地对一芽一叶、一芽二叶等不同等级茶叶嫩芽进行分类识别。Qian等根据Inception-V3模型，利用迁移学习技术对自建的茶叶嫩芽数据进行分类识别，同时使用仿射变换对数据进行增强，得到3种不同等级嫩芽的分类准确率达98%。黄海松等提出一种轻量型茶叶嫩芽分级模型，从感知野和网络深度两个层面对茶叶图像的多尺度特征信息进行聚焦，并借助结合双迁移学习和知识蒸馏的方法，使模型在处理小规模数据集时，不仅拥有极强的抗过拟合能力和良好的分类性能，同时还拥有较小的模型规格，对单芽、一芽一叶、一芽两叶的分级准确率可分别达100.00%、92.70%、89.89%.

上述研究主要是对未采摘的茶叶嫩芽进行品质等级分类，这为未来智能化、精准化名优茶品的机械化采摘奠定了一定的理论基础。而对采摘下的茶叶嫩芽再利用深度学习方法进行分类识别，也是筛选名优茶品、提升茶叶品质的重要一环。无论是对采摘前还是采摘后的茶叶嫩芽进行分类识别，深度学习方法都能取得较高的分类准确率，在实际工作场景中，可根据需求采用分类识别精度高、速度快以及轻量化的模型来实现。

3存在问题与展望

虽然随着对茶叶智能化采摘技术的研究越来越多，已经设计出较为智能化的采茶机器人，但是受诸多因素如茶树生长的地形、外界光照强度、茶叶的生长姿态、茶叶嫩芽间的相互遮挡以及老叶遮挡等问题的影响，并不能推广应用到实际生产中，还有待于进一步改进提升。

3.1建立开放的、资源丰富的样本数据集，提高模型普适性

茶叶嫩芽识别的难点在于茶树生长环境的复杂性以及种质资源的多样性，不同品种、不同区域、不同时节的茶叶所展现的特征不同，而当前的研究大都是针对特定环境下的茶叶，导致深度学习模型的普适性较差。今后需要更多的研究人员来不断扩充茶叶嫩芽数据集，建立起开放的、环境多样的、种质资源丰富的茶叶嫩芽数据集，从而更好地提升深度学习模型的普适性和识别精度。

3.2研究轻量化模型结构，部署于移动端处理器

随着深度学习模型的不断改进，茶叶嫩芽检测分类系统的结构越来越复杂，预测和训练需要的硬件资源也越来越多，对硬件设备的要求不断提高，而智能采茶机器人的推广应用则要求其便携性更好，这就要求建立轻量化的茶叶嫩芽识别模型，方便部署于移动端处理器上。但移动端处理器存在性能低、处理速度慢等缺点，今后需进一步研究优化识别模型，使其在移动端处理器上的检测速度和准确性都能满足实际生产应用需求。

3.3研究多信息融合方法，提高实时识别茶叶嫩芽的精度

目前基于计算机视觉技术的茶叶嫩芽识别方法大都是基于采集可见光波段范围内的图像，而光的波长范围广，其他波段内同样包含着大量信息，再加上生长环境和种质资源也蕴涵着各种信息，如何将多种信息融合建立深度学习模型，对茶叶嫩芽的实时检测识别和智能化采摘具有重要意义。

4结论

茶产业是我国农业经济的重要组成部分，茶叶智能化采摘是推动茶产业更好发展的重要保障。茶叶嫩芽的检测识别是实现茶叶智能化采摘的关键一步，也是实现名优茶品分类识别的关键一环。基于传统图像识别技术和机器学习算法的茶叶嫩芽识别都依赖于数字图像处理技术的发展，无法满足实时识别和分类的生产要求。深度学习的快速发展和应用，使基于深度学习算法对茶叶嫩芽进行识别成为该领域的主流研究方法，不仅能在复杂场景下取得较高的识别准确率，还具有较快的识别速度，更能满足实际生产应用，今后需进一步优化深度学习模型，建立轻量化适合移动端搭载的茶叶嫩芽实时识别系统，以更好地服务于实际生产中的茶叶智能化采摘。