番茄采摘机器人目标识别方法研究

王瑾 王瑞荣 李晓红

摘要：针对目前采摘机器人工作环境复杂、效率低下等问题，在采摘机器人体系结构的基础上，提出了一种将AdaBoost分类器和颜色特征分类器相结合用于番茄采摘机器人的目标识别方法。通过试验分析该方法的性能，并与改进前的性能进行比较。 试验结果表明，该方法的平均番茄识别时间为78.955 ms，识别准确率达到97%以上，性能优良，达到番茄采摘机器人对目标识别的要求。为实现采摘机器人智能化提供了一定的参考和借鉴。

关键词：采摘机器人;智能化;目标识别;AdaBoost 分类器;颜色特征分类器

中图分类号： TP249  文献标志码： A

文章编号：1002-1302（2021）20-0217-05

收稿日期：2021-03-15

基金项目：太原市院士工作站建站项目（编号：TYSYSGZZ201903）;山西省高等学校科技创新项目（编号：2019L0935）。

作者简介：王 瑾（1987—），女，山西晋中人，硕士，讲师，主要从事识别系统等方面的研究。E-mail：wj1987001@126.com。

我国是种植大国，其采摘活动具有高强度、集约化的基本特征。但目前多采用人工采摘，费时费力且人工成本较高[1]。随着我国农业机械的不断调整和劳动力短缺现象的出现，迫切须要实现水果采摘的机械化和自动化，以避免采摘不及时而造成的经济损失。随着我国农业现代化进程的不断发展，迫切须要开发采摘机器人提高采摘效率，确保果实品质并减轻劳动强度[2]。但制约采摘机器人发展的主要技术是识别、定位和控制。因此对番茄采摘机器人目標识别方法进行研究具有重要的现实意义。

近年来，国内外研究人员对采摘机器人技术进行了大量研究并取得了一定成果，但采摘效率却较低。为了提高采摘效率，果实的精准识别方法显得尤为重要。刘芳等提出了一种改进的多尺度Yolo算法用于快速识别番茄果实，并建立复杂环境下的识别网络模型，试验结果表明，该模型的检测准确率为96.36%[3]。赵利平等提出了一种改进的遗传算法结合三点定位算法用于采摘机器人目标识别，该算法首先使用a-cb-r融合空间分类法将苹果夜间目标与背景分离，然后使用Canny算法和凸壳理论勾勒出苹果夜间目标的真实轮廓，最后使用融合算法来准确定位夜间苹果目标。试验结果表明，该方法的检测准确率为92.199%[4]。杨长辉等提出了一种基于卷积神经网络的水果采摘机器人识别和定位方法，对预测候选框进行K均值聚类分析，增强模型提取枝叶特征的能力，以准确了解采摘场景;最后，使用Kinect-V2相机的深度图绘制出拾取物体和障碍物的三维信息;试验结果表明，该方法拾取成功率为80.51%，避障成功率为75.79%[5]。赵源深等提出了一种将编码方法和AdaBoost深度学习算法相结合来识别成熟的番茄，试验结果表明，该方法的检测准确率为93.3%[6]。尽管上述识别方法识别准确率较高，但在特征提取上非常繁琐，算法参数的选择复杂，分类器性能不稳定等问题，因此须要进一步提高其适应性。

基于此，本研究提出了一种将AdaBoost分类器和颜色特征分类器相结合用于番茄采摘机器人的目标识别。通过试验分析了该方法的识别准确率、识别速度、鲁棒性等。

1 系统概述

采摘机器人的识别和定位系统由嵌入式控制器、双目视觉传感器和末端执行器组成。模拟番茄采摘的过程为图1所示系统结构。首先，使用双目视觉传感器识别和定位番茄，然后选择目标，基于采集的信息，嵌入式控制器可以识别并锁定近距离内的目标[7]。机械手根据已建立的基于图像反馈的控制方法进行拾取。选择目标后，执行器将返回其原始位置并选择下一个目标，直到采摘了所有已识别和定位的目标，机器人移动重新识别和定位，采摘目标[8]。本研究主要对目标识别技术进行研究。

2 目标识别方法

为满足非结构化农业环境中番茄采摘机器人对目标水果识别的要求[9]。本研究提出一种将AdaBoost分类器和颜色特征分类器相结合的番茄目标识别方法。

2.1 AdaBoost分类器

AdaBoost分类器采用Haar-like特征（图2）和AdaBoost自学习算法相结合的分类模型。Haar-like特征可分为3类：边界特征、线性特征和弧度特征，特征值用来反映图像灰度的变化[10]。

Haar-like特征提取通过特征矩阵计算相应的特征值。在矩阵中，白色区域和黑色区域分别标记为1和-1。同时，对提取的特征值进行顺序组合。以获得特征矩阵X，AdaBoost训练算法的输入由特征矩阵X和编码向量Y组成。由于单个图像中 Haar-like特征数量通常较大，这大大降低了算法的实时性能。因此，文献[11]提到，viola等提出了一种Haar-like特征快速提取方法（积分图）。

AdaBoost算法被称为自适应Boosting算法。AdaBoost算法的目的是通过训练集训练一些弱分类器，将这些弱分类器组合起来就是强分类器。具体步骤如下。

步骤1：输入训练样本集D={（x1，y1），（x2，y2），…，（xm，ym）}。其中，xi∈X，yi∈Y，X为特征矩阵，Y为编码向量;m是样本数;i=1，2，3，…，m。

步骤2：初始化样本权重D0，各训练样本根据式（1）分配相同的权重[12]。

D0（i）=1/m，i=1，2，3，…，m。（1）

步骤3：共进行t次迭代。在每一个迭代过程中，都要根据公式（2）更新当前阈值ht，误差率εt最小化为目标[13]。

ht=argminεt。（2）

误差率εt为误分类样本的权值之和，具体如公式（3）所示[14]。

εt=∑mi=1Dt（i），[yi≠ht（xi）]。（3）

通过阈值得到弱分类器ht（xi），具体如公式（4）所示[15]。

ht（xi）=1，xi≤hi

-1，xi>hi。（4）

式中：hi为输入xi对应的阈值。

同时，须要根据公式（5）更新弱分类器ht（xi）的权重[16]。

at=12ln1-εtεt。（5）

式中：at为弱分类器t次迭代的权重。

更新训练样本集的权值分布，用于下一次迭代，具体如公式（6）所示。

Dt+1=Dtexp（-at×yi×ht）Zt。（6）

Zt为归一化因子，具体如公式（7）所示[17]。

Zt=∑mi=1Dt（i）。（7）

步骤4：将第3步得到的弱分类器进行组合级联，输出强分类器H（x），如公式（8）所示。

H（x）=1，∑Tt=1at×ht（x）≥12∑Tt=1at

-1，otherwise。（8）

从上述对AdaBoost学习算法的过程分析可以看出，AdadBoost分类器的性能主要受 Haar-like 特征矩阵和训练次数的影响。通过测试，特征提取过程中仅使用C类Haar-like特征，训练次数为 20 000 次。

2.2 级联分类器

AdaBoost分类器对成熟番茄的识别准确率较高，但误识别率也很高，因此有必要进一步降低番茄采摘机器人的误识别率[18]。采用颜色特征进一步判别成熟番茄目标，降低AdaBoost分类器的误识别率。

颜色特征分类器通过对正、负样本的颜色特征进行分析。随机选择了1 000张样本图片，正、负样本各500张。对每张样品实行色彩空间转换，提取各样品的R-component、a*-component 和 I-component分量的图像。并根据公式（9）计算样本的平均灰度值（AVP）[19]。

AVP=∑Mx=∑My=1i（x，y）M2。（9）

式中：M为样品图像长度的像素点数，由于样品都是正方形，长度和宽度是一样的;i（x，y）为样本中第（x，y）个像素点的灰度值。经过测试后，以 I-component 分量图像的平均灰度值为15作为颜色特征分类器。

将AdaBoost分类器与颜色特征分类器结合可以有效提高算法性能，具体结构如图3所示。 AdaBoost分类器是由多个Haar-like弱分类器组成。各弱分类器检测结果都为N（N表示未成熟番茄），则该区域为未成熟的番茄[20]。各弱分类器检测结果都为Y（Y表示成熟番茄），在颜色特征分类器中判断也为Y，则最终判断为成熟的番茄。

将AdaBoost分类器和颜色特征分类器相结合来检测成熟番茄目标时，2种分类器结合可以降低误识别率，满足番茄采摘机器人在非结构化环境中的性能要求[21]。基于级联分类器的番茄目标识别算法可分为离线训练和在线识别。离线训练应按照“2.1”节中所述进行。 图4所示为基于级联分类器的番茄目标在线识别过程。

使用从离线训练中获得的级联分类器，对采摘机器人拍摄的场景照片进行全局扫描，所有的分类器都确定为真，将当前检测窗口的像素域对象视为目标番茄，使用连接域合并方法将多尺度检测结果进行合并，最后识别出图像中的目标番茄。

3 试验结果与分析

3.1 试验参数

为了验证级联分类器的性能和有效性，分别进行识别率测试试验、识别速度试验和鲁棒性试验。从采集图库中随机选择1 000张图像作为测试样本。样本中包括成熟番茄、未成熟番茄和设施环境背景的图像。人工识别后，检测到的图像包含693个成熟番茄。模拟中使用的计算机是Intel i5处理器、8 G内存和Win10系统[22]。

3.2 识别率分析

从图像数据库中随机选择1 000张图像并测试识别率。 在分析识别率时，除了本研究的级联分类算法外，还与未改进前的AdaBoost分类器和颜色特征分类器进行对比分析。试验结果如表1所示。

通过表1对比分析表明，本研究级联分类器和AdaBoost分类器的识别率均在95%以上，而颜色特征分类器的识别率仅为84.99%。同时本研究分类器的误识别率小于3%，低于AdaBoost分类器的误识别率（10.14%）。结果表明，本研究级联分类器在保证成熟番茄识别准确的同时，可以明显减小成熟番茄的误识别率。

3.3 识别速度分析

由于番茄采摘机器人对实时性有较高的要求，所以须要对级联分类器番茄目标识别算法的实时性进行分析。表2所示为应用于测试样本图像的识别算法耗时结果。结果表明，每个样本图像所消耗的时间从 39 ms 到100 ms不等，平均识别时间为78.955 ms。 由于番茄采摘机器人视觉传感器的采样频率为 10帧/s，因此小于100 ms的识别速度就可以满足视觉实时要求。

3.4 鲁棒性分析

通过分析测试样品在各种干扰条件下的识别结果，以验证目标识别算法的鲁棒性，发现基于级联分类器的番茄目标识别算法具有很好的鲁棒性和复杂环境的适应性。图5所示为成熟番茄被枝叶覆盖时级联分类器的识别结果。

从图5可以看出，如果成熟的番茄被枝叶部分覆盖，识别算法还可以从复杂的环境中准确地识别出成熟的番茄。不同形式的遮挡会影响识别结果，如果番茄被遮盖的面积超过一半，本研究方法可能无法识别。原因有2个：（1）在樣品训练中，大面积遮挡番茄的样品数量较少;（2）大面积的遮挡使颜色分类器的误识别率提高。图6为不同光照度下成熟的番茄识别结果。

从图6可以看出，基于级联分类器的番茄目标识别算法可以很好地应用于各种光照条件，识别算法的性能在强光和暗光条件下均不受影响。这是因为在训练样本的采集中，存在大量不同光照条件下的番茄图像，因此分类器对光照度具有较强的适应性。

由于番茄的黏附性问题，特别是成熟的番茄黏附性问题，这通常是采摘机器人目标识别中的技术难题，本研究方法就可以很好地解决这一问题。 图7所示为番茄粘连情况下的识别结果。

在Haar-like 特征提取过程中，构造了4个C型特征，有效提取粘连果实的边缘特征信息。同时，结合不同尺度的识别结果，既能保证成熟番茄的唯一识别，又能保证相互粘连果实的识别。当识别中心距离大于检测窗口长度一半时，可认为识别出2个目标番茄。

4 结束语

本研究完成了番茄采摘机器人的体系结构设计，提出了一种将AdaBoost分类器和颜色特征分类器相结合用于番茄采摘机器人的目标识别。通过试验分析了该识别方法的识别率、识别速度和鲁棒性。试验结果表明，该方法具有较为优异的性能，优于改进前，番茄的平均识别时间为78.955 ms，识别率达到97.98%。考虑到当前检测设备和数据的规模，番茄采摘机器人识别方法的研究仍处于起步阶段。基于此，逐步完善和提高采摘机器人的性能将是下一步工作的重点。

参考文献：

[1]王海楠，弋景刚，张秀花. 番茄采摘机器人识别与定位技术研究进展[J]. 中国农机化学报，2020，41（5）：188-196.

[2]刘国斌，车宇彤. 农业信息化与农业现代化融合发展研究[J]. 情报科学，2019，37（1）：148-155.

[3]刘 芳，刘玉坤，林 森，等. 基于改进型 YOLO 的复杂环境下番茄果实快速识别方法[J]. 农业机械学报，2020，51（6）：229-237.

[4]赵利平，吴德刚. 融合GA的三点定位夜间苹果目标的识别算法研究[J]. 中国农机化学报，2020，41（5）：134-138.

[5]杨长辉，刘艳平，王 毅，等. 自然环境下柑橘采摘机器人识别定位系统研究[J]. 农业机械学报，2019，50（12）：14-22，72.

[6]赵源深，贡 亮，周 斌，等. 番茄采摘机器人非颜色编码化目标识别算法研究[J]. 农业机械学报，2016，47（7）：1-7.

[7]郭 亚，朱南阳，夏 倩，等. 中国农业物联网及“互联网+农业”进展[J]. 世界农业，2018（7）：202-209.

[8]李国利，姬长英，顾宝兴. 基于单目视觉与超声检测的振荡果实采摘识别与定位[J]. 农业机械学报，2015，46（11）：1-8.

[9]韩 鑫，余永维，杜柳青. 基于改进单次多框检测算法的机器人抓取系统[J]. 计算机应用，2020，40（8）：2434-2440.

[10]Hu J J，Fichtner M，Baricco M.Preparation of Li-Mg-N-H hydrogen storage materials for an auxiliary power unit[J]. International Journal of Hydrogen Energy，2017，42（27）：17144-17148.

[11]初广丽，张 伟，王延杰，等. 基于机器视觉的水果采摘机器人目标识别方法[J]. 中国农机化学报，2018，39（2）：83-88.

[12]Krewer U，Rder F，Harinath E，et al. Review-dynamic models of Li-ion batteries for diagnosis and operation：a review and perspective[J]. Journal of the Electrochemical Society，2018，165（16）：A3656-A3673.

[13]Patel G K，Dabhi V K，Prajapati H B.Clustering using a combination of particle swarm optimization and K-means[J]. Journal of Intelligent Systems，2017，26（3）：457-469.

[14]Gautam J V，Prajapati H B，Dabhi V K，et al. Empirical study of job scheduling algorithms in hadoop MapReduce[J]. Cybernetics and Information Technologies，2017，17（1）：146-163.

[15]Caetano C E F，Lima A B，Paulino J O S，et al. A conductor arrangement that overcomes the effective length issue in transmission line grounding[J]. Electric Power Systems Research，2018，46 （5）：159-162.

[16]Song  Z， Hofmann  H， Li  J， et  al. The optimization of a hybrid energy storage system at subzero temperatures：energy management strategy design and battery heating requirement analysis[J]. Applied Energy，2015，159：576-588.

[17]王海青，姬長英，顾宝兴，等. 基于参数自适应脉冲锅合神经网络的黄瓜目标分割[J]. 农业机械学报，2013，44（3）：204-208.

[18]Jia Z W，Wang L J，Zhang J C，et al. High efficiency，low power-consumption DFB quantum cascade lasers without lateral regrowth[J]. Nanoscale Research Letters，2017，12（1）：88-95.

[19]Azumaya C M，Days E L，Vinson P N，et al. Screening for AMPA receptor auxiliary subunit specific modulators[J]. PLoS One，2017，12（3）：1523-1538.

[20]Fan C L，Fu Q，Long G Z，et al. Hybrid artificial bee colony algorithm with variable neighborhood search and memory mechanism [J]. Journal of Systems Engineering and Electronics，2018，29（2）：405-414.

[21]周 航，杜志龙，武占元，等. 机器视觉技术在现代农业装备领域的应用进展[J]. 中国农机化学报，2017，38（11）：86-92.

[22]齐锐丽，陈曼龙，杨宗浩，等. 基于HSV模型与改进的OTSU算法花椒图像分割[J]. 中国农机化学报，2019，40（11）：155-160.