基于机器视觉的类球状水果采摘机械目标识别方法

赵 毅

（南阳技师学院，473000，河南南阳）

机械化采摘水果有效减少人工劳动力，节省成本，且采摘效率与采摘安全性更高[1-2]。但是类球状水果的机械化采摘难度较高，需要采摘机械目标高精度识别信息数据的支持[3]。现阶段，机械目标识别无法有效地将水果采摘机械目标与背景作出合理区分，导致采摘效果差[4]。机器视觉技术能够改善这一问题，并且采用相应的识别算法，提取图像特征，分割水果采摘机械目标与背景，实现机械目标识别与定位[5]。基于此，本文在传统水果采摘机械目标识别方法的基础上，引入机器视觉技术，以类球状水果为例，提出了一种全新的采摘机械目标识别方法，为提高水果采摘效率、促进农业机械自动化发展作出贡献。

1 类球状水果采摘机械目标识别方法设计

1.1 类球状水果图像采集与预处理

结合实际情况，利用高性能相机采集类球状水果图像，采集过程中，控制相机双目摄像头与待采摘类球状水果之间的距离，保持距离在50～100 cm 范围内，通过多角度的拍摄方式，采集各种环境条件下的类球状水果的RGB 图像与同帧下的深度图像。图像采集时，时段分为上午、下午，数量均为200 张，天气分为晴天和阴天，数量分别为210 张和190 张。

完成采集后，预处理类球状水果图像，减少图像中存在的噪声[6]。引入中值滤波降噪方法，计算类球状水果图像中目标像素邻域的像素值，使用计算后的像素值代替初始像素值，以此种方式，减少类球状水果图像中存在的孤立噪声点。结合滤波降噪电子设备，开启设备后，使其产生一定的脉冲噪声，通过脉冲噪声，既可以去除图像中含有的多余噪声，又可以保证图像中类球状水果特征不失真[7]。

1.2 基于机器视觉设计类球状水果图像分割算法

完成图像采集和预处理后，引入机器视觉技术原理[8-9]，设计图像分割算法，分割类球状水果图像。引入机器视觉是因为其可以根据图像信号的动态变化，有效获取类球状水果的颜色信息、形态信息与位置信息。分割过程利用机器视觉技术，将待分割的水果图像划分为n*n 个网格状，采用修改细化的方法，不断细化水果图像的超像素边缘，使图像的内部特征达到一致，并利用机器视觉技术，定义类球状水果图像超像素中更新像素边缘与颜色密度分布的能量函数，表达式为：

式中：T（s）为图像超像素中颜色密度分布项；d 为图像颜色密度与边缘值的权重；E（s）为图像超像素形状的边界项。

通过该表达式，获取类球状水果图像超像素的能量函数，将图像划分为多个超像素块，利用直方图统计的方法，统计各个超像素块的颜色变化，用若干个箱格表示各个区域的颜色变化。实时记录图像超像素边界的局部不规则性变化，得到类球状水果图像的平滑边缘，保证图像超像素形状边界项中包含多个超像素标签。采用重复迭代运算的方法，控制R(s)能量函数的动态变化，直至迭代运算次数达到上限，完成类球状水果图像超像素分割，并将图像分割边缘附近的像素，缓慢移入相邻的超像素块内，使类球状水果颜色分布得更加集中。

1.3 类球状水果采摘机械目标识别

在上述基于机器视觉设计类球状水果图像分割算法结束后，识别类球状水果采摘机械目标[10]。引入圆检测技术，结合最小二乘法求解检测值中的未知量，对类球状水果采摘机械目标进行识别。首先，在进行类球状水果圆检测识别前，对其2D 图像进行预处理，将其中不可能构成圆形的边缘剔除，如图1 所示。

图1 非圆形图像边缘剔除原理

如图1 所示，在非圆形图像上进行取点，其中：p1位于非圆形图像的边缘起始点，p2位于非圆形图像边缘的1/3 处，p3位于非圆形图像边缘的2/3 处。对三个取点进行共线判断，若三点共线，则类球状水果2D 图像不是圆形边缘，需要进行剔除处理，并在此基础上，利用三个取点，拟合形成一个圆形，标记图像的圆心与半径。采用最小二乘法，获取类球状水果2D 图像的圆参数，并描述圆参数对应相等的程度。综合考虑类球状水果复杂的背景环境，引入融合特征的图像显著性检测方法，增强类球状水果2D 图像强度的均匀性，分别对图像的边缘特征与超像素块特征进行排序显著性检测，得出类球状水果两种不同特征的识别节点。

在此基础上，采用如图2 所示的类球状水果采摘机械目标识别流程与处理步骤，全方位识别目标水果的图像。

图2 类球状水果采摘机械目标识别流程

图2 为本文设计的类球状水果采摘机械目标识别的整体流程。输入目标图像后，采用像素增强方法，增强待采摘水果目标图像。对像素增强后的图像进行超像素分割处理，根据分割结构，构建采摘机械目标识别模型，通过模型的迭代训练，提取类球状水果采摘机械目标的背景特征与前景特征的流行排序，将二者融合处理后，利用流行排序显著性检测方法，获取融合特征的类球状水果采摘机械目标识别显著图。经过以上一系列前期处理与识别流程，实现类球状水果采摘机械的单个目标与多个目标识别。

在类球状水果采摘机械目标识别结束后，本文认为，在后期的类球状水果采摘中可以引入卷积神经网络技术原理进行采摘，此种采摘方法对被抓取目标物体的位置结构具有准确的分析性能，能够精确地获取被抓取目标物体的位置结构信息，学习功能较强，有助于提高类球状水果机械化采摘的效率。

2 实验分析

为了验证本文提出的目标识别方法的可行性及其为水果采摘工作提供的帮助，进行了如下所述的实验。在本次实验中，为了使实验结果能够更加直观清晰地呈现，采用对比分析的实验方法，设置了两组对照组、一组实验组。将文献[3]提出的基于Softmax 的水果采摘目标识别技术、文献[4]提出的基于CenterNet 的水果采摘目标识别技术设置为对照组，将本文提出的基于机器视觉的水果采摘识别方法作为实验组，开展以下实验。

2.1 实验准备

由于实验条件具有一定的限制，本次实验仅在实验室中进行，选取仿真苹果植株作为研究对象，进行测试。首先，按照上述提出的论述，采用特殊的固定方式，将苹果目标固定在高精度摄像头的前方，通过摄像头，对其进行拍摄。标定相机，设定相机图像的左上角作为图像的初始坐标点，基于机器视觉技术，对苹果目标图像进行预处理，检测并计算苹果的相关信息，包括苹果长轴与短轴，通过二维坐标变换的方式，得出苹果目标的采摘端点坐标与采摘顶点坐标，进而确定苹果采摘点。引入显著性检测技术，获取苹果目标的内在图形结果，并在图形中作出局部标记。

2.2 结果分析

选取1 500 张苹果目标RGB 图像，按照一定的比例，随机选取其中300 张规格为512*512 的RGB 图像作为实验的测试集，对RGB 图像进行75 个周期的训练。设定采摘机械目标识别的精确率、召回率与F1值作为本次实验评测的指标。其中，精确率指的是采摘机械目标识别正确的图像占全部识别为正的比例，公式为：

式中：TP 表示采摘机械目标识别为正，实际也为正的测试集图像数量；FP 表示采摘机械目标识别为正，实际为负的测试集图像数量。

召回率指的是采摘机械目标识别正确图像数量占全部正测试集图像数量的比例，公式为：

式中：FN 表示采摘机械目标识别为负，实际为正的测试集图像数量。

F1值指的是上述两个评测指标的调和均值，能够同时衡量精确率与召回率，其计算公式为：

将训练后的测试集图像分别应用三种水果采摘机械目标识别方法，通过公式（2）、（3）、（4），获取其对应的采摘机械目标识别的评测指标，并对比，如表1 所示。

表1 三种方法采摘机械目标识别评测指标对比 %

从表1 的评测指标对比结果能够看出，本文提出的基于机器视觉的类球状水果采摘机械目标识别方法，三个评测指标均达到了≥95.38%，明显高于另外两种识别方法，且具有较大的差异。由此不难看出，本文提出的类球状水果采摘机械目标识别方法的识别精度较高，具有较强的泛化能力，应用效果优势显著。

3 结语

为了改善传统水果采摘机械目标识别方法在类球状水果采摘中应用效果较差、无法精确识别采摘目标的问题，在传统机械目标识别方法的基础上，作出了优化设计，引入机器视觉技术，提出了一种全新的类球状水果采摘机械目标识别方法。通过本文的研究，能够实现对类球状水果物理特性的分析，融合了类球状水果的前景特征与背景特征，有效地提高了类球状水果采摘机械目标识别的精度与效率，对促进我国现代农业机械化可持续发展具有重要研究意义。