基于5G与人工智能技术的果品采摘机器人平台设计

王越 康凯 武曦

(山西农业大学果树研究所，山西 太原 030031)

近年来随着设施农业、精准农业和高新技术的发展，各类果树种植范围不断扩大，特别是土地流转加速了果业生产规模化、集约化，果园人均管理面积大幅增加，导致了在短暂的果品采收期内面临时间紧、雇工难、良品率难以保证等问题。

目前国内果品采摘作业基本上都是人工完成，采摘是生产链中最耗时、最费力的环节之一。随着果业的快速发展和种植面积迅速增长，所需劳动力也越来越大，投入的人工成本也指数级增长。研究并装备果品采摘机器人，实现果品采摘机械化、自动化和智能化，降低人工成本，是果业发展中亟待解决的重要问题之一。

将5G通信技术和人工智能技术结合应用于果品采摘机器人。果品采摘机器人平台由基于SOM K-Means算法的果实串识别与定位、基于改进型YOLO的复杂环境下果实串快速检测、基于剪夹一体式无损伤果实串采摘末端执行器和采摘机器人控制中心平台4大模块组成。每个模块都采用最新技术及算法，并进行大量数据的验证测试及现场环境测试，在不降低工作效率的前提下，实现采摘机器人在复杂环境下对输入数据流(现场采集的果实、枝蔓等图像)的快速响应、处理、反馈、果实智能识别、实时精确定位及智能化高效采摘，如图1所示。

图1 基于5G与人工智能的果品采摘机器人构架设计

1 基于SOM K-Means算法的果实识别与定位

以SOM神经网络为代表的机器学习领域快速发展，已广泛应用于语音识别和图像识别等各个领域。基于SOM神经网络本身训练的预测准确率置信区间，提出了一种使用K-Means加速和压缩SOM神经网络的方法。通过将卷积过程中的输入特征图采用K-Means压缩来减少计算量；通过将全连接层的权重压缩来减少存储量。所提方法对AlexNet网络单个卷积层的计算量能降低2个数量级，加入合适的K-Means层，整个网络的处理时间加速比能达到2.077，对网络压缩率达到8.7%。

针对部分树种(山楂、核桃等)多个果实重叠时难以识别与定位的问题，采用一种基于RGB-D图像和K-Means优化的自组织映射(Self Organization Map，SOM)神经网络相结合的果实串识别与定位算法。利用RGB-D摄相机拍摄果实串图像，对图像进行预处理，获取果实串的轮廓信息；提取果品串轮廓点的平面和深度信息，筛选后进行处理；将处理后的数据输入到采用K-Means算法优化的SOM神经网络中，得到点云聚类结果；根据聚类点，通过坐标转换得到世界坐标信息，拟合得到各个果实串的位置和轮廓形状。具体流程如图2所示。

图2 果实串识别与定位流程

采摘机器人对果实精准定位非常重要，但是受图像采集像素和采集光线等因素影响，故会带一些线性定位误差。在每次采摘图像区域里设置2个标准参考点，通过平台和算法对果实串识别与定位时，同时做一次标准参考点识别与定位，得出一个识别与定位基准误差，把该识别与定位基准误差补偿到对果实串识别与定位里面去，从而实现对果实串识别与定位差分补偿修正。

2 基于改进型YOLO的复杂环境下果实串成熟度快速检测

YOLO算法主要通过3步实现，将输入图像归一化；卷积网络特征提取，预测边界框置信度；通过非极大值抑制算法过滤边界框，得到最优结果。利用YOLO算法对图像中的目标进行特征提取分类识别，实现图像特征提取和分类识别的自动化，摒弃了传统图像识别过程中依靠手工标注图像特征的方法，其网络结构是在GoogleNet模型之上建立的。

为实现采摘机器人对果实串成熟度的快速、精确识别，采用一种改进型多尺度YOLO算法(IMS-YOLO)。对YOLO网络模型进行筛选和改进,设计一种含有残差模块的Darknet-53主干网络，同时融合多尺度检测模块，构建一种复杂环境下果实串快速识别网络模型。该网络模型层数较少，但能够提取更多特征信息，且采用多尺度检测结构，同时返回果实串的类别和预测框，以此提升果实串成熟度检测速度和精度。

IMS-YOLO模型检测精度高、速度快，可兼顾精度和实时性要求，在温室复杂环境下可以满足采摘机器人识别果实串成熟度的要求。IMS-YOLO检测模型如图3、图4所示。

图3 果实串快速检测流程

图4 IMS-YOLO模型

采摘机器人的果实成熟识别度和前面说的果品识别与定位一样，都面临采收环境因素的影响，也会产生稍许线性定位误差。在每次采摘图像区域里设置一个标准参考点，通过平台和算法对果实成熟度识别，同时做一次标准参考点成熟度监测，得出一个标准参考值，把标准参考值作为果实成熟度参考值，从而实现对成熟度识别进行补偿修正。

3 基于剪夹一体式无损伤果实串采摘末端执行器

部分树种果品成簇生长，人工采摘时先用手指夹持并固定串果母枝，然后剪切母枝并将串果取下。根据其采摘方式，并针对果实串低损、高效的机械化采摘，设计提出剪夹一体式结构的果品采摘末端执行器，并设计具有单动力源驱动、抗遮挡干扰能力和对果实串无损伤的剪夹一体式果品采摘末端执行器。采摘时对果母枝采用剪切方式，夹持手可稳定夹持果实串母枝，避免因旋转切割造成果实及其周边枝、叶受损。该末端执行器由剪枝模块、夹持模块、动力输出模块、机械臂连接组件4部分组成，如图5所示。

图5 末端执行器整体结构

设计的末端执行器具有良好的夹持和负载能力，负载重量为100～800g，果实串母枝直径为3～10mm。采摘时能快速剪切母枝并稳定夹持果实，理想剪夹时间为3s，采摘成功率为80%～90%。

4 采摘机器人控制中心平台

开发采摘机器人控制中心平台，功能包括作业类型(如采摘、打老叶、喷药等)，启停，远程控制，行走方向(前进、后退、转弯)，部件监测与报警(如电池电量)，光照度检测，工作强度(如作业时间、采摘重量等)，统计报表等。

5 结论

在我国农业自动化装备需求空间巨大，农业机器人使用密度还处于极低水平。装配基于5G与人工智能技术的果品采摘机器人，必将强有力地推动果业的现代化与智能化，在改善生产条件、提高种植户收入、降低生产成本、增强综合生产能力等方面有重要意义。