基于视觉识别的柔性机械爪采摘机器人设计

袁天旺 康朋飞 陈祥 董超 王向东

摘要：在国家“乡村振兴”“科技助农”政策的号召下，科技不断带动农业的发展，提高农业生产效率，文章对农业采摘机器人进行了研究测试，并将其投入实地果实采摘。文章提出了基于视觉识别的柔性机械爪采摘机器人设计，其结构主要由树莓派主板、6自由度机械臂及柔性机械爪构成。基于Open CV为框架开发的CNN神经网络算法系统可以通过果实的颜色、形状，判断其在三维空间的位置及成熟度，从而完成采摘作业。该设计通过解决采摘业的自动化采摘以及单一采摘等问题，响应国家科技助农计划，促进乡村振兴战略。

关键词：采摘机器人；Open CV；树莓派；科技助农

中图分类号：TP242中图分类号文献标志码：A文献标志码

0 引言

近年来，随着工业的迅速发展，世界各国均面临人口老龄化问题，农业劳动力逐渐向其他行业转移，劳动力不仅成本高，而且比较缺乏。果实采摘作业是果实生产中最耗时、最费力的一个环节，人工在果实采收期存在很大的采摘压力，人工采摘效率低下［1-2］。利用科技代替农业采摘的研究越来越受到关注，而通过机器人来解放农业生产劳动力已成为一项重要科技研究。

解决农业采摘效率低的问题迫在眉睫，本文为此专门设计了一种基于视觉识别的柔性机械爪采摘机器人。本设计主要由控制系统、移动装置、采摘执行器、柔性机械爪、供电装置、视觉系统及驱动系统组成。采摘机器人以树莓派微型硬件作为核心控制器件，实现了识别、判断、采摘、移动及避障为一体的自动化采摘［3］。

1 整体结构设计

本项目设计了一种基于视觉识别的柔性机械爪采摘机器人，以树莓派（Raspberry Pi4 Computer，Model B 4GB RAM）作为核心模块进行控制，通过履带运动的方式，在农业中自动采摘。以Open CV为框架开发的CNN神经网络算法系统，通过6自由度机械爪代替人工采摘，不但在机械结构和识别算法上具有自主创新性，而且可以通过双目摄像头及二自由度云台来判断不同类型果实的位置及成熟度，并用柔性机械爪进行精准采摘。另外，通过多种传感器配合，该机器人具有远端操控监视系统以及自动避障功能，操作更加方便，利于农民使用，整体结构框架如图1所示。

2 硬件设计

2.1 机械结构

本文设计的基于视觉识别的柔性机械爪采摘机器人，其总机械结构主要由3部分组成，分别为履带移动小车部分、机械臂部分及柔性机械爪部分。其机械结构如图2所示。

2.1.1 履带移动小车部分

该履带移动小车由两侧的动力履带、4个摆臂履带和车架平台连接而成。小车的动力来源由4个减速电机提供，减速电机由12 V铅蓄电池供电，其运动形式由主控制板控制，能够实现前进、后退及转弯行走等功能。本小车的4个摆臂履带发挥着重要的作用，可以轻松通过土块石头等障碍物，具有良好的适应性。

2.1.2 机械臂部分

该采摘机器人的机械臂采用6自由度机械臂，其应用广泛，具有灵敏度高、运动范围大、兼容性强等特点，基本可以实现360°无死角运行。该机械臂由步进电机控制，可以提高机械臂的精度，从而提高工作效率。

2.1.3 柔性机械爪部分

该机器人的机械爪采用柔性三爪，它与刚性机械爪相比具有高切合性、高稳定性及高可靠性等优势。该柔性机械爪的自身重量548 g，抓取范围为10～150 mm，抓取重量大约为3 kg，控制电压为12～24 V，抓取频率40次每分钟，可抓取圆柱、圆球、条形、长方、易碎、易损等物品［4］。柔性机械爪如图3所示。

柔性机械爪由硅胶材质制成，具有仿生特性，可以根据果实的不同外形来改变抓取特性。其优点是增加了手爪与果实之间的贴合度，解决机械爪因果实形状怪异而无法抓取的问题，增加了机械爪工作的稳定性与可靠性，最重要的是避免了对抓取相对较软的果实产生损坏，极大地提高了采摘的成功率［5］。

对于气动和电动动力来源的选择，发现电动装置作为机械爪动力来源有较可靠的优势。相同指標下，电动装置可抓取更重的物体，而且对于整个系统而言便于系统间协调作业，提高了整体性能的稳定性。通过增加机械指的数目，可以实现对不同类型大小、形态、重量等指标特点果实的准确抓取。电动三爪相对果径较小的果实（d<5 cm）抓取时，更加适应表面贴合，从而成功摘取。对于较大果实，电动四爪电动更能轻易对其进行采摘。使用多套装置，可实现对不同种类果实的采摘，解决了单一果实的采摘。

2.2 控制模块

该采摘机器人的控制部分主要由树莓派4B主板、电机驱动拓展板、双目摄像头、HC-SR04超声波测距传感器及OLED显示屏模块组成，其组成关系如图4所示。

电源采用12 V直流电，主控板为树莓派，通过树莓派微型硬件控制系统可以引导采摘机器人完成识别、定位、抓取、放置任务的高度协同的自动化流程。电机驱动拓展板主要控制机械臂中的步进电机及履带小车的减速直流电机，从而控制整个机器人的运动和抓取。当采摘机器人通过双目摄像头对果实进行框架定位时，移动履带平台可结合田间路况进行追踪。采摘机器人借助超声波传感器HC-SR04对外界进行测距，最终完成避障功能。OLED显示屏可以显示采摘机器人的电量及采摘数，方便农民使用，同时还可以通过和手机电脑移动终端设备进行连接，可根据当前环境进行路径规划，调用移动履带平台进行避障操作。

3 系统设计

3.1 主程序设计

整个流程如图5所示，将采摘机器人放入作业环境，首先双目摄像头开始识别周围环境，当扫描到所需采摘果实时，树莓派将调用Open CV，之后摄像头进行初始化，将视频帧使用Open CV进行检索，通过CNN神经网络判断视频帧中水果的轮廓与颜色，之后驱动小车接近水果，此时双目摄像头计算目标与小车的距离，从而控制机械臂移动执行采摘作业并将目标放入果篮，重复以上流程直到视频帧中无所需目标为止，最终结束作业。

3.2 核心算法设计

Open CV 是一个开源的计算机视觉库，它提供了很多函数，这些函数非常高效地实现了计算机算法［6］。本采摘机器人通过CNN神经网络实现对水果的正确识别，CNN为BP神经网络的一种变体，将图片的像素值经过一系列处理（卷积、池化），之后输出值作为特征训练模型，通过此方法可以保留图片的多维信息，提高模型分类的精度。为了训练CNN进行特征提取，并且将搜集到的水果图片进行预训练，通过 VGG-16 等架构进行训练。将图片中的信息输入CNN网络模型获得特征图［7］，之后再将视频帧传入神经网络，将其与特征图进行对比，最终找出视频帧中所包含的水果框架。

经典的CNN由3种结构组成：卷积层、池化层、全连续层。其中，卷积层用于提取图像中的局部特征，即使用一个过滤器（卷积核）来过滤图像的各个小区域，从而得到这些小区域的特征值，卷积层原理如图6所示。

在经过卷积层后，图像依然很大，为了进一步降低数据维度，需要在池化层进行进一步降维。在池化层中将会对图片进行下采样，通过池化层处理后，可以使计算速度更快，同时也能防止过拟合的情况，池化层原理如图7所示。

在经过若干次卷积层和池化层的处理后，图像的信息已经通过抽象使得特征信息含量足够高，将这些数据传入全连接层进行处理，通过全连接层分类即可得出结果。

通过CNN神经网络识别，找出水果对应的位置后，需要对水果进行成熟度判断，绝大部分水果在成熟状态和未成熟状态会有很明显的不同，可通过色调和饱和度的不同轻易地判断出果实的成熟度情况。可以以果实成熟时的色调和饱和度的范围定义一个数值区间函数，将水果分为成熟和未成熟两类，最后保留成熟的水果框架。

在确定水果在画面中的框架位置后，需要判断水果离小车的距离，可以通过双目摄像头［8］测距，从而获得水果离小车的距离，其空间位置测量过程如图8所示。

点c为需要测距的水果，A，B为两个摄像头，点K、点L分别是待测水果C在相機A、B传感器上的成像点，t为相机焦距，则n即为水果离小车的距离。

由公式可得，在获得GK-IL即视差的情况下，便可计算出水果与小车的距离，之后获取到水果的相对空间位置，便可用机械臂对水果进行精准抓取。

4 测试与结果

4.1 实验目的

为了测试采摘机器人的机械臂、履带底盘、视觉识别与柔性机械爪高度配合的能力，本文将对采摘机器人的3种重要指标进行测试，最终得到采摘完成率。对此设计出下列实验，来测试该采摘机器人。

4.2 实验过程

选取草莓进行实地测试，此次实验的柔性机械爪采用电动三爪。

首先在草莓种植大棚中随机选取13个1 m2的草莓种植区域，其中草莓总数约为450个，包含了成熟与未成熟、形状大小各异的草莓，之后使用本文设计的采摘机器人对草莓进行实地采摘实验。实验测试数据如表1所示。

经调查分析得到采摘作业中的误差如下：

（1）其中成熟草莓未能识别的原因有以下几种：①草莓叶片对草莓的遮挡，视觉识别系统无法对草莓进行正确识别判断；②形状怪异，通过与自建的数据库进行比对，没有与之匹配的样本参照；③其他客观原因。

（2）柔性机械爪对草莓抓取不成功的原因有以下几种：①叶片干扰；②草莓形状过大或过小，机械爪未抓稳，导致草莓脱落；③其他客观原因，如识别镜头被污染导致定位偏移。

（3）机械爪对草莓抓取成功有破损的原因有：①草莓存在坏果；②采摘运输中擦伤草莓；③其他客观原因。

4.3 实验结果

本次实地实验测试了采摘机器人的3个重要指标，而实验最终得到的采摘完成率由识别精度、抓取精度及机械爪可靠性这3个指标决定，从而求出本文采摘机器人的采摘完成率为75.3%。采摘完成率综合表现了本采摘机器人采摘作业与适应采摘环境的良好性能，充分检验了采摘机器人对果实采摘的可靠性，整体具有人工及其他机器人无法比拟的优势，具有比较可观的前景方向。计算结果具体为：

果实机器人采摘完成率=识别精度×抓取精度×抓取成功未破损率=75.3%。

5 结语

本文设计了一种基于视觉识别的柔性机械爪采摘机器人，以树莓派作为核心控制模块，通过履带运动的方式，在农业中自动采摘。机械爪采用柔性机械爪增加与果实之间的贴合度，从而避免了对抓取相对较软的果实产生损坏，使采摘成功未破损率达到95.8%。基于Open CV及6自由度机械爪代替人工采摘，不但在机械结构和识别算法上具有自主创新性，而且可以通过双目摄像头及二自由度云台来判断不同类型果实的位置及成熟度，从而使识别成功率达到85.7%，使采摘成功率达到91.7%。另外，通过多种传感器配合，具有远端操控监视系统以及自动避障功能，使其操作更加方便，利于农民使用，使采摘完成率达到75.3%，大大提高了采摘行业的效率，为响应国家科技助农计划、促进乡村振兴战略贡献了力量。

参考文献

［1］张文翔，张兵园，贡宇，等.果蔬采摘机器人机械臂研究现状与展望［J］.中国农机化学报，2022（9）：232-237，244.

［2］郭思臣，王昊杰，谢丛，等.苹果采摘机器人的研发与相关问题［J］.大众标准化，2022（14）：115-117.

［3］任雪林.设施农业采摘机器人控制系统研究与设计［D］.重庆：重庆三峡学院，2022.

［4］于有河，李建，周燕，等.气压驱动仿生柔性机械臂的设计［J］.机电信息，2022（17）：23-26.

［5］于丰华，周传琦，杨鑫，等.日光温室番茄采摘机器人设计与试验［J］.农业机械学报，2022（1）：41-49.

［6］王壮飞，卢海林，耿文涛，等.基于OpenCV的水果采摘机器人目标检测与定位系统研究［J］.电子技术与软件工程，2022（2）：137-140.

［7］任钰.基于Faster R-CNN的小目标检测研究与应用［D］.安庆：安庆师范大学，2022.

［8］孔圣文，马平帅，丁永贤.基于树莓派的双目摄像系统设计与制作［J］.现代信息科技，2022（16）：104-106，109.

（编辑 王雪芬）