我国鲜食葡萄智能采摘核心技术研究现状*

2024-03-08崔振宇周文静李园园

南方农机 2024年5期

崔振宇，周文静，李园园

（新疆科技学院信息科学与工程学院，新疆巴州 841000）

1 葡萄采摘机器人研究进展

葡萄采摘机器人主要由行走装置、机械臂、末端执行器、视觉系统和控制系统组成[1-5]，视觉系统和末端执行器是葡萄采摘机器人的重要组成部分，利用计算机视觉技术对葡萄果穗进行识别和定位，将获取的葡萄果穗位置信息反馈给葡萄采摘机器人，最后利用末端执行器对果实进行分离，从而完成葡萄采摘任务。

如图1 所示为日本冈山大学研制的葡萄收获机器人，主要用于棚架栽培模式的果园，该机器人由5 个机械手、4 个旋转关节以及1 个直动关节组成，直动关节通过简单控制就可获得较高的速度，其旋转关节可以以不同的速度旋转，这使得该机器人能够在棚架栽培模式的葡萄果园中进行有效工作[2]。

图1 棚架栽培模式果园的葡萄收获机器人

如图2 所示为德国ERO 公司生产的“葡萄游轮6000”，该机器与传统采摘机相比，可以实现去梗功能。此外，为了提高利用率，“葡萄游轮6000”收获机配备了多个鼓风机，可以实现对葡萄串的去叶任务[2]。

图2 “葡萄游轮6000”收获机

如图3 所示是中国江苏大学研发的自走式双臂葡萄收获机器人，该机器由自主导航与视觉伺服配合，可以实现机器人基于视觉控制的智能行驶。此外，自走式双臂葡萄收获机可以通过“一目双臂”系统对工作空间内的葡萄果串进行采收。

图3 自走式双臂葡萄收获机

以上是国内外已有的葡萄采摘机器人的研究进展，而国内目前在葡萄采摘机械方面的研究还相当薄弱。因此，本文将通过对现有的自动化采摘机械进行论述与分析，探索适合于我国葡萄采摘的新技术，以促进葡萄种植业、加工业的进一步发展。

2 葡萄采摘核心技术

葡萄采摘机器人主要由葡萄识别技术、葡萄定位技术以及葡萄分离技术三部分组成，要实现葡萄自动化采摘，三个核心技术缺一不可。目前已有不少研究团队通过多种方法实现了对成熟鲜食葡萄果穗的识别[1,6-10]，但要将其落地应用，如何准确定位葡萄果实以及自动化采摘葡萄成为关键。

2.1 葡萄定位技术

葡萄定位技术是葡萄采摘机器人视觉系统的一个重要组成部分，葡萄采摘机器人利用视觉系统识别并定位葡萄果穗，葡萄果穗被识别后，需对其进行准确定位，首先要获得葡萄的成熟度信息，然后通过葡萄采摘点及姿态获取，帮助机器人执行抓取操作。

葡萄采摘点的定位主要分为果实的分割和采摘点的确定，许多分割方法已经被应用到水果的采摘中。梁喜凤等[11]采用了形态学的多尺度提取和番茄边界提取相结合的方法实现了对番茄的分割。苗玉彬等[12]提出了一种基于Zernike 矩边缘检测的分水岭算法，来实现葡萄轮廓特征的提取。同时，很多算法也被应用在水果采摘过程中以完成果实的图像分割，主要包括Otsu[6,13]算法、蚁群算法[14]和K-means[15]聚类算法等[16]。

2.1.1 双目视觉定位技术

双目视觉定位技术是现阶段机器人领域广泛应用的视觉技术之一，其模拟人眼的视觉，采用两个不同位置的摄像头，同步获取同一环境中不同角度的平面图像，根据图像上特征点的关系获得相机的内外参数，据此构建三维模型，还原所需场景的三维环境信息，并对环境中有用的几何形状、相对位置、运动情况等信息进行提取，机器人根据所得信息执行目标动作实现预期行为，或将有用信息进行存储、传输或综合分析[4-5]。

王连增[17]基于OpenCV 与MATLAB 的传统标定法对双目摄像头进行标定。双目摄像头的标定是利用MATLAB 标定工具箱完成，并将标定结果导入双目视觉测距系统。选择Canny 边缘检测算法对匹配进行约束，基于测距可靠性、精度和效率的考虑，最后采用SGBM 算法实现双目视觉立体图像匹配。李元强等[18]为使双目相机标定更加精准，去除标定模糊和标定误差过大的照片后，将标定误差控制在0.13%以内。目前双目视觉定位技术已经将标定误差控制在了最小范围。

2.1.2 VUE技术定位法

用户界面是通过VUE 技术自底向上逐层构建，并形成渐进式的构建框架。操作人员和管理人员的应用权限是利用VUE 技术中的路由系统实现的，同时解决了不同状态下相关组件之间的数据传递问题，并可以实现存储临时数据。前端应用界面的按钮、开关及表格等页面元素是采用VUE 技术中Element UI系统构建的[3]。

王海楠、陈燕等[19-20]在进行智能采摘机器人的葡萄识别与定位时，首先利用高清相机对葡萄果实进行识别，并获取葡萄所在位置信息，同时从葡萄图像中将葡萄果梗分割，从而完成采摘对象的目标识别；然后，对葡萄果梗图像进行二值化处理，检测出果梗角点数据，并采用线性回归的方式确定采摘目标点。但相对于其他技术，VUE 技术的可扩展性较差，不建议采取该技术定位。

2.1.3 基于K-means算法的葡萄采摘点定位

朱衍俊等通过改进K-means 算法的研究，提出算法定位的鲜食葡萄采摘点与最优采摘点的误差小于12 个像素的成功率为90.51%，平均定位时间为0.87 s，实现了对鲜食葡萄采摘点的准确定位。而后，朱衍俊等进行了基于篱壁式种植方式与棚架式种植方式的模拟仿真试验。试验表明，改进的K-means 算法在篱壁式紫葡萄采摘点的定位成功率为86.00%，在棚架式紫葡萄识别定位方面的准确率提升至92.00%[21]。但这种方式对于篱壁式葡萄的定位成功率不是很高，对枝叶遮挡严重的果实定位效果不佳。

2.2 葡萄分离技术

葡萄采摘机器人通过视觉系统识别并定位葡萄果穗后，末端执行器再分离果实，从而完成果实的采摘。现有的分离技术还有很多，主要包括机械振摇式采摘、剪切方式采摘、断梗激励法采摘、抓持-旋切式欠驱动双指手葡萄采摘等。

2.2.1 机械振摇式和气动振摇式采摘

国外葡萄采摘机器人在采摘时，机器人基于振动原理，通过葡萄藤将高频振动传到葡萄果粒。多次瞬时变向运动，使果粒与果梗分离，抖落并收集，如袁民等[22]研究的巴旦木收获机器。但是巴旦木属于坚果，果实较硬。这种采摘方式不适合用于葡萄采摘，容易损伤果实，同样也容易采摘到不成熟的果实。

2.2.2 剪切方式采摘

由于果柄葡萄生长背景复杂，进行果柄识别的前提是准确地将鲜食葡萄从背景中分割出来。李贵宾[23]基于深度学习的图像分割方法，采用DeepLabV3+模型，并与传统图像分割方法进行了对比，最后完成了葡萄剪切分离[23]。这种采摘方式能保证葡萄晾晒后的清洁度和新鲜度，但采摘速度较慢，不适合商业化采摘。

2.2.3 断梗激励法采摘

首先，建立葡萄果实分梗动力学模型，推导果实脱落的理论角速度，分析果实果梗摆动脱落的临界分离条件。其次，利用ABAQUS 软件分析单颗粒葡萄在断梗激振下的动态响应与摆动趋势，探索在无挤压状态下果实形变过程，从而预测串型葡萄在断梗激励下的实际振动响应。最后，对串型葡萄的简化模型进行振动有限元分析，获得葡萄果实在脱落前瞬间相对于果梗结合处的位移、速度、加速度和应力应变等数据，从而确定葡萄的临界振动脱落参数组合[24]。相对于以上方法，断梗激励下葡萄果粒的振动脱落分离方法更适用于商业化采摘，但因葡萄品种不同等原因，导致葡萄采摘的频率不同，所以该方法对不同品种葡萄的振动频率还有待探索。

2.2.4 抓持-旋切式欠驱动双指手葡萄采摘

抓持-旋切式欠驱动双指手葡萄采摘机首先通过葡萄赤道面直径分析确定欠驱动手指机构指节尺寸与转角范围；然后通过建立欠驱动手指机构静力学模型，并基于传力最优和接触力均布的要求，确定了驱动连杆尺寸，结合接触力分析和葡萄挤压破裂试验，获得抓持2 kg葡萄不发生损伤的最大接触力为20 N；再通过手指机构静力学模型求解获得驱动电动机的推力，从而指导驱动电动机的选型，并完成葡萄采摘工作[25]。但因为葡萄的品种不同，所需要的接触力也不同，所以还需研究不同品种葡萄需要的接触力。

3 存在的问题

综上所述，目前国内外研究学者针对葡萄采摘机器人已有大量成果，但现有样机仍存在一定的局限性，距离商业普及化应用仍有差距，主要存在以下问题。

3.1 采摘速度较慢

在葡萄采摘作业中，衡量采摘机器人性能的一个重要指标就是采摘效率，目前导致葡萄采摘机器人作业效率低的原因主要是：在复杂自然环境下，识别定位算法需要考虑很多的因素，如光照强度、枝叶遮盖严重程度等，如上文朱衍俊等研究的基于K-means 算法的葡萄采摘点定位方法，因枝叶遮挡导致篱壁式葡萄采摘效果不佳。而且葡萄采摘机器人自身计算能力有限，算法运行时间长，导致视觉系统实时性低，从而影响采摘效率。如剪切式采摘，机器只能识别一串葡萄，也只能采摘识别后的葡萄，并不能大面积同时采摘，因此导致大部分葡萄采摘机器人采摘速度过慢。

3.2 采摘成功率较低

如图4 所示，在复杂的自然环境中，果实重叠、自然光照强度变化、枝叶遮挡、果实成熟差异大等都会影响葡萄采摘，从而导致误识别或漏识别。采摘机器的振动频率也会导致采摘成功率过低，葡萄属于串型植物，一串葡萄成长周期不同会导致葡萄果实存在成熟差异，当葡萄被识别时，如果采摘机振动过小会导致成熟葡萄漏采，同时采摘机振动过大会导致未成熟葡萄误采。如上文尹建军等研究的抓持-旋切式欠驱动双指手葡萄采摘就需要对采摘葡萄的力度进行更精准的研究。

图4 自然环境果实识别存在的难题

3.3 葡萄存在损伤

在机械化采摘作业过程中，葡萄容易受到损伤，从而造成葡萄品质下降，现在常用的采摘机多为机械振摇式和气动振摇式，在采摘作业的过程中易导致收获的果实颗粒碰撞，造成果实损伤，所以这种采摘方式适用于较为坚硬且在后期使用不强调果实损伤的果实。目前葡萄的识别与定位算法大多只是确定了葡萄串的中心，没有识别出葡萄的姿态，末端执行器无法实现葡萄以特定方式相对于果梗的方向旋转或拉伸，这可能会进一步造成果实的损伤。

3.4 难以商业化

由于工作环境复杂，因此对葡萄采摘机器人的视觉系统、机械臂、末端执行器和控制系统有着很大的挑战。而葡萄采摘机器人采摘速度慢，造成了葡萄采摘机器人利用率不高，作业成本高，采摘效率低[26]。同时，由于无法保证机器的长期使用，也会导致花费多余的维修费、保养费等。如上文李贵宾研究的剪切式采摘方式因识别过慢，导致影响后续采摘速度，所以不适合商业化采摘。