果园采摘机器人研究综述

李会宾，史 云

（中国农业科学院农业资源与农业区划研究所/农业农村部农业信息技术重点实验室，北京100081）

0 引言

近年来，在现代农业产业基地和智慧农业大发展的背景下，我国水果产业得到快速发展。由于水果种植区域规划更加优化，数字化管理技术水平逐步提高，果品行业不断深化供给侧结构性改革，我国巨大消费市场对高品质水果的需求，促使水果产业效益越来越明显。该产业已成为推动农业结构调整、区域经济发展和农民脱贫增收的重要产 业［1］。虽然我国水果产业已取得快速发展，但仍存在种种问题。如科技化生产管理水平低、人工成本投入占比过高、渠道对接不及时等问题，导致部分种类水果市场价格过高，这种现象严重影响了水果产业朝着优质高产的方向发展。目前国际上公认的一个规则是果农销售价格为成本的2倍，市场零售价格为成本的7～10倍［2］。充分发挥农业科学技术这一重要生产力的作用，是降低水果生产成本，提升果农收入，提高水果产量和品质，促使水果行业良性循环发展的重要途经。

在全国果园中，柑橘和苹果是规模最大的两类果品。根据国家统计局数据，2016、2017、2018年全国果园面积分别为1 298.2万、1 113.6万、1 116.8万hm2。苹果园占比为18%，产量约为4 139.0万t，柑橘园占比为20%，产量约为3 816.8万t。以柑橘和苹果采收为例，这两大品类拥有广阔的面积和丰厚的产量，但是在收获季节，基本依靠人工采摘，收获采摘约占整个生产作业量的40%［3］，消耗了大量时间和人力。人工采摘存在效率低下和果实损伤的问题，同时我国农村面临着人工成本逐年升高、重要劳动力急剧流失和人口老龄化严重等问题，多种因素最终造成水果生产成本增加，果农收入减少。而水果价格受多种因素影响，并不一定随着人工成本增加而升高，当水果售卖价格低于人工采收成本时，会出现果树挂果不采摘任其腐烂的现象，产生严重的资源浪费。农业自动化采摘是解决当前采摘问题的科学方法。果园采摘机器人是农业自动化采摘的重要研究内容，国内外专家学者对多种类型果园采摘机器人进行了深入研究，并取得大量研究成果。果园采摘机器人的广泛研究和应用，将是降低水果采摘成本，提高果农收入的一条重要途径，也将是我国发展智慧农业的标志性产品。

文章通过文献整理和市场调查对国内外果园采摘机器人的发展现状进行了归纳梳理，展示了果园采摘机器人成果，分析了果园采摘机器人研究中面临的主要问题并提出了解决对策，最后对果园采摘机器人的发展前景做出展望。

1 国内外研究现状

1.1 国内研究现状

在20世纪90年代中期，我国开始进行农业机器人研究，相较于发达国家起步较晚，但也取得了一些成果［4］。采摘机器人主要分为四大部分，包括视觉识别和定位系统、机械臂系统、末端执行控制系统和移动平台。除此之外部分采摘机器人包含了水果收纳和分级系统。胡友呈等研发了一款柑橘采摘机器人，如图1a所示，该机器人通过双目相机获取果树图像，利用改进的VGG16网络模型实现果实识别和障碍物分类，通过基于区域特征的SVM分割算法实现果实的分割和定位，再将定位信息发送给6轴机械臂进行采摘运动，最后通过咬合型末端执行器切断柑橘果梗，实现柑橘的采摘。该柑橘采摘机器人成功率为80%，障碍物成功避障率达到60%［5］。尹吉才等研发了一款苹果采摘机器人，如图1b所示，该机器人具备4驱式底盘结构，机器人基于2R-G-B的OTSU分割算法对图像中的水果进行分割，采用双目视觉系统进行水果定位，采用了一个低成本的3轴机械臂来执行苹果寻找，到达苹果所在位置后，通过设计的一种两指夹取采摘器进行苹果的夹取，实现果柄与果树的分离，其单果采摘平均耗时为29.46 s，室内试验成功率达到91%，但在枝条避障上存在困难［6］。刘静等发明了一款可升降和存储的柑橘采摘机器人，如图1c所示，该机器人安装了一个升降式的2轴机械臂，可以实现不同高度柑橘的采摘，通过同时将视觉定位系统和末端执行系统安装在一起，摄像头会根据柑橘的位置和大小调整机械臂的位置到柑橘的中央，控制环形剪刀的舵机，剪断柑橘果柄，柑橘顺着管道进入箱体内部的滑槽，开始初步分拣和装箱。该机器人采摘1次平均耗时5.4 s，每次采摘的数量为1或2个，采摘的最大高度为1.85 m，由于视觉识别算法简单，识别过程受光线影响较大，识别精确度不高［7］。崔永杰等研究了一款笛卡尔式猕猴桃采摘机器人，如图1d所示，该采摘机器人采用Kinect相机视觉传感器，利用K-means++和OTSU阈值分割法识别出猕猴桃果萼，再运用获得果萼质心的像素坐标，将果萼质心的像素坐标映射到猕猴桃的深度图中，经过一系列坐标转换获取猕猴桃果萼质心的三维坐标，笛卡尔机械臂根据坐标信息对准果实的位置，最终通过具有轨迹槽设计的末端执行器采摘果实。该采摘机器人在测试研究中的果实采摘成功率为80%，采摘每个果实的平均耗时为4.5±0.5 s，损伤率为14.6%。虽然该采摘机器人采收效率获得了很大提升，但是 3轴设计无法根据果实的姿态进行灵活调整，同时由于机械臂稳定性差，容易出现无法成功抓取的问题［8-10］。苏州博田公司研发了一款果蔬采摘机器人，如图1e所示，该机器人是利用深度学习的视觉算法实现果实的识别，并能够判断果实的成熟度，通过双目相机实现果实的定位，根据定位信息引导6轴机械手臂实现水果的对准，最后采用气动切割和夹持实现水果的采摘，采摘机器人也搭载了履带式底盘移动平台，可以实现巡线移动，满足温室矮化水果采摘使用。该采摘机器人采摘成功率可达90%以上，果实损伤率约为5%，每个果实的采摘耗时约10 s。华南农业大学邹湘军团队针对单果类和串型类水果研发了一款多类型采摘机器人，如图1f所示，该采摘机器人根据不同自然光照条件下成熟水果的颜色特征，选取YCbCr颜色模型，利用OTSU算法结合模糊C均值聚类法对荔枝果实和果梗进行分割，计算果实质心与果梗的最大距离，设定与荔枝果实距离为该最大值距离的1/3处为荔枝采摘点，然后利用双目立体视觉算法实现采摘点的空间定位，驱动机器人运动到水果附近，最终通过机械爪抓住水果并扭动进行水果采摘。该水果采摘机器人进行了荔枝和柑橘采摘试验，其中荔枝采摘成功率为80%，柑橘采摘成功率为85%，2类水果采摘1次的平均耗时为28 s［11］。

图1 国内研究的采摘机器人Fig.1 Harvesting robots developed in China

1.2 国外研究现状

以日本和美国为代表的发达国家从20世纪80年代开始研究采摘机器人，并取得了大量研究成果［12］。Jan Bontsema团队在欧盟资助的CROPS项目中开发了一款多功能采摘机器人，如图2a所示，针对不同的水果和蔬菜形态设计了不同移动平台、视觉传感器和末端采摘结构。以苹果采摘为例，该采摘机器人的移动系统采用大型拖拉机，为减轻外界光照的影响，在拖拉机的后方配备有遮光棚，棚内具有稳定的照明系统，采摘机器人的采摘部分和水果都会在遮光棚中完成采摘操作。采摘机器人采用了彩色相机和ToF相机融合的视觉方案，进行传感器对水果的融合识别和定位，随后9轴机械臂会根据定位信息，对准水果位置，由带有剪刀的橡胶鳍片末端执行器进行水果和果梗的分离，实现水果的采摘。该采摘机器人设计高度满足果园场景的需求，末端执行器设计能够更方便地采摘水果并降低水果的损伤［13］。Davidson等设计了一款苹果采摘协作机器人，如图2b所示，该采摘机器人将移动滑轨和机械臂相结合，形成了8轴机械臂，机械臂和自动收集器的协同配合，使得采摘机器人只负责采摘和释放的动作，收集器通过实时对准末端执行器的位置来完成苹果的收纳工作，该技术较好地提高了采摘效率，每个水果的采摘平均耗时为8.61 s［14］。Nguyen等研发了一款可搭载在拖拉机上9自由度的采摘机器人，如图2c所示，在机器人的顶端安装有RGB相机，在末端执行器上安装有TOF相机，这样可以将RGB图像的识别和三维定位数据相融合，驱动机械臂对准水果，最终通过末端进行苹果的采摘。该机器人配备了一个较高的Z轴和较长的机械臂，能够达到果树更高的位置和更深的树冠处，使其更加适合采摘果树上的水果［15］。Onishi等设计了一款苹果采摘机器人，如图2d所示，该机器人采用单镜头多盒检测方法来检测水果，并采用立体摄像机来检测水果的三维位置，利用逆向运动学计算关节在被检测位置的角度，然后将机器人手臂移动到目标水果的位置，最终机器人通过转动末端执行器来收获水果。该机器人能够检测出90%以上的果实，并在16 s内收获1个水果［16-17］。农业自动化初创公司Abundant Robotics研发了一款真空强吸力采摘机器人，如图2e所示，该机器人搭载了三维扫描雷达，在机器人上下移动的过程中，通过人工智能技术实时探测树上的苹果，发现苹果后会自主运动到苹果边缘，将苹果从树上吸进机器内。这款机器人灵活性高，采摘速率快，特别适合用于高密度平面类种植的果园。卡塔尼亚大学实验室研发了一款柑橘采摘机器人，如图2f所示，该机器人可以在橘子树之间自主移动，机器人采摘臂由双目视觉反馈控制，同时每只手臂都配备了1个摄像头和辅助灯光来识别和定位水果，采摘机内部有2个气动执行器控制钳口和夹子，在机械臂对准橘子后，会通过它们共同割取橘梗，第3个执行器控制夹钳底部的滑动托盘接住橘子并将其通过传送运输系统运送到果箱中。该机器人设计结构庞大，运行也较为稳定，适合在宽阔的柑橘场景中进行采摘 作业。

图2 国外研究的采摘机器人Fig.2 Harvesting robots developed in foreign countries

2 果园采摘机器人存在的难题与对策

2.1 视觉识别和定位系统的难题和对策

水果的准确识别和定位是采摘机器人成功作业的关键。对于采摘机器人的视觉而言，果园是十分复杂的自然环境，果园中光照条件不确定性、果实颜色相近、果实被树枝和树叶遮挡、颜色不均匀、大量阴影、果实振荡以及果实重叠等因素都增加了果实目标的识别和定位难度［18-21］。

2.1.1 果实识别分割的难题和对策

采摘机器人在开始作业之前首先要对果实进行识别分割，并检测果实是否存在硬物遮挡等问题，以确保果实满足摘取的条件。果园中相对恶劣的光照环境会很大程度影响算法的稳定性。

针对该情况，部分研究人员采用了配备额定光源的隧道式遮阳棚［13，22］方式，为采摘机器人提供了一个相对稳定的光源环境，可以进一步提升算法的有效性，而该方法多针对树墙式果园种植环境。有的研究人员还提出了利用多模态快速RCNN模型结构，通过训练多种光照条件下的RGB图像和近红外图像的水果识别模型，使模型识别率大大提高［23］。也有研究人员提出使用改进型Mask RCNN网络模型，通过不同光照下和不同颜色的苹果数据集训练，最终获取的模型能在复杂环境下直接以像素级分割出苹果，并能进一步探测出苹果的被遮挡情况［24］。还有研究人员提出使用Mask RCNN进行树枝和枝干的重建，为苹果的硬遮挡检测提供更好的验证，也为采摘机器人判断苹果在树枝和树叶遮挡情况下是否满足采摘提供了依据［25］。

2.1.2 果实三维定位的难题和对策

采摘机器人在实现水果识别后，下一步就是要为机器人提供所识别水果的三维坐标。很多研究直接将双目相机安装在固定的平台上，提供被识别水果的位置。在自然光的影响下，尤其是在逆光的状态下，双目相机的匹配计算深度算法会受到很大影响［26］，获取的定位结果会出现大量的噪声，同时相机基线的长度会限制测量范围，这些因素为水果的定位带来了极大的干扰。

为了避免采用双目结构光的深度相机、ToF相机或者激光雷达进行室外距离测量时受到自然环境影响，通常会将相机或激光雷达安装在采摘末端执行器上［27-28］，这样在机械臂采摘的过程中，水果和机械臂的距离会始终保证在一个可测量的范围内，可以保证水果位置的精准获取。国内研究人员也有提出高清相机和激光雷达相互结合的方法，该方法主要是通过高清相机实现对水果的识别，再通过单线激光的左右方向扫描获取完整的三维深度图，通过二维图像和三维距离的匹配，实现水果的定 位［29］。

2.2 机械臂系统存在的难题和对策

研究中一些机械臂存在功耗过大、移动速度慢、灵活度低、高度和伸展深度小的情况，这类设计虽然能够满足采摘实验要求，在采摘效率上却难以满足实际采摘场景的需求［30］。机械臂在获取位置之后，需要通过控制器快速进行路径规划并执行，机械臂的控制响应速度和可采摘范围在一定程度上影响了水果的采摘效率，目前很多采摘机器人存在采摘效率低下的问题［6，11］，这将严重影响采摘机器人的推广应用。

针对不同的采摘环境，需要选择最优化的采摘机械结构进行采摘机械臂的设计。农业自动化初创公司Abundant Robotics的真空强吸力采摘机器人，针对树墙式的采摘环境，选择了协作杆配合真空吸尘器的设计，该结构能够自由快速地上下移动，实现了快速灵活的采摘作业。国内研究人员也提出了多末端采摘机器人的方案［31］，每一个采摘末端分配一定的作业区，同时开始采摘工作，这也是一种有效提升效率的方 案。

2.3 末端执行器存在的难题和对策

降低水果采摘损耗是至关重要的，良好的抓取和分离程序将减少水果表皮的损伤，有助于保持水果的品相并延长货架期。在人工果蔬采摘过程中，人的手掌对果蔬的夹持力、手指对果蔬果梗的扭断力、果蔬放到框子里的力度等，都需要人为精确地掌握。采摘机器人的末端执行器是与采摘对象直接接触的最后执行部件，实现了人手采摘果实的功能，其采摘性能优异程度直接影响采摘机器人的采摘效果［32］。

不同水果品类间果梗和果实的连接力度差异较大。如苹果的果梗和果实的连接力度小于柑橘，而且针对两种品类的采摘要求也不相同，柑橘采摘一般需要连带部分果梗有助于保存其采摘的完整性，而苹果不需要。同时水果一般所能承受抓力有限，必须得保证抓取时不会损伤水果。根据上述情况，采取合适有效的方式进行果梗分离和抓取释放是采摘中的重要问题。

针对柑橘的采摘方式，研究人员采用蛇头仿生的设计理念，设计了一款大开口的咬合式末端执行器，虽然结构简单，但是能够在不损伤水果的情况下，快速进行柑橘的果梗分离［33］。另一种方式为采用底部带有剪刀的橡胶鳍片设计，这种末端执行器抓持力度能够通过调节电机转的圈数实现抓持力的控制，保证了水果被良好地抓持并快速实现果梗分离［13］。

2.4 移动平台存在的难题和对策

移动平台为采摘机械臂和其他系统提供了能移动的支撑平台。该平台在作业过程中通过移动使得机械臂分区采摘水果，同时移动平台的稳定也是机械臂精确运行的必备条件。有些研究中使用小的移动平台搭载较长的机械臂，机械臂在运动的过程中会造成整个机器人的重心发生变化，最终导致机器人晃动，造成定位不精准等问题。此外还有些研究中机器人底盘过低，使得机械臂采摘高度受限。

针对移动平台晃动的情况，可以提升移动平台的大小和质量，保证采摘机器人作业过程的稳定性；针对移动平台过低的难题，可以加装自主升降式的平台，或者给机械臂加装升降式Z轴设计，将机械臂安装在升降式平台或Z轴上，来提升整个机器人的作业范围。

3 展望

该文综合介绍了采摘机器人潜在的需求、国内外研究进展、目前所面临的问题及对策。果园采摘机器人的研发需要多领域、多学科共同协作，集合了农艺、计算机、机电一体化、动态控制、深度学习、智能系统、传感器、软件设计、系统集成和作物管理等多学科核心技术和方法，技术难度高、研发成本大，导致农业采摘机器人在国内外还未进入经济实用的阶段，国内尚处于研究技术积累期，国外对于采摘机器人的研究虽然起步较早，拥有很多科研成果，但是大多也停留在科研试验阶段，研发实时、低成本和全自动的采摘机器人还有很长的路要走。我国已进入农业4.0时代，国家对智慧农业相关技术和装备研发的支持力度也在不断加大，未来果园采摘机器人在智慧农业发展中将有巨大的应用空间，智能采摘机器人的研发也需要加大力度，综合多学科高新技术，提高机器人的精准化、便携化、低成本化。