彩椒采摘机器人研究现状与展望

王周宇

（广东省现代农业装备研究所，广东 广州 510630）

0 引言

近年来，我国设施园艺发展迅速。截至2019年，我国设施园艺面积达370 万hm2，是世界设施园艺面积最大的国家，设施园艺成为许多省市农业中的支柱产业和农民致富的主要途径[1-2]。辣椒作为设施园艺的主要种植对象之一，其全球总产量已超过6 000 万t，是世界上排名第3 的蔬菜作物[3]，20 世纪90 年代我国引进彩椒品种，因其果形大，果皮光滑，色彩鲜艳，口感甜脆，适合鲜食，营养价值高，抗病性好等特点受到广大国民的青睐，彩椒也是我国设施农业种植面积较大的品种之一[4-6]。如今我国的彩椒种植在收获阶段基本上还是依靠人工完成。彩椒人工采摘工作量大、劳动强度高，需要大量劳动力，采摘环节劳动力的使用量占整个生产过程中劳动力使用量的40%～50%[7-8]。我国由于劳动力高龄化和大量青壮年劳动力流向非农行业，导致农业劳动力资源紧缺，劳动力成本骤升，彩椒人工采摘成本占其全生产成本的33%～50%[9]。随着人口老龄化及农业劳动人口的减少，进行彩椒智能采摘机器人开发，对于降低劳动力成本，提高彩椒产业利润具有重要意义。

1 国内外研究现状

彩椒采摘机器人研究涉及应用机器视觉识别、机械臂路径规划与避障、人工智能、机器人控制以及自主导航等多项高新技术[10-15]。彩椒采摘机器人通常由整机结构、控制系统、末端执行器、视觉识别系统等重要部分组成。

1.1 彩椒采摘机器人整机结构

日本及欧盟的专家和研究院对彩椒采摘机器人的设计研发起步较早。如日本的高知技术大学持续对彩椒采收机器人进行了研究，开发了基于三自由度直角坐标机械臂和剪刀式末端执行器的移动采摘机器人[16]（如图1a 所示），随后又针对单支双株式栽培的彩椒开发了基于多自由度关节式机械臂的彩椒采摘机器人（如图1b 所示）[17]。欧洲的瓦格宁根大学在2010—2014 年间对彩椒采摘机器人进行了研究与开发工作，其领导开发的彩椒采摘机器人主要由轨道式移动平台、9 自由度的关节机械臂、ToF相机与彩色CCD 相机组成的视觉系统、以及末端执行器组成，并开发了Crops 彩椒采摘机器人（如图1c 所示），2015—2018 年瓦格宁根大学又开发了Sweeper 彩椒采摘机器人[18-19]（如图1d 所示）。澳大利亚昆士兰科技大学[20]（如图1e 所示）和以色列本古里安大学[21]（如图1f 所示）等也进行了基于UR多关节机械臂的新型彩椒采摘机器人的开发。

图1 国内外彩椒采摘机器人整机实物

1.2 彩椒采摘机器人控制系统

采摘机器人涉及到多种传感器信息以及多种执行元件，一般采用主从控制模式协调控制众多的传感器和执行元件。主从控制模式的控制系统分上位机和下位机，通常由1 台上位机和多台下位机组成。上位机主要负责系统的整体控制，进行任务规划，协调各个下位机的功能，上位机同时部署有需要大的运算能力的功能，比如视觉识别程序以及机械臂路径规划算法等。各个功能模块的控制系统作为系统的下位机，用于处理上位机发送的任务指令或反馈功能模块感知到的信息。此类控制模式的系统容易搭建，各个功能模块的具体功能由下位机实现，上位机仅需专注于整个系统的控制，利于多人协同开发。比如上位机发送指令使末端执行器进行采摘动作，下位机的末端执行器控制系统控制完成末端执行器的动作，比如剪切、夹取等。上位机与下位机一般通过串口、USB、网络等方式通信。瓦格宁根大学的HEMMING 等人研发的彩椒采摘机器人使用基于x86 的专用电脑的工控机作为上位机，传感器通过网络接口或USB 接口与上位机通信，末端执行器及驱动单元通过网络接口和CAN 总线与上位机通信，对算力有要求的任务如图像处理等放在另一台电脑上执行，并通过网口与作为上位机的工控机通信。HEMMING 基于ROS（Robot Operating System，机器人操作系统）系统开发了采摘机器人的控制系统[18]，ROS 是一种分布式的进程框架，实现各个功能的部件作为节点，各个节点之间通过话题、服务互相通信，便于机器人的控制系统开发。

1.3 彩椒采摘机器人末端执行器

彩椒采摘机器人的末端执行器方面，日本高知技术大学的SHIVAJI 等人设计了一款基于热切割系统的彩椒采摘末端执行器[17]，如图2 所示，其主要由夹取机构和切割机构组成。夹取架构通过伺服电机驱动齿轮齿条机构从而使槽口板向前或向后运动，槽口板向前移动时夹持杆夹紧以抓取甜椒，槽口板向后运动时夹持杆向两边运动从而松开甜椒。切割机构分别使用电弧热切割系统（EATCS）以及温度电弧热切割系统（TATCS），其中EATCS 是在电极两端加载高压产生电弧，从而对彩椒果梗进行切割，TATCS 是在金属线两端加载电流使金属线产生高温从而对果梗进行切割。试验结果表明通过热切割采摘的彩椒保鲜时间为15 d，而用剪刀采收的彩椒保鲜时间为5 d，但热切割时间需要1.5 s，耗时较长。图3 是末端执行器的实物图，结构复杂，体积较大，容易与叶子、果茎等部位碰撞。

图2 日本高知技术大学SHIVAJI 设计的末端执行器

图3 SHIVAJI 设计的末端执行器实物图

日本高知技术大学的KITAMURA 等[16]设计的彩椒采摘专用末端执行器为剪刀式如图4 所示，包括剪刀、平行连杆机构以及驱动机构等部分。剪刀是日常使用的剪刀，方便更换和研磨，从而保持其锋利性，提高切割成功率。该末端执行器未设计夹持机构，切割后彩椒会直接落到地上，无法实现自动装篮，且体积较为庞大，容易与叶片和果茎产生碰撞，其试验也表明，去除了甜椒附近的叶片才能成功采摘彩椒，若不去除甜椒附近的叶片则采摘成功率较低。荷兰瓦格宁根大学的HEMMING 等[18]设计了2 种温室彩椒采摘机器人的末端执行器，如图5所示，分别为唇吸式末端执行器和夹持式末端执行器。唇吸式末端执行器主要由2 个自适应手指、剪刀和末端二次定位系统组成，二次定位系统由ToF相机、彩色相机和LED 灯组成，二次定位系统可以对剪切位置进行定位和微调，形成视觉伺服。唇吸式末端执行器主要由吸盘、2 个唇形刀架、二次定位系统组成，该末端执行器用吸盘固定彩椒果实，再使用唇形切刀将果梗切断。这2 种末端执行器在自然条件下果实收获的最高成功率分别为26%和33%，在去除果实附近的叶片后，2 种末端执行器的采摘成功率分别为93%和61%，切割成功率分别为29%和76%，但是这2 种末端执行器体积较大，不够灵活，在有叶片的情况下采摘成功率较低。

图4 日本高知技术大学甜椒末端执行器

图5 瓦格宁根大学设计的甜椒末端执行器

1.4 彩椒采摘机器人视觉识别方法

以色列本古里安大学的E.VITZRABIN 使用Kinect相机搭建了彩椒识别系统，并使用两个150 W 的卤素灯进行照明，如图6 所示。其对比了以高TPR（真阳性率）为目标和以低FPR（假阳性率）为目标的两种算法，分别使用两种算法对目标彩椒进行识别和抓取，试验得到结果是以高TPR 为目标的算法成功抓取率为80%，而以低FPR 为目标的算法成功抓取率为50%，表明以高TPR 为目标的识别算法能更好的提高彩椒采摘机器人的成功抓取率，同时试验表明，添加卤素灯作为人工照明并不总能提高识别准确率，特别是当自然光照强烈时，添加人工照明会造成照片过曝，导致识别率下降[21]。日本高知技术大学的S.KITAMURA 等搭建的识别系统如图7 所示，其由2 台彩色CCD 相机、1 块数据采集板和图像处理程序组成，2 台彩色CCD 相机平行放置组成双目视觉系统，从而获取相机与被测量甜椒之间的距离。S.KITAMURA 等人在左边的相机周围安装了LED 灯，如图8 所示，限制LED 灯的照明面积使左眼与右眼的图像处理结果相同，使用白色LED 灯照射彩椒时，彩椒与彩椒叶子的色调具有明显不同，如图9 所示，利用这种差异，在HSI 颜色空间下将彩椒从叶子中识别分割出来。此方法对于彩椒的识别率为80.8%，未出现识别树叶的错误结果，但该种识别方法需要在夜间或者自然光线很差的环境下使用[22]。江苏大学的姬伟[23-24]提出了青椒及采摘点识别方法，首先基于模糊集理论算法增强青椒图像，然后采用SEEDS 超像素算法对青椒图像进行分割，再基于改进的流行排序显著性检测算法对青椒进行识别，识别率为85.6%，最后利用SUSAN 角点检测算法确定果梗采摘点。佛山科学技术学院[25]提出了一种基于MaskRCNN 的青椒图像检测方法，通过训练获得基于青椒图像的MaskR-CNN 检测青椒的模型，使用识别模型对青椒进行识别并获得青椒的坐标信息，然后基于采摘序列算法规划视野范围内彩椒的采摘顺序。

图6 E.VITZRABIN 搭建的识别系统示意图

图7 S.KITAMURA 搭建的识别系统示意图

图8 安装在CCD 相机上的LED 灯

图9 使用白光LED 捕获的图像

2 存在的问题及发展方向

2.1 整机结构

彩椒采摘机器人研究目前集中于日本、欧盟、澳大利亚、以色列等国，国内主要在彩椒采摘机器人的视觉识别方面进行了相关研究。国外机构如日本的高知技术大学、欧洲的瓦格宁根大学以及澳大利亚昆士兰科技大学研发的彩椒采摘机器人样机可在实验室环境下实现彩椒采摘的功能，但是采摘机器人的总体结构庞大。由于彩椒种植环境的空间一般相对狭小，所以彩椒采摘机器人应向小型化发展以适应彩椒种植环境，后续彩椒采摘机器人的开发应着力于使整体结构更加紧凑。

2.2 末端执行器

为实现彩椒自动采摘需要研发专用末端执行器，目前学者们研发了各种原理的末端执行器，但由于其结构复杂，动力源多，导致整体结构庞大，难以避开障碍物，遇到叶子遮挡时，会降低采摘成功率。部分末端执行器仅仅有剪切的功能，没有夹持的功能，剪切完后彩椒会落到地面，无法完成自动装篮的过程，需要人工进行二次捡拾。所以彩椒采摘末端执行器应向小型化、灵巧化方向发展，同时具备夹持功能或配合其他收集装置实现自动装篮功能。

2.3 控制系统

目前研发的彩椒采摘机器人控制系统大多搭载在PC 机上，因此PC 机需要安装在彩椒采摘机器人上，导致彩椒采摘机器人体积庞大。随着深度学习以及用于深度学习的嵌入式技术发展，采摘机器人可以采用计算性能好的嵌入式硬件作为采摘机器人的控制系统，此类嵌入式硬件体积较小，可以大幅减小采摘机器人的体积。随着5G 技术的发展，也可以在云端部署彩椒采摘机器人的控制系统，控制系统与采摘机器人之间可以通过5G 信号进行通信，实现控制系统对采摘机器人的控制。

2.4 采摘效率

目前彩椒采摘机器人的研究还停留在实验室或小规模试验，未有成熟的产品能够直接应用，其原因是多样的，如采摘成功率低、采摘效率低、装备运行不稳定等。针对采摘机器人采摘成功率较低的问题，可以对彩椒采摘机器人的各个部件进行优化，研发更轻便灵巧的末端执行器，研究更智能的机械臂路径规划与避障方法；除此之外，还应该与农艺相结合，在农艺上改变栽培方法，使彩椒更便于机械化采收，多项举措并行，从而提高采摘成功率。采摘效率低的主要因素是机械臂因避障产生的无效行程较多，应研究更智能便捷的机械臂路径规划算法，同时在农作物力学特性范围内尽可能提高机械臂运行速度，从而提高采摘效率。针对采摘机器人运行不稳定问题，除了在实验室进行样机试验外，还应在实际场景中进行大量长时间的彩椒采摘试验，在试验中发现问题并解决，形成正反馈，提高采摘机器人的稳定性，早日实现商业化。

3 结语

2020 年，农业农村部发布的《关于加快推进设施种植机械化发展的意见》提出了到2025 年我国设施机械化水平总体达到50%以上的要求，在此背景下，针对性研发适用于中国设施园艺产业的彩椒智能采摘机器人，可解决彩椒生产过程中劳动力紧缺的问题，对于降低劳动力成本，提高彩椒产业利润具有重要意义，同时也可提高设施园艺机械化与智能化程度，具有良好的推广应用价值。