温室番茄采摘机器人系统的研究

杨延丽

(集美大学 诚毅学院，福建 厦门 361021)

随着科学技术水平的不断发展，将机器人应用于农业生产的技术日趋成熟。目前定位水果在树上的位置主要依靠于计算机视觉,利用图像传感器捕捉树的整体图像,之后采用图像处理算法检测和分析水果，进一步得到检测结果的正确率或错误率。这些系统大多使用CCD相机来捕捉图像，并使用局部或整体形状分析、检测水果。

国内外学者对农作物采摘机器人进行了大量研究，并取得了一定成果。例如，文献〔2〕设计了一个采摘机器人在温室进行水果的采摘,该采摘机器人将末端执行器和计算机视觉检测系统搭载于自主移动机器人上。作为采摘机器人的眼睛，计算机检测系统可以检测水果及其周围环境，然后通过移动机器人和末端执行器配合完成采摘动作〔2〕。文献〔3〕开发了一种能自动采摘温室内黄瓜的采摘机器人。该方法利用CCD相机采集图像，采集和搜索黄瓜所在位置需要124秒，成功率为74.4%〔3〕。文献〔4〕开发了一种番茄采摘机器人，利用机器视觉系统对番茄进行检测和分析，该机器人末端执行器由四个爪形手指和一个机械手组成，机械手负责采摘和放置水果。该机器人检测番茄成功率为95%，采摘成功率为85%〔4〕。文献〔5〕开发了一个草莓采摘机器人，该机器人使用两个CCD相机和一个激光测距仪来识别草莓的位置，并使用一个末端执行器来切断草莓。

该机器人摘草莓的平均时间是7秒〔5〕。文献〔6〕开发了一种基于实时机器视觉系统的机械手采摘红富士苹果，该机器视觉系统由彩色CCD摄像机和PC机组成〔6〕。文献〔7〕开发了一种集束式番茄采摘机器人，末端执行器有两个手指。采用双CCD视觉系统来识别番茄的位置〔7〕。

以上述研究成果为基础，本文提出了一种温室番茄采摘机器人系统，包括末端执行器、机器视觉、机器人载体和控制系统。控制系统包含三个单元，即机器人手臂和末端执行器控制单元、机器人载体控制单元和中央控制单元。自主采摘机器人系统结构如图1所示。

图1 采摘机器人系统的结构

1 自主采摘机器人系统的设计

1.1 末端执行器的设计

文章使用的机器人手臂为三菱RV-M1有5个自由度，总长度为482 mm。每个轴都有其最大的工作角度，因此必须为未来的测试规划确定适用于机器人手臂的工作空间。末端执行器的控制信号由计算机或机械手控制单元并通过RS-232适配器卡传输。末端执行器设计为四根手指，安装在左右开闭板上。利用机器人手臂前端的左右开闭装置对爪进行开闭。爪的最大张开尺寸为89.62 mm。每个手指有三个关节，每根手指上都安装了泡沫状的软涂层材料，以减少采摘过程中手指的夹持对水果和蔬菜的损害。另外，末端执行器配有一个光电接近开关、两个限位开关和四个螺线管执行器，用于检测番茄是否在夹爪中，用以检测夹爪的开闭范围并驱动夹爪弯曲。

1.2 机器视觉系统的设计

机器视觉系统由一个图像捕捉适配器卡(NI PCI-1411)、一个CCD相机(SENTECH STC-630)和一个镜头(AVENIR CCTV镜头8 mm)组成。CCD相机的最终分辨率为768像素(水平方向)×494像素(垂直方向)，传感器芯片为1/3，芯片尺寸为4.8 mm(水平方向)×3.6 mm(垂直方向)。镜头焦距为8 mm，光圈范围为F1.3～F16。捕捉到的视野由工作距离决定〔7-10〕。摄像机通过图像捕获适配器卡将捕获的图像信号传输到计算机进行进一步处理，图像显示在屏幕上。采用立体视觉系统实现双目视觉，操作时首先通过移动平台建立一个单摄像头，将西红柿植株放于摄像机的前面，反射植株的左视图影像到摄像机的左视图影像的反射组件，将植株的右视图影像反射到单个摄像机的右视图影像反射组件，实现双目视觉。在末端执行器路径规划中，立体视觉系统可获得每个番茄的实际三维位置。

1.3 机器人载体

机器人载体携带一些硬件单元，如机器人手臂、升降平台控制器、机器人控制器、PC机、载体驱动电机等。机器人载体有两个轴的定位控制，包括机器人载体的前进和后退(x轴)以及机器人载体的上升和下降(y轴)，因此机器人系统可以在较大的空间范围内进行拾取操作〔11〕。

2 机器人控制系统

文章使用了LabVIEW ver. 7.1作为控制软件的图像控制程序语言〔12〕。以Vision Assistant 7.1作为前端图像处理软件，将Vision Assistant生成的图像在LabVIEW上进行集成应用〔13〕。控制系统由机器人手臂和末端执行器控制、图像处理、机器人载体控制和中央控制单元四部分组成，如图2所示。

图2 机器人系统程序结构末端执行器

2.1 机器人载体控制

图3为机器人载体控制硬件结构示意图。计算机将控制指令传输给PLC(可编程逻辑控制器，DVP-32EH，有16个输入和16个输出)。PLC负责机器人载体XY方向的定位控制。计算机与PLC的传输接口为RS-232，计算机与PLC之间的通信参数在LabVIEW开发环境中使用串口Init进行设置。

图3 机器人载体控制硬件结构示意图

机器人载体控制指令读写采用LabVIEW VISA(虚拟仪器软件架构)模块进行串口通信，控制机器人载体水平和垂直移动。机器人载体的四个轮子的x方向移动由减速电机驱动。平台由1 200 mm的液压装置驱动，在y方向移动。采用每脉冲0.5 mm的线性编码器计算平台的位移。

图4为机器人载体的控制动作流程。先读取操作员命令，判断机器人载体的移动方向及位置，根据前后左右的预设位置判断，当达到预期位置后结束。

图4 控制机器人载体的动作流程

2.2 图像处理

以LabVIEW为开发环境，通过LabVIEW的图像处理工具包IMAQ (image AcQuisition)模块的图像采集卡对摄像头进行控制。在LabVIEW上开发了Vision Assistant 7.1的图像处理程序，并进行了集成应用。相机获得良好的曝光图像，并进行平衡调整，以获得良好的图像，无论光线条件如何变化。该程序利用HIS (hue, Saturation, Intensity)色彩系统的色调指数对番茄进行分级，在二维坐标上分别搜索番茄的位置和外部特征。它还计算了番茄的花梗、中心和底部的信息。此外，如果出现番茄重叠，程序还可使用图像处理方法找到番茄的中心。综上所述，所开发的图像处理与分析能够成功地捕捉到良好的图像，并计算出番茄外部特征的三维坐标。

2.3 机器人手臂和末端执行器控制

机械手控制单元通过RS-232串口与计算机通信。在LabVIEW的开发环境中，使用串口Init来设置计算机和机械手控制单元的通信参数。通信参数设置为流量控制使能，串口号(COM1: 0或COM2: 1)；波特率为9 600，数据位为7位，停止位为2位。机械手的指令读写主要是通过VISA模块进行指令的传输来控制机械手。

图5为机械手系统的控制动作流程。首先，机器人手臂的夹爪固定在目标番茄的正前方，并向这个方向拉伸，驱动螺线管弯曲爪指。然后，机器人手臂向同一方向缩回。接近开关检测是否有目标番茄，靠近目标番茄后驱动夹爪夹住并检测限位开关信号，当触发限位开关时，夹爪旋转把番茄从茎上拿下来。机器手臂将被驱使把采摘到的番茄放进篮子里，完成操作。

图5 控制采摘机器人系统的动作流程

3 实验结果及分析

3.1 末端执行器和视觉的联合采摘试验系统

摄像机工作距离为660 mm，视野为396mm×297 mm。末端执行器可选择184mm ～ 336 mm范围内的目标，占视野面积的52.57%。这个范围是通过分析目标的重心坐标得到的。如果图像分析中目标的重心坐标在这个范围内，那么末端执行器就可以选择目标。通过实验分析确定图像空间，确定末端执行器在有限范围内的拾取成功率。采摘成功率的计算方式如式(1)所示。

(1)

选取直径分别为60 mm、70 mm、80 mm的聚苯乙烯球进行采摘成功率试验。在拾取极限范围内，如果测试球不相邻，且拾取球时夹爪不接触其他球，则测试点坐标由自编程随机数派生。每次生成三个测试点坐标用来悬挂测试球，模拟拾取。重复该步骤30次，从而模拟拾取90个球，计算采摘成功率。从图像捕获识别到拾取完成，对拾取操作时间进行了测试和分析。因此，将3个测试球放入采摘范围内进行采摘，记录15组数据，分析45个球，从而计算平均采摘操作时间。

3.2 自主采摘系统的集成测试

图6为集成自主采摘系统测试，包括载体移动、平台升降、图像采集与分析、采摘。为了模拟温室番茄的实际采摘操作，本试验使用随机数程序生成1 008 mm×925 mm范围内的果实坐标位置。

图6 工作流集成测试原理图

因此，每一种类型有45个球被测试三次，以计算采摘成功率和平均采摘操作时间。机器人载体控制包含15个动作，从起始点到O点。根据图像空间和末端执行器拾取范围设置正向和垂直移动量。总体采摘成功率为超过89.63%。试验用球直径分别为60 mm、70 mm和80 mm，平均采摘成功率分别为94.83%、91.83%和89.63%。捡球平均时间为35.96秒，每小时捡球作业能力为100.1球。

3.3 机器人实验

实验分为两组，对红色西红柿采摘实验和对于黄色西红柿的采摘实验。如图7、图8所示。机器人采摘受光线以及西红柿的颜色影响较大。因此，本文对于不同光线环境下，对于两种大类的西红柿的采摘情况进行了测试。首先是光源较强的情况下，日光充足的正午完成对两类西红杮的采摘，实验数据显示，日光充足的情况下，两类西红柿采摘成功率较好，其中红色西红柿的成功率为接近95%，高于黄色西红柿的91%。选择日落前后光线一般的时间点加入人工光源后的采摘率明显提高，两类西红柿的采摘率均超过了98%。

图7 黄色西红柿采摘

图8 红色甜西红杮采摘

另外，对于阴天的采摘也进行了实验，效果同样比光线好的晴天要高出2%的成功率。

该研究结果为智能西红柿采摘机器人的研发及推广应用提供了技术支撑。

4 总结

本研究开发了一种温室种植的番茄自动采摘机器人系统。采摘机器人控制系统由机器人手臂和末端执行器控制、图像采集与分析、机器人载体控制和中央控制单元四部分组成。视野范围为396 mm×297 mm，末端执行器可拾取目标的范围为336 mm×184 mm，占视野面积的52.57%。集成测试使用直径为60 mm、70 mm和80 mm的测试球。每一种有45个球，测试了三次。平均采摘成功率分别为94.83%、91.83%和89.63%。捡球平均时间为35.96秒，每小时捡球作业能力为100.1球。本研究开发了温室番茄采摘机器人系统的软硬件，满足了预期的功能需求。今后将进一步加强温室栽培番茄采摘操作的实用化试验，使该系统更加实用。