果蔬采摘机器人研究综述
2014-12-24徐铭辰牛媛媛余永昌
徐铭辰,牛媛媛,余永昌
(河南农业大学,河南郑州450002)
果蔬采摘是农业生产中最耗时耗力的一个部分,需要大量的劳动力的投入,目前国内果蔬采摘作业基本上还是靠手工完成,其成本高、季节性强,自动化程度仍然很低。而且在高强度的劳动过程中种植者为了追求收获的效率,往往会忽略采摘的质量,这直接影响了果蔬的储存、加工和销售,最终影响农民的收入。所以用机器人作业,实现果蔬采摘的自动化和智能化,是解决上述问题的最好方式。研发果蔬收获机器人对于解放劳动力、提高劳动生产效率、降低生产成本、保证新鲜果蔬品质等方面都有着重要的意义[1-3]。
1 国内外研究进展
20世纪60年代美国开始了机器人及收获自动化的研究,采用的收获方式主要是机械震摇式和气动震摇式,但是收获效率不高,果实易损伤,特别是无法进行选择性的收获[1-2]。80年代开始,由于计算机技术迅速发展,促进了果蔬采摘机器人在图像处理技术以及人工智能技术方面的迅速发展。其中,日本、荷兰、美国、意大利、英国、韩国等国家在采摘机器人的研究上开展大量的工作,主要是以番茄、甜橙、苹果、芦笋、黄瓜、西瓜、葡萄、草莓等为研究对象,成功地研制出了多种采摘机器人样机。
1.1 国外研究进展
1.1.1 番茄采摘机器人。图1为日本KNODO等研制的番茄采摘机器人。它采用三菱RH-6SH5520型4个自由度的工业机器人,是在单个果实采摘机器人的基础上研制的。该机器人只能进行串番茄的采摘,最大的承重为6 kg,采用光电传感器对果梗进行定位,利用机械手的末端执行器,把一整串果实剪下来。该番茄采摘机器人适合在高密度种植的绿色温室大棚使用,采摘单串番茄需要15 s,而且成功率只有50%,采摘成功率较低。该机器人存在的主要问题:①末端执行器对花梗的加紧力度不够;②末端执行器偏大,无法在密集的环境中准确地夹持,所示该机还处于研究阶段,无法商业化[4]。
1.1.2 樱桃采摘机器人。图2为日本Kanae等研制的樱桃收获机器人。它主要由4自由度机械手、视觉传感器、末端执行器和计算机组成。机械手的1个轴可上下移动,另外3轴可左右移动,这样机械手可以在樱桃树干四周运动,确保末端执行器能够到达树干四周进行采摘。三维视觉传感器安装在机械臂上,可以随着机械手一起移动,从而减小视觉死角。在视觉传感器获得果实位置后,末端执行器运动至果实所在位置,真空吸尘器通过管道向末端执行器提供一定的负压,将樱桃吸附在真空管口,末端执行器机械指夹住果梗,果实连同果梗一起从树上摘下,送至集果箱,完成一次收获[5]。
1.1.3 草莓采摘机器人。图3为日本Hayashi等开发的3自由度草莓收获机器人。它主要由1个极坐标式机械手、机器视觉、末端执行器和移动平台组成。机器视觉单元由1个二极管和电荷耦合器件摄像机组成,两侧的摄像机用来确定成熟果实在三维空间的位置和果实的成熟度,中间的摄像机用来检测梗位置和倾斜度。末端执行器包括1个夹持器切梗和反射式光电传感器,缓冲材料粘贴到手指的接触面以使它能够同时夹持和切梗。该机的平均收获成功率为54.9%。采摘成功率较低的原因:①收获过程中容易被其他草莓遮挡而难以实现单个草莓的采摘;②视觉系统不能准确识别,最终导致机器人不能成功地采摘草莓[6-7]。
1.1.4 西瓜(瓜类)收获机器人。图4为日本Kyoto大学研制的一个名叫“STORK”的西瓜收获机器人。它包括机器手、视觉传感器和行走装置[8]。该机器人采用立体图像方法识别水果的相对位置,同时采用3重水果形状的真空吸盘来提起西瓜。在试验过程中由于真空吸盘的位置偏差,以及提供的吸力不足,导致采摘成功率为66.7%。
1.1.5 黄瓜采摘机器人。图5为荷兰农业环境工程研究所研制出的一种多功能黄瓜收获机器人。该机器人包括自治车辆、机械手、末端执行器、两个计算机视觉系统。采用三菱公RV—E2的6自由度机械手,另外在底座增加了一个线性滑动变成7个自由度的机器人。同时采用近红外视觉系统辨识黄瓜果实,探测它的位置,然后通过机械手末端执行器只收获成熟的黄瓜,而不损伤其他未成熟的黄瓜。试验时无人干扰,机器人自行采摘,成功率80%,平均45 s采摘1根黄瓜[9]。
图1 日本的番茄采摘机器人
1.1.6 柑橘采摘机器人。图6所示为佛罗里达大学的Mehta等研制的7自由度柑橘采摘机器人。该系统采用闭环控制,可进行及时反馈,同时采用双摄像头,一个安装位置固定,另一个安装在末端执行器的中心位置,随机械手移动。机器人在实验室内对柑橘进行随机的采摘试验,采摘成功率达到95%。但是该采摘机器人只适用于采摘大中型品种的柑橘,对小品种的柑橘采摘效果不太好[10]。
1.1.7 菊苣采摘机器人。图7为巴里理工大学与莱切大学合作研制的菊苣收获机器人。该机器人整体安装在拖拉机上,该机是由一个双四杆机构机械手、末端执行器、视觉系统组成。电荷耦合摄像机安装在腕关节盘下方,基于智能彩色滤波算法和图像形态学操作来确定菊苣的位置。两机械臂和末端执行器采用气动式。在工作时末端执行器从地下约10 mm处削减根茎,夹持输送到最底部的托盘,确保适当的产品储放。该机的定位准确率达到了93.7%,一个完整的采伐作业时间大约需6.5 s。但是如果菊苣被叶片完全遮蔽,那么视觉系统将无法识别,直接影响采摘效果[11]。
图2 日本的樱桃采摘机器人
图3 日本的草莓采摘机器人
1.1.8 苹果采摘机器人。韩国Kyungpook大学研制出了苹果采摘机器人。该机器人具有4自由度,包括3个旋转关节和1个移动关节。采用三指夹持器作为末端执行器,内嵌有压力传感器,用以避免损伤苹果。利用CCD摄像机和光电传感器对苹果进行识别,从树冠外部识别苹果时的识别率达85%,速度达5个/s。该机器人末端执行器下方安装有果实收集袋,缩短了从摘取到放置的时间,提高了采摘速度。由于只有4个自由度,所以在工作过程中无法绕过障碍物摘取苹果[12]。
图4 日本的西瓜收获机器人
1.1.9 莴苣收获机器人。韩国Cho等研发出3个自由度的机器人用于收获莴苣。该机器人基于机器视觉和模糊逻辑控制原理,包括3个自由度的机械手、末端执行器、莴苣传送带、吹送风机、机器视觉装置、6个光电传感器以及模糊逻辑控制器等。工作时由视觉系统获取莴苣的图像,光电高度传感器测量莴苣高度,当末端执行器靠近莴苣时,风机吹起下垂的叶片便于识别和收获,同时机械手在气缸作用下,线性也开展了大量的研究。东北林业大学的陆怀民研制出了林木球果采摘机器人(图8)。该机器人主要由6自由度机械手、行走机构和单片机控制系统组成,最大采集高度14.0 m,最大作业半径6.8 m。采摘时,机器人停在距离母树3.0~5.0 m处,机械手对准母树。机械手大小臂在单片机控制系统控制下同时柔性升起达到一定高度,采摘爪张开,对准要采集的树枝,大小臂同时运动,使采摘爪沿着树枝生长方向趋近1.5~2.0 m,然后通过采摘爪的梳齿夹拢果枝,大小臂带动采集爪按原路向后返回,梳下枝上球果,完成一次采摘。这种机器人效率是500 kg/d,是人工的30~50倍,向前和向后移动收获莴苣。该机器人的收获成功率为94.12%,平均收获周期为 5 s/个[13]。
图5 荷兰的黄瓜采摘机器人
图6 柑橘采摘机器人
图7 菊苣采摘机器人
1.2 国内发展现状。我国在果蔬采摘机器人方面的研究相对发达的国家起步较晚,但是国内不少的高校及研究所而且该机器人工作时对母树的破坏较小,采净率高[14]。西北农林科技大学的崔永杰研制的4自由度的直角坐标草莓采摘机器人有2个彩色摄像机、机械手、光纤传感器、移动控制单元4个部分组成,一个摄像机识别果实,同时决定收获的顺序,另一个摄像机估计果实成熟程度和花梗的位置,这样起到了很好的识别和定位作用[15]。中国农业大学研制的串番茄收获机器人,采用颜色分量运算和彩色空间转换实现图像阈值分割和目标特征提取,同时对末端执行器进行了设计,实现了串番茄的采摘[16]。中国农业机械化科学研究院的王海峰等设计的菠萝采摘机械手为田间菠萝采摘机器人关键部件研发提供参考[17]。江苏大学的李萍萍等主要是对番茄末端执行器以及番茄的力学特性进行了深入的研究[18-19]。
2 存在的问题
图8 林木球果采摘机器人
很多国家对采摘机器人的研究都进行了大量的工作并且取得了一定的成果,但是有些作物的采摘机器人仍然处于研究的阶段。例如,番茄、茄子、菊苣、黄瓜等作物上,并没有达到商业化水平,仍存在以下问题需要改进。
2.1 果实的识别率、定位精度不高 目前识别果实主要有灰度阈值、颜色色度法和几何形状特性等方法。其中,前两者主要基于果实的光谱反射特性,但在自然光照情况下,由于图像中存在噪声和各种干扰信息,效果并不是很好。采用形状定位方式,要求目标具有完整的边界条件,由于水果和叶子等往往容易重叠在一起,很难真正区别出果实的具体形状,这就会给机器手抓取果实增加难度,进而影响果实的采摘成功率。
2.2 采摘环境复杂给采摘带来困难 果蔬是在自然环境条件下生长,大部分果实被其叶片遮掩,这样机器人就无法识别;有些果实即使能识别出来,但是在采摘过程中仍然需要机器人能够成功地避障,这样也直接地增加了采摘的难度。
2.3 果实的损伤率较大 机器人采摘果实的过程一般是拧断、剪断,都是模仿人们在自然地条件下采摘,机器人虽然是智能控制,但是也不可避免地会对果实造成内部的挤压变形以及表面的划伤。
2.4 果实平均采摘周期较长、效率低 果蔬采摘机器人在实际工作过程中,由于自然条件的多变以及果实识别和定位率不高,都会影响果实的采摘时间,因此目前大多采摘机器人的效率不高。例如,采摘1个黄瓜需要45 s,1串番茄需要15 s,可见提高采摘效率确实是一个关键问题。
2.5 采摘机器人的制造及维修费用高 果实采摘机器人和工业机器人相比较,其结构和控制系统更加复杂,制造成本更高;果蔬采摘机器人使用的季节性比较强,使用周期短,经济性不好;由于其用到了机电一体化技术,在维护时费用比较高。
3 果蔬采摘机器人研究趋势
3.1 可靠性更强 机器人机械结构形式的优劣直接决定机器人可靠性,因此,果蔬采摘机器人在满足功用和性能的前提下,要利用仿真分析、优化设计等手段,使机器人机械构件尽可能简单、轻巧,可靠性更强;另外,果蔬采摘机器人不仅作业对象复杂多变,而且作业环境更加恶劣。设备经常是在高温高湿环境下作业,因此,果蔬采摘机器人必须具有良好的可靠性。
3.2 降低操作难度及生产成本 果蔬采摘机器人的操作者,大多是没有受过专业教育的农民,所以操作起来一定要简单方便;另外,由于农民的收入很有限,在研发的时候一定要考虑到成本的问题,生产出来的机器人能在农民接收的范围内。
3.3 开放式结构应用于果蔬采摘机器人 采用开放式的控制系统,提高采摘机器人的通用性,只要简单更换机械手的末端执行器和软件,就可改变果蔬采摘机器人的用途,提高利用效率,降低使用成本。例如,温室大棚里的机器人通过更换不同的末端执行器就能完成不同果蔬的采摘以及施肥等作业。
4 结语
目前,我国果蔬采摘机器人仍处于研究阶段,果蔬采摘机器人尚不能商业化,还有很多的问题需要解决。未来研究应该着眼于努力降低机器人的研发和生产成本,提高采摘机器人的工作效率和工作质量。加上农业工厂化经营模式的推广,相信采摘机器人最终能走出实验室,实现商业化应用,推动现代农业向着装备技术精细化、自动化、智能化方向发展。研究采摘机器人不仅具有巨大的实用价值,而且具有深远的理论意义。
[1]赵匀,武传宇,胡旭东,等.农业机器人的研究进展及存在的问题[J].农业工程学报,2003,19(10):20 -24.
[2]耿端阳,张铁中,罗辉,等.我国农业机械发展趋势分析[J].农业机械学报,2004,15(4):208 -210.
[3]易中懿,胡志超.农业机器人概况与发展[J].江苏农业科学,2010(2):390-393.
[4]KNODO N,YATA K,SHIIGI T,et al.Development of an end-effector for a tomato cluster harvesting robot[J].Engineering in Agriculture,Environment and Food,2010,3(1):20 -24.
[5]TANIGNKIA K,FUJIURAA T,AKASEB A,et al.Cherry-harvesting robot[J].Computers and Electronics in Agriculture,2008,63:65 -72.
[6] HAYASHI S,SHIGEMATSU K,YAMAMOTO S,et al.Evaluation of a strawberry - harvesting robot in a field test[J].Biosystems Engineering,2010,105:160 -171.
[7]HAYASHI S,YAMAMOTO S,TSUBOTA S,et al.Automation technologies for strawberry harvesting and packing operations in Japan[J].Journal of Berry Research,2014(4):19 -27.
[8]UMEDA K,KUBOTA S,LIDA M.Development of"STORK",a watermelon-harvesting robot[J].Artif Life Robotics,1999(3):143 -147.
[9]Van HENTEN E J,HEMMING J,VAN TUIJL B A J,et al.An autonomous robot for harvesting cucumbers in greenhous[J].Autonomous Robots,2002,13(3):241 -258.
[10]MEHTA S S,BURKS T F.Vision-based control of robotic manipulator for citrus harvesting[J].Computers and Electronics in Agriculture,2014,102:146-158.
[11]FOGLIA M M,REINA G.Agricultural robot for radicchio harvesting[J].Journal of Field Robotics,2006,23(6/7):363 -377.
[12]KONDO N,TING K C.Robotic for bio-production systems[M].ASAE Publisher,1998.
[13]CHO S I,CHANG S J,KIM Y Y ,et al.Development of a three-degreesof-freedom robot for harvesting lettuce using machine vision and fuzzy logic control[J].Biosystems Engineering,2002,82(2):143 -149.
[14]陆怀民.林木球果采摘机器人设计与试验[J].农业机械学报,2001,32(6):52 -58.
[15]CHI Y,GEJIMA Y,KOBAYASHI T,et al.Study on cartesian-type strawberry-harvesting robot[J].Sensor Letters,2013,11:1223 -1228.
[16]JI C,ZHANG J,YUAN T,et al.Research on key technology of truss tomato harvesting robot in greenhouse[J].Applied Mechanics and Materials,2014,442:480 -48.
[17]王海峰,李斌,刘广玉,等.菠萝采摘机械手的设计与试验[J].农业工程学报,2012,28(S2):42 -46.
[18]刘继展,李萍萍,李智国,等.面向机器人采摘的番茄力学特性试验[J].农业工程学报,2008,24(12):66 -70.
[19]刘继展,李萍萍,李智国.番茄采摘机器人末端执行器的硬件设计[J].农业机械学报,2008,39(3):109 -112.