基于双目机器视觉的菠萝自动采收机设计何东健张连兆李响等（207）

2019-08-27何东健张连兆李响李萍王滔鋆

安徽农业科学 2019年13期

何东健张连兆李响李萍王滔鋆

摘要由于菠萝植株和菠萝果实结构的特殊性，目前国内大部分菠萝采摘主要以人工为主，机械化水平较低，采摘工作效率较低，工作环境较差，对手、手臂等身体部位有较大的伤害。设计了一种基于双目视觉的自动菠萝采收机，主要由分行器、行走装置、双目视觉系统、采摘装置、输送装置、收集装置、控制系统和电源供给装置组成，对双目视觉定位系统和主要机械部件进行了介绍，使用SolidWorks软件对采收机进行三维建模，并对其进行了经济效益分析。实践表明，该菠萝自动采收机能满足采摘需求，效率较高，经济效益较好。

关键词菠萝;自动采收机;双目机器视觉;结构设计

中图分类号 S220.2;TP23文献标识码 A

文章编号 0517-6611（2019）13-0207-04

doi：10.3969/j.issn.0517-6611.2019.13.063

开放科学（资源服务）标识码（OSID）：

Design of Automatic Pineapple Harvesting Machine Based on Binocular Machine Vision

Abstract Due to the particularity of pineapple plant and pineapple fruit structure， most of the domestic pineapple picking is mainly artificial， the mechanization level is low， the picking work efficiency is low， the working environment is poor， and the body parts such as opponents and arms have greater damage. An automatic pineapple harvesting machine was designed， which composed of a binocular vision positioning part， a picking part， a conveying part， a collecting part， a hub motor selfpropelled platform and a central control part. Secondly， the 3D modeling and analysis of the picking machine was carried out with SolidWorks software. The design would effectively solve the problems of difficult pineapple harvesting and promote the development of the pineapple industry.

Key words Pineapple;Automatic harvesting machine;Binocular machine vision;Structure design

基金项目 2018年省级大学生创新创业训练计划项目（201803056）。

作者简介何东健（1957—），男，陕西汉中人，教授，博士，博士生导师，从事智能检测与农业信息技术研究。张连兆（1997—），男，山东莒县人，从事机械电子工程研究。何东健和张连兆为共同第一作者。

收稿日期 2019-03-23;修回日期 2019-04-16

菠萝作为一种重要的热带水果，在我国已有400余年的种植历史，在广东、海南、广西、福建均有大面积种植。菠萝果实品质优良，富含果糖、葡萄糖、维生素B和C、柠檬酸、蛋白酶及各类微量元素等[1]，深受人们青睐。菠萝叶中含有丰富的纤维，是一种具有优良杀菌性能的纺织材料[2-3]，并且在药用领域具有抗肿瘤、降血糖、调血脂等作用[4-5]。我国菠萝的种植面积大，在菠萝生产过程中采摘是最重要的一个环节。目前，我国菠萝主要依靠人工采摘，伴随着我国城镇化率的不断提高，农业人口向其他产业流动，菠萝采摘作业面临日益严重的劳动力紧缺与成本快速上升间的矛盾。此外，菠萝叶缘带有锐刺，人工采摘必须穿戴防护服在高温下作业，劳动强度大，效率较低，导致菠萝成本上升，经济效益降低，影响果农的收入。

国内外在菠萝高效采摘方面开展了一些研究。刘玉杰等[6]提出了一种菠萝半自动采摘机，人驾驶半自动菠萝采摘机，由人控制控制平臺对菠萝进行采摘，手动控制机械手对准后采摘，采摘效率较低;吴沛晟等[7]设计了一种菠萝采摘机器人，采用履带式自走平台作为机身，双目定位系统对菠萝进行识别和定位，采摘机械手从菠萝顶部抓取果实并拧断果柄，但只能采摘单列菠萝，采摘效率尚有待提高;陈章恒等[8]提出了一种菠萝收集采摘车设计方案，但菠萝生长高度在35 cm左右，垄高20 cm左右，2个行走轮采用横杆连接，难以具体实施。目前，菠萝采摘机自动化程度不高、采摘效率较低，尚需研究并开发能自动采摘菠萝的装置。

针对上述问题，根据菠萝种植间距均匀、行距较大、果实硕大、果实生长在菠萝植株的顶部、果柄较长、成熟时菠萝果实与果柄连接处较脆等实际种植环境及菠萝自身的生理特点，笔者设计了一种菠萝自动采收机，以期实现菠萝的自动采摘和收集，提高菠萝采摘的机械化水平，促进菠萝种植业的发展，应对劳动力短缺、劳动成本上升的困境，提高果农的经济效益。

1 菠萝的物理特性及采摘需求分析

1.1 菠萝的物理特性

菠萝果实呈椭球体形状，横向直径为11～13 cm，纵向直径为14～17 cm，果实平均质量为0.98 kg。菠萝植株距垄上面高度约35.4 cm，垄高约20 cm，果实与果柄连接处直径约2.53 cm。随机选取10株成熟菠萝进行测定，菠萝果实横向直径、果实纵向直径、果实质量、植株高度及果实连接处果柄直径如表1所示。

辛宝英等[9]随机选取10个带植株的菠萝对与果实连接处的果柄进行切断力测试，10次测定的平均值为30.8 N，由于切断力受刀刃锋利程度和机械效率的影响，将切断力放大12倍，得出所需切断力为36.96 N。

1.2 采摘需求分析

根据菠萝种植和果实特性，设计的菠萝自动采收机具有能自动完成自主行走、果实识别、采摘、输送、收集等基本功能，且需要满足以下基本要求：①作业过程不损伤菠萝植株和菠萝果实;②具有较高的识别率，漏摘率小于2%;③采摘机的采摘效率高于人工采摘2倍。

2 菠萝自动采收机的总体方案设计

设计的菠萝自动采收机适于在一畦两行菠萝种植模式下进行采摘作业，菠萝自动采收机整体结构示意图如图1所示，主要由分行器、行走装置、双目视觉系统、采摘装置、输送装置、收集装置、控制系统和电源供给装置等组成。

菠萝采收机工作过程如下：轮毂电机由蓄电池供电，在控制系统的控制下匀速行走，分行器对行分开菠萝植株叶子，安装在采摘装置正上方的双目视觉系统，实时采集菠萝种植行图像并传输给工控机进行菠萝果实识别与定位，当菠萝到达摄像头视野中央且与摄像头的距离最小时，菠萝到达采摘装置推手前方，控制系统控制步进电机调节升降平台和刀片高度，使刀片对准果柄处且推手推手推动菠萝果实，对果实进行采摘，采摘完成后推手和刀片复位;采摘下来的菠萝果实落到传送带上，被传送带输送到后方的收集装置。菠萝自动采收机的工作流程如图2所示。

3 菠萝自动采收机关键部件设计

3.1 双目视觉定位系统设计

采用2个蓝色妖姬T3200摄像头构成双目视觉系统，摄像头分辨率为640×480，通过相机云台安装在机架上，以识别菠萝果实并定位。

3.1.1 相机标定。

为了消除畸变并获得相机的内外部参数，需要对相机进行标定。李斌等[10] 分别用MATLAB 标定工具箱和Opencv1.1+C++进行标定试验，结果表明MATLAB标定工具箱标定的相机误差较小，且操作方便，故该研究使用MATLAB2016a自带的toolbox_calab工具箱对相机进行标定[11]。用左、右2个摄像头对标准黑白棋盘进行不同角度的拍照，共获得96幅图像（每个相机48幅）用于标定。通过标定得到旋转矩阵R、平移矩阵T、左右侧相机内参和左右侧相机畸变系数。

根据标定得到的数据，用Opencv中stereoRectify（）函数[12]完成立体校正，然后用InitUndistortRecitifyMap（）函数计算出图像校正所需要的映射矩阵，进而对左右图像进行畸变校正，其中平移矩阵T和左右相机内参需要转置后使用。

3.1.2 果实对象图像分割。

进行菠萝果实目标定位，首先要将菠萝目标从背景中分割出来。常用的图像分割方法有基于阈值的分割方法、基于区域的分割方法、基于边缘的分割方法以及基于特定理论的分割方法等[13] 。为了实现实时识别菠萝果实，图像分割应具有良好的分割准确率，且算法复杂度低、耗时少。

对福建省漳州市龙海市菠萝生产进行考察，该地区对菠萝进行了套袋处理，且白色纸对菠萝进行了包裹如图3a所示。将原始图像经均值偏移滤波后将其变换到HSV颜色空间[14]，果实和叶子的色相（H）分布如图3b所示。由图3b可知，因包裹后的菠萝果实和叶子颜色差异较大，故用色相将菠萝果实从背景中分割出来。分割过程如图3所示，具体步骤如下：①将图像变换到HSV颜色空间;②采用大津法计算分割阈值[13]，并进行二值化;③一次开闭运算消除噪声;④为提高计算速度，故寻找果实目标上、下、左、右像素点，确定果实形心的大致位置。

3.1.3 菠萝果实定位。

双目测距原理图如图4所示。P为目标点，坐标为（x，y，z），相机焦距为f，左右相机光轴之间的距离为B，OL和OR为相机光心，Pleft和Pright为在两相机上的成像点。以左相机OL-XLYLZL为参考坐标系，假设世界坐标系与左相机的坐标系重合，Ol-XlYlZl为左侧相机的图像坐标系。由于相机在同一平面内，所以Pleft和Pright的Y坐标值相等，由三角形几何关系得到：

式中，Xleft和Xright分别为相对于左右相机图像坐标系横坐标值;Y为左右图像坐标系下的纵坐标值;f和B均为常数;x、y、z为P点相对于左相機坐标系下的坐标值;OL为坐标原点。将公式（1）、（2）、（3）联立变形，得：

即可求得P点坐标（x，y，z）。

由于左侧相机固定在采摘装置正上方，与采摘装置推手距离为D，则可得到菠萝果实相对于采摘装置推手的距离d=D-z，然后升降平台上升，使采摘装置推手到达菠萝果实高度，然后对菠萝果实进行采摘。

3.2 主要机械部件设计

为了保证菠萝自动采收机的协调、工作，根据图2所示总体方案，分别进行采摘装置、输送装置和收集装置设计。

3.2.1 采摘装置设计。

成熟菠萝果实与果柄连接处较脆，故采用掰折方式将菠萝果从果柄处掰断。连杆机构应用十分广泛，在众多工农业机械和工程机械中得到广泛应用[15]，因此优先考虑连杆机构作为采摘装置的传动装置。采摘装置结构简图如图5所示，主要由顶端有推手的推杆、摆杆、连杆、曲柄和步进电机组成。步进电机每旋转1周，使推手对菠萝施力后回到初始位置D。在推手的另一侧安装有刀具，以暂时固定菠萝主茎杆，且可切断果柄连接部分考虑到菠萝果实大小及叶子的影响，根据试验，推手行程为20 cm。采摘装置装在一个可升降的平台上，根据双目视觉定位系统得到的菠萝高度，将采摘装置升降至对应位置，然后对菠萝进行采摘。

3.2.2 输送装置和收集装置设计。

菠萝果实呈椭球形状易发生滚动，故在传送带上增加挡板实现菠萝果实的稳定输送（图6）。根据表1中菠萝的相关参数，设计传送带宽度为200 mm，挡板间距为150 mm，挡板高度为60 mm。

4 经济效益分析

菠萝种植方式一般为品字形种植，菠萝自动采收机可同时采摘一畦两列，设采收机行进速度为V，采摘用时为t，根据调研数据，菠萝平均株距为D=35.8 cm，则平均每17.9 cm采摘1个菠萝，初样设计的菠萝采收机行进速度V为0.1 km/h，假设每天工作10 h，则每天可采摘5 586个菠萝，除去从采收机中取出菠萝等用时，每天可采摘5 000个菠萝，约4 900 kg，约为人工采摘工作效率的2倍;按照0.11元/kg的采摘工费计算，每天可节省882元。菠萝每年采摘3季，每季采摘时间大约45 d，则每台采收机一年可节省72 000元人工采摘费，设备经济价值非常大。

5 结语

针对菠萝采收面临劳动力成本高、效率低的问题，在探究菠萝物理特性的基础上，提出基于双目视觉的菠萝采收机整体方案，设计了双目视觉系统，并提出一种菠萝果实定位方法，对采摘装置、输送装置结构和工作参数进了分析和计算，使用SolidWorks软件对采摘机进行三维建模。经济效益分析表明，设计的菠萝采收机能满足采摘需求，可取得良好的经济效益，为菠萝采收机的进一步优化设计与推广使用奠定了基础。

参考文献

[1] 刘世彪，彭小列，田儒玉.世界热带五大名果树[J].生物学通报，2003，38（3）：11-13.

[2] 郁崇文，张元明.菠萝叶纤维的性能研究[J].中国纺织大学学报，1997，23（6）：17-20.

[3] 刘恩平，郭安平，郭运玲，等.菠萝叶纤维的开发与应用现状及前景[J].纺织导报，2006（2）：32-35.

[4] 王伟，丁怡，邢东明，等.菠萝叶酚类成分研究[J].中国中药杂志，2006，31（15）：1242-1244.

[5] 王金萍，王宏英，杜力军，等.菠萝叶中新的酰胺类成分[J].中国中药杂志，2007，32（5）：401-403.

[6] 刘玉杰，郭安福，姜涛.菠萝半自动采摘机的结构设计[J].安徽农业科学，2018，46（14）：194-197.

[7] 吴沛晟，华京.菠萝采摘机器人的实用化设计[J].兰州工业学院学报，2016，23（3）：58-61.

[8] 陈章恒，张维元，张路遥，等.菠萝收集采摘车的设计[J].科技创新与应用，2018（10）：96-97.

[9] 辛宝英，施俊侠，廖湘湘，等.菠萝采摘机械手结构设计[J].农业技术与装备，2014（14）：12-14.

[10] 李斌，王海峰，黃文倩，等.菠萝采收机械低成本双目视觉平台搭建与田间试验[J].农业工程学报，2012，28（S2）：188-192.

[11] 汪珍珍.基于MATLAB与opencv相结合的双目立体视觉测距系统[D].天津：天津理工大学，2013.