基于机器视觉的草莓采摘机械手设计
2022-10-08宁彤,张燕,梁栋,吴超
宁 彤,张 燕,梁 栋,吴 超
(海南大学机电工程学院,海南 海口 570228)
草莓是一种多年生草本植物,生长周期短,经济效益高,随着近些年草莓种植行业的发展以及病虫害防治技术的提高,草莓产业在我国得到空前的发展. 目前我国的草莓采摘主要靠人工采摘,劳动强度较大,成本高,费时费力[1]. 近些年来,随着工业化的高速发展和服务业的迅速崛起,大批农业劳动力逐渐转行,加上我国人口老龄化问题日益凸显,导致草莓的生产成本逐渐增加,严重影响了我国草莓产业的持续发展. 据统计,草莓采摘所花费的人力成本占草莓生产总成本的50%~70%,草莓生产过程40%的时间都耗费在采摘环节[2].
20 世纪80年代开始,一些发达国家开始对草莓采摘机器人进行大量的试验研究. 杜沛松等[3]利用把手使机构在钢丝绳的控制下实现草莓的采摘与收集同步进行,使用棘轮与棘爪配合,使草莓收集装置每收集一颗草莓后旋转一定角度,避免果实之间的碰撞,有效保证草莓果实的品质. 王粮局等[4]提出了采摘草莓自下而上的方法,将草莓果实向上拢起,并对末端执行器进行重新设计,使其能够一次采摘多颗草莓,但采摘后草莓容易掉落,且需要对末端执行机构进一步优化.Harvest CROO Robotics 公司[5]开发和测试一种自动化草莓采摘机,以缓解草莓产业中面临的劳动力短缺问题. 该草莓采摘机是在设备上安装自动连续采摘轮,即皮策轮,由其发明者鲍勃·皮策命名,是该草莓采摘机的核心组件.
目前,虽然也有许多对草莓收获机械的研究,但大多数都停留在实验室,且大部分研究产品结构复杂,制造成本高. 因此,针对目前草莓采摘的机械存在智能化程度低的问题,笔者设计一种智能草莓采摘机械手. 整机结构紧凑,功能完善,制造成本低,工作效率高,对解决上述问题具有重要意义.
1 结构和工作原理
1.1 整机结构整机结构如图1 所示,主要由运动小车、微型气泵、微型电机、微型电机减速器、传动齿轮、传动丝杠、伸缩气缸、收集装置、高清摄像头、光源和末端执行器等组成. 整机安装在运动小车上,小车下方设置有电池、电机、智能控制器、减速器和锥齿轮,由智能控制器控制电池给电机通电或断电实现整机的前进、后退和停止[6]. 本设计主要针对高架草莓的采摘作业,将采摘过程及采摘路径简化,使末端执行器具有X、Y、Z3个方向的移动自由度,避免了因机械手关节多而导致定位误差增大,减少了机构运动过程中的误差. 同时,运用丝杠传动,增加了定位过程中的定位精度.
图1 草莓采摘机三维示意图
1.2 工作原理启动开关按钮,智能电机控制器控制电池给电机通电,电机转动通过锥齿轮传动驱动整机前进,待机器到达采摘位置,智能控制器控制CCD摄像机给待采摘的高架草莓拍照,然后将图片信息传送到数据处理中心,由2 个摄像头拍摄的图片信息计算出成熟草莓的空间位置[7-8],并以空间坐标(X1,Y1,Z1)的形式暂存在数据处理中心,接着智能控制器会控制气泵给气缸充气,使末端执行器在Z方向伸长Z1,与待采摘草莓在Z方向处于同一水平线上;之后控制器控制微型电机转动,微型电机转动末端连接减速器,通过传动齿轮带动丝杠转动,根据丝杠的螺距d和前进的距离X1计算出要旋转的圈数,使末端执行器在X方向移动X1,到达预定位置;最后由智能控制器控制气泵给采摘气缸充气,使末端执行器在Y反方向伸长Y1,最后到达草莓的采摘位置,将草莓摘下.
由于成熟草莓果实鲜嫩多汁,易损坏,所以采摘方式采用剪刀剪断果柄,并夹持住将草莓果实放入收集箱收集[9],收集箱采用多个抽屉式的收集箱,待收集箱快装满时,只需更换收集箱即可,不会影响采摘作业.
2 关键部件设计及分析
2.1 传动丝杠设计及分析
2.1.1 传动丝杠结构传动丝杠三维结构示意图如图2所示,两端分别设置固定块,固定块前端设置有轴承,由一根连杆连接,限定刀具滑座在X轴上的转动自由度,左固定块上端设置有微型电机,微型电机轴端设置有小齿轮,该齿轮与丝杠左端的齿轮啮合,从而将电机的转动转换为丝杠的转动,丝杠转动推动刀具滑座前进或后退.
图2 传动丝杠三维示意图
2.1.2 传动丝杠分析传动丝杠是整机的重要组成部分,左端设置有微型电机,为分析微型电机转动时对丝杠精确度和稳定性的影响,采用SOLIDWORKS simulation 软件进行有限元分析. 丝杠工作时主要受微型电机转动时产生的震动影响,且刀具座以及刀具的重力40 N. 为了便于分析2 个主要影响因素各自对整机精确度的影响,分别将2 个因素单独进行分析. 由于重力是地球引力作用的结果,非外加载荷,在静应力分析时选择引力,其分析结果如图3所示.
图3 丝杠应力、位移和应变分析
由图3 可知,丝杠整体结构没有明显的应力应变集中,但由于刀座和刀具自身重力的影响,刀具伸缩杆有向下的位移Δ,故在实际工作时,需测出采摘刀具尖端的位移ΔX的值,计算出待采摘草莓的空间位置的Z坐标(Z1)上加上ΔX,即丝杠上升的高度为Z1+ΔX.
丝杠受微型电机转动时产生的震动频率分析图(图4)中可以看出,丝杠本身受振动变形的影响较小,气缸套前端受振动影响较大,并且随着频率的增加,受影响的程度越来越大. 由此可推知,在采摘刀具处的振动幅度会更大,所以在选择微型电机时,尽量选用低频电机.
图4 丝杠及刀具座振型分析
从频率响应中的累积有效质量参与系数(图5)可以得出:在频率约为3 350 Hz之前,累积有效质量参与在x和z方向比较稳定,y方向上升趋势较大,在频率为3 350 ~4 139 Hz 之间,累积有效质量参与在x,y和z3个方向上均有小幅变化,之后趋于稳定[10].
图5 频率与累积有效质量参与系数(CEMPF)
2.2 采摘刀具设计及分析
2.2.1 采摘刀具结构采摘刀具主要由动刀片和定刀片组成,动刀片通过连杆与伸缩气缸连结,动刀片和定刀片下端面均设置有夹持块,如图6所示. 剪刀闭合时,两夹持块之间有小缝隙,以夹持草莓果柄,在剪刀剪断草莓果柄的同时,剪刀下端面的夹持块将草莓果柄夹持住,是草莓不会掉落摔坏. 完成采摘后气缸Ⅱ收缩,使采摘刀具沿Y轴方向回到初始位置,然后气缸Ⅰ收缩,采摘刀具连同丝杠下降到最低位置,剪刀打开,草莓果实连同果柄经斜面落到收集箱收集. 草莓果实鲜嫩多汁,易损坏,故在本设计中采用剪刀剪断果柄的采摘方式.
图6 采摘刀具结构示意图
2.2.2 采摘刀具分析由图7 末端执行器振型分析可知,末端执行器尖端受振动影响较大,产生微小的扭曲变形,随着频率增加,变形程度越来越大. 在实际操作中,这种变形表现为采摘刀具在空间位置上产生微小的位移,影响采摘精度. 因此,应尽量选择低频的电机,此外,还应增大整机的质量,增加整机稳定,减轻振动对采摘作业的影响.
图7 末端执行器振型分析
建立末端执行器与模式号关系折线统计图,如图8 所示. 从图8 中可以看出,频率增加,周期减小,斜率基本保持不变,末端执行器频率模式号与频率基本上呈线性变化,说明模式号对频率的影响不大.
图8 末端执行器频率模式号
3 机器视觉系统设计
本设计采用双目立体视觉定位系统,通过对光学系统、图像采集及特征提取[11]进行分析,选择适合的硬件设备,实现对空间中草莓的识别和定位[12],再配合末端执行器进行相应的作业,以减轻果农在草莓采摘活动中的作业强度.
3.1 光源选择对于机器视觉系统来说,光源的选择至关重要,好的光源应该尽可能突出目标的特征;在待检测的目标物体与其他物体之间产生明显的区别,增加对比度;同时要有足够的亮度和稳定性. 常见的光源有卤素灯、荧光灯、氙气灯和LED等,其相应特性如表1所示.
表1 常见光源特性对比
综合比较各种光源的特性,选用LED灯作为补偿光源.
3.2 相机及镜头选择高架草莓的栽培高度是在离地面1~1.2 m 的位置,由于草莓果实连着果柄处于下垂状态. 取采摘视场范围为350 mm×250 mm,最小采摘精度取1 mm,考虑到软件性能不稳定以及存在机械误差,此处选择三倍的像素单位对应一个测量精度值,即所需横向分辨率为3×350/1=1 050(像素),纵向分辨率为3×250/1=750(像素). 选择Point Grey公司的FL3-U3系列CCD相机,型号FL3-U3-13S2C-CS,有效分辨率:1 024×768.
镜头是机器视觉系统中的重要部件,适宜的镜头不仅能够提高成像质量,还可以提高采摘作业质量.在选择镜头时,应与所选的CCD相机的靶面尺寸相一致.
3.3 图像采集与特征提取图像采集是在草莓果实成熟时期进行拍摄,所有照片都是在有LED 光源补偿下拍摄的. 通过2 个平行设置的彩色CCD 相机,模拟人的双眼进行拍摄. 自然界的色光都是由红(R)、绿(G)、蓝(B)3种颜色组成,可以过线性变换或非线性变换来计算不同类型的色彩空间,然后对这些彩色图像进行分割. 由于这些彩色空间无法超越其他彩色图像,故本设计采用一组正交颜色特征{I1,I2,I3}[13]进行彩色图像分割,该方法是由OHTA 在试验中总结得出.OHTA 颜色空间与传统的颜色空间相比,能与RGB颜色空间进行线性换算,避免了非线性空间与RGB颜色空间换算时出现问题,且计算简单.
OHTA与RGB颜色空间的互换关系式为
其中,I1,I2,I3为OHTA正交颜色特征;I2',I3'为OHTA正交颜色特征的另一种表示.
通过上式计算,把传统的彩色图像(RGB 颜色空间)转换为OHTA 颜色空间中特征颜色的灰度图像[14],再分别对上述的I1,I2,I3,I2',I3'5个颜色特征进行单一阈值的图像分割性能检验,选择最优的一个颜色特征进行图像分割. 采用局部阈值算法对灰度图像进行二值化处理以凸显草莓果实轮廓,进而识别目标.
3.4 降噪处理由于机器作业环境比较复杂,在进行图像采集时不可避免地受到环境噪声的影响,从而影响果实轮廓的提取精度,导致果实真实形状和二值图像之间产生差异. 为提高轮廓提取算法的精度,需对图像进行降噪滤波处理,常用的降噪滤波方法有中值滤波、均值滤波和维纳滤波等. 中值滤波采用非线性滤波计算,需进行多次滤波处理,计算速度低;维纳滤波的算法是线性的,但是算法形式复杂,在实际处理中,对噪声函数的分布不清晰,导致处理后的图像边缘信息缺失. 因此,选择均值滤波进行降噪处理,其算法主要采用邻域平均法,邻域平均法是典型的线性滤波算法. 其原理:在一个像素点(x,y)邻近选择n个像素组成模板,将模板中像素的算术平均值
作为处理后的平均灰度[15].
在实际的草莓生长情况中,草莓的分布是随机的. 因此,特征目标是随机的多个区域. 把具有相同特征的区域划分出来,用纹理表示,并将纹理部分提取出来. 图像分割算法有多种,且大都存在一些缺陷.笔者选择一种基于Otsu 改进的自适应阈值分割算法,该算法的优点是具有线性的时间复杂度,计算过程简单,便于电脑实时处理图像和控制程序,实现草莓的自动化采摘并且提高工作效率.
4 小 结
设计了一种专门针对高架草莓的收获机械手,运用机器视觉技术,使采摘机械手能够自动识别和定位成熟草莓果实并进行采摘作业. 主要有以下特点:
1)利用三维建模软件构建草莓采摘机的整机模型,介绍了整机运行的工作原理,并对草莓采摘机的关键部件进行结构设计以及SOLIDWORKS simulation 软件有限元分析. 结果表明,传动丝杠会随着振动频率的增加,受影响的程度变大,但其振动频率稳定于标准值;采摘刀具的末端执行器频率模式号与频率基本上呈线性变化,说明模式号对频率的影响不大.
2)采用双目立体视觉定位系统,通过对光学系统、图像采集及特征提取进行分析,选择适合的硬件设备,可以实现对空间中草莓的识别和定位. 在图像采集中,利用正交颜色特征进行彩色图像分割,采用局部阈值算法对灰度图像进行二值化处理以凸显草莓果实轮廓,进而识别目标. 选择了一种基于Otsu 改进的自适应阈值分割算法进行图像的降噪处理.
对草莓收获机械的结构进行简化,在满足作业要求的前提下,避免了冗杂的硬件结构. 同时,对关键部件进行应力及位移分析,研究了机器在工作中可能出现的最大影响,对草莓机械化作业具有一定的理论指导意义.