一种基于机器视觉的高密度穴盘苗寻苗方法①
2021-12-06费焕强龚征绛喻擎苍
费焕强 龚征绛 陈 武 查 杨 喻擎苍
(浙江理工大学信息学院 浙江杭州310000)
嫁接是当今农业最常用的手段,传统的手工嫁接效率低下,质量难以保证,已经不能满足大规模的大棚育苗需求,发展研制全自动嫁接机是农业走向现代化的大势所趋[1-4]。目前,自动嫁接机终端装置都是固定间隔种植幼苗,每个穴盘格种植一颗幼苗,但接穗苗不需要根部,固定间隔种植势必造成资源浪费,采用高密度种植方式育苗不仅方便管理,还能节省设施资源投入[5-9]。
姜凯等[10]设计了一种柔性上苗定位装置,利用气吹压苗块通过正压气流对秧苗子叶下压处理,以使秧苗子叶贴附于子叶吸附部,子叶吸附部通过负压气流实现秧苗子叶的吸附定位,气吹压苗块和子叶吸附块的正负压气流交替作用,使秧苗子叶柔性安全固定于子叶吸附块的作业面上,完成秧苗柔性上苗作业。杨安等[11]研究设计了一种定位夹持装置,由滑块收拢机构和夹取断根机构两部分构成,工作原理为双杆气缸伸出,推动T形支撑板向前移动,带动定位杆、运动杆摆动和Y形气缸向前运动。定位杆下部运动为包络轨迹,与弧形挡板同时作用固定嫁接苗于指定范围,Y形气缸工作时,两侧的手爪封闭,带动前端的刀刃闭合并剪断幼苗,实现嫁接苗的夹取,当双杆气缸停止工作,推杆缩回,完成嫁接苗的夹持输送。
据前期研究发现[12-16],现有装置只能用于固定间隔的穴盘苗寻苗,无法应用于高密度种植的穴盘苗。因此,基于高密度种植的特点,设计一种基于机器视觉高密度穴盘苗的寻苗及夹切的装置系统,利用图像处理技术,研究激光线的水平调整方案,在不同距离下标定出了目标苗茎斑点位置,得出摄像头到苗茎距离与苗茎光斑高度之间的关系,完成穴盘苗的寻苗及目标苗茎的定位,控制夹具、刀具,剪切夹持目标苗茎。
1 寻苗及夹切装置设计
本设计装置是利用激光发射器照射苗茎,在苗茎上出现一道亮斑,摄像头采集这些亮斑像素。由于摄像头距离苗茎的位置有远有近,因而会在图像中出现高低不同的光斑像素。像素最低点亮斑所在苗茎距离摄像头最近且靠近视觉中间,因此,将光斑像素最低点所在苗茎作为寻找目标进行夹切。如图1~2所示。
图1 系统装置示意图
装置主要由摄像头、步进电机,激光器,夹具和刀具等部件组成。装置顶部的孔用于固定上苗机械手末端,摄像头中心线与水平面呈35°,两片夹具分别固定在凸台齿轮上,两凸台齿轮相互啮合,其中一凸台齿轮与电机轴齿轮相互啮合,电机齿轮与夹具齿轮减速比为1∶2,激光灯位于凸台齿轮平面上3.5 mm;刀具固定在夹具底部,刀刃凸出夹具面3 mm,夹具内侧贴海绵泡沫,当两片夹具收紧夹持苗茎时,底部刀具完成苗茎断根,海绵泡沫可防止苗茎被夹伤。
图2 系统装置实物图
整个寻苗夹切装置高为168 mm,夹具长为59 mm,宽为10 mm,厚度为2 mm。由于瓜科接穗苗适合嫁接时,其苗径约为2 mm,夹苗时如图3所示。
图3 夹苗示意图
为使夹具夹取目标苗茎时,不影响到其他苗茎,需满足(L+r)2≤(L-r)2+D2
取L=59 mm,r=1 mm,求得D≥15.36 mm。说明该装置适合于苗茎间距大于或等于15.36 mm。
采用42步进电机,电机扭矩为0.3 N.m,根据扭矩公式:T=F·L,夹具末端的力为10.17 N,足以剪切且夹持西瓜等葫芦科嫁接苗[17]。
2 视觉检测原理与采集范围分析
2.1 原理
激光发射器与水平面平行,将一字型激光束调整到与水平面平行,摄像头镜头与水平面夹角为θ,摄像头的视觉范围设为2β。当激光束照射在摄像头视角范围内苗茎时,会出现一道亮斑,摄像头捕获亮斑,利用视觉图像处理技术确定在图像的位置。如图4所示,在摄像头采集范围内,当苗茎距离摄像头越近,光斑线就越靠近底部,当苗茎距离摄像头越远,光斑就越靠上部。
图4 视觉检测原理图
当θ=35°,摄 像 头 的 视 场 角 为60°,即β=30o,h1=113.85 mm。
可知d1=1 308.62 mm,d2=53.10 mm,d1、d2表示激光束照射在被测目标时,摄像头均可以捕获到此激光线条的物理范围,因此,被采集的对象位置需在53.10~1 308.62 mm。
系统采集模块不仅对工作距离有一定的要求,对工作最佳范围也有一定的要求,工作范围可从摄像头景深、激光发射器可用光斑范围、工作垂直高度进行考虑分析,确定系统结构最佳范围。
2.2 采集范围
采用树莓派3b+OV5647可调焦摄像头分辨率为640*480,景深为63~94 mm,当一字型激光发射器在距离小于58 mm、大于91 mm时,照射在被测物体上的线条会明显加粗,影响实验准确性。
54~100 mm,每隔2 mm采集一次图像,激光线条会在一定工作范围内清晰出现在图像区域内,找出这个工作范围。
系统终端结构(包括激光器、摄像头等设备)、上苗机械手、幼苗盘、格状平面板、游标卡尺以及图像采集系统树莓派(树莓派3b+OV5647可调焦摄像头,分辨率为640×480,景深63~94 mm)等。
实验步骤:将系统终端结构固定在上苗机械手末端,对上苗机械手上电使之锁定,使系统终端结构处于静止状态,将格状平面板放置系统终端底部,幼苗盘放置格状平面板上,从距摄像头水平位置54 mm处,每隔2 mm移动一次,观察图像中激光线条清晰度。结果发现距离64~90 mm时,出现在图像中的激光线条最为清晰,说明最佳工作的水平距离范围为64~90 mm。
根据上示的几何关系,可得:
图5 实验过程图
当h2=18.5 mm,h1=1138.5,d1=1 308.62 mm,d2=53.10 mm,θ=35°,β=30o。d3表示苗茎到摄像头的距离,当d3最小时,即d3=64 mm,得到的H为最大值,h3表示摄像头在最大H下,采集到苗茎的最高点。根据嫁接需求,培育接穗苗可供嫁接时苗茎高度大约为H′=62mm,椭圆叶子长轴约为a=21 mm,由h3=H′-α×tan(θ),可知H=47.29 mm,即该装置垂直工作范围为0~47.29。
为使装置底部不接触到穴盘面,设定系统装置工作高度为为底部高于穴盘面3 mm,水平工作范围为64~90 mm。
3 寻苗及夹切装置调整
视觉中,若直线与水平线的角度小于0.3°时,可视为水平线[18]。采用计算机图像处理技术,提取激光线条骨架后,根据图像中像素点数,通过直线拟合求得斜率。具体处理步骤如下。
利用摄像头采集激光线条,如图6所示,经过OTSU图像分割方法,得到二值图,如图7所示。由于得到的激光线条边界存在着噪声且不平滑,不利于中心线提取。在图像处理技术中,膨胀可以将目标点融合到背景中,合并裂开目标物,便于整体提取.腐蚀可以消除边界,使边界向内收缩,并可以将小的颗粒噪声去除[19-20]。为了对激光线条边缘进行平滑处理,采用膨胀腐蚀方法对条线进行处理,如图8所示。
图6 采集激光线条图
图7 提取激光线条二值图
图8 膨胀与腐蚀
将图像进行阈值分割并提取骨架,如图9所示,再通过霍夫直线拟合[21-23],得到直线斜率,求倾斜角度,如图10所示。此时,拟合到的激光线条直线斜率为0.003 2,倾斜角为0.181 9°,说明一字型激光线条已达到水平标准。如果倾斜角超过0.3°,则手动微调激光器调节头,直至激光线条的拟合直线倾斜角小于0.3°。
图9 骨架提取
图10 获取拟合直线的斜率和倾斜角
4 寻苗及夹切装置标定
为探讨苗茎到摄像头距离与激光线高度间关系,须保证激光线水平照射苗茎,在有效工作范围内,每隔1 mm采集1次图像,通过计算视觉技术,标定出图像中最低像素点的位置。
当一字型激光灯照射在高密度种植的穴盘苗上时,摄像头捕获外侧苗茎光斑,距离摄像头中心线越近的苗茎,在图像中的光斑位置越低;距离摄像头中心线越远的苗茎,在图像中的光斑越高,整条光斑呈凹状曲线。通过在不同的距离下采集的大量光斑图片作为数据,记录每张采集图片中光斑像素点纵坐标的最大值,即高度最低的点,获取不同测试距离下对应光斑最低点位置,拟合出最低点高度与距离的关系。
将系统装置固定在上苗机械手末端,机械手上电锁定,整个上苗系统保持稳定,将高密度种植的穴盘苗放置在格状平面板上,置于工作距离最小处,用游标卡尺以及格状平面板小方格测量距离,每隔1 mm采集一次图像,如图11所示,记录标定数据。
图11 标定实验设计图
4.1 标定位置提取
在工作范围内,激光发射器水平照射苗茎,在苗茎上形成一道亮斑,摄像头采集图像,如图12所示.
图12 采集苗茎光斑
4.2 目标颜色空间的提取
光斑像素值与颜色空间有紧密联系,颜色空间分为RGB模型与HSV模型[24-25]。
RGB模型每个原色可以采用从0(最低)到1(最高)表示强度值。将红(R),绿(G),蓝(B)3种颜色通道参数值相互叠加可得到各种各样颜色,所有颜色的集合形成了一个RGB颜色空间的三维立方体。如图13所示:
图13 RGB模型与HSV模型图
RGB颜色空间模型下提取的像素分量易受到光照、遮挡和阴影等影响,如果亮度改变,3个分量都会相应改变,三者间相关性很高,进而会影响目标像素提取,不适合视觉图形分析与分割[26-28]。
与RGB颜色空间模型不同的是,HSV颜色由3个参量组成,分别是色泽(H),饱和度(S)和亮度(V),H的每一个值代表一个颜色,取值为0~360;S为0~1(0表示灰度图,1表示纯颜色);V为0~1(0表示黑色,1表示特定饱和度颜色)。RGB色彩空间与HSV色彩转化如下:
若H<0,则H=H+360。
两颜色模型提取采集图像中的激光线条,处理后效果图如图14所示。
图14 RGB模型与HSV模型图提取目标像素
4.3 激光线条连通域提取
利用HSV颜色空间模型对目标图像进行多值化操作,提取目标像素。找出像素值相同的像素点进行合并连接,形成连通域[29-30]。对取得的像素点连通域去除无光部分即噪声块(图15)。
图15 提取光斑像素二值图
通过计算机图像技术,遍历图像中每个像素点,找出轮廓链像素点纵坐标最大点的位置,也就是图像中最低点的坐标,此像素点的高度即所需标定的高度。
图16 提取光斑最低点像素坐标
4.3 标定数据分析
距激光器64~90 mm,每隔1 mm采集1次图像,计算图像中纵坐标像素点最大值的位置,标定数据如表1所示。
表1 标定数据
通过标定有限个点得到高度值与距离值,为探讨两者间模拟关系,利用插值与逼近的方法,根据有限个点取值,估算出其他点值。插值法是数据处理与编制函数的常用方法,当给定数据点误差过大,并存在多余数据点时,插值法不适用,为此提出了逼近法,给定条件下构造曲线与原有数据点误差值最小,称为逼近曲线[31-32]。
使用曲线拟合二维散点图发现,随着距离增大,激光灯光斑高度整体呈上升趋势,选择多项式曲线拟合,根据散点图分布特点分别进行4、5、6、7次曲线拟合对比,如图17所示。
图17 曲线拟合图
通过图17观察可发现,5次拟合最接近散点图变化规律。拟合后的函数关系式如下。
y=p1*x5+p2*x4+p3*x3+p4*x2+p5*x+p6
其中,p1=5.091 9×10-11,p2=-5.973 5×10-8,p3=2.458 2×10-5,p4=-0.004 416 9,p5=0.469 39,p6=48.308,x表示激光线照射在苗茎上的光斑高度,y表示视觉采集装置至苗茎的距离。
5 穴盘苗寻苗与定位
打开夹具,使之呈30°夹角,打开摄像头、激光器,旋转装置夹口方向,使之正对被夹切的幼苗侧面。降低系统装置,使装置底面高于穴盘面3 mm,移动系统装置至工作范围内。通过采集激光灯光斑高度h,根据曲线拟合多项式计算出摄像头到目标苗茎的距离d,控制夹苗机械手将系统装置向穴盘苗方向移动,定位到夹切的目标苗茎。再次控制系统装置上的步进电机,使得夹具闭合,同时夹具底部刀具完成对苗茎的剪切,夹具完成了对苗茎的夹持。为了防止直接上苗对周围子叶伤害,控制机械手向后退10 mm,再抬高上苗至嫁接台。至此完成幼苗的寻苗定位及剪切。
6 讨论与结论
为验证上述视觉采集装置至苗茎的距离(y)与激光线照射在苗茎上的光斑高度(x)之间的函数关系,利用系统装置进行200次测距实验,比较手工测量实际值与系统测量结果,随机取20组测量值,如表2所示。
表2 装置测量值与手工测量值的数据对比
幼苗苗径为2 mm,断根时,若未完全切除表皮层而夹持上苗,则不影响苗茎的后续生命以及上苗续动作,因此,装置测量值与手工测量值误差在0.1 mm内,对后续系统装置夹苗不会产生太大影响。结果显示,191幅图像测得距离值与手工测得距离值误差在0.1 mm内,误差允许范围内的准确性为95.5%。这可能是由于光源对测量结果影响较大,采集到激光线条图像有一定的光晕现象,影响最低像素点的准确提取。
针对高密度种植穴盘苗,设计了一种基于机器视觉高密度穴盘苗的寻苗剪切装置,主要包括摄像头、激光器、电机、刀具以及夹具。得出装置的工作范围为64~90 mm;利用计算机图像处理技术,完成了寻苗及夹切装置激光线的调整方法;采用HSV颜色空间模型标定出照射在苗茎上的光斑位置,运用曲线拟合方法,得出5次拟合最接近散点的位置变化,计算苗茎上光斑高度与摄像头之间的距离,为装置的自动剪苗提供了理论基础;验证了装置测距与实际测试之间的误差在0.1 mm内的准确性达到了95.5%。本研究设计填补了高密度种植穴盘苗自动寻苗及夹切领域的空缺,为全自动嫁接寻苗及剪切幼苗提供了的理论指导。