基于机器视觉的甘蔗多刀切种装备设计与试验

2024-01-11陈延祥周德强赵文博邓干然何冯光

农机化研究 2024年2期

陈延祥,周德强,赵文博,邓干然,何冯光

(1.江南大学机械工程学院,江苏无锡 214122;2.江苏省食品先进制造装备技术重点实验室,江苏无锡 214122;3.中国热带农业科学院农业机械研究所,广东湛江 524091;4.农业农村部热带作物农业装备重点实验室,广东湛江 524091)

0 引言

甘蔗是我国主要的经济作物之一,甘蔗种植的全程机械化和自动化是产业发展的趋势,而我国大多数甘蔗种植机在蔗种自动化切割过程中不具备防伤芽功能,制约了甘蔗产业的发展。现有的甘蔗种植机主要分为实时切种式和预切种式[1]:实时切种式主要采用人工等距切种,伤芽率高,劳动强度大,效率低;预切种式通过预切蔗种避免了蔗芽损伤,效率高于实时切种式,已成为甘蔗种植机的主要发展趋势,但预切种过程依赖人工,切种效率低、成本高[2]。因此,为解决切种伤芽率高、切种效率低的难题,急需开发一种具有防伤芽功能的自动化切种装备。

基于机器视觉的甘蔗茎节识别与切种系统的研究在国内外尚处于起步阶段。Nare[3]等利用机器视觉研发了一种蔗种自动化生产系统,生产能力可达1782芽段/h,但其茎节识别率受传送速度的影响较大。黄亦其[4]、乔曦[5]等以MatLab软件为开发平台,建立了基于计算机视觉的甘蔗防伤芽系统,填补了国内图像处理技术在蔗种切割中的应用空白。周德强[6-7]等开发了一种基于机器视觉甘蔗切种系统,平均识别率为93%,伤芽率为0,吞吐速度可达2400芽段/h。以上研究的甘蔗切种系统都只有1把切刀,由滚轮输送单根甘蔗移动,切刀的每次切割运动只能产生1个蔗种段,切种效率有待提高。李尚平[8]等设计了智能甘蔗预切种工作站,利用液压系统控制多把切刀同步切割,切种效率显著提高,为甘蔗预切种提供了一种新颖的解决方案。机器视觉是甘蔗自动化切种系统的核心技术,它决定着甘蔗的切种精度和合格率。Moshashai K[9]等利用灰度图像阈值分割的方法对甘蔗茎节识别做了初步研究。陆尚平[10]等探讨了基于机器视觉的甘蔗特征提取与识别方法。目前,甘蔗茎节识别工作还停留在局部图像的识别,对于整根甘蔗的采集与识别的研究还很欠缺。李尚平[11]等在黑箱内部动态采集整根甘蔗表面数据,通过改进的YOLOv3模型提高了茎节的实时动态识别效率,但识别率降低了2.26%。Yang R[12]等通过两台摄像机采集甘蔗图像的不同部分,利用图像拼接将两幅甘蔗图像集成一张完整的图像,识别率为96.9%,为整根甘蔗的识别提供了一种新的检测手段。

基于以上国内外研究现状,针对现有的切种装备存在伤芽率高、切种效率低的问题,笔者设计了基于机器视觉的甘蔗多刀切种装备,并自主开发了试验样机,对定位精度和识别率进行了试验研究,旨在为后续的研究提供参考。

1 总体方案设计

1.1 甘蔗对象分析

以甘蔗为研究对象,剥去甘蔗叶片,只留下蔗茎。蔗茎主要由茎节和茎间组成,茎节上有芽和叶痕,每个茎节上只有1个芽,甘蔗芽位于叶痕的上部,靠近蔗梢的一侧。在只拍摄1张图像的情况下,不一定能采集到蔗芽,而叶痕环绕蔗茎1周且叶痕两侧灰度变化明显,因此可通过叶痕的特征来识别茎节。甘蔗是以甘蔗茎进行无性繁殖的作物,依据留种的芽数不同可分为单芽段蔗种、双芽段蔗种和多芽段蔗种。研究表明:单芽段蔗种萌芽率低,产量低,更容易遭受凤梨病菌侵染,对蔗种预处理要求更高;而双芽段蔗种萌芽率和苗高显著提高,更适合向蔗农推广[13]。因此,根据农艺的要求,设计了一种用于生产双芽段蔗种的装备。

1.2 切种装备的组成与工作原理

按照双芽段蔗种的切种要求,设计的切种装备主要由输送机构、采集机构和切割机构3部分组成,如图1所示。输送机构主要包括伺服电机、主从动轴、链轮和链条等部件,动力由伺服电机提供,作用是横向输送甘蔗。图像采集机构主要包括1台高分辨率相机,作用是采集整根甘蔗图像。切割机构为切种装备的核心组件,主要由步进电机、齿轮、交流电机及圆锯片等组成,如图2所示。切割机构的水平运动是通过步进电机带动齿轮齿条传动实现,切割运动是由气缸推动旋转的锯片实现。锯片的旋转运动由交流电机提供动力并由带传动传递扭矩,锯片的进给力由气缸提供。锯片的轴线与甘蔗轴线平行,在切割时甘蔗断面与其轴线垂直,此时甘蔗断面面积最小,符合对优质蔗种断面质量要求。

1.相机 2.切割机构 3.伺服电机 4.定位板 5.输送机构 6.甘蔗 7.导轨 8.滑块 9.型材 10.齿条图1 甘蔗切种装备三维设计图Fig.1 Three-dimensional diagram of sugarcane cutting equipment

工作流程可以描述为:设备启动后,将甘蔗横向摆放到输送机构上,由传送链将甘蔗从进料口输送到相机采集区域,最终转移到切割机构上。当甘蔗到达图像采集的指定位置时,相机采集甘蔗图像并由图像处理软件识别茎节位置,将切割点数据发送给PLC,采集为动态过程,输送机构继续输送甘蔗。当甘蔗到达传送链末端时,停止甘蔗输送,PLC控制5个切割机构移动到切割点指定位置。同时,输送机构将甘蔗转移到切割机构上,甘蔗受到滚轮支撑并在沿甘蔗轴向的摩擦力带动下向定位板对齐。当甘蔗到达定位板处,5个旋转的锯片在气缸的推动下同步切割,得到至少5个甘蔗双芽段蔗种,并存储于甘蔗种箱内,实现甘蔗切种的全程自动化。

2 控制系统设计

2.1 硬件设计

控制系统的构成如图3所示。输入信号主要有光电开关、磁性开关和U型传感器;执行机构主要有伺服电机、步进电机、切割气缸和压紧气缸;控制器为西门子200 SMART PLC,CPU型号为ST30。由于系统需要控制5台步进电机和1台伺服电机,而单个PLC仅有3个高速输出点,因此采用两台PLC并行控制。其中,PLC的高速输出口分别为Q0.0、Q0.1和Q0.4,与电机的脉冲端相连控制电机的位置和转速, Q0.2、Q0.7和Q1.0与电机方向端相连控制电机运转的方向。系统还包括1台具有视觉处理软件的工控机和1台高分辨率相机。相较于S7-200 PLC,S7-200 SAMRT PLC增加了以太网通讯接口,将PLC主站、PLC从站、工控机和相机通过网线连接到同一集线器,并分配相同网端的IP地址,即可实现相互通讯,通讯协议为TCP/IP协议。

图3 控制系统构成图Fig.3 Control system composition diagram

2.2 控制算法设计

系统以两台西门子200 SMART为控制核心,PLC主站控制2台步进电机,PLC从站控制另外3台步进电机。PLC主站与视觉处理软件通讯并接收切割点数据信息;PLC从站仅与PLC主站通讯,作为主站的高速脉冲输出拓展模块来使用,仅接收主站发送的切割点数据并做出响应,不与视觉处理软件发生通讯。

采用轴组态中的AXISX_GOTO指令对电机进行运动控制,实现切割机构横向移动。该指令包含Speed和Pos两个参数,前者确定移动的速度,后者表示要移动的距离。当设备启动时,切割机构进行位置的初始化。初始位置是以定位板为零点间隔200mm排列,5个切割机构与定位板的距离分别为200、400、600、800、1000mm。PLC将这5个值作为每个电机的Pos值预设值,存放于电机位移量寄存器中。当甘蔗到达采集指定位置时,相机采集甘蔗图像,视觉处理软件识别茎节位置并确定切割点位置,将切割点位置发送给PLC并存储于切割点位置数据表中。当甘蔗到达传送链末端时,PLC从表中取出首个切割点位置,与1号电机位移量寄存器中的预设值作差,差值作为Pos值当前值。同理,依次取出其余4个电机的切割点位置,并更新电机的Pos值当前值,并启动AXISX_GOTO指令,5个电机同步运行带动切割机构移动到蔗种待切割位置;之后,由输送机构将甘蔗转移到切割机构上,由滚轮带动甘蔗向定位板对齐,当甘蔗位置校准后,多把切刀同步对甘蔗进行切种;切割完成后,进行下一根甘蔗的输送,如此循环往复。

图4为PLC控制参数原理图。甘蔗图像包含甘蔗头部、尾部以及若干个茎节。根据双芽段蔗种的要求,即每个蔗种包含两个茎节(每个茎节只有1个芽),为了简化控制,将切割点设定在两茎节的中点,该值是通过软件设定,故首个切割点位于第2和第3个茎节的中点。经过标定,1个像素距离对应实际距离为0.28mm(即比例系数k=0.28),将切割点位置与比例系数相乘得到实际的切割点位置,则

图4 控制参数原理图Fig.4 Schematic diagram of control parameters

(1)

x12=x2-x1

(2)

X1=x1×k

(3)

式中d0-甘蔗头部与图像左边界距离(像素);

d2-第2个茎节与图像左边界距离(像素);

d3-第3个茎节与图像左边界距离(像素);

x1-首个切割点相对于甘蔗头部距离(像素);

x2-第2个切割点相对于甘蔗头部距离(像素);

x12-首个切割点与第2个切割点间相对距离(像素);

X1-首个切割点与甘蔗头部的实际距离(mm);

k-实际距离与像素距离的比例系数(mm/像素)。

视觉处理软件通过茎节识别计算出实际切割点位置X1,并将该值发送给PLC。每个切割机构的宽度为140mm(即最小调刀距离为140mm),由于茎节的宽度最小仅为50mm,若当前切割点与上一个切割点的相对距离小于调刀极限,则当前切割点由后两个茎节中点位置覆盖。

3 基于机器视觉的实时茎节识别算法

本文设计了一种基于机器视觉的实时茎节识别算法,该算法是在已配置OpenCV3.2的VS2015软件上编写;基于MFC设计了视觉处理软件,视觉处理软件在工控机上运行,并作为多刀定位的主要驱动因素。茎节识别算法流程如图5所示。在算法开始时,由图像处理软件触发相机采集甘蔗图像(在输送速度为150mm/s的情况下以5帧/s的速度采集),对源图像进行预处理,校正甘蔗姿态并获取感兴趣区域;然后,通过训练好的YOLOv3模型初步确定茎节位置;最后,提出了一种新的梯度算子对甘蔗图像进行边缘检测,并设计了茎节定位算法准确识别茎节的数量和位置。

图5 一种用于甘蔗茎节识别的图像分析算法流程图Fig.5 An image analysis algorithm flowchart for sugarcane stem node recognition

3.1 改进边缘提取算法

传统的Canny算法是利用一阶微分对边缘进行提取。对甘蔗边缘检测时,其检测过程可概括为以下几个步骤:①利用高斯滤波去除噪声;②选择合适的梯度算子计算梯度的幅值和方向,Canny算子中普遍采用Sobel算子;③对梯度幅值进行非极大值抑制,将非极大值点的所对应的灰度值置为0,抑制非边缘的点;④用双阈值算法检测和连接边缘,选择两个阈值,根据高阈值得到边缘图像,根据低阈值只保留具有连续路径的边缘点并连接到高阈值得到的边缘图像上[14]。

图6为采用不同算子对甘蔗R分量图边缘检测的结果。其中,图6(a)为甘蔗R分量图,图6(b)为Canny算子边缘检测结果。由图6可以看出:Canny算子不易受噪声干扰,能够将相对较弱的边缘都保留下来,但茎节与茎间差异度太小,不利于从边缘图像上识别茎节;此外,传统的Canny算法的阈值是全局固定的,且根据人工经验确定,很难确定一个最优阈值。因此,提出了一个新的梯度算子,对R分量图进行边缘提取,梯度算子计算公式为

图6 不同算子对甘蔗R分量图边缘检测结果Fig.6 Edge detection results of sugarcane R-component image with different operators

(4)

式中A-甘蔗R分量图上某个点的灰度值(灰度);

G-边缘检测后该点的梯度值(梯度) 。

该算子为一个3×3矩阵,将其与图像做平面卷积,即可得到甘蔗图像水平方向的梯度值。图像上的每一点的梯度值由像素中心点水平方向上相邻点的灰度值差分得到。图6(c)为新梯度算子边缘检测结果。与Canny算子相比,新算子能增强甘蔗图像茎节处的梯度值,剔除了茎间微弱的边缘,突出茎节与茎间的细微差异,有利于茎节识别。

3.2 茎节定位算法

图像边缘提取以后,茎节位置的梯度值最大,非茎节区域的梯度值相对较小,故设计了梯度特征向量对列梯度值进行求和,以定位茎节位置。茎节定位流程如下:

1)将预测框的位置作为茎节检测区域,若检测区域的中心距小于50个像素值,则将两个预测框合并作为1个新的茎节检测区域;

2)对检测区域内的列梯度值求和,将检测结果存放于列梯度值特征向量中,并将每个区域的列梯度值极大值位置标记为疑似茎节位置;

3)疑似茎节位置的列梯度值和若大于等于80,将其判定为茎节;若小于80,则判定为非茎节。

YOLOv3识别茎节后,模型在茎节位置输出1个预测框,预测框左上角点的坐标和预测框的长宽可以用来初步确定茎节的位置。步骤1)中,主要是针对YOLOv3模型在同一茎节位置重复识别的情况,即模型在同一茎节位置同时输出了两个预测框,若不将这两个预测框合并,算法会误判该位置有两个茎节。通过样本分析,茎节位置的列梯度值和最小值为80且不受光源强弱的影响,将其作为判断茎节的阈值,并在步骤3)中对列梯度值和进行阈值判断,可以避免YOLOv3错误地将非茎节部分预测为茎节的情况。图7为图像算法中输入和输出图像。其中,图7(a)为茎节位置图,茎节被成功、准确地识别并标记出来;图7(b)为梯度特征向量图,梯度特征向量图的横坐标为图像的列数,梯度特征向量图的纵坐标为列梯度和,峰值出现在茎节位置。

图7 图像算法中输入和输出图像Fig.7 Input and output images in image algorithm

4 试验

采用识别率和切刀定位精度作为评价切种装备性能的主要指标。其中,识别率主要是衡量视觉算法对于茎节识别的准确度,切刀定位精度是验证切割机构能否根据上位机识别的切割点数据准确定位的能力。定义:s为切割点距离茎节的距离(该值通过软件设定);S为实测的切割点距离茎节的距离;y为切刀定位精度,其值为S(实测值)与s(软件设置值)差的绝对值与s(软件设定值)的比值。

(5)

切刀平均定位精度定义为

(6)

式中S-切割点与茎节的实际距离(mm);

s-切割点与茎节的软件设定距离(mm);

y-切刀定位精度(%);

n-统计的样本个数(个)。

为了验证所设计的甘蔗多刀切种装备的可行性,制作了物理样机,对切种装备的识别率和切刀定位精度进行试验和分析。试验对象为新台糖22号,试验甘蔗的平均直径为29.8mm。其中,最长的甘蔗为1.5m,其上有12个茎节,按照每个双芽段蔗种有两个茎节的要求,5把切刀能够满足切种要求。每次试验从样本中随机选取11根甘蔗,由人工将甘蔗依次摆放到输送链的进料口处,试验完毕后测量S值,计算切刀定位精度,记录样本数、实际茎节数和识别茎节数,计算茎节识别率;试验重复3次,输送机构传输速度为150mm/s,切刀移动速度为100mm/s。试验过程如图8所示。

试验结果如表1所示。由表1可以看出:视觉处理软件的平均识别率为95.3%,平均识别时间为415ms,具有很好的准确性和实时性。切刀平均定位精度为0.07%,造成误差的主要原因是装置的振动以及PLC控制步进电机时齿轮箱的内隙造成的丢步。茎节的宽度一般为5mm左右,故定位误差远小于1mm,满足控制系统的定位要求。