蔗芽识别与定向视觉检测方法研究

许洪振,王明明,陈海锦,刘姣娣

(桂林理工大学机械与控制工程学院,广西 桂林 541006)

甘蔗是我国主要的制糖作物,已成为广西最大战略经济作物和农民增收的主要经济来源。甘蔗种植业能否健康发展,直接影响广大蔗民增收与糖产业的可持续发展[1]。甘蔗种植的机械化和智能化是甘蔗产业的发展趋势,甘蔗种植农艺要求蔗种蔗芽水平朝向种沟两侧沟壁进行定向播种[2-4],蔗种蔗芽高效识别和位姿定向调整是实现蔗种定向播种的前提。

随着视觉检测技术在农业机械领域的广泛应用,农作物的识别与定向方法成为研究热点。李广伟等[5]针对育种用玉米种子切片取样过程中玉米种子自动定向问题,采用计算机视觉与姿态调整装置相结合,形态识别准确率97.8%,姿态识别准确率99.8%,识别速度1.3 s/幅;龙樟等[6]提出一种基于图像处理的自然场景下茶叶嫩芽视觉识别与采摘点定位方法;尚志军等[7]利用机器视觉技术设计枳壳自动调向系统,并提出枳壳调整识别算法;LI Y H等[8]基于机器视觉对蒜瓣进行定位识别;史方青等[9]针对多视角和不同程度重叠的马铃薯芽眼图像,基于卷积神经网络对马铃薯芽眼进行快速准确识别;石昌友等[10]采用视觉技术对不同种类甘蔗茎节进行识别,解决了不同种类甘蔗由于其表面多样性和复杂性导致茎节难识别的问题;黄亦其[11]、张圆圆等[12]为解决蔗种切种刀伤芽的问题,基于机器视觉对甘蔗的茎节进行识别;李尚平等[13]通过改进YOLOv3网络模型,茎节识别准确率达96.89%,平均识别时间28.7 ms。以上研究的开展为视觉识别检测在农业领域中的应用提供了参考依据,但目前针对甘蔗视觉检测研究集中在识别甘蔗茎节,未见蔗芽位姿识别与蔗种定向方面的研究文献。

本文根据蔗种蔗芽水平朝向种沟两侧沟壁的播种农艺要求,基于蔗芽颜色、位置及形态特征参数统计分析基础上,设计基于视觉检测技术的蔗芽识别和位姿调整系统,并分析蔗芽位置及形态特征,根据特征信息与蔗芽姿态的空间位置关系,建立蔗种位姿模型,确定蔗芽实时位置姿态,实现蔗种位姿调整。

1 试验材料与方法

1.1 试验材料

以取自广西桂林国家农业科技园区的优质蔗种“桂糖44号”为试验对象,人工选取单芽段蔗种样本80个。

1.2 试验方法

试验技术路线如图1所示,对蔗种图像预处理,提取蔗芽颜色、位置及形状特征参数,确定蔗芽空间姿态,计算蔗芽姿态调整值,调整蔗芽位姿到理想姿态,达到蔗种种植定向要求。

搭建蔗种图像采集试验台如图2所示,主要由相机、计算机及光源等组成。CMOS工业相机采用维视智造MV-HS510GC相机与BT-23C0814MP5工业镜头,500万像素,拍摄高度设为300 mm,固定在台架顶部;计算机采用惠普电脑,处理器3.60 GHz,内存8 GB;光源采用2根19 W的LED高亮条形灯管,呈45°摆放。

1—计算机;2—CMOS工业相机;3—光源;4—蔗种样本图2 蔗种图像采集试验台

2 蔗芽位置特征提取与定位

2.1 图像预处理

经过图像采集、二值化处理、蔗芽边界提取、蔗芽轮廓填充,从图像预处理后的蔗芽轮廓包围的二值图像中提取蔗芽形态和位姿特征。

由于获取图像时不可避免地受到外部因素干扰,图像中会出现一定量噪声,且蔗种本身有不均匀蜡粉,均会干扰蔗芽特征的提取。因此,使用中值滤波算法对图像进行处理,可消除外界噪声干扰,同时保留比较完整的蔗芽颜色信息,中值滤波后图像噪声明显降低,且图像更平滑,有效保留了图像的边缘轮廓信息,如图3所示。

图3 中值滤波效果

数字图像以RGB格式作为计算机常用存储格式,在该格式下图像被分成R、G、B 3个通道,若同时处理3个通道包含的图像信息,计算量大且过程复杂。图像灰度化处理能够有效去除图像颜色特征信息,且保留图像轮廓信息的完整性,提高图像处理效率,因此,为提高图像质量及蔗芽区域的可辨识度,利用灰度变换算法对蔗种图像进行增强处理,灰度化效果如图4a所示。

图4 灰度化效果

图像的灰度值主要集中在50～185之间,图像比较模糊,灰度直方图(图4b)显示:将灰度值50～185均匀分布在0～255,图像会更清晰。灰度变换原理过程如式(1)所示,对原始灰度图像进行处理,为达到最佳图像增强效果,将像素点小于50的灰度值赋值为0,大于185的灰度值赋值为255,处理结果如图5所示。

图5 灰度变换算法增强效果

(1)

公式简化得到y和x的关系如下:

(2)

式(2)中x表示像素点位于50～185之间的灰度值,y表示像素点位于0～255之间的灰度值。

2.2 蔗种边缘轮廓提取

由于图像中蔗种区域与背景之间的分界清晰,为获取甘蔗的轮廓特征,去除图像中孤立像素点和图像轮廓边缘的毛刺噪声,对阈值分割后的图像进行形态学处理,结果如图6a所示。利用Canny边缘检测算法对形态学处理后的蔗种图像进行提取,得到蔗种边缘轮廓,如图6b所示。

图6 蔗种形状特征提取

蔗种边缘中心点集近似为直线,引入最小二乘法的线性拟合方法提高蔗种轮廓提取的准确性。

蔗种边缘线直线方程由2个参数表示,即

y=a0+a1x,

(3)

式(3)中的两个待定参数均可通过最小二乘法拟合边缘检测后的轮廓离散点来确定,即通过计算二值图像中边缘点到理想拟合直线距离的最小平方和,由最小二乘法线性拟合原理得:

(4)

式(4)中:N为Canny边缘图像中轮廓点的总数,(xi,yi)为第i个待拟合的轮廓坐标。

为使目标函数f值最小,将各系数偏导数置为零,利用高斯消元法求解直线方程各系数。采用式(5)求解直线参数中斜率a1和截距a0,边缘直线拟合结果如图7所示。

图7 边缘轮廓提取与拟合

(5)

2.3 蔗芽位置特征提取与定位

为获取蔗芽位置信息,需要对灰度变换增强处理后的图像作进一步处理,基于Otsu阈值分割获取灰度图像阈值,对图像进行二值分割,初步提取蔗芽区域如图8a所示。

图8 蔗芽位置特征提取流程

为有效保留蔗种特征信息,采用相同次数腐蚀和膨胀形态学算法对图像进行处理,选择3×3的椭圆形结构元素,形态学处理效果如图8b所示。为确定蔗芽在图像中的准确位置,将蔗芽面积中心点定义为蔗芽在图像中的位置,面积中心点即为蔗芽区域质心,即单位面积质量不变的同一形状图形的质心。记m×n维蔗种图像为I(x,y),其中蔗芽区域设为目标A,背景区域设为B,则有:

(6)

目标的质心坐标(x0,y0)定义如下:

(7)

根据几何图形在二值图像中的描述方法,采用质心搜索算法求出蔗芽质心E′(xo,yo),提取质心坐标如图8c所示。

3 蔗芽位姿调整

3.1 蔗芽位姿模型

蔗芽质心坐标确定后,构建蔗种空间位姿模型。建立像素平面坐标系X1O1Y1,以成像平面左上角为坐标原点,如图9所示。

图9 蔗芽位姿模型

图9中E为蔗芽的质心点,E′为蔗芽区域在成像面上的质心点,Oc为光轴所在的中心点;为简化计算模型,将蔗种段近似成圆柱体,以蔗种圆柱体所在轴线和工业相机光轴的交点为原点建立世界坐标系O2X2Y2Z2,α1为O2E与轴线Z2之间的夹角,E1为蔗芽质心E在平面X2O2Y2上的投影。为进一步对蔗芽位姿进行描述,在平面X2O2Y2内,规定O2E1位于第一、二象限时,α1为O2E与轴线Z2之间的正夹角;规定O2E1位于第三、四象限时,α2为O2E与轴线Z2之间的负夹角。在以O2X2Y2Z2成像平面与相机光轴交点为原点的空间坐标系O3X3Y3Z3建立“蔗种位姿空间模型”,蔗种段圆柱体的底面半径R由式(8)算出,其中E″为蔗芽质心点,由式(9)得出蔗芽质心点三维坐标。

(8)

式(8)中dl1l2表示蔗种轮廓拟合边缘线l1、l2之间距离;αl1、αl2表示蔗种轮廓拟合边缘线l1、l2的截距。

(9)

式(9)中(xc,yc)为蔗芽质心点在成像平面坐标系的像素坐标;(x0,y0)为空间坐标系原点O3在成像平面坐标系上的像素坐标;(xE,yE,yE)为蔗芽质心点E′′在空间坐标系O3X3Y3Z3上的三维坐标。

定义蔗芽空间位姿为α(α1,α2),在补偿透镜成像畸变的情况下,成像平面上物体大小与原物体成正比例关系。因此,可用蔗种成像空间模型中的位姿表示空间坐标系O3X3Y3Z3下的蔗芽位姿α,在蔗种成像空间模型中的α(α1,α2)可依据式(10)计算出。

(10)

3.2 蔗芽位姿调整方案设计

蔗种由输送机构输送到取种区,机械手经步进电机驱动下降取种并提升蔗种至图像采集位;相机采集实时蔗种图像,经对蔗种图像边缘提取、蔗芽识别、蔗芽位置特征提取与定位,计算出蔗芽所需调整角度;控制器接收调向信号,控制电机驱动机械手夹持蔗种绕蔗种轴线旋转调向,实现蔗种定向。当蔗芽位于蔗种段下表面时,相机无法拍摄到蔗芽,试验通过机械手夹持蔗种段绕蔗种轴线转动180°/次,即可完成整个蔗种表面的拍摄,但由于蔗种段与机械手旋转轴线并非严格对称,会造成蔗芽误判现象。试验确定旋转角度为120°,设计蔗芽位姿调整方案如图10所示。

图10 蔗芽位姿调整方案设计

通过提取采集图像的特征参数信息,获得蔗芽实时空间位姿α(α1,α2)。定向调整蔗芽位姿有以下两种情况:

(1)α2≥0,图像中蔗芽质心点在X2O2Y2平面的第一、二象限,蔗种段依次绕光轴线正向旋转α2、绕蔗种轴线正向旋转α1,完成蔗种定向调整。

(2)α2<0,蔗芽质心点在X2O2Y2平面的第三、四象限,蔗种段依次绕光轴线正向旋转α2、绕蔗种轴线反向旋转α1,完成蔗种定向调整。

4 试验验证与对比分析

为验证蔗芽位姿识别与定向方法的可行性及测试样本的通用性,选取直径范围25～35 mm的80根不同直径的优质蔗种段作为测试样本。将蔗种位姿定向调整后,作蔗芽质心点与蔗种轴线的垂线,该垂线与水平线之间的夹角β定义为定向误差角,定向误差角大小反映位姿调整后实际蔗芽位姿与理想蔗芽位姿的偏差。定向误差分布结果(图11)显示:74个蔗种测试样本捕捉到蔗芽位姿特征,蔗芽位姿识别准确率为93.75%,其中定位误差角β最大值为15.8°。

图11 定向误差分布

在蔗芽定向位姿调整过程中,以蔗芽质心作为定向调整参考对象,忽略蔗芽的实际大小和实际转向操作中会产生角度误差。为此提出蔗芽定向允许误差γ作为蔗芽定向调整的评判指标,以蔗芽投影宽度d1与蔗种茎节直径d2的比值确定定向允许误差γ:

(11)

当γ为24°、定向误差角β≤12°时,蔗种定向成功[4]。本文试验结果表明蔗种位姿定向成功率为94.5%。为检验本文方法的优越性,在相同样本条件下使用经典LeNet-5网络模型对蔗芽识别定向作对比,训练迭代次数为200,学习率为5,对80根蔗种测试样本进行试验验证,其中蔗芽定向成功率为92%。可见,本文方法将定向成功率提升了2.5%,且其方法比卷积神经网络更简单,能够实现蔗种自动定向,定向后蔗种满足蔗芽水平朝向种沟沟壁的农艺要求。

5 结论

(1)本文面向蔗种定向种植装备的实际需求,运用机器视觉和定向调整装置相结合的方法实现对蔗种定向,提出了蔗芽识别检测和位姿特征捕获算法;通过形态学图像处理算法和Otsu阈值分割算法识别和提取蔗芽完整轮廓,基于Canny边缘检测算法和最小二乘法的线性拟合方法提取蔗种边缘轮廓,根据蔗芽位置与形状特征参数,构建蔗种空间位姿模型,并计算出蔗芽位姿角α,以便位姿调整装置将蔗芽调整到理想水平姿态。

(2)选取80个预切蔗种段进行试验验证,试验结果表明本文提出的蔗芽识别系统和位姿调整方法满足蔗种定向种植精度要求,蔗芽位姿识别成功率93.75%。提出以蔗芽定向误差角作为蔗芽定向调整的评判指标,经过定向位姿调整后,定向成功率94.5%,试验结果表明该定向方案满足蔗种定向要求。因此,本研究可为蔗种机械化定向播种提供解决方案,并为甘蔗种植机的自动定向装置设计提供参考。