玉米籽粒直收籽粒特征与杂质分类识别方法

吴 昆,张 敏,王 刚,吴 俊,陈 旭

(农业部南京农机化研究所,南京 210014)

0 引言

玉米是我国第3大粮食作物,而收获是玉米生产的重要环节,随着玉米品种及收获技术的发展,籽粒直收方式逐渐受到重视。但是,现阶段玉米籽粒直收装备缺乏实时含杂和破碎信息的支撑,作业过程中机具不能根据作业条件实时选择合适的脱粒清选系统工作参数,只能依据人工经验间断调整,导致了籽粒破碎和含杂较高。因此,玉米籽粒直收过程中含杂、破碎实时监测是实现脱粒清选系统工作实时调节的前提和基础。

近年来,随着机器视觉等技术的发展,国内外研究者利用图像处理技术开展玉米籽粒状态特征的识别工作。要实现含杂和破碎损失监测,首先要对玉米籽粒类型和状态特征识别与判断。Zayas L[1]等利用图像分析和统计模式识别相结合,对完整玉米籽粒和破碎玉米籽粒进行识别;史智兴[2]等利用玉米籽粒的颜色等信息,对玉米品种进行识别;王志华[3]等设计了基于图像采集、数据处理以及 SU-SAN 角点检测算法的籽粒尖端识别系统,识别率达96.5%;张玉荣、王伟宇[4]等应用主成分分析法确定主成分因子,建立3层BP神经网络模型,实现玉米不完善粒的检测识别。但是,现有研究主要是对收获后玉米籽粒在静态环境下的特征进行识别,算法耗时长,工作条件要求苛刻,因此有必要在玉米直收环境下对玉米中的籽粒破碎和杂质进行快速、精确识别技术研究。

为快速、准确地对玉米籽粒直收环境下完整玉米籽粒、破碎玉米籽粒及杂质进行识别,提出了一种基于机器视觉的单层籽粒逐步分类识别方法。工作时,对采集的单层玉米籽粒图片经过两次叠加分水岭分割实现玉米籽粒的精准分割,并基于特征根据最优阈值区分籽粒与杂质,再对降维的特征变量采用基于遗传算法优化的BP神经网络实现玉米籽粒完整性的识别,为后续玉米籽粒含杂和破碎在线监测技术研究提供参考。

1 试验材料和方法

1.1 玉米籽粒检测标准及分析方法

根据玉米检测国家标准GB1353—2018可知:破碎粒指籽粒破碎达到本颗粒体积的1/5(含)以上的颗粒;杂质指除玉米以外的其他物质及无使用价值的玉米粒。

玉米联合收获的玉米籽粒中,杂质主要为玉米穗心、茎和叶等。几何外形特征统计得出,不同组分之间差异明显,不分类直接对采集的图像进行处理耗时长、分类识别准确率低。为此,提出先对玉米籽粒(完整籽粒和破碎籽粒)与杂质基于特性进行预分类,在分类的基础上再对完整玉米籽粒和破碎籽粒进行识别。

1.2 试验装置及设备

玉米籽粒直收含杂破碎识别系统主要由工控机、显示器、工业相机、LED光源和相机支架搭建,CPU核心为3.5GHz,内存8G。在Win10操作系统下,通过MatLabR2018a软件平台实现对玉米籽粒等物质的各个特征信息提取和识别。实验装置如图1所示。

1.工控机 2.直流电源变换器 3.输送带 4.输送带支架 5.电机 6.皮带 7.皮带轮 8.玉米籽粒 9.外槽轮排料机构 10.LED灯 11.工业相机 12.滑轨 13.封闭罩壳图1 图像采集处理系统装置示意图Fig.1 Schematic diagram of image acquisition and processing system

试验在加装补光灯下进行图像采集,相机为大恒图像相机的水星系列(MERCURY),型号为MER-231-41U3MC,镜头选配12mm的变焦镜头,相机工作距离为180mm,精度小于0.1mm。

2 图像采集和处理

2.1 玉米籽粒图像预处理

通过相机获取平铺后的玉米籽粒图像,经灰度处理实现图像信息增强。玉米籽粒原图如图2(a)所示。利用算术均值滤波器对灰度图像进行平滑处理,去除图片中的噪点信息。

图2 优化分水岭分割图Fig.2 Optimized watershed segmentation map

粘连性对玉米识别造成阻碍,运用简单的Otsu阈值分割法和基于距离变换的分水岭分割难以获得良好的分割效果,如图2(b)、(c)所示。本文采用改进分水岭分割法,在籽粒内部形成局部极小值[5],使得分水岭刚好出现在玉米籽粒粘连的边界处,通过对灰度图进行图像重构使得玉米籽粒能够精准地成为标记对象;然后,利用图像的梯度幅值作为分割函数,通过施加最小值法来修正梯度幅值图像,使得只在标记的对象和背景上出现最小值,再基于分水岭分割法对仍粘连的玉米籽粒,如图2(d)所示;分割时对原图片进行R+G颜色灰度处理,再通过构建灰度梯度并标记背景进行分水岭分割,可实现高准确度的分割效果,如图2(e)、(f)所示。

2.2 特征数据提取

图像预处理的特征信息的可检索性增强,本次获取完整玉米籽、破碎玉米籽粒和杂质(包含玉米穗心、种皮、枝叶)的样本图片(分辨率为900×900),每类样本图片20个。图3分别为玉米完整籽粒、破碎籽粒和两类杂质。

图3 相机采集的原始样本图片Fig.3 The original sample image collected by the camera

对获取的4类物质的几何特征、颜色特征和纹理特征的共27个特征数据。玉米的外观形态是区分杂质和破碎籽粒的关键信息,几何特征直接反映出玉米籽粒的外观特点[6]。其中,颜色信息是区分杂质、少数发霉粒等重要因素[7],也是机器视觉系统中识别区分玉米籽粒的一个重要指标;纹理特征是一种反映图像中像素灰度空间分布变化的图像特征,体现景物的表面性质[8]。本次特征提取包括几何特征的像素面积、轮廓点数、周长、椭圆的长轴和短轴,颜色特征中的RGB颜色模型下的R、G、B颜色均值和标准差,以及HIS色彩模型下的H、S、I的均值和标准差,纹理特征的均值、标准差、熵及不变矩[9]。

统计分析发现:在几何特征上,完整玉米和破碎玉米的差别较大,颜色参数差异小;对于杂质,几何特征的数据差异显著,颜色差异明显。

3 杂质的识别

借助特征阈值法[10]对玉米籽粒和杂质进行区分,玉米籽粒在形状上具有规整性且表面细腻且颜色呈黄色,明显区别于杂质。通过对玉米籽粒、玉米破碎籽粒各80个以及玉米穗心和茎叶杂质40个,共计200个样本的特征数据进行研究分析。统计玉米籽粒和杂质的一阶不变矩、R均值、H均值及标准差、R-B值、熵值边界像素点值和长径比值的变化范围,汇总结果如表1所示。

表1 玉米籽粒和杂志的特征变化范围统计结果Table 1 Statistical results of the variation range of characteristics of corn kernels and magazines

由表1可知,杂质和籽粒间一阶不变矩特征值和R-B值最为明显,且边界像素点和长径比值存在差异。

杂质中存在茎叶类和穗心两类,区别两类杂质的明显特征为长径比值,而且因穗心杂质其中部呈现亮色,那么两者其颜色亮度之间区别较大,可以设定长径比值区间和I均值区分杂质类型。通过统计共40个样本的穗心和茎叶的两特征数据的范围区间,汇总如表2所示。

表2 玉米穗心和茎叶杂质的长径比值统计结果Table 2 The statistical results of the ratio of length to diameter of corn ear core and stem leaf impurities

根据表1和表2中的特征值区间范围分析,设定4个特征组合阈值区分籽粒和2个特征组合阈值区分杂质类型,如表3、表4所示。

表3 剔除杂质特征组合阈值设定表Table 3 The threshold setting table of the feature combination of removing impurities

表4 杂质分类特征组合阈值设定表Table 4 Threshold setting table of impurity classification feature combination

获取直收玉米籽粒原图,如图4(a)所示;对图像边缘被裁剪的籽粒进行抑制处理,通过表3的组合特征阈值的设定剔除杂质,如图4(c)所示;因籽粒暗部细节在分割时导致的少量籽粒二值图像轮廓提取不清晰,形状结构存在变形,使得籽粒被误判剔除,如图4(b)中左边第2个圈所示。通过设定长径比和I均值范围区间,可实现穗心杂质和茎叶杂质的分类[见4(d)]。在杂质分类中,也存在少量被误判的非茎叶类杂质。

图4 杂质识别结果图Fig.4 Figure of impurity identification results

4 玉米籽粒区分

4.1 玉米籽粒特征特征分析

直接对27个特征组合进行识别分类,增加了计算时间。因此,采用逐步判别分析法[11]对玉米籽粒的特征参数指标进行判别分析。通过对变量逐步引进,对引入的每一个变量先检验引入新变量对原先变量的重要性的影响,并做出相应的统计检验,实现对冗余的特征变量进行剔除,保留有代表性的特征变量。

对玉米籽粒的完整性进行分析,完整玉米籽粒和破碎玉米籽粒分别标记为“1”和“2”两类;将标记记号作为判别分析的分组变量,其他的27个特征参数变量作为多元变量信息,用代号F1～F27分别表示,即籽粒面积、像素点数、周长、椭圆长轴、椭圆短轴、R均值、G均值、B均值、R标准差、G标准差、B标准差、H均值、S均值、I均值、H标准差、S标准差、I标准差、灰度均值、灰度标准差、熵以及不变矩1～7;对收集的总共200个样本的数据进行判别分析,设定“向前选入法”和“向后剔除法”的显著水平为sle=0.15 sls=0.15,检验其特征指标的F统计量,结果表5所示。

表5 玉米完整和破碎籽粒的逐步选择汇总结果Table 5 Summary results of stepwise selection of whole and broken corn kernels

由表5可知:特征参数由最初的27个缩减为13个,玉米破碎籽粒和完整籽粒之间差别较大的特征主要有13个,其累计平均典型相关度为0.804 268,剔除掉对玉米籽粒完整性区分不明显或冗余的特征参数。

4.2 玉米籽粒识别分类

利用BP神经网络和GABP神经网络[12](基于遗传算法优化的bp神经网络)分别对玉米籽粒样本进行识别,对玉米籽粒完整性区分效果进行比对。

本文采用4层BP神经网络结构,训练模型为levenberg-marquardt(BPLM算法),其结构优势为计算速度较快,适合于本试验的要求[13]。BP神经网络的初始权值和阈值对网络的识别结果存在较大影响,且大多数的随机选择网络参数易导致陷入局部最优[14]。优化初始权值和阈值可以减小训练的误差[15]。相较于BP神经网络,遗传算法优化的BP神经网络的拟合效果更好[16]。通过遗传算法来对BP神经网络的权值和阈值进行寻优求解,试验设定遗传算法的初始化种群50个,遗传迭代次数为100次。

对比BP神经网络和遗传算法优化的BP神经网络在特征选择优化前后的玉米籽粒识别效果。获取玉米完整和破碎籽粒各240粒样本,通过图像处理技术对共480个样本的各个特征数据随机选取完整玉米籽粒和破碎玉米籽粒样本各180个作为神经网络的训练集,并对其余的玉米籽粒共120个本进行识别效率的测试比较。

选择精确率、召回率和F值[17]作为计算指标,F值代表精确率和召回率的综合指标,表达式为

(1)

(2)

(3)

其中,P、R、f分别为精确率、召回率和F值;T为目标识别正确的个数;Fm为误检测的目标个数;Fn为漏检测的目标个数。

试验的结果汇总如表6所示。基于BP神经网络来实现破碎和完整玉米籽粒的分类,在整个识别准确度上有明显优势。经过特征组合筛选优化,在图像信息提取的时间减少1s多,特征选择前后的神经网络对玉米籽粒破碎情况的识别影响不大,准确率都高达95%左右,但在特征提取和识别速度上有一定提升。基于遗传算法优化后的BP神经网络对于玉米籽粒的破碎情况识别也更加稳定,拟合结果也较优,相比BP神经网络的识别准确率也有一点提升;经过遗传优化的BP神经网络在优化特征组合下的识别效率和稳定性最好。同时,由表中召回率结果得知破碎的玉米籽粒的漏识别率相对较高,玉米籽粒的破碎情况复杂及玉米籽粒形状各异是主要原因。

5 混合直收玉米籽粒识别试验

对直收的玉米籽粒进行平铺处理,启动输送带并利用相机随机获取的玉米籽粒图片14张,人工对玉米完整籽粒、破碎籽粒和杂质进行计数,分别为636、189、44个。通过设定特征阈值实现杂质的区分,提取优化后的13个特征数据,利用Gabp神经网络对玉米籽粒的破碎情况进行识别。基于机器视觉的各类物质的识别结果统计如表7所示。

表7 玉米籽粒识别结果评价表Table 7 Evaluation table of corn kernel recognition results %

6 结论

1)利用两次叠加分水岭分割法实现了玉米籽粒的精准分割,利用逐步判别分析法对玉米籽粒的27个特征参数的区分能力进行评价打分,得到13个特征指标作为识别分类的标准,其累计平均典型相关度为0.804 268。

2)确定了基于特征阈值组合的籽粒与杂质、穗心与茎叶分类办法,采用基于遗传算法优化的BP神经网络,特征优化后识别效率和稳定性最好,较优化前的BP神经网络识别准确率提升1%,且识别时间缩短1s。

3)利用设定特征阈值筛选杂质,再基于Gabp神经网络分类识别籽粒方法进行试验测试,结果表明:玉米完整籽粒、破碎籽粒、杂质(穗心杂质及茎叶)的高效识别,分步识别准确率分别为97.7%、85.63%。本方法玉米完整籽粒、破碎籽粒和杂质的识别准确率高且识别耗时短,可为玉米籽粒直收含杂和破碎在线检测系统设计提供参考。