基于机器视觉的大豆机械化收获质量在线监测方法

陈 满 倪有亮 金诚谦 徐金山 张光跃

(农业农村部南京农业机械化研究所， 南京 210014)

0 引言

大豆是我国主要种植作物之一，在我国粮食作物中占有重要地位[1]。机械化生产是大豆规模化、集约化种植的基础，但收获机械参数不适当、无法进行快速调整，则会导致杂质和破碎籽粒等物质的存在，最终影响粮仓内的谷物质量[2-3]。脱粒滚筒转速过高会使大豆表面出现裂纹，或被分成两个或多个部分；而风机转速过低则无法将秸秆和豆荚分离出来，导致含杂过高[4]。现阶段，大豆联合收获机作业质量的鉴定与检测普遍停留在人工分离检测上，其工作繁琐、效率低[5]；在大豆机械化收获过程中，驾驶员了解收获质量时需要停机，依靠肉眼进行判断，由于缺少实时破碎含杂率的数据支撑，因此不能及时发现收获过程存在的问题，导致收获质量参差不齐，影响经济效益。这种鉴定与检测方式还将制约联合收获机参数自适应调控技术发展，从而影响联合收获机智能化水平。

近年来，随着机器视觉和人工智能技术的发展，国内外研究者尝试利用图像处理技术评估谷物的品质，并开展了相关研究工作，如堆叠、粘连谷物图像分割方法研究[6-8]、谷物图像特征信息提取研究[9-11]和谷物成分识别模型研究[12-14]等。随着基础理论研究的深入，克拉斯公司推出了“谷物质量相机”，实现了机械化作业过程中谷物作业质量的实时监测与预警[15]；CARMEN等[16-17]研制了自动监测小麦籽粒、杂质的传感器；MAHIRAH等[18-19]提出了双灯源照明的谷物破碎率与含杂率监测系统；MD ABDUL等[20]研究了基于机器视觉的大豆破碎籽粒、含杂识别的试验室检测装置和识别算法；陈进等[21]提出了基于机器视觉的水稻杂质与破碎籽粒分类识别方法，构建了机载实时测量系统；杨亮等[22]提出了基于遗传算法图像增强、K-means聚类算法、形态特征的破碎玉米籽粒识别方法，并设计了玉米籽粒破碎率在线采样装置。但相关技术仍不成熟，有必要针对联合收获机收获的复杂作业环境进一步开展收获质量在线监测技术的研究。

为实现大豆机械化收获质量的在线监测，本文提出基于机器视觉的大豆机械化收获质量在线监测方法，设计机械化收获过程大豆图像采集视觉系统，研究基于改进分水岭算法的大豆图像分割算法，在RGB和HSV颜色空间域筛选对大豆各成分具有较好分离特性的颜色特征值，建立基于颜色特征值的大豆成分分类识别算法，制定量化评价模型，以期实现大豆机械化收获作业质量在线监测与作业质量性能评价。

1 材料与方法

1.1 图像采集系统

大豆机械化收获图像采集系统主要由工控机(Xplore X SLATE B10型便携式计算机，处理器为Intel 酷睿i5 5350U，显卡为Intel HD Graphics 6000，系统内存为8GB)、谷物采集装置、STM32下位机、工业相机、LED光源、电动机等部分组成，如图1所示。

谷物采集装置安装于大豆联合收获机出粮口下方，采集落入谷物采样槽中的大豆，工控机通过工业相机进行一次大豆图像采集并进行图像处理、识别和显示，下位机则控制电动机动作，以获取实时的大豆机械化收获样本，从而实现作业质量在线监测。

1.2 图像采集与处理

1.2.1图像采集

图像采集工作于2018年10月9日在山东省梁山县馆驿镇试验田完成，试验地种植大豆品种为郑豆1307，机械化收获时大豆籽粒平均含水率为12%，百粒质量为22.52 g。采用本文所述的图像采集系统在联合收获机作业过程中实时采集粮箱内的大豆图像，共100幅。图像采集设备为迈德威视科技有限公司的彩色工业相机，型号1080P(V5610)_PCBA，搭配焦距为8 mm相机镜头。工业相机通过USB接口与工控机连接。在工控机上利用Matlab 2014a开发的大豆机械化收获质量在线监测软件(图2)进行图像采集与处理，图像分辨率为1 280像素×1 024像素，图像格式为jpg。

图3为大豆样品中最常见组成成分：完整籽粒，即没有机械损伤的大豆籽粒；破碎籽粒，即由于机械收获造成表皮损伤籽粒和破裂籽粒；杂质，即秸秆类杂质(主要包括豆荚、植物茎秆、叶片等)和霉变大豆籽粒。本文主要实现以上3种成分的识别，并建立量化模型判断大豆机械化收获质量。

1.2.2图像识别流程

图像系统采集的机械化收获过程的大豆图像存在大量籽粒杂质堆叠、粘连现象，需要从复杂图像中准确识别出大豆样本的各个组成成分。首先获取原图像的RGB和HSV颜色空间各个分量的值；对图像进行预处理，采用改进分水岭算法对图像进行分割，通过边界跟踪和闭合区域填充获取二值图；然后采用带色彩恢复的多尺度视网膜增强算法(Multi-scale retinex with color restoration， MSRCR)对原始彩色图像进行补偿和消除，减小噪声干扰，应用最大类间方差法(Otsu)获得二值化图；最后设置R、G、B、H、S阈值，遍历闭合区域识别大豆图像中的各个成分，得到各成分识别结果。图像识别流程如图4所示。

1.2.3颜色特征提取

图像处理中常用的颜色特征是RGB和HSV，然而大豆样本各个组成成分的R、G、B、H、S值存在较大的重叠部分，因此，需要对颜色特征中的颜色矩进行分析统计以实现大豆样本图像的有效分类。颜色的分布信息主要集中在一阶矩(Mean)、二阶矩(Variance)和三阶矩(Skewness)，其中一阶矩描述平均颜色、二阶矩描述颜色方差、三阶矩描述颜色偏移性，颜色矩能够全面呈现图像的颜色分布特征。一阶矩、二阶矩和三阶矩计算式为

(1)

(2)

(3)

式中i——颜色模型分量，i=1为R分量，i=2为G分量，i=3为B分量，i=4为H分量，i=5为S分量

Pij——彩色图像第j个像素的第i个颜色分量

N——图像中像素点个数

Mi1、Mi2、Mi3——一、二、三阶矩计算值

从采集的100 幅大豆图像中随机抽取20 幅图像作为样本，人工选取样本图像中部分完整籽粒、破碎籽粒、杂质的内部区域进行截取，对区域内像素点R、G、B、H、S参数进行统计，得到完整籽粒、破碎籽粒、杂质各部分的颜色特征参数值分布范围统计结果，如表1所示。

表1 R、G、B、H、S参数的区间范围Tab.1 Interval range of each R, G, B, H and S parameter

1.2.4改进分水岭图像分割算法

本文设计的图像采集系统所采集的机械化收获过程大豆图像颜色特征参数为各成分的粗提取提供依据，但不能精确地分割各个部分，特别是堆叠、粘连部分。为此，利用基于形态学及区域合并的改进分水岭图像分割算法，实现大豆图像精确、有效分割。首先将原彩色图像转换为灰度图像，对灰度图像进行形态学混合开闭操作去除细小噪声，再用拉普拉斯锐化法强化轮廓[23-26]；然后以图像区域的亮暗程度为前提标记图像目标物和背景区域，并对修正后的梯度幅值图像分水岭分割；最后利用区域合并算法对分割图像区域合并，将漏标记区域合并到目标物或背景区域中，直到没有新的区域合并成功，图像边缘跟踪分割完成。

1.2.5图像识别结果量化评价

采用查准率Pa、查全率Ra两项指标对各成分识别结果进行量化评价。查准率指检测结果中的正确部分占整个检测结果的百分比。查全率指检测结果中的正确部分占实际整个正确部分的百分比[27]，计算公式为

Pa=TP/(TP+FP)×100%

(4)

Ra=TP/(TP+FN)×100%

(5)

式中TP——正确识别像素数

FP——错误识别像素数

FN——漏识别像素数

TP、FP、FN均采用人工标注的方式得到。

1.2.6破碎含杂率量化模型

现有的大豆机械化作业质量破碎含杂率鉴定大纲的检测方法并不适合基于图像识别的破碎含杂率测定。根据现有测定方法，制定了基于图像识别的破碎含杂率量化模型，计算公式为

Pz=ρzTz/(ρzTz+ρwTw+ρsTs)×100%

(6)

Ps=ρsTs/(ρwTw+ρsTs)×100%

(7)

式中Pz——含杂率，%

Ps——破碎率，%

Tw——系统识别的完整籽粒像素数

Ts——系统识别的破碎籽粒像素数

Tz——系统识别的杂质像素数

ρw——图像每1 000像素点的完整籽粒平均质量

ρs——图像每1 000像素点的破碎籽粒平均质量

ρz——图像每1 000像素点的杂质平均质量

ρw、ρs、ρz均采用人工标注方式得到，试验测得ρw和ρs为8.6×10-4mg/像素、ρz为1.3×10-4mg/像素。

制定规则实时评定谷物联合收获机作业性能，当大豆机械化收获质量破碎率和含杂率的检测值均低于5%时，本文判定谷物联合收获机作业质量合格，其他情况均为作业不合格。

1.2.7田间试验验证方法

试验地点为山东省临沂市河东区相公街道试验田地块，试验时间为2019年10月20日，如图5所示，试验用大豆品种为郑豆1307，机械化收获时大豆籽粒平均含水率为11.8%，百粒质量为21.47 g。参照GB/T 5262—2008《农业机械试验条件测定方法的一般规定》、NY/T 738—2003《大豆联合收割机械作业质量》、DG-T 184—2019《大豆联合收割机》开展大豆机械化收获田间试验，共进行3个行程的图像采集装置检测和人工检测对比试验。

2 结果与讨论

2.1 大豆样本各成分识别

2.1.1基于改进分水岭算法的图像分割

通过最大类间方差法、传统分水岭算法和改进分水岭算法对采集的大豆样本图像进行分割，效果如图6所示。发现传统分水岭算法虽对微弱的边缘具有良好的响应，但对图像中噪声、物体表面细微的灰度变化比较敏感，噪声会恶化图像梯度进而造成分割结果轮廓偏移，通常分割结果会出现严重的“过分割”现象。

改进分水岭算法能够有效抑制分水岭的过分割，同时也能弥补传统形态学标记的漏标记区域问题，在分割效果上优于最大类间方差法。在改进分水岭算法分割过程中，大豆完整籽粒和破碎籽粒可以有效分割获取，在图6d的基础上设置颜色阈值，可以有效地识别以上成分；但杂质由于颜色较深，会被标记为背景，从而将其剔除，根据图6d的分割结果进行杂质识别不合适，可以根据图6b的分割结果，在剔除完整籽粒和破碎籽粒的基础上，实现杂质识别。

2.1.2完整籽粒识别

完整籽粒像素点R∈[115,186]，G∈[104,185]，B∈[90,180]，H∈[0,0.2]，S∈[0.027,0.24]，而由表1可知，完整籽粒M11∈[162.162 2,182.703 3]，M41∈[0.104,0.148]，M51∈[0.040 4,0.187 8] 这3个参数值明显区别于破碎籽粒、杂质成分，因此，本文以M11、M41、M51这3个参数区间设置完整籽粒颜色阈值，通过遍历图像的各个闭合区域，统计区域内R、H、S分量的一阶矩，进行属于完整籽粒区域的提取。图7b是对图7a的大豆原始图像识别完整籽粒的结果，从识别结果来看，原图中的大豆完整籽粒基本都能被识别出来，而且大豆的形态保存良好。不足之处在于存在部分籽粒被标记为背景(圈内)被误剔除。而完整籽粒的查准率为87.26%，查全率为86.17%(表2)。

2.1.3破碎籽粒识别

破碎籽粒像素点R∈[61,181]，G∈[68,189]，B∈[73,188]，H∈[0.027 8,0.7]，S∈[0.011 6,0.444 4]，而由表1可知，破碎籽粒M22∈[0.072 1,0.755 0]，M41∈[0.145 2,0.402 8]，M51∈[0.055 6,0.320 9] 这3个参数值明显区别于完整籽粒、杂质成分，因此，本文以M22、M41、M51这3个参数区间设置破碎籽粒颜色阈值，通过遍历图像的各个闭合区域，统计区域内G分量的二阶矩和H、S分量的一阶矩，进行属于破碎籽粒区域的提取。图8b是对图8a的大豆原始图像识别破碎籽粒的结果，从识别结果来看，原图中的正对镜头的大豆破碎籽粒基本都能被识别出来，而且大豆的形态保存良好。不足之处在于破碎面背对镜头的破碎籽粒被标记为完整籽粒(圈内)被误剔除。而破碎籽粒的查准率为86.45%，查全率为79.42%(表2)。

2.1.4杂质识别

杂质像素点R∈[41，189]，G∈[52，195]，B∈[59，214]，H∈[0,0.818 2]，S∈[0,0.460 7]，而由表1可知，杂质M11∈[69.130 2,154.762 7]，M41∈[0.429,0.623]，M51∈[0.129 7,0.303 1] 这3个参数值明显区别于完整籽粒、破碎籽粒成分，因此，本文以M11、M41、M51这3个参数区间设置杂质颜色阈值，通过遍历图像的各个闭合区域，统计区域内R、H、S分量的一阶矩，进行属于杂质区域的提取。图9b是对图9a的大豆原始图像识别杂质的结果，从识别结果来看，原图中的大豆大型茎秆杂质基本都能被识别出来，而且茎秆的基本长度、大小均保存良好。不足之处在于存在部分颜色较深的杂质被标记为背景(圈内)被误剔除。而杂质的查准率为85.19%，查全率为83.69%(表2)。

2.2 大豆机械化作业质量在线监测田间测试结果

大豆机械化收获作业质量田间测试数据如图10、11所示，试验过程中，采用本文设计的图像采集装置自动检测大豆机械化收获质量含杂率最大值5.23%，最小值0.34%，均值为2.72%；破碎率最大值5.04%，最小值1.85%，均值为3.06%。人工检测大豆机械化收获质量的含杂率最大值4.62%，最小值2.64%，均值为3.69%；破碎率最大值4.44%，最小值2.98%，均值为3.37%。

大豆机械化收获作业质量田间收获性能的判定结果如表3所示，相比于人工检测，图像自动检测得到的大豆机械化收获作业含杂率和破碎率较小，仅第2行程中自动检测破碎率略高于人工检测结果。根据作业性能判定规则，人工检测和自动检测结果一致，3个作业行程大豆机械化收获作业性能均符合作业要求。由此可见，本文设计的图像采集系统能够作为大豆机械化收获质量实时自动检测有效手段，为提高大豆机械化收获效益提供数据支持。

表3 田间试验结果Tab.3 Field test results

3 结论

(1)基于机器视觉技术开发了大豆机械化收获图像采集系统，在便携式计算机上利用Matlab2014a编写了配套软件，能够实时采集清晰的大豆图像，对大豆样本图像各个成分进行分割和识别，并计算出机械化收获实时的破碎含杂率，为联合收获机作业性能评价和参数调节提供数据支持。

(2)采用改进分水岭算法对采集的大豆图像进行分割，遍历图像每个独立的封闭区域，通过设置RGB和HSV颜色空间参数阈值，对封闭区域进行归类，识别出大豆样本中的完整籽粒、破碎籽粒及杂质。完整籽粒查准率为87.26%、查全率为86.17%，破碎籽粒查准率为86.45%、查全率为79.42%，杂质查准率为85.19%、查全率为83.69%。

(3)利用图像采集与检测系统对谷物联合收获机作业质量性能评定结果与人工检测一致，该系统可以作为谷物联合收获机作业性能评定的有效手段。