油菜联合收获机含杂率在线检测系统设计与试验*

陈旭，关卓怀，李海同，沐森林，张敏，吴崇友

(1. 湖北工业大学机械工程学院，现代制造质量工程湖北省重点实验室，武汉市，430068；>2. 农业农村部南京农业机械化研究所，南京市，210014)

0 引言

油菜是我国第一大油料作物，提供了50%以上的国产食用油，位居国产食用植物油首位。机械化收获是油菜生产中的关键环节，提升油菜机械化收获水平和收获质量对于保障我国油料供给安全具有重要战略意义[1-3]。含杂率是评价联合收获机作业质量的核心指标之一，也是科学调控联合收获机工作部件参数的关键依据。含杂过高会影响菜籽品质，增加后续加工环节难度，导致油菜籽商品价值损失和经济效益下降[4]。现阶段油菜联合收获机含杂率主要依靠停机人工检测，过程复杂、效率低、实时性差[5]。油菜联合收获机含杂率等关键作业参数难以实时获取，关键部件作业参数调控主要依靠驾驶员经验，缺少量化依据，导致作业质量不稳定。联合收获机需兼顾含杂率和损失率，但实际生产中为尽量减少收获损失往往导致含杂率过高，导致油菜籽品质降低[6]。因此在线检测油菜联合收获机含杂率，实时掌握联合收获机作业质量信息，可为联合收获机工作参数调控提供依据，有助于提升油菜联合收获机智能化水平和菜籽收获品质。

近年来，随着计算机运算速度和图像处理水平的提升，机器视觉技术因其响应快、低损伤、精度高的优点在现代农业生产中的谷物品质检测领域得到了广泛的应用。陈进等[7]提出了基于机器视觉的改进U-Net模型水稻杂质分割方法，为水稻含杂率的计算奠定基础；陈满等[8]提出了基于颜色特征的大豆机械化收获质量在线监测方法，为联合收获机参数调节提供数据支持；李海同等[9]提出了基于图像特征和随机森林的油菜生物量估算方法，为油菜联合收割机喂入量自动检测提供参考；马志艳等[10]提出了基于改进Mask R-CNN的水稻茎秆杂质分割方法，为后续含杂率在线检测系统实现提供技术参考；万龙等[11]提出了基于机器视觉的籽棉杂质快速检测方法，为籽棉含杂率检测设备的研发提供借鉴与技术参考；曾宏伟等[12]提出基于单目视觉的谷物联合收获机产量测量方法，并在谷物测产试验台上进行试验验证；刘双喜等[13]提出基于图像处理和体积排液原理的单粒不规则谷物体积测量方法，为科学研究和实际生产提供可靠的谷物体积数据；沈飞等[14]提出基于可见光—近红外光谱和机器视觉的玉米霉变程度在线检测方法，提升在线检测结果的准确度；陈树人等[15]提出基于Micro-CT图像处理的稻谷内部损失定量表征与三维重构方法，为谷物内部损伤定量表征提供参考。但相关研究仍不成熟，有必要针对油菜机械化收获作业环境，进一步开展油菜含杂在线检测系统的研究。目前联合收获机含杂率在线检测主要采用“物料取样+视觉识别”的技术路线，通过相机拍摄所采集的样本识别杂质。但取样装置中籽粒、杂质间易相互遮挡，难以识别被覆盖的杂质；密闭采样装置中需要专门提供人工光源，光照效果对后续图像处理影响大，制约油菜联合收获机含杂率在线检测技术的发展与应用。

本文针对物料遮挡导致杂质漏检、取样装置内光照不均影响杂质识别精度等问题，设计了一种导流式油菜联合收获机含杂率检测装置，通过限制物料铺层厚度减小对杂质的遮挡，优化光源形式并通过亮度均衡化算法提升图像质量，研究基于颜色特征和形状特征的油菜杂质分割算法，构建油菜含杂率计算模型并试验验证，实现油菜含杂率在线检测，为油菜联合收获机智能化测控系统的设计提供参考。

1 系统总体结构与工作原理

1.1 系统总体结构

油菜联合收获机含杂率在线检测系统主要包括导流式含杂率检测装置、工控机等。其中导流式含杂率检测装置主要包括输送带、工业相机、光源、挡板、挡条和密封外壳等，其结构如图1所示，主要技术参数如表1所示。

图1 导流式含杂率检测装置

表1 油菜联合收获含杂率在线检测系统主要技术参数Tab. 1 Main parameters of on-line detection system for impurity content in rape harvest

工控机处理器为Intel酷睿i7-4790S，显卡为Intel HD Graphics 4600，系统内存8GB。工业相机为大恒MER-132-43U3C型号CCD相机，分辨率1 292×964，像素尺寸3.75 μm×3.75 μm，帧率43 fps，配有VS-LDA4可变焦镜头。

1.2 工作原理

导流式含杂率检测装置安装于油菜联合收获机粮仓出粮口下方，油菜籽粒、杂质等物料通过接样口进入采集装置，实现清选后物料采样。输送带由直流电机驱动，样品采集速度无级可调。在输送带和挡条的共同作用下，物料由接样口向卸样口方向运动并落入油菜联合收获机粮仓中。通过调整高度调节板与输送带的间隙，控制物料铺层厚度，减小对杂质的遮挡。环形光源提供稳定照明，亚克力透明隔板将图像采集装置分隔成两个空间，工业相机和光源安装在完全封闭的上侧，油菜籽粒与输送带位于隔板的下方，避免田间作业时灰尘对镜头的损害。工业相机通过透明隔板拍摄油菜样品图像，输入工控机识别物料中的杂质并计算含杂率，实现油菜联合收获机含杂率在线检测。

2 检测系统光源设计与分析

油菜图像采集是实现油菜含杂率在线检测的重要环节，图像质量直接影响后续图像处理的准确度，图像亮度均匀性是评价图像质量的关键指标。由于检测装置内部为密封空间，需要人工提供光源。为提升图像质量，确定最优光源形式，选用单条形光源、双条形光源和环形光源开展图像采集试验，如图2所示。

为分析不同光源形式下图像亮度分布规律，采用HSV(Hue Saturation Value)颜色空间模型对所拍摄的图片进行处理分析。HSV颜色空间模型中的V分量表示图像亮度，范围0～1，与光强度之间并没有直接联系，可以排除不同光源形式本身强度对均匀度的影响。图片的亮度分析结果如图3所示。

(a) 单侧条形光源 (b) 双侧条形光源

(c) 中心环形光源

(a) 单侧条形光源

(b) 双侧条形光源

(c) 中心环形光源

从图3可以看出，单侧条形光源下，在光源一侧区域的亮度显著高于未设置光源的一侧，亮度分布不均。双侧条形光源下，两侧亮度较高，中心区域亮度较低。中心环形光源下，四周亮度较低，中心区域亮度较高。为进一步量化分析光源形式对图片亮度分布的影响，对图片像素点的亮度值进行了统计分析，结果图4所示。图像亮度过大或者过小都会影响图像的质量，亮度接近中值时图像细节部分更清晰，更利于后续的图像处理。通过计算图像中各像素点亮度值在[0.30，0.70]、[0.25，0.75]和[0.20，0.80]的分布比例，分析图像总体亮度与亮度中值的接近程度，并通过亮度变异系数表征图像亮度均匀度。三种光源形式下亮度分布和亮度均匀度变异系数计算结果如表2所示。

(a) 单侧条形光源

(b) 双侧条形光源

(c) 中心环形光源

表2 三种光源亮度分布情况Tab. 2 Brightness distribution of three light sources

从图4和表2可以看出，单侧条形光源下图像总体亮度较低，各像素亮度值在[0.30，0.70]、[0.25，0.75]和[0.20，0.80]亮度区间的比例分别为38.3%、48.6%和60.2%。双侧条形光源亮度值在[0.30，0.70]、[0.25，0.75]和[0.20，0.80]的比例分别为51.5%、63.3%和75.4%，高于单侧条形光源，但低于中心环形光源的77.4%、91.3%和96.3%。中心环形光源下图像各像素点的亮度值总体更接近中值，有利于后续杂质识别。单侧条形光源、双侧条形光源和中心环形光源下，图像各像素亮度变异系数分别为0.643、0.584和0.394，中心环形光源下图像的亮度变异系数最小，亮度分布最为均匀，有利于提高后续图像处理的精度和效率。

3 含杂率检测算法设计与特征分析

3.1 图像亮度均衡化算法

在优化光源形式的基础上，通过增强算法对含杂油菜图像进行预处理，进一步提升图像亮度均匀度。现有图像增强算法主要包括直方图均衡化及其改进算法、基于Retinex理论的图像增强算法和分区色调映射算法。对于均衡化图像对比度具有较好的效果[16-17]。但应用于图像亮度均衡化时，易出现光晕、边缘模糊等负面效果，后续需要恢复图像细节信息，增加了后续图像处理难度[18-19]。

本文提出一种动态调整图像亮度的方法对图像做亮度均衡化处理，首先把图像进行分块，分别计算全局平均亮度以及局部平均亮度，获得差值矩阵，之后利用插值计算得到全局亮度差值矩阵，再补偿每个小块的低亮度区，削弱每个小块的高亮度区域，使得整幅图像的亮度趋于一致，进而解决光照不均匀的问题。试验结果表明，使用该方法可以获得光照均衡的图像，能够更好地对图像做阈值分割处理，更准确、更科学地对收获油菜的含杂量进行检测。其算法流程如图5所示。

图5 图像亮度均衡化算法流程

设采集到的图像全局尺寸为W×H，对图像进行灰度化处理，灰度级为(0，…，L)，求得全局平均亮度值

(1)

式中：L(i，j)——全局图像中坐标为(i，j)点的亮度值；

W——全局图像的像素宽度；

H——全局图像的像素高度。

将图像分成大小为w×h的子块，计算得到每个子块的平均亮度值

(2)

式中：l(i，j)——子块图像中坐标为(i，j)点的亮度值；

w——子块图像的像素宽度；

h——子块图像的像素宽度。

通过计算全局图像平均亮度值与子块图像平均亮度值获得差值矩阵，差值为

Δl-L=lav-Lav

(3)

当图像中的区域为高亮度区域时，计算得到的差值Δl-L为正，需要对图像亮度做衰减处理；若图像中的区域为低亮度区域差值Δl-L则为负，需要对图像做亮度增强处理。本文为避免在后续阈值分割中局部阈值分割的缺陷，对得到的差值矩阵进行Bicubic插值运算，使差值矩阵扩充到与原图相同的大小，得到全局亮度差值矩阵，利用插值运算可以使相邻子块需要调整的值比较平滑，可以起到保护图像细节信息的作用，最后用原始图像的像素值减去全局亮度差值矩阵，得到亮度均衡化的图像。

3.2 油菜杂质图像特征分析

为利用视觉系统识别物料中的杂质，需要分析图像中油菜籽粒和杂质在颜色空间内的差异。工业相机得到的油菜彩色图像为RGB颜色模型，与人眼对色彩的感知差异较大。HSV颜色模型与人眼对色彩的感知更为接近，更适合用于机器视觉的颜色表征，因此本文采用HSV颜色模型对油菜图像进行处理[20]。由于图像的颜色信息主要分布于低阶矩中，本文采用一阶矩(Mean)、二阶矩(Variance)和三阶矩(Skewness)来表达图像的颜色分布特征，其中一阶矩描述图像像素的颜色均值、二阶矩描述图像像素的标准差、三阶矩描述图像像素的偏移度。三个颜色矩的数学定义为

(4)

(5)

(6)

式中：pi,j——图像第j个像素第i个颜色通道的像素值；

N——图像的总像素数；

μi——第i个颜色通道上所有像素的均值；

σi——第i个颜色通道上所有像素的标准差；

si——第i个颜色通道上所有像素的偏移度。

从100张待处理的油菜图像中随机选取50幅图像作为样本，人工截取样本图片中的杂质成分和油菜籽粒成分，分别对油菜籽粒和杂质区域像素点的H、S、V分量分布情况进行统计分析，得到50个样本的颜色特征参数分布范围统计结果，如表3所示。

表3 HSV颜色特征参数分布范围区间Tab. 3 Distribution range of HSV color characteristic parameters

从表3可以看出，杂质成分的H分量一阶矩分布范围为[0.013 0，0.089 7]，油菜籽粒的H分量一阶矩范围为[0.104 6，0.314 0]，二者在H分量的分布范围差异明显，因此本文设定油菜图像的H分量一阶矩范围[0.013 0，0.089 7]进行杂质成分的提取，确保所有杂质成分都被提取在内。

3.3 油菜杂质分割算法

根据油菜籽粒和杂质在HSV颜色空间模型中H分量差异性明显这一特征，通过设定H分量阈值，对含杂油菜图像进行二值化处理，初步提取油菜杂质，确保所有杂质成分都被提取在内，判定条件如下

(7)

式中：h——图像中像素点的H分量。

若满足条件h∈[0.013 0，0.089 7]，则判定为杂质成分，将其保留；否则将其清空。得到的杂质粗提取结果如图6(b)所示。为了减小阈值设定对油菜杂质识别的干扰，采用形态学处理算法进行进一步的筛选。采用3×3像素大小的圆形结构进行形态学开运算和闭运算处理，断开物体之间的粘连，平滑较大物体的边界同时不改变其面积形状。由于图像中油菜籽粒主要呈圆形，杂质形状上呈长条状或者不规则形状，本文通过设定连通域的圆形度参数范围来进一步提取图片中的杂质，判定条件如下

(8)

式中：T——设定的圆形度阈值；

m——各连通域的圆形度。

若连通域满足条件m>T，则将其置0；若连通域满足条件m≤T，则将其保留，各连通域的圆形度计算结果如图6(c)所示。为了消除小颗粒噪声的干扰，删除面积小于100像素的连通域，最终得到针对油菜原始图像(图6(a))的杂质检测结果如图6(d)所示。通过识别结果可以看出，油菜原图中的杂质基本都被识别出来，而且对杂质的形状、位置和大小均有良好的还原度。

(a) 油菜原图 (b) 杂质粗提取结果

(c) 连通域圆形度 (d) 杂质提取结果

3.4 油菜含杂率计算模型

为获取油菜物料含杂率，需要标定油菜籽粒和杂质的像素密度，将油菜籽粒、杂质间的像素关系转化为实际质量关系。标定方法为拍摄单层无遮挡情况下油菜籽粒与杂质的照片，统计其像素数并称量质量，如图7所示，标定试验中相机物距与采样装置中保持一致。

(a) 油菜籽粒 (b) 杂质

本文采集了10组油菜籽粒和杂质的图像和质量信息，为确保杂质成分较少时依然具有较好的拟合度，在拟合图像像素数与实际质量的关系时，设定拟合曲线截距为0。油菜籽粒、杂质的像素—质量拟合关系如图8所示。

(a) 油菜籽粒

(b) 杂质

根据图8(a)，油菜籽粒在图像中所占的像素数与其实际质量之间的关系为

f(xi)=5×10-5xi

(9)

式中：xi——油菜籽粒在图像中所占的像素数；

f(xi)——油菜籽粒的实际质量。

根据图8(b)，杂质成分在图像中所占的像素数与其实际质量之间的关系为

g(xj)=6×10-6xj

(10)

式中：xj——杂质成分在图像中所占的像素数；

g(xj)——杂质成分的实际质量。

油菜籽粒像素数—质量关系、杂质像素数—质量关系的回归决定系数R2分别为0.997 6、0.981 9，表明拟合结果准确可靠。油菜真实含杂率计算模型为

(11)

式中：p——油菜籽粒的实际含杂率。

3.5 识别结果量化评价

为了衡量本文识别油菜杂质的准确度，采用查准率P和查全率R对识别结果进行量化评价。查准率(Precision)表示准确率，指所有检测结果中正确部分占总检测结果的百分比。查全率(Recall)表示召回率，指检测结果中正确部分占实际正确部分的百分比。计算公式见式(12)、式(13)。

(12)

(13)

式中：TP——正确识别的像素数；

FP——误识别的像素数；

FN——漏识别的像素数。

TP、FP、FN均由人工标注得到。

此外，本文根据查准率P和查全率R这两项指标，设定综合评价指标F1值进行整体评估识别结果。

(14)

本文对50幅油菜籽粒图像的杂质识别结果进行统计取平均后，得到的查准率为91.6%，查全率为89.5%，综合评价指标F1值为90.5%。

4 台架试验

为了检验油菜含杂率在线检测系统的准确性，模拟油菜联合收获机粮仓的输粮系统结构搭建了油菜含杂率检测试验台。并基于Matlab Appdesigner平台开发了一套油菜含杂率在线检测系统软件，可在工控机上实时显示、处理和存储油菜物料图像，实现油菜物料含杂率的在线检测，软件界面如图9所示。称量油菜籽粒和杂质并混合均匀后倒入试验台粮箱内，电机带动输粮搅龙持续升运物料并从上方出粮口持续排出，模拟油菜联合收割机田间作业时的输送过程。导流式油菜含杂率检测装置安装在输粮搅龙出粮口下方，接取油菜物料。试验过程中实时检测混合物料含杂率，试验持续2 min后停止，计算该时间段内油菜含杂率平均值，并与实际值进行对比。通过改变物料中的含杂量进行重复试验，试验共进行3次。

图9 油菜含杂在线检测系统软件界面

3次试验油菜物料的实际含杂率分别为1.38%、2.55%、3.47%，运用本文设计系统检测的油菜含杂率分别为1.26%、2.14%、2.79%，油菜含杂率在线检测系统的平均相对误差为14.8%。

5 结论

1) 针对物料遮挡导致杂质漏检、取样装置内光照不均影响杂质识别精度等问题，设计了导流式油菜含杂率检测装置，通过限制物料铺层厚度减小对杂质的遮挡，优化光源形式和亮度均衡化算法提升图像拍摄质量。

2) 通过提取油菜杂质成分的颜色特征，设置图像HSV颜色空间参数阈值对图像进行二值化，结合形状特征实现油菜杂质成分与背景的分割。油菜杂质成分的查准率为91.6%，查全率为89.5%，综合评价指标F1值为90.5%。

3) 通过人工标定油菜籽粒与杂质成分的单位像素质量，得到油菜籽粒与杂质的质量与像素数目的线性拟合关系，从而将油菜的像素含杂率转换成真实含杂率。台架试验表明，油菜含杂率在线检测系统平均识别误差14.8%。试验过程中导流式含杂率在线检测装置运行流畅，无物料拥堵，检测系统能够有效识别混合物料中的杂质，可以实现油菜含杂率的在线检测。