基于YOLO v5-MDC的重度粘连小麦籽粒检测方法

2022-05-12宋怀波王云飞段援朝韩梦璇

农业机械学报 2022年4期

宋怀波王云飞段援朝宋磊韩梦璇

(1.西北农林科技大学机械与电子工程学院，陕西杨凌 712100;2.农业农村部农业物联网重点实验室，陕西杨凌 712100)

0 引言

千粒质量是小麦产量预估的重要指标，小麦籽粒的精确检测是其重要内容。同时，籽粒检测可为小麦育种、表型分析、破损及霉变籽粒分选等提供重要支撑。利用人工方法进行小麦籽粒检测费时费力，而机器视觉方法因其具有高效、快速等特点，已成为小麦籽粒检测的首选方法[1-4]，但小麦籽粒的粘连会造成检测较大误差，重度粘连会导致检测精度急剧下降。如何实现重度粘连下小麦籽粒的精确检测已成为相关研究的热点，越来越受到重视。

为了有效实现粘连小麦籽粒的检测，部分学者通过设计特征提取算法对图像进行分割，将籽粒与背景分开[5-7]。该过程使用的主要图像处理算法包括大津法[8]、腐蚀膨胀算法[9]、分水岭算法[10-12]、小波分析法[13]等。LIU等[14]对原始小麦籽粒图像使用大津法获得二值图像，利用籽粒与背景像素分布特点分割粘连籽粒，其算法单幅图像检测时间最大为1 s，最大错误率为2.10%，检测效果较好。冯丽娟等[15]对图像提取籽粒颜色、形态、纹理特征并利用稀疏表示方法进行检测，算法平均识别准确率为96.70%，但在相似品种间易发生误检现象。张恒敢等[16]对图像二值化处理后采用腐蚀膨胀算法实现了粘连籽粒的分割，算法平均识别准确率为98.83%，但外界环境光源的变化会对识别率造成一定影响。上述方法均需手动设计特征，并依据目标的变化而重新设计特征参数，普适性有待改进。

近年来，一些学者利用机器学习的思想，通过模型训练自动学习籽粒特征进行检测[17-19]。EBRAHIMI等[20]提出了针对小麦籽粒颜色、形态、纹理等特征的ICA-ANN网络用于籽粒检测，准确率为77.22%。樊超等[21]提取16个特征信息输入自主设计的单隐层人工神经网络，籽粒检测的准确率为93.13%。左卫刚等[22]设计了适合于小麦籽粒分割的FFBP-ANN网络，分类准确率为99.94%。祝诗平等[23]对比了LeNet、AlexNet、VGG、ResNet等4种卷积神经网络，并采用检测籽粒完整度准确率最高的AlexNet网络进行籽粒检测，单粒识别耗时0.83 ms，平均准确率为98.02%。WU等[24]利用Faster R-CNN模型进行了小麦籽粒检测，其模型最大错误率为3.02%，单幅图像检测时间最长为2 s。相较于传统的机器视觉算法，该类方法不需要手动设计特征提取算法，仅需对神经网络的深度、宽度、结构进行设计，通过训练得到神经元的最佳特征提取参数，泛化性更好。

YOLO v5作为YOLO系列的卷积神经网络，具有检测效率高、准确率高、模型占用内存小等特点[25-30]，MDC模块是针对传统深度分离卷积模块提出的混合深度分离卷积模块，其融合多个卷积核于一个卷积操作中，在不损失模型精度的同时减少了模型参数，同时其还融合了SE模块，提高了特征图的通道联系[31]。本研究结合MDC模块的优点，对YOLO v5网络特征提取骨干部分予以改进，以使网络参数减少，用于重度粘连小麦籽粒的检测之中，以期为研发适合于移动端的便携式千粒质量检测设备奠定基础。

1 检测与方法

本研究所用小麦为豫麦，包括矮抗58、汝麦0319、郑麦7698等3个品种。图像采集装置如图1a所示，由4部分构成，包括1个升降平台、1个摄像装置、2个补光灯、1台计算机。如图1b所示，装置底端到拍摄装置距离为260 mm，升降平台如图1c所示，可升降高度范围为45～220 mm，补光灯平行于拍摄装置前后对称安装，以减少阴影的影响，数据采集时作为光源可提供波长400～700 nm的光线，摄像装置为华为Honor8x Max手机摄像头，拍摄图像分辨率为4 608像素×3 456像素。

图1 图像采集装置Fig.1 Data acquisition device1、4.补光灯 2.拍摄装置 3.升降平台

1.1 图像采集

传统小麦籽粒分割算法多集中在对2～20粒粘连籽粒的分割上[5-16]，对于更多粘连籽粒分割效果不佳，故而，本研究在借鉴前人研究结果的基础上，以图像局部区域包含2～10粒籽粒粘连定义为轻度粘连，局部区域包含11～20粒籽粒粘连定义为中度粘连，局部区域包含20粒以上籽粒粘连的定义为重度粘连。

为使模型学习到更多的粘连小麦籽粒特征，应输入尽可能多的小麦籽粒图像进行训练，同时，图像中应包含小麦籽粒的轻度、中度、重度粘连情况。因此，实验时随机选取一定数量的小麦籽粒撒在升降平台上，通过轻微晃动使小麦随机分布，防止因人为意愿而产生单一粘连情况图像。同时，为探究光源和拍摄距离对检测效果的影响，在拍摄时使用补光灯分别提供红(波长605～700 nm)、黄(波长580～595 nm)、蓝(波长450～480 nm)、绿(波长500～560 nm)4种光照环境，并通过调节升降平台使摄像装置在距离小麦籽粒5、10、15 cm，3种不同高度下拍摄原始图像。最终获取了3 942幅粘连小麦籽粒图像，如图2所示，图像数据集数目统计见表1。

图2 不同粘连程度图像Fig.2 Images of different adhesive degrees

表1 小麦籽粒图像数据集统计Tab.1 Statistics of wheat grain data set 幅

从粘连小麦籽粒图像数据集中可以看出，每幅图像包含随机数量的籽粒，并且包含了轻度粘连、中度粘连、重度粘连等情况，如图2所示(3幅图中小麦粒数均为91粒)，本研究所用数据集共包含轻度粘连图像563幅，中度粘连图像1 126幅，重度粘连图像2 253幅。

如图3所示，数据集同时还包含了3种拍摄距离、4种光照条件共12类小麦籽粒图像。综上，该数据集包含了较多的粘连小麦籽粒特征，可以有效地保证模型的训练学习，增强模型的泛化性。

图3 图像数据集Fig.3 Image data set

1.2 数据集制备

对获取的3 942幅小麦籽粒图像，按照4∶1∶1的比例分为训练集、验证集和测试集，测试集数目略高于验证集，最终训练集2 524幅图像，验证集630幅图像，测试集788幅图像。训练集与验证集用于模型训练与单次训练结果的评估，测试集用于最终模型的检测效果评估。

YOLO系列网络模型为有监督学习模型，训练中的教师信号为图像中小麦籽粒的坐标与类别，通过LabelImg软件对数据集进行人工标注坐标与类别，获取与数据集图像一一对应的标签文件。YOLO网络中数据增强过程如图4所示，对图像进行随机缩放、裁剪、排布的方式进行拼接以丰富目标与背景实现数据增强。

图4 数据增强Fig.4 Data enhancement

1.3 网络模型构建与训练

YOLO v5网络包括l、m、s、x共4个版本，不同版本间的区别在于模型深度，随模型深度的增加进行特征提取操作的次数越多，模型的参数也随之增多，在增强图像语义信息提取的同时会带来较大的计算量。

本研究小麦籽粒为单一目标且其个体在图像中所占像素少，检测的任务主要在于其坐标信息而非类别信息，因而选取浅层模型有助于提升检测速度。本研究选用YOLO v5s网络模型为原始检测模型，为减少计算量，将原始图像压缩到640像素×640像素并输入网络，同时为加快训练速度，模型参数设置为网络在拥有1 000万幅图像的ImageNet数据集上预训练后的权重，进行微调训练。

网络的特征提取模块结构如图5所示，其中：CBH模块对输入特征图进行卷积后归一化再经过激活函数处理后输出，是网络的基础模块。Bottle neck模块对输入特征图进行两次CBH操作后与初始输入特征图叠加后再输出，起到融合不同深度特征信息的作用。Cross Stage Partial模块(CSP)的作用为提高模型的特征提取能力，CSP1_1模块用于特征提取骨干部分，其将输入特征图经过CBH、Bottle neck、卷积操作后与原始特征图卷积后的输出进行通道叠加，再经过归一化、激活函数、CBH操作后输出。CSP2_1模块用于预测，其与CSP1_1的区别在于将Bottle neck模块替换为CBH模块。

图5 特征提取模块结构图Fig.5 Structure diagram of feature extraction module

本研究的主要模型改进如下：

(1)已有研究表明，特征提取时使用不同大小卷积核可以提高模型训练效果，并提出了混合深度可分离卷积(Mixed depthwise convolutional,MDC)[31]，其过程如图6所示，其中，H1、W1、Channel 1分别为输入特征图的高、宽和通道数，H2、W2、Channel 2分别为输出特征图的高、宽和通道数，K×K表示卷积核尺寸。本研究将普通卷积替换为混合深度可分离卷积，将输入特征图通道分为多个部分使用不同卷积核对其进行卷积操作，极大地降低了模型参数。

图6 混合深度可分离卷积与普通卷积对比Fig.6 Comparisons of MDC and ordinary convolution

(2)在混合深度可分离卷积的基础上结合其他特征提取模块构造MDC模块，结构如图7所示，其对输入特征图进行了CBR、Mixed depthwise block(MdBlock)、SE、卷积归一化(CB)操作。与CBH模块不同，CBR模块使用ReLU6激活函数以提高模型特征提取能力。MdBlock对输入特征图进行混合深度可分离卷积、归一化、ReLU6激活函数操作后输出，达到提高模型特征提取能力的目的。

图7 MDC模块结构Fig.7 MDC module structure

(3)SE模块过程如图8所示，H3、W3、Channel 3分别为输入特征图高、宽和通道数，H4、W4、Channel 4分别为输出特征图高、宽和通道数，其对输入特征图通过池化操作得到各层通道的权重，对各层通道乘以对应权重，增强了特征图的通道相关性。CB模块用于增强特征提取能力。

图8 SE模块结构Fig.8 SE module structure

网络的最终结构如图9所示，通过串联多个特征提取模块提取图像特征，在网络的预测输出部分，通过上采样操作将深层特征图放大至浅层特征图尺寸并与其进行融合，叠加了深层分类信息与浅层坐标信息，选取网络中3种不同尺寸特征图用于预测大、中、小目标位置与类别。最终修改后的模型，相对于原始网络减少了3.69×105个训练参数。

图9 网络结构Fig.9 Network structure

训练流程如图10所示，在每步训练中原始图像和标签文件同时输入，原始图像经过模型预测后数据与标签计算得到损失值，再反传回模型优化权重参数，经过多步训练降低损失值，增强检测性能。最终模型在测试集上测试得到实验结果。

图10 训练流程图Fig.10 Training flow chart

2 实验

2.1 实验环境

网络模型以Python 3.8编程语言实现，软件平台为PyCharm，采用Pytorch框架。CPU为Intel Core i3-4160，拥有双核四线程，最大频率为3.6 GHz，显卡为Quadro P2000，拥有1 024个CUDA核心用于模型的加速训练，内存12 GB，主板为华硕B85M-F，Windows 10系统。

2.2 评价指标

为评估训练所得模型的检测效果，选取平均精度均值(mAP)、精确率P、召回率R作为网络学习的评价指标。置信度作为检测效果的评价指标，置信度使用Softmax函数计算，在0～100%之间，代表单个籽粒检测准确性，越接近于1表明检测结果越准确。

P表示小麦籽粒的个数在所识别目标中所占比率，R表示在所有小麦籽粒中被识别出来的比率。这两个指标值越高，表明训练所得模型检测性能越好。mAP为精确率-召回率曲线与坐标轴围成的面积，其值越大则检测效果越好。

2.3 测试结果

2.3.1训练结果

本文网络的训练结果如图11所示，经过500次训练，损失值降至0.04，最终模型的精确率为93.15%，召回率为99.96%，mAP(重叠率为0.5)为99.46%。从训练结果可看出，该模型精确率、召回率较高，损失值较低，实现了收敛。

图11 训练结果Fig.11 Training results

2.3.2检测效果

2.3.2.1不同粘连程度时的检测效果

在黄色光源、拍摄高度为5 cm、籽粒个数均为91个的条件下，随机选取轻度粘连、中度粘连、重度粘连图像各1幅输入最终模型，检测效果如图12所示，3幅图像均无漏检情况发生，并且对于重度粘连的小麦籽粒检测置信度均在85%以上。

图12 不同粘连程度时的检测效果Fig.12 Detection effects under different degrees of adhesion

2.3.2.2不同光源时的检测效果

在拍摄高度5 cm、籽粒个数均为100个的重度粘连情况下，在红、黄、蓝、绿4种光照条件下随机各选取1幅图像输入最终模型，检测效果如图13所示，4幅图像中小麦籽粒均无漏检情况发生，目标检测置信度均在80%以上，模型均取得了较好的检测效果。

图13 不同光源时检测效果Fig.13 Detection effects under different light sources

2.3.2.3不同拍摄高度时的检测效果

在黄色光源、均为重度粘连、籽粒个数均为90个的情况下，选取在5、10、15 cm 3种拍摄高度下的图像输入网络中，检测结果如图14所示，拍摄高度5 cm的图像检测效果最好，置信度均在90%以上；拍摄高度10 cm的图像无漏检情况，此时检测置信度均在85%以上，较5 cm高度时的效果略差；拍摄高度15 cm的图像存在个别籽粒的漏检现象，如图14c圈出位置所示，虽然存在漏检现象，但此时的籽粒检测置信度仍然在80%以上，表明本文算法在不同拍摄高度时均具有较好的检测效果。

图14 不同拍摄高度时的检测效果Fig.14 Detection effects at different shooting heights

2.3.3籽粒数量对检测准确性的影响

从测试集中选取不同籽粒个数图像进行准确性检测，各幅图像中包含籽粒数在0～350之间，对各幅图像中小麦籽粒个数以及输入模型后的预测个数进行统计，分析不同规模小麦籽粒检测效果，结果如图15所示。当籽粒个数在100粒以内时，没有发生漏检情况，当籽粒个数在100～200粒时，出现轻微漏检，最大漏检数为3个，当籽粒个数在200～300粒时，出现较为严重的漏检，最大漏检数为9个，当籽粒个数大于300粒时出现较大误差。

图15 不同籽粒个数检测准确性Fig.15 Accuracy of different grain sizes detection

2.3.4不同籽粒规模检测时间

不同籽粒规模图像检测时间如图16所示，对于单幅图像平均检测时间为0.03 s，最大检测时间为0.08 s。

图16 不同籽粒规模检测时间Fig.16 Detection time of different grain sizes

3 性能分析

由实验结果可以看出，所训练模型对重度粘连小麦籽粒具有较好的检测效果，同时发现，不同拍摄高度、不同光源环境对图像检测结果具有一定的影响，通过对其分析进行了讨论。同时，探究了网络训练次数的影响以及不同算法的对比。

3.1 特征学习次数的影响及不同检测方法对比

为验证网络训练次数及不同检测算法是否对检测效果有影响，将模型训练次数由500次降低为50次并在相同条件下与其他检测网络进行了对比，对照网络为YOLO v5s、RetinaNet和YOLO v4，评估指标为最终训练模型的精确率P、检测时间t以及模型所占内存，结果如表2所示。

表2 不同检测算法对比Tab.2 Comparison of different detection algorithms

从表2可看出，减少模型训练次数至50次，模型的精度相较于模型迭代500次下降了4.74个百分点，由此可见特征学习次数对模型效果的提升有较大影响。同时通过对比，本文所改进网络在模型所占内存和检测时间上均为最优。

对比YOLO v5-MDC模型与YOLO v5s模型，二者mAP均高于99%，能够满足检测任务需要；YOLO v5-MDC平均检测时间为30 ms，YOLO v5s为40 ms，改进模型检测速度更快；YOLO v5-MDC所占空间为13.4 MB，比原始模型减小了0.6 MB。本研究经过实验，证明了MDC模块在模型轻量化上的作用，对于常规的卷积、池化、激活函数结构均可以考虑使用MDC结构进行替换以使模型轻量化。

对于开发小麦籽粒检测嵌入式设备，需要考虑模型的可移植性、检测效率以及准确度，受到嵌入式设备芯片算力的影响，其模型加载与模型检测时间更长。而本研究提出的YOLO v5-MDC网络，有效解决了大规模籽粒检测中重度粘连小麦籽粒的检测问题，并且其所占空间小，检测速度快，可为嵌入式设备开发提供技术支持。

3.2 不同拍摄距离对检测结果的影响

为验证因图像拍摄距离而导致的目标像素尺寸不同是否会对检测结果有影响，在黄色光源、相同籽粒个数(分别为40、80、120、160、200粒)、均为重度粘连条件下，仅改变输入图像拍摄距离这一变量进行测试，结果如表3所示。从表3可以看出，随着拍摄高度的增加，小麦籽粒在图像中所占像素减少，精确率随之下降。

表3 不同拍摄高度的检测效果Tab.3 Detection effect of different shooting heights

3.3 不同光源对检测结果的影响

为验证不同光源是否对检测结果有影响，在拍摄高度均为5 cm、相同籽粒个数(分别为40、80、120、160、200粒)、均为重度粘连条件下，仅改变光源进行检测，结果如表4所示。从表4可以看出，绿色光源检测平均精确率最高，为98.00%，黄色光源为97.80%，蓝色光源为97.20%，红色光源下检测效果最差，平均准确率为96.20%，可见，绿色光源更适宜作为检测光源。