基于改进YOLOv5s的自然环境下猕猴桃花朵检测方法

龚惟新，杨 珍，李 凯，郝 伟，何 智，丁辛亭，崔永杰

基于改进YOLOv5s的自然环境下猕猴桃花朵检测方法

龚惟新，杨 珍，李 凯，郝 伟，何 智，丁辛亭，崔永杰※

（1. 西北农林科技大学机械与电子工程学院，杨凌 712100；2. 农业农村部农业物联网重点实验室，杨凌 712100；3.陕西省农业信息感知与智能服务重点实验室，杨凌 712100）

为实现对猕猴桃花朵的快速准确检测，该研究提出了一种基于改进YOLOv5s的猕猴桃花朵检测模型YOLOv5s_S_N_CB_CA，并通过对比试验进行了精度验证。在YOLOv5s基础上引入C3HB模块和交叉注意力（criss-cross attention，CCA）模块增强特征提取能力，结合样本切分和加入负样本处理方法进一步提升模型精度。改进模型的检测精确率为85.21%，召回率为90%，模型大小为14.6 MB，交并比（intersection over union，IoU）为0.5下的均值平均精度（mAP0.5）为92.45%，比仅进行样本缩放处理的原始YOLOv5s提高了31.91个百分点，检测速度为35.47 帧/s，比原始YOLOv5s提高了34.15%。使用改进模型对自然环境下不同天气、晴天不同时段光照强度下的猕猴桃花朵进行检测，结果表明模型检测晴天、阴天下猕猴桃花朵的mAP0.5分别为91.96%、91.15%，比原始YOLOv5s分别高出2.55、2.25个百分点；检测晴天9:00-11:00、15:00-17:00光强下猕猴桃花朵的mAP0.5分别为92.11%、92.10%，比原始YOLOv5s分别高出2.20、1.32个百分点。结果表明，该研究提出的基于改进YOLOv5s的猕猴桃花朵检测模型在保持轻量化的同时，检测精度高、速度快，可实现对自然环境下猕猴桃花朵的有效检测。

图像处理；模型；目标检测；猕猴桃花朵；改进YOLOv5s；自然环境

0 引 言

授粉对于提高猕猴桃果实产量，增强果实品质至关重要。对于猕猴桃果树等无法自花授粉的雌雄异株植物，常借助风媒、虫媒及人工辅助授粉等传统授粉方式进行授粉，从而确保猕猴桃的优质高产[1-2]。但传统授粉方式存在一定缺陷，例如：虫媒受天气影响较大，遇风雨天气会导致昆虫无法正常授粉[3]，且因环境污染导致授粉昆虫数量减少的情况也时有发生[4-5]；人工辅助授粉中的花对花授粉、毛笔点授、简易授粉器授粉和电动授粉枪授粉等方式，对授粉精度、花粉用量均有较高要求，且劳动强度大，耗时费力[6]。因此，为解决上述问题，保证猕猴桃花朵授粉率和猕猴桃挂果率[7-8]，很多专家学者提出利用自动化授粉的作业方式，引入农业机器人技术，对猕猴桃开展有关自动化授粉智能装备方面的研究。

对于猕猴桃自动化授粉装备而言，最重要是实现对猕猴桃花朵目标的精准检测，为后续授粉机械的作业路径规划、末端执行器的精准对靶授粉提供有利保障[9-10]。随着卷积神经网络（convolutional neural networks，CNN）的出现，深度学习技术以其优良的特征提取能力及泛化能力逐渐运用于果蔬花朵及花卉的识别上[11]。基于深度学习的目标检测算法可分为基于区域提取的双阶段（two-stage）框架和基于回归的单阶段（one-stage）框架，其中双阶段框架在处理过程中先确定出样本的候选框，接着对样本通过CNN网络分类[12]，检测精度较高，但实时性较差，其代表性算法包括R-CNN、Faster R-CNN等；单阶段框架在处理时不产生候选框，直接在一定的回归分析基础上实现目标检测，检测速度较快，其代表性算法包括YOLO、SSD等。

在果蔬花朵及花卉检测领域，许多专家学者针对两类目标检测算法开展了相关研究。在针对基于区域提取的目标检测算法研究中，FARJON等[13]提出了一种基于Faster-RCNN网络进行苹果花识别算法，并使用线性回归方法进行预测花朵密度计算，之后根据开花量衰减时间预估开花峰值期预估，用于辅助苹果疏花决策。刘浩洲等[14]提出一种基于-means聚类的猕猴桃花朵识别方法，通过-means 聚类分割，然后由经过训练的卷积神经网络进行分类选出花蕊图像，完成猕猴桃花朵识别，识别成功率为92.5%。林君宇等[15]针对10种常见观赏花卉，提供一个包含4种花卉的共16种叶部病症的图像数据集，设计并实现基于卷积神经网络的分类模型，集成为花卉分类-病症识别一体化工具，该工具可实现95.3%的花卉分类准确率和88.2%的疾病识别准确率。WILLIAMS等[16]设计了一种猕猴桃授粉机器人，应用全卷积神经网络机器视觉系统对猕猴桃花朵进行识别，识别准确率达到90%以上，授粉率为79.5%，相较人工授粉效率仍存在一定差距。此类基于区域提取的双阶段目标检测算法具有较高的检测精度，但难以进行实时性检测，无法满足农业智能装备实时性、高效性的作业要求。

在针对基于回归的目标检测算法研究中，XIA等[17]提出了一种基于TensorFlow平台的Inception-v3模型，利用迁移学习技术在ImageNet中的花卉数据集中构建了花卉识别模型，该模型在Oxford17 和Oxford102花朵数据集上的分类准确率分别为95%和94%。SUN等[18]提出了一种基于DeepLab-ResNet语义分割网络的苹果花、桃花和梨花检测方法，该方法将语义分割技术与水平集实现的形状约束活动轮廓相结合，在桃花、梨花和苹果花朵数据集上的平均F1分数为80.9%。此类基于回归的双阶段目标检测算法在保持较高检测精度的同时，具有较高的检测速度，可实现实时检测，能够满足农业智能装备的高效作业要求。

目前，基于深度学习的果蔬花朵及花卉检测，多针对生长分布较为稀疏、规整且背景简单的常见水果花朵和观赏花卉，如苹果花[19]、向日葵[15]等。自然环境中的猕猴桃花朵呈簇状密集生长分布，花朵间紧密粘连，存在相互重叠或遮挡；猕猴桃所处生长环境露天无遮蔽，其棚架栽培的管种模式使得部分花朵易受枝叶遮挡及不稳定光照影响，这些干扰因素均为猕猴桃花朵的检测带来了一定的难度和挑战。

因此，针对自然环境下存在复杂背景的猕猴桃花朵，本研究提出一种基于改进YOLOv5s的猕猴桃花朵检测方法，通过改进YOLOv5s的骨干网络和预测层结构，结合一定的样本处理方法，从而实现对自然环境下猕猴桃花朵的准确快速检测。本研究可为猕猴桃自动化授粉装备信息感知系统的搭建提供理论依据和技术支撑。

1 材料与方法

1.1 图像采集与数据集构建

本文主要研究对象是“海沃德”品种的猕猴桃花朵，所采集花朵图像来自陕西省眉县西北农林科技大学猕猴桃试验站（4°7'39″N，107°59'50″E，海拔约648 m）。图像采集设备为索尼（SONY）Alpha7Ⅱ（a7M2K）全画幅微单数码相机，焦距、曝光和拍摄模式均为自动，图像分辨率为6 000×4 000像素，拍摄时间为 2022年5月3日至5月11日，时段为09:00-17:00。拍摄形式为定点拍摄，模拟授粉机械的作业方式，通过三脚架固定设备位置，沿竖直方向自下而上以仰视视角进行拍摄，图像设备距离地面（0.9±0.1）m。

在图像采集过程中，针对不同天气（晴天和阴天）、晴天不同时段光照强度（早晨09:00-11:00和下午15:00-17:00）下的猕猴桃花朵进行图像采集，同时考虑花叶间遮挡情况，采集了无遮挡、花朵间相互遮挡和枝叶遮挡3种情况下的花朵图像（图1），确保所构建试验样本数据库的全面性。所采集试验样本图像共1 032幅，如表1所示。

图1 3种不同遮挡情况

表1 采集图像详细信息

为提升网络泛化能力，从采集的1 032幅猕猴桃花朵样本图像中选取部分图像，通过Comic Enhancer Pro软件亮度增强20%和40%各282幅，亮度减弱20%和40%各282幅，对比度增强20%和40%各282幅、对比度减弱20%和40%各282幅，仅锐化1级、锐化3级、锐化4级各280幅。增强后的图像数量达到3 096幅。图像增强处理后得到的图像加上原始图像共4 128幅。

使用LabelImg工具对构建的数据集进行手动标注，对目标以最小外接矩形框进行标注。本研究将标注目标即待检猕猴桃花朵分为3类，包括猕猴桃花苞（bud）、猕猴桃花（flower）以及已自然授粉的猕猴桃花朵（pollinated），如图2所示。随后将4 128幅图像按照7∶2∶1的比例分为训练集（2 889幅）、验证集（826幅）和测试集（413幅）进行模型训练和试验。

图2 标注目标类别

1.2 基于改进YOLOv5s的猕猴桃花朵检测模型构建

YOLOv5网络因其体积小，计算速度快的优点，被广泛应用于各种目标检测场景下，其根据网络深度差异可分为YOLOv5s、YOLOv5m、YOLOv5l、YOLOv5x。为满足本研究的轻量化需求，选用复杂度较低的YOLOv5s检测模型，能够在确保较高检测精度的前提下，保持较小的储存占用和较快的识别速度[20]，有利于在移动设备上的搭载和实现[21-22]。

YOLOv5s主要结构包括输入端、骨干网络（backbone）、颈部网络（neck）和预测层（prediction）4个部分[23]。其输入端用于对图像进行数据增强，并对图像处理策略和锚框生成机制进行优化。backbone用于提取图像中的特征图，沿用CSPDarknet53结构，应用跨阶段连接方式融合特征，可以有效缓解梯度消失的问题，并减少网络参数的数量[24-26]。neck部分使用特征金字塔网络（feature pyramid networks，FPN）结构和路径聚合网络（path aggregation network，PAN）结构增强特征，从而有效丰富特征信息，进而提高预测准确性。prediction部分应用网络提取的特征，对预测目标的类别概率和位置信息进行推理，获得网络输出信息。

本研究针对自然环境下的猕猴桃花朵目标检测，在YOLOv5s的基础上，提出一种改进的YOLOv5s网络模型。由于猕猴桃花朵生长密集，花朵间存在相互重叠或遮挡，且受露天棚架模式下的光照影响，花朵特征在图像中可能存在表征不清晰的情况，因此需要通过改进网络模型，增强对花朵粘连、遮挡及不同光照等情况下的特征提取能力，提高检测精度。基于以上考虑，对模型的主要改进点包括：在主干网络中引入C3HB模块[27]，用以增强特征提取能力；在预测层中引入交叉注意力（criss-cross attention，CCA）模块[28]，达到进一步提升检测精度的目的。改进后的YOLOv5s网络模型有望在保持轻量化和较快检测速度的前提下，进一步提升在自然环境下对猕猴桃花朵的识别精度。改进后的YOLOv5s结构如图3所示。

注：CBS为Conv+BN+SiLU，Conv为卷积操作，BN为归一化操作，SiLU为Sigmoid加权线性组合激活函数，SPPF为快速空间金字塔池化结构，Upsampling为上采样操作，Concat为特征融合函数，Maxpool为最大池化操作。

1.2.1 C3HB模块

C3HB模块主要由CBS模块、Horblock模块和Concat操作组成（图4a）。Horblock模块来源于HorNet[29]，其结合了ViT（vision transformer）和CNN的优点提出递归门控卷积（recursive gated convolutions），通过递归设计，执行高效、可扩展和平移的高阶空间信息交互。图4b、4c展示了Horblock模块及递归门控卷积（gConv）的结构，递归门控卷积由标准卷积、逐元素乘法和线性投影层组成，具有类似于自注意力的自适应混合功能。

C3HB模块的运行流程如下：

1）输入的初始特征信息会分配到2条分支中；

2）将输入特征信息的通道数减半，一部分特征信息通过分支1的CBS模块进行特征提取，另一部分通过分支2的Horblock模块和CBS模块进行特征提取；

3）2条分支输出的特征信息使用Concat操作深度连接；

4）最后通过一个CBS模块进行特征增强，使得输出C3HB模块的特征信息大小与输入C3HB模块的大小相同。

相较于原始YOLOv5模型，引入C3HB模块增强了网络学习能力，以轻量级的方式减少了计算瓶颈和内存成本。改进后的模型增强了提取图像中花朵细节的能力，通过学习更准确的花朵特征，以期实现对图像中粘连、重叠的猕猴桃花朵有效检测。

注：n为某一特征和其周边特征相互作用的阶数；C为每一阶的通道维度数。

1.2.2 CCA模块

棚架栽培模式下生长的猕猴桃花朵露天无遮蔽，图像背景中包含光线直射、阴影、枝叶、天空等复杂背景，影响模型对花朵的检测精度。为进一步提升模型提取复杂背景下花朵特征的能力，本研究在YOLOv5s的预测层引入交叉注意力模块对模型进行改进，以期进一步适应自然环境下对猕猴桃花朵的快速检测。

交叉注意力（CCA）模块用于获取全局上下文信息。该模块可以捕获每个像素在水平和垂直方向上的上下文信息，基于非局部注意力模块，利用两次注意力加权，并用多个稀疏注意力图代替单个密集注意力图，节省计算资源的消耗[30]。CCA模块结构如图5所示。

注：H为局部特征图；Q、K、V分别为H经降维后生成的特征图；A为Q和K经Affinity和Softmax运算后生成的注意力图；为H经CCA运算后生成的新特征图。

其处理流程如下[28]：

1）将局部特征图输入交叉注意力模块，该模块首先应用2个1×1的卷积层进行降维，生成2个特征图和；

2）通过Affinity和Softmax运算进一步生成注意力图；

Affinity运算式如下：

3）将输入第三个1×1的卷积层中进行降维，生成特征图，将其与2）中生成的注意力图进行Aggregation运算；

Aggregation运算式如下：

1.3 试验环境

本文使用Pycharm对YOLOv5s网络模型进行构建与改进，试验与训练所用操作系统为Windows10，处理器为Intel Xeon E5-1650 v4，3.6 GMz，内存32 G，显卡为Nvidia GeForce RTX 3060Ti，显存8 G，编程语言为Python3.7。

1.4 评价指标

本文采用5个指标用于评价猕猴桃花朵检测模型，分别为精确率（precision，）、召回率（recall，）、均值平均精度（mean average precision，mAP）、模型大小和检测速度，并采用交并比（intersection over union，IoU）用于准确度的评价。、、mAP和IoU的具体计算方法可见参考文献[31-33]。

1.5 模型训练

改进猕猴桃花朵检测模型共训练300轮次，训练初期模型值、值、mAP0.5（IoU=0.5）值增长较快，此时模型学习效率高、损失值快速收敛；迭代至250次左右时，、、mAP0.5趋于稳定，损失值收敛至0.024左右；300次迭代后，模型的值为83.42%，值为90%，mAP0.5为92.39%。图6为模型训练中值、值、mAP0.5值变化趋势图。

图6 模型训练中P、R、mAP0.5变化趋势

2 结果与分析

2.1 不同改进方法和样本处理方法的YOLOv5s模型性能对比

为了评价本文提出的YOLOv5s改进方法对猕猴桃花朵检测的有效性，在其余结构保持不变的条件下对YOLOv5s原始模型进行不同改进（表2），并对训练集样本进行不同处理，之后进行训练，训练轮次为300，得到包括本文提出的改进模型在内的5种YOLOv5s改进模型。再利用测试集对上述5个模型的mAP0.5（IoU= 0.5）值和mAP0.5～0.95（IoU= 0.5～0.95）值进行评估。5种模型的性能对比如表2所示。

表2 5种改进方法和样本处理方法的模型性能对比

注：Z（Zoom）表示加入样本缩放处理，S（Segmentation）表示加入样本切分处理，N（Negative Sample）表示加入负样本，CB表示引入C3HB模块，CA表示引入CCA模块，F（Focal loss）表示引入焦点损失函数。

Note: Z (Zoom) indicates the addition of sample scaling, S (Segmentation) indicates the addition of sample slicing, N (Negative Sample) indicates the addition of negative sample, CB indicates the addition of C3HB module, CA indicates the addition of CCA module, and F (Focal loss) indicates the addition of focal loss function.

分析表2可知：改进模型YOLOv5s_S_N_CB_CA检测猕猴桃花朵测试集的mAP0.5值和mAP0.5～0.95值分别为92.45%和75.14%，比其余改进模型YOLOv5s_Z1、YOLOv5s_Z2、YOLOv5s_S_N和YOLOv5s_S_N_CB_ CA_F的mAP0.5分别高出31.91、38.32、2.55、1.08个百分点，mAP0.5～0.95分别高出34.38、42.93、1.92、1.37个百分点。

结果表明，在对训练集样本进行切分处理，并加入负样本后，可使改进模型检测猕猴桃花朵时的mAP0.5和mAP0.5～0.95具有较大提升；当继续引入C3HB模块和CCA模块后，引入后的改进模型检测精度有了进一步提升；在前述改进的基础上继续引入焦点损失函数，则引入后的模型检测精度会出现小幅下降。

分析出现以上结果的原因如下：

1）对原始样本图像进行切分处理，可以提高需检测的猕猴桃花朵像素在切分后图像像素中的占比，相较于缩放处理能够避免图像信息损失；加入负样本训练进一步增强了模型的学习能力，提高检测精度。

2）在原始YOLOv5模型中引入C3HB模块和CCA模块后，模型特征提取能力增强，检测精度进一步提升。

3）模型中引入Focal loss能够均衡模型对数量不同的样本的学习能力，但其易受噪声影响，对标注精度要求高，若样本中出现离群点（outliers）则会导致过拟合，使得检测精度下降。

由此表明，本文提出的YOLOv5s_S_N_CB_CA模型，其改进方法对猕猴桃花朵具有较好的检测精度，相较于其他改进模型具有一定优势，表明了本研究所提模型改进方法的有效性。

2.2 不同目标检测模型的性能对比

为了评价本文提出的YOLOv5s_S_N_CB_CA模型对猕猴桃花朵的检测效果，选用原始YOLOv5s、YOLOv4[34]和SSD[35]与YOLOv5s_S_N_CB_CA进行性能对比，利用2.1节中样本切分为640×640（像素）并加入负样本的训练集，分别对原始YOLOv5s模型、YOLOv4模型和SSD模型进行训练，训练轮次为300，之后利用测试集对上述4种已训练完毕的检测模型开展性能测试评估，4种检测模型的性能比较如表3所示。

表3 4种目标检测模型性能对比

分析表3测试结果可以得出：本文提出的改进模型YOLOv5s_S_N_CB_CA检测猕猴桃花朵的精确率虽比YOLOv4和SSD分别低0.90和0.72个百分点，比YOLOv5s高2.36个百分点，但其值分别比YOLOv4和SSD高7.00和12.00个百分点，比YOLOv5s高2.00个百分点，mAP0.5分别比YOLOv5s、YOLOv4和SSD高2.55、9.95和13.64个百分点，其模型大小比YOLOv5s大5.80%，但分别比YOLOv4和SSD小93.37%和83.39%，检测速度分别比YOLOv5s、YOLOv4和SSD快34.15%、144.62%和20.03%。

分析出现以上结果的原因如下：

1）本文模型在YOLOv5s基础上引入了C3HB模块和CCA模块，增加了模型复杂程度，使得模型大小相较于YOLOv5s小幅增加，但检测精确率、召回率、mAP0.5和检测速度均有所提升。

2）本文模型基于YOLOv5s，相较于YOLOv4，其在Backbone和Neck加入了改进CSP结构，同时减少数据增强方式，并加入了自适应锚框等改进策略[34]，使得其在不显著降低检测精确率的同时，提升召回率、mAP0.5和检测速度，并大幅降低了模型大小。

3）YOLO系列网络模型与SSD网络模型在结构有上较大区别，其中YOLO的Backbone采用的Darknet53比SSD采用的VGG具有更强的特征提取能力。此外，SSD中加入了YOLO没有的先验框[35]。在整体综合性能上两者较为接近，而加入本文所提改进后使得改进后的YOLOv5s在召回率、mAP0.5和检测速度上均优于SSD。

结果表明，本文提出的改进模型YOLOv5s_S_N_CB_CA在综合性能上相较于其他目标检测模型具有一定优势，能够实现猕猴桃花朵的准确、快速检测，且模型轻量，有利于迁移应用，可为猕猴桃自动化授粉装备的发展提供一定的技术支持。

2.3 不同天气和不同时段下的检测效果对比

为了评价本文改进模型YOLOv5s_S_N_CB_CA对不同天气和不同时段光照强度的适应性，使用测试集中按不同天气情况和晴天不同时段分类的猕猴桃花朵图像对YOLOv5s_S_N_CB_CA模型和原始YOLOv5s模型进行测试，表4为不同天气和晴天不同时段下两种模型对猕猴桃花朵的检测效果。

表4 不同天气和晴天不同时段下2种目标检测模型性能对比

1）YOLOv5s_S_N_CB_CA对晴天、阴天下的猕猴桃花朵检测效果如图7a～7b所示。由表4可知，YOLOv5s_ S_N_CB_CA检测晴天、阴天天气下的猕猴桃花朵的值分别为85.17%、83.88%，分别比YOLOv5s高出2.51、2.49个百分点；值分别为90%、89%，分别比YOLOv5s高出2.00、1.00个百分点；mAP0.5值分别为91.96%、91.15%，分别比YOLOv5s高出2.55、2.25个百分点。结果表明，在晴天和阴天两种天气下，本文改进模型YOLOv5s_S_N_CB_CA均可以识别出猕猴桃花朵，且精度较高。

2）YOLOv5s_S_N_CB_CA对晴天不同时段下的猕猴桃花朵检测效果如图7c～7d所示。由表4可知，YOLOv5s_S_N_CB_CA检测晴天9:00-11:00和15:00-17:00时段下猕猴桃花朵的值分别为84.47%、84.79%，分别比YOLOv5s高出2.17、2.24个百分点；值分别为89%、89%，分别比YOLOv5s高出1.00、2.00个百分点；mAP0.5值分别为92.11%、91.10%，分别比YOLOv5s高出2.20、1.32个百分点。结果表明，对于晴天9:00-11:00和15:00-17:00两种时段下的光照强度，本文改进模型YOLOv5s_S_N_CB_CA均可以识别出猕猴桃花朵，且精度较高。

图7 不同天气、晴天不同时段的检测效果图

2.4 检测效果评价

为评价本文改进模型YOLOv5s_S_N_CB_CA检测猕猴桃花朵的效果，将训练好的模型通过310幅测试集图像进行检测精度验证。结果表明，YOLOv5s_S_N_CB_CA检测猕猴桃花朵的值为85.21%，值为90%，mAP0.5值为92.45%，模型大小为14.6 MB，检测速度为35.47帧/s。

检测实例如图8a～8c所示，图中每个猕猴桃花苞、猕猴桃花及已自然授粉花朵均可被准确识别。其中，花和花苞检测置信度的平均值在0.90以上，已自然授花朵检测置信度的平均值在0.80以上，表明该模型可以有效检测出猕猴桃花苞、猕猴桃花及已自然授粉花朵，且置信度较高。此外，对于在更复杂场景中所采集的图像，如广域视场范围内3类花朵共存、花朵间重叠遮挡和花朵密集分布的情况，本文改进模型YOLOv5s_S_N_CB_CA均可实现有效检测（图8d～8f）。

2.5 漏检与误检分析

在利用本文所提模型YOLOv5s_S_N_C3HB_CCA对验证集图像中的猕猴桃花朵进行检测时，仍会出现如图9所示的漏检和误检情况，由图可以看出：部分猕猴桃花和花苞被漏检（图9a、9b中蓝圈所示），同时也存在叶片被误检为花苞（图9c中蓝圈所示）和花苞被误检为花（图9d中蓝圈所示）等情况。分析出现漏检和被误检的可能原因如下：

1）YOLOv5s_S_N_C3HB_CCA模型对于形状较规则且分布较稀疏的猕猴桃花朵检测效果较好，但自然环境下的猕猴桃花朵生长较为密集且呈簇状分布，花朵间易出现相互重叠或遮挡等情况。如图9a、9b中蓝圈所示，当遮挡或重叠现象较为严重时，处于上层的猕猴桃花朵会遮挡住下层的猕猴桃花朵的大部分特征，导致图像中上层猕猴桃花朵特征明显，而下层猕猴桃花朵特征难以表征。模型在处理此类情况时难以提取下层花朵特征，导致检测时出现仅上层花朵成功检出，而下层花朵无法检出的情况，造成漏检。

2）自然环境下所采集的猕猴桃花朵图像，其成像质量受天气和光照强度等因素影响较大，光线分布不均与遮挡情况的存在，引起图像中某些花朵的局部区域光线较暗，与叶片所处的背景对比度较低，导致模型对花朵特征的辨别与提取存在一定困难。如图9c中蓝圈所示，由于棚架下叶片对光线的遮挡，光照强度较低，致使猕猴桃花苞局部区域与面积较小的叶片呈现出近似的特征，导致模型在处理此类情况时，误将面积较小的叶片识别为猕猴桃花苞，造成误检。

注：图中方框内为检测出的猕猴桃花朵。蓝色方框内为猕猴桃花苞；粉色方框内为猕猴桃花；红色方框内为已授粉的花朵。

注：9a中左侧蓝圈内为漏检的猕猴桃花，右侧蓝圈内为漏检的花苞；9b中蓝圈内为漏检的猕猴桃花；9c中蓝圈内为被误检为花苞的叶片；9d中蓝圈内为被误检为猕猴桃花的花苞。

3）猕猴桃花苞在特定生长时期内，会出现大部分花瓣包裹花蕊而个别花瓣展开的情况，或是花瓣略微展开，仅暴露一小部分花蕊的情况，此时猕猴桃花苞会呈现出与开放的猕猴桃花近似的特征，如图9d中蓝圈所示。但此类情况下花瓣尚未完全展开，花蕊并未充分暴露出，尚不满足授粉条件，故本文中将此类情况下的猕猴桃花朵归类为花苞，以符合人工授粉要求，避免授粉失败。但由于此类情况下的花苞存在与花近似的特征，导致模型在处理此类情况时，误将此类猕猴桃花苞识别为猕猴桃花，造成误检。

3 结 论

本文基于YOLOv5s构建了改进猕猴桃花朵检测模型YOLOv5s_S_N_CB_CA，实现了对自然环境下猕猴桃花朵的快速准确检测。主要结论如下：

1）本文基于YOLOv5s提出了改进模型YOLOv5s_S_N_CB_CA，其检测猕猴桃花、花苞和已自然授粉花朵的平均精确率（precision，）为85.21%，召回率（recall，）为90%，在backbone中引入C3HB模块、在prediction中引入CCA模块后，交并比为0.5时的均值平均精度（mean average precision with IoU of 0.5，mAP0.5）达到92.45%，模型大小为14.6 MB，检测速度为35.47 帧/s。通过改进实现了对自然环境下猕猴桃花朵的准确、快速检测。通过，提出了改进模型YOLOv5s_S_N_CB_CA，

2）本文将YOLOv5s_S_N_CB_CA与其他4种基于YOLOv5s的改进模型、原始YOLOv5s、YOLOv4和SSD 的性能进行对比，结果表明YOLOv5s_S_N_CB_CA在检测精度、检测速度和模型大小上均优于其他对比模型，说明其对猕猴桃花朵具有较好的检测效果。此外，检测不同天气和晴天不同时段下的猕猴桃花朵时，YOLOv5s_S_N_CB_CA都能达到91%以上的mAP0.5值，说明其具有较好的鲁棒性。

本文提出YOLOv5s_S_N_CB_CA模型对于生长过于密集和遮挡严重的花朵、低光照强度下和特定生长期下的花苞存在部分漏检和误检的情况。后续将继续探索新的改进方案，进一步优化复杂情况下对猕猴桃花朵的检测效果。

[1] 欧阳芳，王丽娜，闫卓，等. 中国农业生态系统昆虫授粉功能量与服务价值评估[J]. 生态学报，2019，39(1)：131-145. OUYANG Fang, WANG Lina, YAN Zhuo, et al. Evaluation of insect pollination and service value in China's agricultural ecosystems[J]. Acta Ecologica Sinica, 2019, 39(1): 131-145. (in Chinese with English abstract)

[2] 张立微，张红玉. 传粉昆虫生态作用研究进展[J]. 江苏农业科学，2015，43(7)：9-13. ZHANG Liwei, ZHANG Hongyu. Progress in the study of the ecological role of pollinators[J]. Jiangsu Agricultural Sciences, 2015, 43(7): 9-13. (in Chinese with English abstract)

[3] BUTCHER C L, RUBIN B Y, ANDERSON S L, et al. Pollen dispersal patterns differ among sites for a wind‐pollinated species and an insect‐pollinated species[J]. American Journal of Botany, 2020, 107(11): 1504-1517.

[4] BIESMEIJER J C, ROBERTS S P M, REEMER M, et al. Parallel declines in pollinators and insect-pollinated plants in Britain and the Netherlands[J]. Science, 2006, 313(5785): 351-354.

[5] DECOURTYE A, ALAUX C, LE Conte Y, et al. Toward the protection of bees and pollination under global change: Present and future perspectives in a challenging applied science[J]. Current opinion in insect science, 2019, 35: 123-131.

[6] 刘浩洲. 基于信息感知的猕猴桃喷雾授粉方法研究[D]. 杨凌：西北农林科技大学，2019. LIU Haozhou. Kiwifruit Spray Pollination Method Based on Information Perception[D]. Yangling: Northwest A&F University, 2019. (in Chinese with English abstract)

[7] SÁNCHEZ-ESTRADA A, CUEVAS J. Pollination strategies to improve fruit set in orchards of ‘Manzanillo’ olive in a nontraditional producing country, Mexico[J]. HortTechnology, 2019, 29(3): 258-264.

[8] CHECHETKA S A, YU Y, TANGE M, et al. Materially engineered artificial pollinators[J]. Chem, 2017, 2(2): 224-239.

[9] LI K, ZHAI L, PAN H, et al. Identification of the operating position and orientation of a robotic kiwifruit pollinator[J]. Biosystems Engineering, 2022, 222: 29-44.

[10] LI K, HUO Y, LIU Y, et al. Design of a lightweight robotic arm for kiwifruit pollination[J]. Computers and Electronics in Agriculture, 2022, 198: 107114.

[11] 樊湘鹏，许燕，周建平，等. 基于迁移学习和改进CNN的葡萄叶部病害检测系统[J]. 农业工程学报，2021，37(6)：151-159. FAN Xiangpeng, XU Yan, ZHOU Jianping, et al. Detection system for grape leaf diseases based on transfer learning and updated CNN[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2021, 37(6): 151-159. (in Chinese with English abstract)

[12] 宁健，马淼，柴立臣，等. 深度学习的目标检测算法综述[J]. 信息记录材料，2022，23(10)：1-4. NING Jian, MA Miao, CHAI Lichen, et al. A survey of deep learning object detection algorithms[J]. Information Recording Materials, 2022, 23(10): 1-4. (in Chinese with English abstract)

[13] FARJON G, KRIKEB O, HILLEL A B, et al. Detection and counting of flowers on apple trees for better chemical thinning decisions[J]. Precision Agriculture, 2020, 21(3): 503-521.

[14] 刘浩洲，陈礼鹏，穆龙涛，等. 基于K-means聚类的猕猴桃花朵识别方法[J]. 农机化研究，2020，42(2)：22-26. LIU Haozhou, CHEN Lipeng, MU Longtao, et al. A recognition method of kiwifruit flowers based on K-means clustering[J]. Acta Automatica Sinica, 2020, 42(2): 22-26. (in Chinese with English abstract)

[15] 林君宇，李奕萱，郑聪尉，等. 应用卷积神经网络识别花卉及其病症[J]. 小型微型计算机系统，2019，40(6)：1330-1335. LIN Junyu, LI Yixuan, ZHENG Congwei, et al. Classifying flowers and their diseases by using convolutional neural network[J]. Journal of Chinese Computer Systems. (in Chinese with English abstract)

[16] WILLIAMS H, NEJATI M, HUSSEIN S, et al. Autonomous pollination of individual kiwifruit flowers: Toward a robotic kiwifruit pollinator[J]. Journal of Field Robotics, 2020, 37(2): 246-262.

[17] XIA X, XU C, NAN B. Inception-v3 for flower classification[C]//2017 2nd international conference on image, vision and computing (ICIVC). Chengdu: IEEE, 2017: 783-787.

[18] SUN K, WANG X, LIU S, et al. Apple, peach, and pear flower detection using semantic segmentation network and shape constraint level set[J]. Computers and Electronics in Agriculture, 2021, 185: 106150.

[19] 尚钰莹，张倩如，宋怀波. 基于YOLOv5s的深度学习在自然场景苹果花朵检测中的应用[J]. 农业工程学报，2022，38(9)：222-229. SHANG Yuying, ZHANG Qianru, SONG Huaibo. Application of deep learning based on YOLOv5s to apple flower detection in natural scenes[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(9): 222-229. (in Chinese with English abstract)

[20] 孙丰刚，王云露，兰鹏，等. 基于改进YOLOv5s和迁移学习的苹果果实病害识别方法[J]. 农业工程学报，2022，38(11)：171-179. SUN Fenggang, WANG Yunlu, LAN Peng, et al. Identification of apple fruit diseases using improved YOLOv5s and transfer learning[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2022, 38(11): 171-179. (in Chinese with English abstract)

[21] YAO J, QI J, ZHANG J, et al. A real-time detection algorithm for Kiwifruit defects based on YOLOv5[J]. Electronics, 2021, 10(14): 1711.

[22] MALTA A, MENDES M, FARINHA T. Augmented reality maintenance assistant using YOLOv5[J]. Applied Sciences, 2021, 11(11): 4758.

[23] QI J, LIU X, LIU K, et al. An improved YOLOv5 model based on visual attention mechanism: Application to recognition of tomato virus disease[J]. Computers and Electronics in Agriculture, 2022, 194(7): 178-201.

[24] 林清平，张麒麟，肖蕾. 采用改进YOLOv5网络的遥感图像目标识别方法[J]. 空军预警学院学报，2021，35(2)：117-120. LIN Qingping, ZHANG Qilin, XIAO Lei. Method of remote sensing image target recognition based on improved YOLOv5 network[J]. Journal of Air Force Early Warning Academy, 2021, 35(2): 117-120. (in Chinese with English abstract)

[25] 杨晓玲，江伟欣，袁浩然. 基于YOLOv5的交通标志识别检测[J]. 信息技术与信息化，2021(4)：28-30. YANG Xiaoling, JIANG Weixin, YUAN Haoran. Traffic sign recognition and detection based on YOLOv5[J]. Information Technology and Informatization, 2021(4): 28-30. (in Chinese with English abstract)

[26] LIU Y, LU B H, PENG J, et al. Research on the use of YOLOv5 object detection algorithm in mask wearing recognition[J]. World Scientific Research Journal, 2020, 6(11): 276-284.

[27] AN Q, WANG K, LI Z, et al. Real-Time Monitoring method of strawberry fruit growth state based on YOLO improved model[J]. IEEE Access, 2022, 10: 124363-124372.

[28] HUANG Z, WANG X, HUANG L, et al. Ccnet: Criss-cross attention for semantic segmentation[C]//Proceedings of the IEEE/CVF International Conference on Computer Vision. Seoul, Korea: IEEE, 2019: 603-612.

[29] RAO Y, ZHAO W, TANG Y, et al. Hornet: Efficient high-order spatial interactions with recursive gated convolutions[J]. Advances in Neural Information Processing Systems, 2022, 35: 10353-10366.

[30] 戚小莎，曾静，吉根林. 双交叉注意力自编码器改进视频异常检测[J]. 南京师大学报（自然科学版），2023，46(1)：110-119. QI Xiaosha, ZENG Jing, JI Genlin. Improved video anomaly detection with dual criss-cross attention auto encoder[J]. Journal of Nanjing Normal University(Natural Science Edition), 2023, 46(1): 110-119. (in Chinese with English abstract)

[31] REDMON J, DIVVALA S, GIRSHICK R, et al. You only look once: Unified, real-time object detection[C]// Computer Vision and Pattern Recognition. Las Vegas, NV, USA: IEEE, 2016: 779-788.

[32] REDMON J, FARHADI A. YOLO9000: Better, faster, stronger[C]// Computer Vision and Pattern Recognition. Honolulu, HI, USA: IEEE, 2017: 6517-6525.

[33] JIANG B, LUO R, MAO J, et al. Acquisition of Localization Confidence for Accurate Object Detection[C]//Computer Vision–ECCV 2018. Cham, Switzerland: Springer International Publishing, 2018: 816-832.

[34] ALEXEY B, WANG C, LIAO H. YOLOv4: Optimal speed and accuracy of object detection[J/OL]. (2020-04-23)[2023-01-05]. https: //www. researchgate. net/publication/340883401.

[35] LIU W, DRAGOMIR A, DUMITRU E, et al. SSD: Single shot multibox detector[C]// Computer Vision–ECCV 2016. Cham, Switzerland: Springer International Publishing, 2016: 21-37.

Detecting kiwi flowers in natural environments using an improved YOLOv5s

GONG Weixin, YANG Zhen, LI Kai, HAO Wei, HE Zhi, DING Xinting, CUI Yongjie※

(1.,,712100,; 2.,,712100,; 3.,712100,)

Artificial pollination can be essential to improve the fruit quality in kiwifruit production. An efficient detection of kiwifruit flowers is one of the key technologies in the automatic pollination machinery. In this study, an improved YOLOv5s model (YOLOv5s_S_N_CB_CA) was proposed to rapidly and accurately detect the kiwifruit flowers. The C3HB module and criss-cross attention (CCA) were added into the YOLOv5s. The sample slicing was combined to add the negative sample processing, in order to enhance the feature extraction of the model for the kiwifruit flowers, particularly for the detection accuracy and detection speed of the model. A total of 1032 images of kiwifruit flowers were collected from a trellised kiwifruit orchard grown in a natural environment, including 779 images on sunny days and 253 images on cloudy days. Two periods of light conditions under sunny days were considered, including 726 images of kiwifruit flowers under the 9:00-11:00 and 378 images of kiwifruit flowers under the 15:00-17:00. Two occlusion cases were selected, with 726 images of kiwi flowers with occlusion and 306 images of kiwi flowers without occlusion. The captured images of kiwifruit flowers were classified into three categories, including kiwifruit buds, kiwifruit flowers, and pollinated kiwifruit flowers. Three targets were labelled separately, and then sent to the improved YOLOv5s model for training. A total of 300 iterations of training were implemented for the improved model. The results showed that the improved model shared the detection accuracy of 85.21%, the recall of 90%, the mean average precision (mAP) of 92.45% at an intersection over union (IoU) ratio of 0.5, a model size of 14.6 MB, and a detection speed of 35.47 frames/s. Compared with the four improved YOLOv5s models with only sample scaling or two resolutions, sample slicing, and adding negative samples, the C3HB-CCA module and focal loss function, the mAP0.5were improved 31.91, 38.32, 2.55, and 1.08 percentage points, respectively, while the mean average accuracy at IoU of 0.5-0.95 ( mAP0.5-0.95) by 34.38, 42.93, 1.92, and 1.37 percentage points, respectively. The improved model increased the recall by 2.00, 7.00, and 12.00 percentage points, compared with the original, YOLOv4, and SSD model, respectively, while the mAP0.5was improved by 2.55, 9.95, 13.64 percentage points, and 34.15%, 144.62%, and 20.03% improvement in the detection speed, respectively. The original and improved models were then used to detect the kiwifruit flowers under different weather light intensities, or under different light intensities at the different times of the day on sunny days. The results showed that the improved model had 85.17% and 83.88% accuracy, 90% and 89% recall, and 91.96% and 91.15% mAP0.5for the detection of the kiwifruit flowers under sunny and cloudy skies, respectively. The improved model shared 84.47% and 84.79% accuracy, 89% and 89% recall, and 92.11% and 92.10% mAP0.5for the detection of kiwifruit flowers in 9:00-11:00 and 15:00-17:00 on sunny day, respectively. The better performance was achieved in the improved model, compared with the original. Therefore, the improved YOLOv5s-based detection model was achieved in the rapid and accurate detection of kiwifruit flowers with the high robustness while maintaining lightweight. The finding can also provide the technical support to develop the automated pollination equipment for kiwifruit.

image processing; model; target detection; kiwi flowers; improved YOLOv5s; natural environments

10.11975/j.issn.1002-6819.202301031

S24；TP391.4

A

1002-6819(2023)-06-0177-09

龚惟新，杨珍，李凯，等. 基于改进YOLOv5s的自然环境下猕猴桃花朵检测方法[J]. 农业工程学报，2023，39(6)：177-185.doi：10.11975/j.issn.1002-6819.202301031 http://www.tcsae.org

GONG Weixin, YANG Zhen, LI Kai, et al. Detecting kiwi flowers in natural environments using an improved YOLOv5s[J]. Transactions of the Chinese Society of Agricultural Engineering (Transactions of the CSAE), 2023, 39(6): 177-185. (in Chinese with English abstract) doi：10.11975/j.issn.1002-6819.202301031 http://www.tcsae.org

2023-01-07

2023-02-07

国家自然科学基金项目（31971805）；国家重点研发计划项目（2019YFD1002401）；陕西省重点研发计划项目（2019ZDLNY02-04）

龚惟新，研究方向为智能化检测与控制。Email：gwx919@nwafu.edu.cn

崔永杰，博士，教授，博士生导师，研究方向为现代农业装备与技术。Email：cuiyongjie@nwsuaf.edu.cn