基于深度学习的草坪杂草识别与除草剂喷施区域检测方法

金小俊， 孙艳霞， 陈 勇*， 于佳琳

(1. 南京林业大学机械电子工程学院， 江苏 南京 210037； 2. 南京交通职业技术学院轨道交通学院， 江苏 南京 211188；3. 得克萨斯农工大学土壤与作物科学系， 得克萨斯州 学院站 77843)

草坪绿化是城市文明程度的重要标志之一[1]。草坪常见于公园绿化、体育场、高尔夫球场等场所。草坪对于美化环境、净化空气、保持水土等作用显著[2]。由于杂草的侵袭，草坪退化严重，造成养护困难[3]。杂草防控是草坪养护的重要内容，基于除草剂的化学除草是草坪杂草防控的常用方式[4-5]。我国化学农药用量居世界第一[6]。其中，农作物的农药利用率仅为36.6%，远低于欧美发达国家[7]。提高农药利用率已成为我国农业生产中亟需解决的重要问题[8]。近年来，我国除草剂的施药量占农药总用量的48%左右，除草剂的减施是降低农药使用的重中之重[6,8]。自然环境下，草坪杂草呈不规则生长，分布随机。除草剂通常以地毯式方式喷施[9]，造成除草剂利用率低下。实现除草剂的精准喷施是降低除草剂用量，减少环境污染的关键。要想实现精准喷施，首先需要实现对杂草的识别，并进而确定除草剂的喷施区域[10-11]。

传统杂草识别方法通常利用植物本身的一些特征，包括颜色、形状、纹理以及多光谱等[12-14]。但这些特征需要人工提取，且算法设计复杂，存在着稳健性不足，识别速度低等缺陷[13,15-16]。随着深度学习，特别是深度卷积神经网络的发展，越来越多的研究开始借助于深度学习技术[17-21]。王璨等[22]利用改进的双注意力语义分割神经网络模型，基于玉米像素分割结果，生成杂草分割图。试验表明，深度学习模型的平均交并比、平均像素识别准确率分别可达94.16%和95.68%。樊湘鹏等[23]通过改进Faster R-CNN模型的锚尺度,并选取最优特征提取网络，可实现对自然条件下新疆棉田棉花幼苗期的7种杂草的有效识别与定位，平均识别精确率为94.21%。Osorio等[24]分别采用YOLO-v3模型和Mask R-CNN模型对生菜田中的杂草进行识别，结果显示两者的F1指数均为94%。草坪杂草识别方面，Yu等[25-28]研究发现，在休眠期的狗牙根草坪中，VGGNet模型和DetectNet模型均能精准识别各类单子叶和双子叶杂草。而在多年生黑麦草坪中，VGGNet模型对于不同密度的蒲公英草识别率最高，而GoogleNet模型虽然召回率较高，但精度值远低于VGGNet模型。

草坪杂草随机分布，且草坪草与杂草生长交错、重叠，增加了识别难度。文献检索显示，对于草坪杂草识别，国内外研究较少，尚处于探索阶段[27-29]。而针对草坪杂草的除草剂精准喷施，国内外均尚未开展相关研究。本研究拟提出一种可用于除草剂精准喷施的草坪杂草识别与喷施区域检测方法，以期解决草坪杂草精准喷施这一关乎除草剂利用率的关键问题。同时，为相似作物的杂草识别与除草剂喷施区域检测提供技术参考。

1 材料与方法

1.1 图像采集

本研究选取具有代表性的草坪草种狗牙根[Cynodondactylon(L.) Pers.]，并在其伴生杂草中分别选取禾本科毛花雀稗(PaspalumdilatatumPoir.)、豆科白三叶(TrifoliumrepensL.)以及莎草科莎草(CyperusrotundusL.)为试验对象。毛花雀稗和白三叶图像于2018年10月采集自美国佐治亚大学格里芬校区(University of Georgia Griffin Campus)内的草坪。莎草图像于2021年5月采集自江苏省南京市江宁区某绿化草坪。采集设备为索尼数码相机(型号为DSC-HX1)。图像分辨率为1920 × 1080像素。为保证深度学习训练样本的多样性，图像采集在不同时间，以及晴天、阴天不同光线状态下进行。狗牙根草坪伴生杂草如图1所示。

图1 狗牙根草坪伴生杂草原图Fig.1 Original images of weeds in bermudagrass lawn

1.2 样本数据集与试验方法

对于采集到的草坪图像，每张按照5行8列切分成40张格子图片，如图2所示。切分后每张格子图片的分辨率为240 × 216像素。人工查看格子图片并分类，包含毛花雀稗、白三叶和莎草的格子归为正样本，反之归为负样本(狗牙根草坪)。如此分别得到毛花雀稗样本、白三叶样本、莎草样本各2 500张，以及狗牙根样本7 500张。样本按照8∶2的比例随机分为训练集和验证集。

图2 格子切分示例图Fig.2 Grid image illustration

测试集选取包含毛花雀稗、白三叶和莎草的完整原图各10张，每张原图同样按照5行8列切分格子图。30张原图共计获得格子图片1 200张。分类后毛花雀稗为218张、白三叶为295张、莎草为242张，不含杂草的狗牙根草坪图为445张。试验样本数据集的建立如表1所示。

表1 深度学习样本数据Table 1 Deep learning dataset

1.3 深度学习框架

为探究不同深度学习模型对杂草识别的效果，本研究拟选取不同卷积神经网络模型进行评价分析。试验深度学习平台为PyTorch框架[30]。PyTorch是由Facebook公司开源的神经网络框架，其具有强大的GPU加速张量计算能力，并包含深度神经网络的自动求导系统，是目前主流的深度学习平台之一[31]。本研究中所用模型均在PyTorch框架下编程实现，以使不同模型的对比处于标准、公平的环境之下。深度学习训练和运行的硬件系统为台式计算机，搭载Inter(R) core(TM) i9-9900K CPU @3.60GHZ处理器，图形处理单元为NVIDIA GeForce RTX 2080Ti，运行内存为64 GB，操作系统为Ubuntu 20.04。

1.4 杂草识别与喷施区域检测方法

1.4.1杂草识别模型 本研究分别选取VGGNet模型[32]、GoogLeNet模型[33]和ShuffleNet模型[34]对草坪图像中的杂草进行识别并分类。VGGNet是由牛津大学视觉几何组(Visual Geometry Group)和Google公司共同提出的卷积神经网络模型，其证明了使用很小的卷积(3×3)并通过增加网络深度可以有效提升模型的识别精度。GoogLeNet是由Google公司推出的基于Inception模块的深度神经网络模型。该模型使用Inception结构增加网络宽度，通过提取高维特征以减少参数数量、提高模型的分类性能。ShuffleNet是旷视科技设计的高效卷积神经网络模型，其通过优化的网络结构实现更轻量级的模型。该模型的特点在于拥有更加均衡的识别性能，利用有限的计算资源获取最佳精度。智能除草装备依赖高性能的实时杂草识别[35]。本研究将从识别率和识别速度两方面对上述模型进行综合对比，并根据评价结果选取最优模型进行杂草及喷施区域识别研究。表2为不同模型的默认超参设置。

表2 不同模型默认超参设置Table 2 Default hyperparameters of each model

1.4.2评价指标 本研究采用精度(precision)、召回率(recall)以及F1值作为验证集评价指标。在本研究场景中，精度表示样本中模型正确分类的杂草目标与预测为杂草目标的比值。召回率表示样本中所有杂草目标被正确预测的比例。精度和召回率的定义如下：

(1)

(2)

式中：tp为被正确划分为正样本的数量、fp为被错误划分为正样本的数量、fn为被错误划分为负样本的数量。

F1值是深度学习中常用的模型综合评价指标，其结合了精度与召回率。计算方式为取精度与召回率的调和平均数：

(3)

对于测试集，本研究使用总体准确率(overall accuracy)和平均准确率(average accuracy)作为评价指标。总体准确率是模型在测试集上预测正确的(包括真正类和真负类)数量与总体数量之间的比值，其计算公式为：

(4)

平均准确率是取每一类(class)总体准确率的平均值，体现模型对所有类别目标的综合分类能力，其定义如下所示：

(5)

式中：Nc为分类任务中类别的数量。

1.4.3除草剂喷施区域检测 本研究拟通过划分格子图片，利用深度学习识别各格子中是否包含杂草，进而实现杂草定位。如图3所示，首先将原图按照5行8列均匀切分成40张格子图片。5行8列的选择依据为：本研究中采集的原始图像分辨率为1920 × 1080像素。切分后每个格子的大小为240 × 216像素，该尺寸与一般卷积神经网络模型的输入尺寸(224 × 224像素)相近[36]。对应的物理尺寸与除草剂施药器单个喷头的喷施范围相近(喷头孔径3.2 mm，摄像头高度0.65 m，图像区域分辨率240 × 240像素，喷施物理直径12 cm)。对于切分的格子图片，分别送入深度学习模型进行杂草识别。具体为利用训练完成的神经网络模型对输入的格子图片进行推理，并输出分类标签。若标签为毛花雀稗、白三叶或莎草，则标记图像中该格子的所在区域为喷施区域。如此，统计出图像中所有包含杂草的格子区域，即为需要喷施除草剂的区域，施药器喷头移动到相应区域并完成除草剂喷施。

图3 杂草识别与除草剂喷施区域检测流程示意图Fig.3 Flow chart of weed recognition and site-specific spraying

2 结果与分析

2.1 杂草识别

深度学习模型识别杂草的验证集评价数据如表3所示。从表中可知，VGGNet模型对于白三叶和狗牙根的精度最高，均达到了1.0。精度越高表明模型对目标的误识别率越低。GoogLeNet模型和ShuffleNet模型对莎草和白三叶的识别率同样高达1.0。召回率方面，VGGNet模型识别出了所有莎草目标，而GoogLeNet模型和ShuffleNet则对狗牙根召回率达到了1.0。VGGNet模型识别毛花雀稗的召回率最高，为0.99，表明其有1%的漏检。ShuffleNet模型能够识别出99%的白三叶目标，在所有模型中召回率最优。进一步观察F1值，所有模型都高于0.97，表明本研究所选模型对于杂草都有较好的识别效果。其中，VGGNet模型对于白三叶、莎草和狗牙根的F1值都高达0.99，表明VGGNet模型对这三种目标均保持了精度和召回率的最佳平衡。GoogleNet模型对于莎草和狗牙根同样具有较高的识别性能。ShuffleNet模型则对白三叶和狗牙根能更好的兼顾精度和召回率。

表3 不同神经网络模型验证集评价数据Table 3 Evaluation matrix of CNN models in validation dataset

将训练模型应用于测试集数据，得到表4所示的评价数据。由表4可知，VGGNet模型对于所有种类目标的总体准确率均高于0.99，且其平均准确率高达99.50%，相较于GoogLeNet模型和ShuffleNet模型，识别效果最优。GoogLeNet模型对于不同杂草的识别总体准确率均超过0.98，平均准确率为98.75%。ShuffleNet模型虽然对正样本(毛花雀稗、白三叶和莎草)总体准确率较高，但对于负样本狗牙根的准确率仅有0.96，且该模型平均准确率低于VGGNet模型和GoogLeNet模型。综合总体准确率和平均准确率，VGGNet模型和GoogLeNet模型对于不同类型目标的识别均衡性更高，总体识别效果更优。

表4 不同神经网络模型测试集评价数据Table 4 Evaluation matrix of CNN models in testing dataset

表4同样列出了VGGNet模型、GoogLeNet模型和ShuffleNet模型的识别速度。该速度值取测试集中1200张格子图片的平均值，并以40张格子图片为单位(每张原图切分后为40张格子图片)，计算整图的识别速度。观察可知，ShuffleNet模型识别速度最快，几乎是GoogLeNet模型的两倍。VGGNet模型性能最低，只有8.9 fps的帧率，无法满足实际应用的需要。此结果也证明虽然VGGNet模型通过增加网络深度提高了识别率，但同时也消耗了更多的计算资源[37]。GoogLeNet模型识别速度为36.9 fps，表示其每秒钟可以处理36.9张图片。通常图像处理速度高于30 fps即可认为是实时处理[38]，因而ShuffleNet模型和GoogLeNet模型均具备实时杂草识别的能力。综合识别率和检测速度，GoogLeNet模型为本研究中所选模型中的最优模型，其拥有最为均衡的识别率和识别速度。

2.2 除草剂喷施区域

图4所示为本研究中所选最优模型GoogLeNet的杂草识别及喷施区域标记效果图。分别为图4a包含毛花雀稗的图像、图4b包含白三叶的图像、图4c包含莎草的图像以及图4 d同时包含毛花雀稗和白三叶的图像。从效果图可看出，GoogLeNet模型对于不同杂草类型均能正确识别，展示了其良好的稳健性。其中，图中的淡红色格子表示包含毛花雀稗的区域，淡黄色格子和淡蓝色格子则分别为标记的白三叶和莎草位置区域。在草坪除草应用中，除草机器人根据标记的喷施区域格子坐标，控制施药器喷头移动至相应位置，完成除草剂的精准喷施。

图4 草坪杂草识别与精准喷施效果图Fig.4 Weed detection and site-specific spraying in bermudagrass

3 讨论

当一张图像中同时包含多种杂草时，切分格子可以将不同杂草划分至不同区域，从而在一定程度上提升杂草识别率。但需要指出的是，单个格子中仍然可能存在多种杂草，该场景下神经网络模型只会给出一个预测标签值。若应用场景为不区分杂草种类的除草剂喷施，则仅需判定有无杂草，而无需确定具体杂草种类。反之，若为区分杂草种类的喷施，由于不同除草剂通常情况下不能混合使用，一次仅能喷施一种除草剂，因此，格子中存在多种杂草也只需识别出一种，通过多次作业完成所有杂草的喷施。

为降低除草剂用量、减少环境污染，研发能够实现除草剂精准喷施的智能除草装备势在必行。要想实现精准喷施，首先需要实现对杂草及喷施区域的精准识别。传统杂草识别方法通常仅在图像中找出杂草像素，并未与施药器的喷施系统相结合。如何进行选择性的精准喷施？如何关联杂草区域和施药器喷头的喷施范围？本研究通过将图像划分格子区域，每一个格子作为一个喷施单元，通过识别格子中是否包含杂草，从而确定除草剂喷施区域。该方法可直接应用于除草机器人的视觉系统。

4 结论

VGGNet模型、GoogLeNet模型和ShuffleNet模型均能有效识别草坪杂草目标。其中GoogLeNet拥有最为均衡的识别率和识别速度，为本研究试验的最优模型。试验表明，本研究提出的草坪杂草识别与除草剂喷施区域检测方法具有高度的可行性和较优的应用效果，可用于基于除草剂精准喷施的草坪杂草防控。本研究以草坪杂草为试验对象，但本研究所提出的杂草识别与除草剂喷施区域检测方法亦可应用于其他作物，如玉米(ZeamaysL.)、棉花(Gossypiumspp.)、水稻(OryzasativaL.)和小麦(TriticumaestivumL.)等。本研究后续将针对不同作物展开普适性研究，同时对神经网络模型进行改进和优化，以进一步提升识别率与性能。