基于深度学习的草坪树木检测方法研究*

王新彦，吕峰，易政洋

(江苏科技大学机械工程学院，江苏镇江，212100)

0 引言

近年来随着草坪绿化水平越来越受重视[1]，对草坪割草设备的要求也越来越高。而坐骑式割草机翻滚对驾驶员带来的损伤使得割草机器人的研发势在必行[2]，而本项目的视觉感知技术研究是实现割草机器人智能化的前提。

计算机视觉技术发展至今已为生产发展提供了诸多解决方案[3-7]，在树木检测方法研究中，也涌现出了大量研究成果。马继东等[8]利用HALCON软件对标定的树木进行几何参数测量，但该方法智能化程度低，检测时需要人工对单张图片进行标定，无法实现自动测量，且无法在嵌入式设备上运行。冯运发等[9]采用基于颜色空间和动态阈值分割的方法，生成外接矩形来实现树干的检测，但该方法无法在单张图片中实现多种类树木检测。张烨等[10]基于Hough变化和Sobel算子提出了输电线路下的树木检测方法，但该方法通过导线定位感兴趣的区域(Region of Interest, ROI)，无法实现无参照定位，且该方法中图片背景单一，不适用于背景复杂的草坪环境。叶阳等[11]提出了一种基于主动轮廓演变模型的遥感影像单棵树木检测方法，该方法不足之处在于无法实现多目标多种类树木检测。

上述研究推动了树木检测技术的发展，具有重要的指导意义，但是现有的方法大多都是针对一般环境下的树木特征，草坪树木不同于一般的树木，其形状与纹理特征有其特殊性。已有的树木检测方法智能化、轻量化程度较低。一方面无法实现多种类、多目标的树木检测，另一方面计算依赖于个人电脑与特有的软件，难以部署在算力有限的嵌入式割草机器人上。为了解决这一问题，本文实地制作了草坪树木数据集；基于YOLO(You Only Look Once)系列算法[12-15]思想，提出了基于优化Tiny YOLOV4算法的草坪树木检测算法，从而解决了草坪树木数据集缺失、树木检测方法智能化程度低与YOLO系列算法轻量化程度低的问题，为草坪环境树木检测提供了一种新的思路。

1 草坪树木数据集

由于缺乏公共的草坪树木数据集，通过智能手机在草坪环境实地采集了具有代表性的两类树木特征，树干(Trunk)和球状树木(Spherical Tree)，如图1所示。

(a) 树干样本

(b) 球状树木样本图1 数据集中草坪树木类别Fig. 1 Classes of lawn trees in the dataset

树干和球状树木样本总数为8 489张，按照3∶1的比例划分为训练集和测试集，且相互独立，并标注成YOLO格式的文本文档。其中每个类别包含的样本数量如表1所示。在数据集上使用kmeans++算法聚类出6类先验框(Anchor Box)，尺寸分别为(10×43)，(22×88),(38×174)，(91×102)，(68×323)和(111×338)。

表1 样本情况统计表Tab. 1 Sample situation Statistical table

2 原Tiny YOLOV4网络结构分析

原Tiny YOLOV4网络整体结构如图2所示。虚线框内为网络特征提取的骨干部分，在网络浅层通过步长为2的3×3卷积对输入图像进行下采样和特征提取。通过缩放模块将输入特征图分成两组，对其中一组进行卷积操作，在降低计算量的情况下提取特征信息；最后通过拼接操作，进行通道扩张。对骨干网络的输出采用一系列卷积操作，最终对13×13的特征图进行树木目标检测。通过对13×13的特征图上采样与网络前部的26×26的特征图拼接进行分辨率的扩张，最终对26×26的特征图进行目标检测。

图2 原Tiny YOLOV4网络结构Fig. 2 Original Tiny YOLOV4 network structure

3 优化Tiny YOLOV4网络改进设计

3.1 卷积运算原理

原算法采用大量3×3的卷积层提取特征，卷积运算原理如图3所示，卷积核在通道数为N的输入特征图上由左上角沿横向和纵向滑动至右下角的过程中，卷积核与特征图重合部分每个像素值对应相乘并对乘积求和得到输出特征图像素值，通过M个卷积核的共同作用，形成通道数为M的输出特征图。其中，卷积核通道数和输入特征图通道数相等，卷积核个数与输出特征图通道数相等。

图3 卷积运算原理Fig. 3 Convolution operation theory

一个N通道的输入张量与K×K的卷积核进行卷积运算，输出M通道张量，卷积所需要的参数量

c=K2NM

(1)

式中：c——卷积所需要的参数数量；

K2——卷积核尺寸；

N——输入张量通道数；

M——输出张量通道数。

因此，卷积参数数量与卷积核尺寸、输入特征图通道数和输出特征图通道数有关。在神经网络中，卷积参数即为网络学习的参数，因此卷积参数数量对神经网络的训练时长、运算速度和轻量化程度有着重大影响。

3.2 增强模块与轻量模块设计

增强模块与轻量模块的设计如图4所示。

图4 增强模块与轻量模块结构Fig. 4 Enhanced module and lightweight module structure

为了增强网络的特征提取能力，进行通道多尺度变化，将原网络的缩放模块2和缩放模块3的第一层卷积层在通道拆分之前，经过一个1×1的点卷积层进行通道像素之间的线性组合和通道压缩；再经过一个3×3的卷积层增强网络对特征信息的提取能力，同时将通道数扩张至原值形成增强模块。为了降低网络卷积运算的参数数量，根据式(1)对缩放模块1进行轻量化处理，将缩放模块1的第一层卷积层替换为1×1和3×3的卷积层，即由原3×3、输出通道为2b的卷积层替换为先经过1×1、将通道数压缩至b的点卷积层，再经过3×3、将通道由b扩张为2b的卷积层进行特征提取的方式形成轻量模块，降低卷积运算的参数量。通过通道多尺度变化，原缩放模块可优化为具备更强学习能力的增强模块，也可优化为具备更少计算参数的轻量模块。

3.3 多分辨率融合模块设计

一方面，增强模块通过增加1×1和3×3的卷积层，提高了网络的特征提取能力，同时也增加了卷积运算的参数量；另一方面，输入图像经过一系列卷积层和池化层之后，分辨率越来越小，深层的卷积层提取到高度抽象的特征信息，由于浅层的卷积层通常对目标的局部或者小目标较为敏感[16]，因此，原Tiny YOLOV4网络缺乏与网络浅层信息的融合，对小目标的检测能力不足。为了解决上述问题，同时提高网络浅层信息的利用率，采用多分辨率融合的设计方案。多分辨率融合模块设计如图5所示。将最大池化层2输出的分辨率为26×26的特征图经过步长为2的3×3卷积层进行下采样，得到13×13分辨率的特征图；将该特征图与最大池化层3输出的13×13的特征图拼接，形成分辨率为13×13，通道数为640的特征图，替换原Tiny YOLOV4骨干网络中卷积层3，即计算量和参数数量最多的卷积层，形成多分辨率融合模块，降低整体网络的卷积参数数量，提高网络的轻量化程度和多分辨率融合能力，进而提高网络对较小目标的检测能力。

图5 多分辨率融合设计Fig. 5 Multi-resolution fusion design

3.4 网络总体结构

优化后的Tiny YOLOV4网络总体结构如图6所示。虚线框内为骨干网络，其余部分与原Tiny YOLOV4网络相同。将输入图像经过两层步长为2的3×3卷积层，降低尺寸，扩张通道，快速学习特征信息。用轻量模块替换缩放模块1，增强模块1和增强模块2分别替换缩放模块2和缩放模块3。轻量模块用于降低3×3卷积的计算量和计算参数，增强模块用于强化优化Tiny YOLOV4骨干网络的特征提取能力。最大池化层用于快速降低特征图的分辨率，多分辨率融合模块一方面用来抵消增强模块增加的参数和计算量，另一方面用于加强网络深层对浅层高分辨率信息的融合能力，提高骨干网络对局部特征和较小目标的检测精度。

图6 优化Tiny YOLOV4网络结构Fig. 6 Optimized Tiny YOLOV4 network structure

4 试验结果与分析

为定性评价本文提出的草坪树木检测算法的检测效果，用训练集对本文算法进行训练。操作系统为 Windows10；CPU为Intel i7-9700KF，3.4 GHz；内存大小为16 G；GPU为NVIDIA GEFORCE RTX 2070 Super 8 GB显卡；深度学习框架为AlexeyAB-Darknet；编译环境为 Visual Studio 2015 C/C++语言。

网络训练参数与原Tiny YOLOV4一致。随机从测试集图像中选取草坪树木图像进行检测，检测效果如图7所示。

(a) 草坪树木原图1

(b) 草坪树木检测效果1

(c) 草坪树木原图2

(d) 草坪树木检测效果2

(e) 草坪树木原图3

(f) 草坪树木检测效果3图7 本文算法草坪树木检测Fig. 7 Lawn trees detection based on this algorithm

图7(b)表明，本文提出的基于优化Tiny YOLOV4算法的草坪树木检测算法较好地完成了草坪环境图像中树木的检测，并且检测框与树木主体轮廓基本一致，且可以检测出边缘处较小的目标特征。图7(d)表明，本文算法可以检测出拥挤且有遮挡的球状树木和分支较多的树干特征。图7(f)表明，本文算法可以检测出拥挤且目标较小的无分支树干，证明了本算法的有效性。

为定量评价本文提出的草坪树木检测算法的检测准确率，将本文算法与Tiny YOLOV3、原Tiny YOLOV4算法轻量化和精度的各项指标在测试集上进行对比，单类别检测精度的衡量指标为平均精度AP，总体检测精度的衡量指标为平均精度均值mAP，对比结果如表2所示。

表2 草坪树木检测结果统计表Tab. 2 Lawn Tree Detection Results Statistics Table

从表2可以看出，本文提出的优化Tiny YOLOV4草坪树木检测算法精度的各项指标均优于其余两种算法。与Tiny YOLOV3和Tiny YOLOV4相比，mAP值分别提高了6.18%和0.61%，树干的AP值分别提高了2.33%和0.22%，球状树木的AP值分别提高了10.04%和1.00%。模型大小为16.19 MB，轻量化程度分别提高了51.10%和27.85%。

5 结论

为实现割草机器人在草坪环境下的树木检测，本文提出了一种基于优化Tiny YOLOV4算法的草坪树木检测算法。

1) 根据割草机器人的应用场景，在草坪环境用手机实地拍摄制作了包含树干和球状树木的草坪树木数据集。对原Tiny YOLOV4算法进行了轻量化改进，通过通道多尺度变换设计了增强模块与轻量模块，用来增强网络的特征提取能力；提出了多分辨率融合模块，用以提高网络的轻量化程度。将数据集中的训练集用于训练优化Tiny YOLOV4算法，在测试集上进行了试验，试验结果表明本文的树木检测算法平均精度均值为80.59%，模型大小为16.19 MB。

2) 本文算法与Tiny YOLOV3、原Tiny YOLOV4算法在测试集上的对比试验结果表明，本文的优化Tiny YOLOV4算法树干和球状树木的mAP值分别提高了6.18%和0.61%，树干的AP值分别提高了2.33%和0.22%，球状树木的AP值分别提高了10.04%和1.00%，轻量化程度分别提高了51.10%和27.85%，在嵌入式设备上具备较高的可移植性。