基于电子地图的杂草图像处理与识别方法分析①

宋雅丽

(安徽工业职业技术学院信息工程系,安徽 铜陵 244000 )

0 引 言

目前的杂草防治手段多种多样,其中生物除草等的过多使用会对农作物造成更大的伤害,因此通过智能化的相关设备来进行杂草防治成为智慧农业发展的方向[1]。耿亚玲等人针对棉田杂草发生种类的相关问题,利用倒置“W”型的相关采样方法对河北省棉田的杂草种类进行了详细分析,以此提出了最佳的除草剂复配方组合[2]。ALPTEKiN H等人针对不同覆盖材料对杂草防治以及黄光产量影响等问题,通过详细分析黄瓜温湿度数据的基础上,利用随机完全组设计的方式提出了杂草防治的有效方式[3]。研究通过利用电子地图实现对田间杂草图像的检测与处理,并以跨阶段部分暗网53(Cross Stage Partial Dark Network53,CSPDarkNet53)作为主干特征提取网络提出了一阶段式的“你只看一眼”(You Only Look Once-Fourth version,YOLOv4)模型。同时,为降低杂草的误识率,研究引入移动网络(Mobile Network,MobileNet)替换YOLOv4模型的特征提取网络,以此构建二阶段式的MobileNet-YOLOv4模型,目的是实现对田间杂草的有效识别,以此为田间喷洒相应的除草剂实现精准喷洒提供帮助。同时也为促进智慧农业的可持续性发展提供理论基础。

1 基于电子地图的杂草图像处理与识别方法研究

1.1 基于电子地图的杂草图像采集与预处理

为了降低田间杂草对农作物的危害,研究利用电子地图对田间杂草图像的检测与处理,并以CSPDarkNet53作为主干特征提取网络提出了一阶段式的YOLOv4。同时,为降低杂草的误识率,研究引入MobileNet替换YOLOv4模型的特征提取网络,以此构建二阶段式的MobileNet-YOLOv4模型。对于利用电子地图采集得到的田间原始杂草而言,其在直接用来使用训练模型时或多或少会出现占用内存等问题。在向模型中输入图片时,画面格式会被统一地调节到一定大小,在原始画面中由于土地和作物背景占据了画面的大部分区域,导致杂草图像太小,难以提取有效特征,因此必须对原稿进行裁剪[4]。在裁剪完毕后,采用二次线性内插算法,将影像的大小调整至1024*1024,并根据不同的方法模型来选取了最适合的尺寸[5]。

另外,研究所收集到的数据由于体量较小,因此需要采用图像增强技术来提高模型的普适性。研究选择的图像增强方法主要分为四种,即翻转、平移、添加噪声以及视网膜和表皮合成的图像增强算法(Retinex)。Retinex图像增强算法的基本原理为物体自身无色彩,而可见色彩是由光的反射引起,不受光强的影响,因此色觉始终不变。其中,光照图像通过反射率图像就可以得到光照反射后的原始图像。其中原始图像的计算表达如式(1)所示。

Z(i,j)=U(i,j)·P(i,j)

(1)

式(1)中,Z(i,j)表示原始图像;U(i,j)表示反射率图像;P(i,j)表示光照图像。在式(1)基础上,研究将三个图像数值转化为相应的对数,其相关计算表达如式(2)和式(3)所示。

log(Z)=log(U·P)

(2)

式(2)中,log(Z)表示原始图像的对数。

log(Z)=log(U)+log(P)

(3)

式(3)中,log(U)表示反射率图像的对数;log(P)表示光照图像的对数。因此,将原始图像中去除光照影响后得到的原始反射率图像计算表达如式(4)所示。

log(U)=log(Z)-log(P)

(4)

其中,光照图像的计算表达如式(5)所示。

P=F*Z

(5)

式(5)中,F表示高斯模糊;*表示卷积运算。而高斯模糊的计算表达如式(6)所示。

(6)

式(6)中,ε表示高斯空间的常数;u2表示位置。最后,对于杂草的图像处理,研究选择了数据几何组的图像注释器(Visual geometry group Image Annotator,VIA)作为图像的标注工具。

1.2 面向杂草识别的YOLOv4模型及轻量化设计研究

在对电子地图收集的图像进行处理之后,研究选择了YOLOv4模型作为杂草识别的相关原始方法。YOLOv4模型的网络结构图如图1所示。

图1 YOLOv4模型的网络结构示意图

从图1中可以看出,YOLOv4的网络结构主要分为三个部分,即主干特征提取网络、加强特征提取网络以及YOLO头部预测网络。其中,主干特征提取网络研究选择了CSPDarkNet53,其主要作用是进行初步的特征抽取,以此得到三个初始的有效特征层。加强特征抽取网络研究选择了路径聚合网络(Path Aggregation Network,PANet)和空间金字塔池化(Space Pyramid Pooling,SPP)。第三部分是 YoloHead预测网络,其使用第二个部分的最优特征来进行预测。

为了支持YOLOv4模型在移动互联网下移动设备的运用,研究引入了MobileNet网络对其进行了轻量化设计。MobileNet又因为版本不同分为MobileNetV1,MobileNetV2以及MobileNetV3。MobileNet是谷歌推出的一种轻型网络,其专门为手机和嵌入式设备设计,最突出的特征是在网络中采用了深度可分割卷积结构。MobileNetV2与MobileNetV1不同的是使用了倒残差结构,该结构的示意图如图2所示。

图2 倒残差结构的示意图

从图2中可以看出,倒残差结构首先利用1×1的卷积进行相应的维度升级,其次是利用3×3的深度可分割卷积对特征进行提取,最后则是在此运用1×1的卷积进行相应的维度降级,以此把逐点卷积的激活函数从线性整流函数(Relu)转换为线性渐变函数(Linear)。MobileNetV3利用了伴随线性瓶颈的倒残数结构。其流程中最重要的是将自门控激活函数(swish)替换成坚定自门控激活函数(Hard-swish)。其中Hard-swish函数的计算表达如式(7)所示。

(7)

式(7)中,x表示函数自变量。MobileNet的重要功能就是对网络的特征进行提取,因此将MobileNet融入YOLOv4时则是将YOLOv4的主干特征提取网络替换成MobileNet。在YOLOv4的主干特征提取网络替代后,MobileNet三个版本的参数数目分别为4.1×107,3.9×107以及4.0×107。此时在PANet部分引入了可分解的深度卷积模块,三个版本的参数数目修改为1.2×107,1.0×107以及1.1×107,较原模型的6.4×107个参数数目明显减少。还可以通过调节阿尔法(Alpha)参数通道的数目来减少参数,如果模型参数不断下降,则会导致模型的精确度下降。研究为了确保模型的高精度,将Alpha的值设定为1。

2 面向杂草识别的YOLOv4模型性能分析

为了验证YOLOv4杂草识别的有效性,研究对其性能进行了分析。实验前,研究引入了快速区域卷积神经网络(Faster Region based Convolutional Neural Network,Faster R-CNN),YOLOv3以及YOLOv4的轻量级版本(YOLOv4-tiny,MobileNetV1-YOLOv4,MobileNetV2-YOLOv4,MobileNetV3-YOLOv4)。其对比实验结果如图3所示。

图3 不同模型的对比实验结果

综合图3可以看出,YOLOv4模型的四个指标的数值均是最高的,其平均准确率达到了98%,平均召回率为90%.综合来看,研究提出的YOLOv4模型的准确度最高,其在杂草识别中表现出最好的效果。在此基础上,研究为了验证杂草的实时识别检测速度,将YOLOv4模型与其四个轻量级版本作了对比。对比实验前,研究首先对其三个引入MobileNet网络结构的设计版本性能进行了验证。实验中,研究将MobileNet三个版本作为YOLOv4模型的特征提取网络,并选择了8个标记后的杂草进行识别,同时评估指标选择准确率、召回率、F1值以及平均精度。其中,MobileNetV1-YOLOv4的实验结果如图4所示。

图4 MobileNetV1-YOLOv4模型的实验结果

综合图4可以看出,MobileNetV1-YOLOv4模型实验结果中对8个杂草识别的平均准确率达到了96.8%,平均F1值达到了0.88。依据此实验方式,MobileNetV2-YOLOv4的实验结果中平均准确率、平均召回率、平均F1值以及平均精度分别为96.30%,82.20%,0.89以及92.60%。最后,MobileNetV3-YOLOv4的实验结果中的平均准确率高达97%,高于前两个模型的平均准确率,表明MobileNetV3-YOLOv4模型整体性能更好,是最优的选择。在此基础上,YOLOv4的杂草识别实时检测速度对比实验如图5所示。

综合图5可以看出,MobileNetV3-YOLOv4模型体积为44.4 MB,比YOLOv4-tiny模型大了一倍,实时检测速度可以达到29.1帧/秒,其虽然低于YOLOv4-tiny的42.6f/s,但也满足实时检测的要求,其平均精度则仅比原模型降低2.1%,体积压缩了206.7 MB。综合来看,MobileNetV3-YOLOv4作为YOLOv4模型的轻量化设计达到了实验需求,性能较好。同时,YOLOv4模型对于实际的杂草识别具备有效性,MobileNetV3-YOLOv4模型则在保持原模型性能的同时也降低了杂草误识率。

3 结 语

为了降低田间杂草对农作物的危害,实现杂草的有效识别,研究引入了YOLOv4模型,并引入MobileNet网络结构设计其三个轻量化版本,同时对YOLOv4模型及其轻量级模型的性能进行了实验分析。实验结果表明,YOLOv4模型的平均准确率达到了98%,平均召回率达到了90%,平均精度达到了97%,具备较高的杂草识别性能。三个轻量级YOLOv4模型中MobileNetV3-YOLOv4准确率更好,表现出更好的识别性能。在轻量级YOLOv4杂草识别速度检测实验中,MobileNetV3-YOLOv4模型体积为44.4 MB,比YOLOv4-tiny模型大了一倍,实时检测速度可以达到29.1f/s,满足检测的实际需求。同时其平均精度则仅比原模型降低2.1%,而体积压缩了206.7 MB。综合来看,一阶段式的YOLOv4模型杂草识别性能较好,识别准确率更高,在实际的杂草实时监测防治中具备更好的实用性。二阶段式的MobileNetV3-YOLOv4模型在降低模型大小的同时实时检测速度也达到了实际需求的效果,同时也可以查补YOLOv4的识别遗漏问题。但是,在实际的田地除草中,研究还受到杂草种类等复杂情况的限制,需要在后续进行更多的完善。