基于NGG-YOLOv5的空对地UXO目标检测方法

刘子玉, 赵 旭,2, 李连鹏, 代 牮

(1.北京信息科技大学高动态导航技术北京市重点实验室,北京 100000;2.北京宏大和创防务技术研究院有限公司,北京 100000)

0 引言

通常,未爆弹(UXO)位于地表下或遗留于地面,如受外界因素影响并满足其爆炸条件就自行爆炸,位置隐蔽且杀伤力极大,对国家安全和公民安全造成极大威胁,未爆弹药的探测、定位和排除是各国重点研究的问题[1]。一般战后在各处都会留有大量未爆弹,现代战争期间会使用大量弹药,也必有未爆弹遗留。随着现代武器的发展,炮弹等武器可轻易完成大面积打击场高效布设[2]。以投弹为例,目前投弹方式有抛撒布弹、机载投弹等,可以实现在复杂环境下的大面积、快速布弹,提高了弹药投放的数量和随机性,所遗留未爆弹数量显著增加、危险程度大为提升[3]。因无人机具备雷达探测、光学探测等多重远距离、大视场探测手段,可完成目标搜索、数据采集等多种任务,可代替传统手段,降低人员工作风险[4-7]。

在实际勘探中,因未爆弹目标多数存在遮挡、伪装等特点,依靠传统的识别方法难以得到较高的识别效率,不能满足实际工程需要。所以研究人员运用卷积神经网络(CNN)省去提取图像底层等工作,利用深度卷积网络学习图像中目标的不同特征信息,根据该特征对图像中的目标进行描述,然后采用目标分类和边框回归的方法对目标进行检测,取得较好的检测效果[8-9]。

YOLO系列算法被广泛应用于科研及工程等领域。尤其是2020年GLENN等提出的YOLOv5系列算法,继承前任算法优势的同时在模型方面进行优化,不仅准确率较高并且检测速度较快[10]。多名研究人员优化过YOLOv5系列算法,如邱天衡等[11]提出改进的YOLO-G;陈旭等[12]提出运用于无人机图像目标检测的YOLO-sm;李娇等[13]进行昏暗小目标算法研究;龙赛等[14-19]改进了YOLOv5s用于航拍图像车辆检测等。但以上算法所识别目标基本无遮挡、与背景环境差异较大,不适用于本文复杂环境未爆弹目标的识别。

因此,本文提出一种基于YOLOv5s算法的空对地未爆弹目标检测方法,并在自制无人机未爆弹数据集上进行检测,取得较好检测效果。

1 相关工作

1.1 自制数据集

本实验采用无人机于20 m左右高空进行数据采集,分为平原、稀疏草地等场景;目标物分为无遮挡、轻度、中度、重度4种情况进行采集。数据集1示例见图1,数据集按4个场景(Scene1～Scene4),分为各100张[20]。

1.2 YOLOv5网络

YOLOv5网络模型为4个模块:输入端(Input)、主干网络(Backbone)、Neck网络和预测端(Prediction),如图2所示。

1) 输入端包括Mosaic数据增强、图片自适应缩放、自适应锚框计算3部分,将受训图片进行丰富、处理成统一尺寸,然后对锚框进行学习;

2) 主干网络包括Focus处理、CBL层、CSP结构、空间金字塔池化(SPP)[21],将训练集进行卷积形成特征图,随后进行归一化,进入CBL层学习,最后在SPP将输出与输入保持一致[22-23];

3) Neck网络采用FPN与PAN相结合的结构,将提取到的特征进行混合组合,传递至预测层,加强网络特征融合能力[24];

4) 预测端用CIoU_Loss为损失函数,使用非极大值抑制(NMS)加权筛选目标框[25]。CIoU_Loss示意图如图3所示。

图3 CIoU_Loss示意图

图3中A为目标真实框,B为预测框,用M表示两个框之间的交集,N表示两个框之间的并集,A和B的最小外接矩形为C,则CIoU_Loss表示为

(1)

式中:D2表示真实框A的中心点和预测框B的中心点之间的距离;DC表示真实框A和预测框B的最小外接矩形框C的对角线距离;ν表示为

(2)

式中:wgt,hgt分别表示目标真实框的宽和高;wP,hP分别表示预测框的宽和高。

2 NGG-YOLOv5目标检测算法

本文在YOLOv5网络的Backbone中添加注意力机制提高模型的特征提取能力和检测效率;改进预测端中的损失函数和预测框筛选方法,提高检测准确率。图4所示为算法流程及改进的检测详情图。

图4 检测详情

2.1 改进注意力机制NAM-Attention

算法添加了NAM注意力机制模块,对CBAM注意力机制的通道注意力和空间注意力子模块重新设计,在每个网络最后嵌入一个NAM模块;通道注意力子模块使用Batch-Normalization(BN)缩放因子,表示为

(3)

空间、通道子模块分别如图5、图6所示。

图5 空间注意力子模块

图6 通道注意力子模块

2.2 改进的损失函数GIoU_Loss

GIoU_Loss示例见图7。

图7 GIoU示意图

IIoU=I/U=I/(AP+Ag-I)

(4)

GIoU的算式为

GGIoU=IIoU-(AC-U)/AC

(5)

且-1≤GGIoU<1。GIoU_Loss的算式为

fGIoU_Loss=1-GGIoU

(6)

且0

2.3 改进的预测框筛选方式GIoU_NMS

本文采用GIoU_NMS非极大值抑制,抑制准则为GIoU,用最小外接矩形将框BBoxA,B(Bounding Box,BBox)包含在内,不以IoU将重叠区域为唯一判断因素,结果更合理。并采用Mosaic-9数据增强,随机挑选9张图片裁剪、排列等,合成1张图片,增加样本数据量,引入随机噪声,增强模型对小目标样本区分力,提升模型泛化力,相较于原网络的Mosaic增强使用4张图片扩充,进一步提升了样本丰富性。

3 实验与分析

3.1 数据集准备

训练集图像采用Labelimg工具标注,共使用400张无人机拍摄数据进行实验,包括地面、草地等多种复杂背景,将训练集、验证集、测试集按比例分为7∶2∶1,数量分别为280、80、40。为验证算法有效性,所用数据集为4000像素×3000像素,未爆弹目标为60像素×80像素,防步兵雷为30像素×30像素,防坦克雷为70像素×70像素。

3.2 训练环境及参数配置

实验使用Pytorch深度学习框架,系统为Windows 11,NVIDIA GeForce RTX 3060、CUDA 11.6、Pytorch、YOLOv5s模型,训练批次(batch size)为4,训练轮次(epoch)为200。

3.3 评估指标与实验结果分析

本文评价指标采用准确率P、召回率R和平均精度均值(mAP)评估算法性能。准确率为预测数据集中正样本个数除以被预测为正样本的个数;召回率为预测数据集中预测正确的正样本个数除以实际正样本的个数;平均精度代表在IoU阈值为0.5时的平均精度(AP)。上述衡量指标分别表示为

P=TTP/(TTP+FFP)

(7)

R=TTP/(TTP+FFN)

(8)

(9)

(10)

式中:TTP(True Positive)是真实目标检测为真实目标;FFP(False Positive)是虚假目标检测为虚假目标;FFN(False Negative)是真实目标检测为虚假目标;P表示检出的未爆弹目标中是真实目标的概率,反映了模型的准确性;R表示未爆弹目标被正确检出的概率,反映目标齐全度;精度均值AAP为以准确率P和召回率R所围成的曲线面积值;mAP为学习的所有类别精度均值的平均值,式中n为2。mAP值越大,表示算法效果越好,识别精度越高。

本实验环境如3.1节、3.2节所述,所得结果中准确率P、召回率R、mAP、损失函数GIoU_Loss如图8所示,卷积网络特征图如图9(以Scene2为例)所示,检测结果如图10所示。

图8 指标测试结果

图9 卷积网络特征图

图10 测试集检测结果

由图8可知,算法在训练约135个epoch后,准确率P趋于92%;召回率R和mAP均值分别稳定在50%,55%,验证了模型的准确性;GIoU_Loss在150个epoch之后达0.05以下。以上曲线均在150个epoch后逐渐收敛,证明了算法的收敛性和收敛的快速性。

为检验算法性能,进行消融实验的同时采用SSD、Faster R-CNN、YOLOv5、YOLOv8算法作为比较,均用同一数据集、选用基础算法、采用同等轻量级网络、运行200个epoch,统一采用mAP、检测帧率(FPS)为评价指标。

消融实验结果见表1,可见加入NAM注意力模块后模型准确率及mAP值有显著提升。算法对比结果见表2,可知,本文YOLOv5算法的mAP值达56.54%,较SSD、Faster R-CNN、YOLOv5、YOLOv8算法分别提高34.39、39.54、6.34和17.94个百分点。模型检测帧率NGG-YOLOv5算法最高,因此NGG-YOLOv5算法速度最快。综上,NGG-YOLOv5算法兼顾了模型检测精度和检测速度。

表1 NGG-YOLOv5消融实验

表2 模型结果对比

从图10可以看出:SSD和Faster R-CNN在测试集中无法检出目标;原YOLOv5算法可实现目标探测,但所得结果mAP值不高,易认为是误检目标;YOLOv8算法可检测出部分目标,但目标mAP值较低,并存在漏检现象,在Scene4中完全丢失了目标;改进的YOLOv5算法相较于原算法的mAP值有所提升。

本文改进的YOLOv5算法通过在Backbone主干网络中添加NAM注意力机制模块,对不同目标的特征进行不同比例缩放,准确提取目标特征;对模型轻量化,提高准确率和检测速度;改进的损失函数减少了漏警情况;改进的预测框筛选方式排除无关目标干扰,避免因为探测区域重叠导致对目标的误判;Mosaic-9数据增强提高了模型的准确率。

4 结束语

针对无人机复杂环境下未爆弹目标识别概率低的问题,本文提出了一种NGG-YOLOv5的空对地复杂环境下未爆弹目标检测方法,通过改进注意力机制、数据增强方法、损失函数、预选框筛选机制对原算法进行优化,并对所生成的目标检测模型经过验证,相较于原生算法在检测准确率、检测速度上均有较大优化。针对不同场景下的空对地未爆弹目标数据均有较好效果,平均精度值达到55%,检测准确率达到90%以上,验证了方法和模型的准确性和适用性。