基于改进YOLOv7的绝缘子缺失检测方法

余一聪,何领朝,蔡荣贵,洪家军

(1.莆田学院 新工科产业学院,福建 莆田 351100;2.福州数据技术研究有限公司,福建 福州 350200)

1 研究背景

随着电力系统智能化水平日益提升,人们对电力系统的日常安全稳定运行提出了更高需求。绝缘子是输电系统中的重要元器件,数量庞大,长期暴露在室外环境下很容易出现故障,对电力系统的安全稳定运行造成严重的影响。我国疆土辽阔,地形复杂,输电线路经常需横跨山河湖川,电力系统的巡线任务采用传统的人工巡检方式人力成本太高,对工作人员的素质要求严格,同时易受复杂的自然环境影响,特别对偏远山区的输电线路的检查,更加耗时耗力,甚至由于作业难度太大,难以完成或者完成的质量不高。为获取输电线路运行状况,同时降低巡线成本,提高巡线效率,电力部门逐渐开始用无人机巡检替代人工巡检。无人机巡检不受天气、环境影响,节约了人力物力,同时也拍摄了大量的现场照片,为后续算法训练做了重要的数据储备。

目前大部分检测方法是基于单步检测法和两步检测法。两步检测法精度较高,但消耗计算资源较多,耗时较长,不利于落地部署。单步检测法消耗资源较少,但精度较低。为解决上述问题,本文在YOLOv7算法的基础上,通过增加CBAM注意力机制结构,并采用线上线下增强相结合模式,提出一种基于改进的YOLOv7算法,称为YOLOv7_CBAM,并应用到绝缘子缺失检测领域中。该算法利用YOLOv7算法强大的特征提取能力,学习从样本中检测绝缘子,并判断绝缘子正常与否。实验结果表明,该方法模型能够兼顾精度和速度,可以有效区分绝缘子是否存在缺失现象。本研究主要贡献有以下三点。

(1)在原来YOLOv7算法基础上增加CBAM注意力机制结构,有助于网络模型在大面积覆盖图像中定位感兴趣区域。

(2)将改进YOLOv7算法应用到绝缘子缺失检测领域,提升了绝缘子缺失的检测精度,节省了人力与时间成本。

(3)采用线下与线上增强相结合模式,增加了样本多样性,利于提升检测的精确度。

2 相关研究

当前,计算机视觉识别图像已成为学术界、工业界的一个主流研究方向。计算机视觉检测方式分为单步检测法和两步检测法。两种不同策略的性能对比如表1所示,两步检测法精度较高,但消耗计算资源较多,耗时较长,不利于落地部署。单步检测法消耗资源较少,但精度较低。

表1 不同策略性能对比

Zuo D等[1]提出了一种基于计算机视觉复杂背景下的直升机空中绝缘子成像缺陷检测算法,该算法先通过特征提取,训练并获取到一个具有检测和定位功能的绝缘子分类器,针对绝缘子进行一系列数字图像处理并分割,最后利用分割好的绝缘子像素,分析确定绝缘子是否有缺陷。Guo F等[2]提出了一种基于YOLOv3的检测算法,对拍摄的绝缘子图像进行检测和分类,最终实现了对正常绝缘子和缺陷绝缘子的智能检测。Liu X等[3]提出了一种基于FasterRCNN的绝缘子故障检测方法,该方法包括一个卷积网络、区域网络和目标检测器,实现对绝缘子缺失区域的检测,该检测方法虽精度有所提升,但两步检测消耗计算资源较多,耗时较长。

YOLO系列算法是一种基于端到端的单步检测模型,通过将目标检测任务视为回归问题,只需用一个神经网络就能同时预测出目标的类别和位置,相比其他算法,检测速度有了很大提升[4]。YOLOv1作为YOLO系列开山之作,其最大的缺陷是精度不高,在PASCAL VOC上的检测精度达到63.4%,虽不如FastRcnn的73.2%,但其45FPS的检测速度已完全能够满足实时检测要求,况且该算法在精度上有很大的提升空间。YOLOv2在YOLOv1基础上改进,在略微牺牲检测速度的情况下提升检测精度。后续版本如YOLOv3、YOLOv4等如法炮制,增加多种改进如多尺度特征融合、锚框、注意力机制、数据增强等技术进一步提升检测精度。

YOLOv7模型是由Alexey Bochkovskiy等在2022年提出的,算法相较于之前提出的YOLOv4在精度和速度上都有很大提升[5]。在MS COCO数据集上5FPS到160FPS范围内,速度和精度上表现优于YOLOR、YOLOX、YOLOv5、DETR等算法。YOLOv7-E6比基于Transformer的检测器Swin Cascade-Mask RCNN速度快509%,精度高2%,比基于卷积的检测器ConvNeXt-XL Cascade-Mask RCNN[6]速度快551%,精度高0.7%。

3 基于改进YOLOv7网络的绝缘子缺失检测方法

3.1 数据集

原始绝缘子数据集由1000张图像组成。材料上包括橡胶绝缘子、玻璃绝缘子、陶瓷绝缘子。结构上包括单绝缘子串和双绝缘子串。总共分为三类标签,分别是:正常绝缘子串Normal_insulator、包含缺失的绝缘子串Defective_insulators、缺失绝缘子串Insulators_fault。

3.2 数据增强

数据增强分为线下增强和线上增强两种处理。线下增强:对数据集中的图像进行反转、随机调整亮度、随机裁剪、旋转等增加样本多样性,以便增加样本数量[7]。线上增强:在输入网络模型前,对样本进行翻转、调整亮度、Mosaic、随机裁剪、Mixup[8]、Copy_paste[9]等,并且一般不改变样本数量。

为了增强数据,本研究采用线下增强采用随机翻转、随机改变亮度对比度策略,把样本增强至8084张。线上增强采用随机左右翻转、Mosaic、Mixup、Copy_paste。

3.3 改进YOLOv7网络模型

YOLOv7网络的主要成就包括以下四点:(1)设计了几种Bag-of-freebies方法,可以在不增加推理成本的情况下提高检测精度。(2)发现了两个新问题,一是重参数化模块如何替换原始模块,二是动态分配策略如何分配给不同输出层问题,并针对这两个问题给出解决方案。(3)提出实时目标检测扩充方法和符合扩充方法,可以有效计算和设计参数。(4)减少约40%的参数和50%的计算量,并且表现出更快的推理速度和更高的检测精度。

网络坐标损失采用CIoULoss,目标置信度损失与分类损失均采用BCEWith-LogitsLoss,如式(1)所示。

LCIOU=1-IOU(A,B)+ρ2(Actr,Bctr)/c2+α·v

(1)

式(1)中,v、α分别满足式(2)和式(3)。

(2)

(3)

式(2)和式(3)中,A表示预测框,B表示真实框,wgt与hgt表示真实框B的宽与高,w与h表示预测框A的宽与高,ρ表示框A与B之间的欧式距离,c为框A与B最小包围框的对角线长度,IOU(A,B)表示框A与B之间交并比,如式(4)所示。

LBCEWithLogits={l1,l2,…,ln}

(4)

n表示Batch size,其中ln满足关系式(5)。

ln=-wn[yn·logxn+(1-yn)·log(1-xn)]

(5)

CBAM块是一个简捷有效的注意力机制模块,如图1所示,该模块融合了通道注意力机制和空间注意力机制,能快速集成到卷积神经网络中,实现端到端训练[10]。通道注意力机制与时频变换类似,它为不同通道分配不同大小的权重,以衡量通道与关键信息之间的相关性,并间接地提高对关键信息的关注度。空间注意力机制则将不同的权重分配给特征图中的不同区域,以增强重要区域的信息,削弱非重要区域的信息。通道注意力机制筛选与目标相关的通道信息,而空间注意力机制关注与目标相关的位置信息。

图1 CBAM模块结构

在卷积层输出后,经过通道注意力模块加权处理后,特征会再进入空间注意力模块进一步加权处理,最终输出加权结果。该结构结合通道和空间两个维度的注意力机制模块,不仅能有效减少参数和计算力,还能作为即插即用的模块集成到现有网络架构中去,以便进一步提高特征提取能力。

本文改进YOLOv7网络模型如图2所示,其中YOLOv7网络中各模块结构如图3所示。通过将CBAM模块添加到REP模块前,有助于网络在大面积覆盖图像中定位感兴趣区域。

图2 改进YOLOv7网络模型

图3 YOLOv7各模块结构示意图

4 实验设计及结果

4.1 实验设计

实验设计流程主要包括以下几步,如图4所示,首先获取数据集;对获取到的数据集进行打标签,主要标注类别以及目标所在样本中的位置坐标;对所有样本进行线下增强,方法包括随机旋转、改变亮度、随机剪切等,标签同时随着样本增强改变;对增强后的样本进行随机切分,分为测试集和训练集,本方法采用的切分比例为测试集:训练集=1:9;最后将增强后的训练集样本进行批量线上增强,然后输入到改进YOLOv7网络模型进行训练;最后保存训练好的权重,在测试集上进行结果验证。

图4 实验设计流程

4.2 评价指标

实验评价指标包括Pr(精确度)、AP(每个分类的平均精度)、mAP(平均精度均值)、Re(召回率)。精确度与召回率的求解如式(6)所示。

(6)

式(6)中,Tp是正样本正确识别为正样本的样本数目,Fp是负样本被错误识别为正样本的样本数目,Fn是正样本被错误识别为负样本的样本数目。召回率表示算法从数据集中找回正样本的能力,精确度用来衡量算法从数据集中找出正样本的准确性。

IOU(交并比)用来衡量候选框与标记框重叠率,取值为0到1。当使用不同的预设IOU值,检测目标的召回率Re与精确度Pr也不同。P-R曲线表示取不同IOU值,精确度Pr与召回率Re形成的曲线。AP表示P-R曲线与坐标轴围成的面积,类别AP值越大,表示模型对该类别的检测效果越好。mAP表示所有类别目标的AP均值,如式(7)所示。

(7)

式(7)中,APi表示第i类目标AP值,n表示需要检测的目标个数。mAP越大,表示算法的整体性能越好。

4.3 对比实验结果

本研究选用YOLOv5、YOLOv7、FasterRCNN、SSD算法作为对比算法。YOLOv5网络模型选用YOLOv5m、YOLOv5n、YOLOv5s,样本输入尺寸选用640×640大小,均训练30个Epoch,且均在官方给出的模型上进行调优。本文改进的YOLOv7与非YOLO系列模型FasterRCNN、SSD的实验对比结果如图5和图6所示,其中图中标记的YOLOv7_CBAM是本文改进的方法。

图5 非YOLO系列实验对比结果(mAP_0.5)

图6 非YOLO系列实验对比结果(mAP_0.5:0.95)

图5中mAP_0.5记为将IOU设为0.5时的mAP值,mAP_0.5:0.95记为在不同IOU阈值,从0.5到0.95,步长为0.05上的平均mAP。

由图5和图6可以看出,改进YOLOv7算法mAP曲线起始值均大于FasterRCNN、SSD,表明YOLOv7的预训练模型泛化性要优于FasterRCNN、SSD。改进YOLOv7算法曲线提前进入高位平稳状态,表明在该检测任务上改进YOLOv7算法检测性能要大大优于FasterRCNN、SSD的检测效果,且改进YOLOv7模型收敛性和泛化能力比FasterRCNN、SSD更强。

在进行改进的YOLOv7与同为YOLO系列的官方YOLOv7、YOLOv5m、YOLOv5n、YOLOv5s的实验对比,如图7和图8所示,改进YOLOv7和官方的YOLOv7趋势接近,它的mAP_0.5与mAP_0.5:0.95起时值均比YOLOv5大,这表明YOLOv7的预训练模型泛化性要优于YOLOv5。改进YOLOv7与YOLOv7的mAP_0.5曲线均在YOLOv5上方,且提前进入平稳状态,这表明在检测任务上YOLOv7算法检测性能优于YOLOv5,且模型收敛性较强。改进YOLOv7与YOLOv7的mAP_0.5:0.95曲线同样在YOLOv5上方,在YOLOv5已经达到收敛状态时,改进YOLOv7与YOLOv7曲线不仅在上方,且仍呈上升趋势,表明在YOLOv5性能达到瓶颈时,改进YOLOv7与YOLOv7仍具有上升优化空间。而单独对比改进YOLOv7与YOLOv7曲线,发现改进YOLOv7曲线均在官方YOLOv7模型上方,改进YOLOv7精度达到了99.03%,由于YOLOv7的精度已经很高,因此在图8中表现不太明显。

图7 改进YOLOv7与YOLO系列的模型实验对比结果(mAP_0.5)

图8 改进YOLOv7与YOLO系列的模型实验对比结果(mAP_0.5:0.95)

进一步分析图7与图8的数据,可以发现同时训练20Epoch时,改进YOLOv7算法的mAP_0.5:0.95值分别比官方YOLOv7、YOLOv5m、YOLOv5s、YOLOv5n高了近0.4%、8.25%、20.15%、38.54%,mAP_0.5的值提高了近1.07%、1.13%、4.04%、8.26%。这完全可以表明改进的YOLOv7模型是完全有效。

基于改进YOLOv7模型在应用效果中的部分推理结果,表明本文提出的方法能够有效区分绝缘子是否存在缺失,判断并标注缺失的位置,如图9所示。

图9 改进YOLOv7网络推理结果

结语

绝缘子是输电系统中的重要元器件,本文提出基于改进YOLOv7的绝缘子缺失检测方法,采用线上增强与线下增强相结合的数据增强模式,增加了样本多样性,利用改进YOLOv7算法强大的特征提取能力,从样本中检测绝缘子,判断绝缘子正常与否并标记位置。实验结果表明,该方法模型在测试集上的mAP_0.5(又称为Map50)达到了99.03%,精度较原来YOLOv7算法提升了1.07%,能够有效区分绝缘子是否存在缺失。另外,本方法仍有一些不足之处,如绝缘子在图像中占比较小时,识别将受到影响。在采集图像时,外界的天气、环境中的浮尘以及拍摄角度等因素,都会导致获得的图像存在噪声,这种噪声会对图像质量产生负面影响,如降低对比度、模糊图像特征等,进而影响识别的准确性。