基于改进YOLOv5s的架空输电线路鸟类入侵检测方法
2023-07-17裴少通张善驰
裴少通,张善驰
(华北电力大学电气与电子工程学院,河北保定 071003)
0 引言
随着生态环境的发展,鸟类繁衍速度与种群数量增多,架空输电线路周围的鸟类活动威胁着供电系统的稳定运行。目前,110 kV 以上电压等级的架空输电线路因鸟类活动造成的跳闸故障愈发频繁[1],鸟类活动已经成为造成电网故障的第三大因素[2-3],因此必须观测并掌握线路周围鸟类的规律和特点,针对性地架设防鸟装置。然而,巡检人员对鸟类并不了解,所以亟需一种准确、快速识别线路及杆塔上鸟类的方法,辅助巡检人员开展鸟害防治工作,提高架空输电线路运维效率。
近年来,随着机器视觉与图像处理在电网巡检工作中的广泛应用,输电线路鸟害防治朝向智能化发展。文献[4]提出一种基于YOLOv4(You Only Look Once Version 4)目标检测算法的涉鸟故障相关鸟种智能识别方法,对20 种鸟类的检测精度能够达到92.2%。文献[5]采用Mel 频率倒谱系数与高斯混合模型对16 种鸟类的鸣声信号进行识别,其识别准确率为80.0%~96.7%。文献[6]结合YOLOv3(You Only Look Once Version 3)与残差网络对输电线路上的鸟类进行检测,其检测准确率为86.75%,检测单张图片的时间为21.18ms。文献[7]基于YOLOv4-tiny(You Only Look Once Version 4-tiny)提出一种轻量级卷积神经网络、图像处理和目标检测相结合的输电线路故障典型鸟类检测方法,平均检测精度(Mean Average Precision,MAP)可达92.04%。文献[8]设计了一种用于鸟类检测的DC-YOLO(Dilated Convolution You Only Look Once)模型,在YOLOv3基础上引入扩张卷积,并对非极大抑制(Non-Maximum Suppression,NMS)算法进行优化,其结果表明DC-YOLO 模型检测精度可达86.31%。考虑到架空输电线路鸟类敏感且活动频繁,巡检人员必须当场迅速辨别并做出反馈,所以对检测算法模型的实时性具有较高要求。
为降低模型参数量并满足实时检测需求,本文提出一种基于改进YOLOv5s 的架空输电线路鸟类入侵检测方法,设计嵌入CBAM(Convolutional Block Attention Module)的卷积模块以提高特征表达能力;以SPPF(Spatial Pyramid Pooling-Fast)模块替换原SPP(Spatial Pyramid Pooling)模块,实现特征的深度融合;嵌入Mish 激活函数的三次卷积(C3)模块,提高整体模型的非线性拟合能力。结合构建的输电线路鸟类入侵图像数据集进行改进YOLOv5s 模型的训练与测试,结果表明本文方法能够为架空输电线路巡检工作人员快速检测鸟类,开展鸟害防治工作提供方法参考。
1 改进YOLOv5s模型
YOLOv5[9-10](You Only Look Once Version 5)是2020 年Ultralytics 公司推出的一种轻量级目标检测模型,通过深度乘数(Depth_Multiple,DM)与宽度乘数(Width_Multiple,WM)控制模型的复杂度,从而形成了YOLOv5s,YOLOv5m,YOLOv5l,YOLOv5x 4 种不同结构的检测模型。YOLOv5 凭借良好的检测精度与速度,广泛应用于电力设备状态[11-12]、外力破坏[13]、作业安全[14]等检测,也能满足实时检测的要求。
本文采用的YOLOv5s 基础检测模型的结构主要包括特征提取网络、特征融合网络与检测网络3个部分。在特征提取网络中利用嵌入了CBAM[15]注意力机制的卷积模块(Conv_CBAM)替换普通卷积模块,利用SPPF[16]代替原有的SPP 空间金字塔池化,结合Mish[17]激活函数改进原始C3 模块,建立改进YOLOv5s 模型如图1 所示。其中,Focus 模块为YOLOv5s 特有的特征切片堆叠(Concat)操作。
图1 改进YOLOv5s模型结构图Fig.1 Improved YOLOv5s model structure diagram
1.1 C3_M模块
Mish 激活函数作为一种无上限有下限的非线性拟合函数,其无上限特点能够解决梯度消失问题,有下限特点能够加强正则化效果,对YOLOv5s 模型的训练具有良好的作用。所以,本文针对YOLOv5s 的特征融合网络中的三次卷积(C3)模块,其中每一次卷积采用的都是CBS 卷积模块,即卷积层(Conv)、正则化层(BN)、与SiLU 激活函数层。本文利用CBM模块替代CBS 模块,即利用Mish 激活函数替代原有SiLU 激活函数,构建C3_M 模块,如图2 所示。
图2 C3_M模块结构图Fig.2 C3_M module structure diagram
Mish 激活函数表达式为:
1.2 Conv_CBAM模块
由于鸟类图像背景环境复杂,在特征提取过程中必然出现大量无关冗余的特征,因此本文引入CBAM 注意力机制,实现特征筛选与优化,从而提高改进YOLOv5s 的鸟类检测精度。其中,CBAM 是一种结合通道与空间两个维度的简单高效注意力机制,能够将输入特征图与注意力图进行像素级累积,自适应实现特征的优化提取。本文将其嵌入至特征提取网络中的普通卷积模块中,加强特征提取的有效性。嵌入CBAM 注意力机制的卷积模块(Conv_CBAM)结构如图3 所示。
图3 Conv_CBAM结构图Fig.3 Conv_CBAM structure diagram
假设YOLOv5s 训练过程中提取获得特征图输入至Conv_CBAM 模块中,首先经过CBH 模块(Conv 卷积层、BN 层、Hardswish 激活函数),然后通过通道注意力模块提取输入特征F的通道权重系数Mc,再与输入特征进行像素级累积后便能从通道上过滤冗余特征,如式(2)所示。
随后将特征进一步传输至空间注意力模块中,提取空间权重系数Ms,通过像素级累积后获得Conv_CBAM 模块最终输出特征图F′,空间注意力模块计算公式为:
1.3 SPPF模块
为有效避免输入图像归一化大小带来的失真问题,并进一步提高模型的检测精度。本文引入SPPF 空间金字塔池化来替换SPP[18]模块,相较于原始SPP 网络具有更快的处理速度,其结构如图4 所示。其中,输入特整图通过CBS 模块,再分别通过池化核为5×5,9×9 和13×13 的最大值池化,然后将3 种最大值池化处理后的结果与CBS 模块的输出结果进行堆叠,最后再经过一次CBS 模块处理,从而获得SPPF 最终输出特征。
图4 SPPF网络结构图Fig.4 SPPF network structure diagram
2 算例仿真与结果分析
2.1 数据准备与参数设置
本文算例仿真试验所需的输电线路鸟类入侵图像数据集共收集2 000 张图像,皆通过互联网收集,经过数据筛选后总体图像存在不同角度、不同光照、不同环境背景等情况。随后使用LabelImg 按照Pascal VOC[19]格式对数据集进行标注,鸟类目标的标签名称为“bird”。算例仿真试验所用的硬件环境包括:Windows 10,NVIDIA GeForce RTX 3060 Laptop GPU,显存6G,运行内存16G,处理器CPU为Intel i5-11400H;软件环境包括:Visual Studio Code 1.71.2,Pytorch 1.7.1,OpenCV 4.5.3.56。
训练改进YOLOv5s 模型过程中,将输入鸟类入侵图像大小设置为640×640 像素,训练过程分为冻住与解冻2 个阶段,冻住阶段批大小(Batchsize)设置为8,训练轮次(epoch)为100,解冻阶段Batchsize设置为4,训练轮次为100,全程训练200 轮;优化器定义为SGD,动量设置为0.934,最大学习率为1×10-2,最小学习率为1×10-4,总体学习率按照余弦退火方法实现动态调整。训练过程中的精度(PA)值随轮次的变化趋势如图5 所示。
图5 训练精度变化曲线Fig.5 Variation curve of training accuracy
2.2 鸟类入侵检测结果及分析
2.2.1 消融实验
本文将输电线路鸟类入侵图像数据集按照9:1的比例划分为训练集与测试集,对改进YOLOv5s 模型进行训练与测试,引入查准率P值、查全率R值、检测精度PA值与F1 分数来评判模型的性能,F1 分数为P值与R值的调和平均数。不同改进方法下的模型检测结果如表1 所示,其中,①表示添加C3_M 模块,②表示添加Conv_CBAM 模块,③表示添加SPPF 模块。
表1 不同改进方法下的检测结果Table 1 Detection results with different improved methods
由表1 可知,当添加C3_M 模块时,检测精度PA值提升了0.2%,虽然提升幅度不大,但Mish 激活函数不会导致模型计算量增大,而且精度的提升说明Mish 激活函数的引入对特征处理有一定程度地优化。当进一步采用嵌入CBAM 注意力机制的Conv_CBAM 卷积模块时,改进YOLOv5s 模型的精度提升幅度明显,PA值提升了0.94%,说明CBAM注意力机制能够有效抑制鸟类图像背景中的无关冗余特征,加强特征提取能力。当再引入SPPF 模块后,PA值提升了0.21%,说明改进YOLOv5s 模型能够有效避免图像失真与特征信息重复问题。同时采用以上3 种改进方法后,改进YOLOv5s 模型的最终检测精度为98.08%,验证了本文所提方法对模型具有正向提升。
2.2.2 样本比例的影响
为了进一步验证本文输电线路鸟类入侵图像数据集训练过程中训练集与测试集的分配比例对模型性能的影响,设置9:1,8:2,7:3,6:4,5:5 共5 种样本分配比例,而在训练过程中模型验证所需的验证集为训练集的10%,利用训练后获得的改进YOLOv5s 模型,对测试集图像进行批量检测与性能参数计算,分析样本比例的影响,结果如表2 所示。
表2 不同样本比例下的检测结果Table 2 Detection results with different sample proportions
由表2 可知,改进YOLOv5s 模型在5 种样本分配比例情况下的检测精度依然能够达到95%以上,且随着样本比例的增大,检测精度与F1 分数不断提升。但从提升幅度情况来看,样本比例的提升带来的检测精度提升幅度较小,考虑到改进YOLOv5s模型需具有充足的训练样本数,才能获得良好的检测精度与泛化能力,所以,本文最终选取9:1 作为样本分配比例。
2.2.3 对比实验
为了进一步验证本文所提出改进YOLOv5s 模型的优越性,构建了YOLOv4-tiny[20],YOLOv4[21],YOLOv3[22],SSD[23](Single Shot Multibox Detector),Faster RCNN[24-25](Faster Region-based Convolutional Neural Networks)5 种算法进行比较,结合PA值、F1 分数、模型占用内存与检测速度vFPS,实现模型性能的综合评价。不同检测算法模型在同一训练集与验证集上进行仿真实验,其检测结果如表3 所示。
表3 不同算法的检测结果Table 3 Detection results with different algorithms
由表3 可知,Faster RCNN,SSD,YOLOv3 与YOLOv4 凭借复杂且深层的卷积神经网络结构,其PA值可以达到96%以上,但其检测速度较慢,较难满足巡检过程中快速反馈鸟类信息的要求;YOLOv4-tiny 大幅简化了原始YOLOv4 模型的网络结构,其PA值只能达到90.11%,但检测速度却能够达到最高65.95 张/s。本文所提出的改进YOLOv5s模型PA值高于其他5 种模型,具有最高的检测精度98.08%,同时凭借低参数量的改进方法,模型检测速度能够达到56.18 张/s,仅次于YOLOv4-tiny。改进YOLOv5s 模型较SSD 与YOLOv4 模型F1 分数分别降低了0.03 和0.02,但能够达到0.93,表明改进YOLOv5s 具有良好的查准率与查全率,即存在较少的误检与漏检。改进YOLOv5s 模型占用内存为27.3M,表明在模型的部署与嵌入式应用中将更容易适应现场需求。所以,综合所有性能指标可知,本文所提改进YOLOv5s 模型具有良好的检测性能,且总体优于其他5 种检测算法。
2.2.4 鲁棒性验证
为了进一步验证本文所提改进YOLOv5s 模型的实际应用效果,选取了6 张实际拍摄图像。其中包含不同自然光照、远距离、多目标、遮挡等多种真实巡检过程中存在的情况,通过调用改进YOLOv5s模型对其进行检测,结果如图6 所示。其中包含目标类别“bird”及置信度分数。
图6 多种复杂情况下的检测结果Fig.6 Detection results under various complex situations
由图6 多种真实复杂情况下的检测结果可知,本文所提出的改进YOLOv5s 模型在黄昏特殊光照和远距离拍摄情况下,依然能够检测出入侵输电线路的鸟类,且置信度分数大于80%。针对远距离、仰视、俯视与多目标等情况,置信度分数基本在60%以上,能够较为良好的检测出鸟类。但在遮挡情况下,如图6(c)所示,改进YOLOv5s 的检测置信度下降至53%,随着遮挡程度的加剧将导致模型检测不出鸟类,说明遮挡情况是目前检测算法性能的挑战之一。总体而言,本文提出的改进YOLOv5s 模型能够在多种复杂情况下较为准确地检测出入侵输电线路的鸟类,有助于提高输电线路鸟类防治效率与智能化。
3 结论
针对鸟类在输电线路周围频繁活动并导致输电线路跳闸与停电等事故的现象,本文基于嵌入CBAM 注意力机制的卷积模块、SPPF 模块与C3_M模块提出一种改进YOLOv5s 的架空输电线路鸟类入侵检测方法,并通过算例仿真与结果分析,得出以下结论:
1)本文方法能够实现高精度、高实时性地鸟类入侵检测,检测精度(PA值)能够达到98.08%,检测速度可以达到56.18 张/s,且性能总体优于其他5 种目标检测方法。
2)本文方法能够成功实现对输电线路周围及杆塔上的鸟类进行检测,可为输电线路鸟类入侵及鸟害防治提高参考。