基于无人机航拍的绝缘子掉串实时检测研究

在以架空输电线为主的电力传输中，多数绝缘子安装在室外的高空环境，受自然条件和动物活动等影响极有可能出现爆裂、掉串和污秽等问题，将危害整条线路的正常运行和寿命，因此能及时发现故障绝缘子具有重要的现实意义.对于目前的电网规模，传统的人工攀爬巡检已不适用，而基于无人机的航拍图像巡检已成为主流，效率可达人工巡检的40倍，且安全可靠.

在获取航拍图像后，利用机器视觉检测绝缘子是否出现故障.在绝缘子故障检测研究中，文献[1]针对绝缘子爆裂和缺失问题，将最大类间方差法(Otsu)与形态学滤波结合对图像预处理，用免疫遗传Snake算法优化提取绝缘子边界，计算绝缘子片数量后判断是否出现故障；文献[2]针对绝缘子自爆问题，基于Alexnet网络实现检测能力的提升.文献[3]将改进的YOLOv3算法和全卷积网络(FCN)相结合，优化绝缘子多类故障的检测效果.基于电网不间断运行的特点，运维人员若能在巡检过程中通过实时检测掌握绝缘子的故障所在，将极大提升工作效率，充分做好检修的前期规划工作.但实时检测对算法的检测速度和精度提出了更高要求.在提升检测网络的速度方面，可以通过减小网络输入大小(损失了精度)、量化网络或使用特殊的推理引擎来实现，但这些方法具有较大的局限性，限制了使用场景.目前常用方法是对检测网络结构进行优化处理，文献[4]以YOLOv4算法为基础，对路径聚合网络(PANet)结构和聚焦损失函数进行优化，实现检测速度和精度的小幅提升；文献[5]针对交通监管领域的车辆实时监测，将YOLOv3的主干网络更换为轻量级的EfficientNet网络，同时改进融合机制，有效提升网络的检测精度，并兼顾检测速度；文献[6]设计了一种名为GS-YOLO的检测网络，基于Ghost模块并利用模型压缩技术，与YOLOv4相比在速度、精度和体积方面都有较大提升.

基于无人机平台的实时检测绝缘子故障研究很难实现精度、速度和体积3个方面的综合提升.YOLOv5目标检测算法具有快速、轻量的特点，为该领域的发展创造了一定条件.本文针对绝缘子掉串这一故障的实时检测进行研究，尝试通过高清图传实时采集图像，由车载或手持上位机完成图像检测工作.以YOLOv5s检测网络为基础，首先将原PANet网络替换为双向特征金字塔网络(BiFPN)，以提升特征融合能力，引入DIoU对损失函数进行优化；其次对模型中批量归一化(BN)层通道进行稀疏正则化处理，通过缩放因子()筛选不重要通道并将其剪切，利用微调技术解决修剪后网络精度的精度丢失问题，在扩增的绝缘子掉串数据集中进行验证；最后在网络输出处进行图像增强处理，尽可能降低背景对绝缘子的成像干扰，总体上增强算法在绝缘子掉串检测中的部署能力和可用性.通过上述方法，绝缘子掉串的巡检过程将更加高效便捷，更好地辅助运维人员完成绝缘子掉串的初检工作，提前做好检修规划，提高工作效率.

1 目标检测算法

YOLO是一种利用回归思想处理图片的目标检测网络，其将整张图片送入网络，解决了图像目标的分类和定位问题，是该系列算法的开山之作；相较于前代，YOLOv2在准确性、处理速度和识别种类3方面进行了迭代升级；YOLOv3采用了全新的Darknet-53网络，在多个方面做出优化，被广泛应用于工业领域；YOLOv4在前代基础上，加入许多有效的改进方法，大大提升了算法的综合性能；相较于前代，YOLOv5在可部署性、速度和体积方面有了更大提升，在公开数据集PASCAL-VOC、Kaggle和COCO中表现优异，基本结构如图1所示.其中，将输入图片转化640像素×640像素的RGB三通道输入；CBL为卷积、池化和激活函数组成的功能模块；CSP由跨阶段局部网络组成(CSPNet)的功能模块，依照结构和功能分为CSP1和CSP2两类；骨干和预测部分的数据均为像素值.YOLOv5总体上分为输入、骨干、颈部和预测4个部分，分别用于输入预处理、特征提取、特征融合和检测.

从译文的语言看，对于原文“And looked down oneasfar as I could”一句，译文一译为“极目望去”，译文二译为“极目望一径”，“极目”一词较好地解释了asfar as Icould想传达的感觉，相比之下方版译文中的“远远望去”的效果稍显不足。

在检测过程中，大于阈值则算作正确，否则算作错误.其中，真阳性(TP)即正确样本预测为正；假阳性(FP)即错误样本预测为正；假阴性(FN)即正确样本预测为负，没有检测到框；真阴性(TN)即错误样本预测为负.准确率()和召回率()计算如下：

骨干部分负责提取特征映射，通过多次的卷积和池化操作，从输入中提取不同尺寸的特征图像.其中切片处理对3层640像素×640像素的输入图片进行切片操作，最终获得32层160像素×160像素的特征图，切片操作处理效果如图5所示.该结构可以提高网络的运行速度.Yolov5设计了两种CSP结构，以Yolov5s网络为例，CSP1_X结构应用于骨干的主干网络，另一种CSP2_X结构则应用于颈部.CSP结构增强了网络的学习能力，减少了计算和内存消耗.骨干部分通过卷积操作，生成了大小分别为80像素×80像素、40像素×40像素和20像素×20像素的特征图，颈部结构融合这3种特征图后可获得更多上下层信息并减少信息丢失.在融合过程中，采用PANet的特征金字塔结构，如图6所示.其中，FPN为特征图金字塔网络，PAN为像素聚合网络.

上个世纪50年代至70年代，闽台方言合唱音乐作品得到了进一步的发展。主要有杨扬的混声合唱《闽南渔歌》《月光暝》等作品，吕泉生的《六月田水》《两只蜻蜓》，同时，还有采用歌仔戏曲调创作的闽南语合唱作品《农村酒歌》等[3]。

卷积的层数越深，特征提取程度越深，该层携带的语义信息越强，位置信息越弱，如图7所示.假设在7像素×7像素的特征图上，每单元的感受野为1，经卷积层1后感受野为3，经卷积层2后感受野为5，此时每个单元能感受原图中5×5的区域范围，因此适合检测图像中较大的物体，但对相对位置信息的感知变差.所以，FPN结构将强语义特征从深层传递至浅层，同时PAN结构将强位置特征从浅层传递到深层，这两种结构共同加强了颈部结构的特征融合能力.在预测部分的检测过程中，YOLOv5以GIoU为损失函数.IoU函数的示意图如图8所示，计算公式如下.

随着我国信息化技术的不断发展，许多银行在日常的运营过程中也都已经运用计算机技术来形成了自身的数据库管理系统，其对于银行管理水平的提升也有着非常重要的意义。但是目前许多银行在信息化技术的应用以及建设过程中还存在有比较多的安全问题，并直接威胁到了该银行的持续稳定发展。针对这一问题，也就要求各银行能够在已有基础上来对信息化管理系统以及数据库系统进行不断的更新与优化，来促使自身的信息管理能力得到进一步的提升。只有在结合客户实际需求的基础上进行信息的准确把握跟及时决策，才能够给用户进行全方位金融服务的有效提供。

(1)

式中：和分别为真实标注框和算法预测框，当与不相交时，=0，在很大范围内(不相交的区域)，损失函数没有梯度，可用GIoU函数解决该问题.假设找到一个最小的封闭形状，使得可以把和包含在内，计算中不含和的面积占总面积的比率，令IoU值减去这个比率，表示为

(2)

2 算法改进

为同时提升检测算法的速度、精度以及减小模型体积，本文以轻量的YOLOv5s网络模型为基础，采用BiFPN特征融合、DIoU损失函数优化，进行系数通道剪枝和微调技术优化网络，改进原生网络的综合性能，在最后输出层加入图像增强技术提升可视化效果，提高算法的实用性.

2.1 BiFPN特征融合和损失函数

算法将PANet结构替换为效果更佳的BiFPN结构，以更好平衡不同尺度的特征信息，PANet只有一条“由上至下”路径和一条“由下至上”路径，而BiFPN重复堆叠，获得更高级的特征融合方式，如果输入和输出的结点是同一尺度，则添加一条额外通道，在不损失信息的同时融合更多特征.BiFPN结构如图9所示，其中～为路径.

DIoU将目标与目标先验框之间的距离、重叠率和尺度都考虑在内，使得目标框回归变得更稳定.与IoU和GIoU不同，DIoU在训练过程中不会出现发散等问题，更加符合目标框回归的机制，效果如图10所示.其中，和分别为预测框(绿色虚线框)和真实框(黑色虚线框)的中心点，为预测框和真实框的距离，最外围的灰色虚线框为能够同时包含预测框和真实框的最小包闭区域，为该包闭区域的对角线距离.此时，DIoU的计算公式为

(3)

式中：为计算两个中心点间欧氏距离的函数.当两个绝缘子过于接近时，其中一个绝缘子的预测框很可能被滤除，利用DIoU可在一定程度上提升对于靠近物体的检测效果.

2.2 基于γ系数的通道剪枝和微调

针对多规合一实施建设项目选址机制不完善的问题，基于前述选址模型开发了“多规合一”平台的项目选址辅助决策系统，利用“多规合一”平台共享的空间数据，智能引导各类项目从合规性选址到量化优化选址。以基础设施与服务项目、居住项目、工业项目三种项目选址为例，进行项目落地选址分析，对不同的项目将从因子库中提取相关影响因子构建具体建设项目的因子评价体系见表4。

在通道稀疏正则化训练时，需要将其强加到训练的目标函数中，目标函数为

(4)

′=∑′+∑sign()

(5)

式中：sign为符号函数，此时即可获取的最小值对缩放因子经过L1正则化并与权重损失函数联合优化处理后，进入修剪通道阶段.

在根据缩放因子修剪通道时，本质上是要剪切所有与该通道相关的输入和输出连接关系，获得一个更窄的网络，逻辑如图12所示.

图12中，缩放因子起到通道选择的作用，通过的正则项和权重损失函数联合优化，网络会自动鉴别不重要的通道(小于阈值)，然后将其移除掉，几乎不影响网络的泛化性能.目前，大部分卷积神经网络采用BN层使得网络快速收敛并获得更好的性能，通常BN层使用Mini-batch梯度下降法的统计特性将内部激活值归一化，与缩放因子结合后，即产生如下所示的转化：

(6)

本文的训练环境为Windows10系统，搭载i7-10700FCPU@2.90 GHz、GeForce RTX 3060 GPU和32 GB的随机存取存储器，代码基于PyTorch深度学习框架，Python版本为3.8，编译所用的集成开发环境为PyCharm.

修剪不重要的通道后，检测网络的精度会有所下降，下降程度取决于剪枝率，一般可以通过微调剪枝之后的模型后再训练使其精度恢复.微调网络是指将预训练模型网络中的全连接层换成实验数据集类别数的全连接层，且采用预训练好的网络参数为训练的初始值，并在该网络中采用相对较小的数据集即绝缘子掉串故障数据集进行再训练，这将节约大量的训练时间且有助于网络性能的提高.通过上述方法，便可将通道稀疏正则化、根据缩放因子和微调修剪网络3个步骤迭代使用，在精度无法提高时结束迭代，此时即可输出一个紧凑高效的绝缘子掉串故障检测网络模型.

2.3 图像增强

在无人机实际航拍中，实时检测时的图像会出现亮度过大、因天气原因导致图像不清晰以及背景复杂等问题，为减轻巡检人员的视觉负担，同时在一定程度上弥补故障部位检测精度相对较低的问题，在改进的检测算法输出处进行图像增强处理.将检测到的绝缘子抠选出来，在其他窗口并行展示.对其进行插值放大处理后，分别采用自动色阶算法、反色处理和拉普拉斯算子锐化等方法进行处理.采用上述方法在几乎不影响实时检测性能的同时优化缺陷部位的显示效果，效果如图13所示.绝缘子本体相对于掉串部位更易检测，将绝缘子抠选并进行多种图像增强处理，以此应对可能出现的由多种情况导致的图像显示不清晰问题，缓解监控压力，提升巡检工作效率.

基于YOLOv5s绝缘子掉串检测模型在算力较低的上位机端运行时，检测速度无法满足要求.通过缩减输入图片尺寸可以提升检测速度，减少运算量，但是这将极大降低检测效果，同时模型体积依然在14 MB左右，因此需要对模型进行压缩.在检测算法的压缩处理中，基于缩放因子的通道剪枝是一种十分经典的方法，该方案可以减小模型体积和运行时的内存占用，在不影响检测精度的同时，降低模型计算量.该方法的基本原理如下：首先对输入网络初始化，在训练期间不断甄别BN层中不重要的网络通道，将和这个通道有关联的所有输入和输出的连接都剪切，实现通道的稀疏化，进而在几乎没有损失的情况下获得一个紧凑的网络，基本流程如图11所示.

3 消融实验

式中：和分别为输入和输出；和分别为输入激活的平均值和标准偏差值；和为可训练的仿射变换参数(标度和移位)，可将归一化的线性激活转换成任何标度，对应偏置量每个通道激活大小，即和系数正相关，如果接近于0，则激活值也非常小，即可判定该通道为不重要的通道而修剪掉值的界定取决于人为在整个网络中所有层设置的全局阈值，即剪枝率，被定义为所有缩放因子的一个比率.例如，当要剪掉整个网络40%的通道时，首先需要对所有缩放因子进行排序，以从小到大的顺序排列，将缩放因子增长序列中处在40%处的值定为阈值.

从表2可以看出，随着乙酸铵与对硝基苯甲腈物质的量比增加至1.05时，产品的收率也得到逐步提高，当达到1.10时，收率变化不大。主要原因是：乙酸铵用量的增加，一定程度上促进了氨气的释放，进而促进了反应的正向进行，提高了反应收率；但如果乙酸铵的量过大，反应释放的氨气来不及反应就被系统排出，从而导致反应收率偏低。从工业化生产方面来讲，乙酸铵用量过大，不仅造成原料成本增加，更重要的是增加了企业的“三废”，使后处理成本明显增加。综合考虑以上因素，选择乙酸铵与对硝基苯甲腈的物质的量比为1.05。

3.1 数据集扩增

数据集来自上海市电力公司电力科学研究院，从 5 000 张无人机航拍绝缘子照片中人工筛选出501张，其中包括完整绝缘子和出现掉串故障的绝缘子.使用Labelimg工具重新打标，分为绝缘子整体和掉串故障两类，标签分别为“Insulator”和“defect”.另外考虑到可能存在特殊天气下的巡检问题，使用Imgaug工具包将数据集扩增4倍，包括特殊天气条件如小雨、积雪和雾霾，效果如图14所示.最终获得数据集图片 2 004 张，图片分辨率从 1 656 像素×926像素到 5 184 像素×3 456 像素不等.将所有图片按照约6∶2∶2随机划分为训练集、验证集和测试集，3个集合的图片均不相同.

首先在网络输入部分，利用马赛克数据增强技术随机选取4张图片，随机缩放后进行拼接，产生一个即将输入网络的训练图片，与原始的以4张图片为输入相比，该方法增加了小目标数量，非常适合无人机视角下的绝缘子掉串故障检测场景，并能提升训练效率.马赛克数据增强技术处理前后效果如图2和图3所示.其中，标签0和1分别代表标记的绝缘子本体和掉串故障处.在此基础上还包括光度变换、几何变换和模拟遮挡等增强手段；在实际检测过程中，加入了自适应图片缩放技术，自动计算图片的最佳缩放系数，对原始图片自适应添加最少黑边(本文缩放至640像素×640像素)，效果如图4所示.

3) 2017年10月5日在应用系统开展诊断监测过程中，发现炼油部供烯烃部重石脑油质量流量计驱动增益和密度剧烈波动，经过系统诊断运算，发现输送过程中存在流量过小而产生3.64%严重气化现象，确定其管线处于不满管状态。为此及时通知调度调整工艺及阀门开度，成功避免了计量结算争议，确保计量数据精准。

(7)

(8)

以为横轴，以为纵轴，即可获取曲线，而平均精准度(AP)即为对曲线上的求均值对于曲线，AP的积分计算如下：

(9)

AP值越大，模型效果越好.现阶段，大多目标检测采用mAP(所有检测类别的AP取均值即得到mAP作为衡量标准，本文采用mAP(50%)，即阈值为0.5时的mAP值，检测速度以每张图片的检测时间为标准.

（3）灌浆压力控制在0.3～0.5MPa，灌浆流量70L/min，提升速度控制在12～13cm/min，摆喷速度为5°/s，摆动角度23°。

3.2 测试结果

采用消融实验验证算法性能，共测试了6组网络，分别在有无数据集扩增、DIoU损失函数、BiFPN结构以及γ系数的剪枝微调方面开展.所有网络的输入尺寸均为640像素×640像素，预训练模型均为官方提供的COCO数据集下的训练结果，超参数设置相同，训练、验证与测试均在本文自制数据集进行，以保证结果的有效性.所有训练结果均达到收敛状态，从网络模型的速度、精度和体积3个方面进行对比.

第1组测试使用扩增前的数据集，模型为YOLOv5s的原始网络；第2组使用扩充后的数据集，其他与第1组相同；第3～5组均在第2组的基础上，单独或同时添加BiFPN 和DIoU改进方法；第6组在第5组基础上增加基于系数的剪枝微调.在第6组实验过程中，首先进行稀疏训练，将本来趋于正态分布的BN层权重向0收敛，极小值越多，说明网络越稀疏.根据迭代情况调整学习率，稀疏训练前后的BN层权重分布如图15所示.其中，为BN层权重值，为训练次数.

根据表1结果分析可知，数据集扩充对平均检测精度影响较大，在原有网络模型的基础上提升了7.3%；在此基础上，DIoU在精度平均值上小幅提升了0.78%，BiFPN在速度上提升了2.5%，当两者同时引入时，精度平均值提升了1.5%，但速度却下降了1.6%，在追求高网络特征提取能力时损失了部分检测速度；最后对模型进行系数剪枝微调处理，精简冗余的网络参数，精度平均值提升了3.91%，速度提升了25.6%，体积下降了59.1%.

在本文数据集下，将所提模型与YOLOv5n、YOLOv3-tiny、YOLOv5s和YOLOXs轻量检测网络模型进行对比，训练结果和测试数据如图17和表2所示.可知，改进算法在精度、速度和体积方面均有提升，综合表现最佳.

本研究育成的甘蓝型油菜细胞质雄性不育系9171A育性彻底，且育性不受温度影响，9171A的育成不仅丰富了杂交油菜的不育材料，同时还提供了油菜杂种优势利用的新途径。

1.加强玉米收获、储存工作，防止发生霉变。在玉米收获季节，注意天气变化，及时收割，不宜过早也不宜过迟。收获后应尽快晒干（或烘干）。对于因环境变化而无法晒干（或烘干）的，可使用一些防霉剂，如丙酸剂等。

此外，所提算法可正常检测绝大部分目标，部分检测结果如图18所示(未经图像增强处理).

4 结语

提出一种改进YOLOv5s绝缘子掉串实时检测算法，方便巡线人员对绝缘子掉串故障快速定位，提升巡线效率.首先将特征融合结构替换为性能更佳的BiFPN结构，引入DIoU函数对损失函数进行优化；其次对模型进行基于γ系数的通道剪枝轻量化处理，并微调回准；最后在网络输出部分增加图像增强处理，缓解巡检人员的监测压力.实验结果表明，与其他轻量网络模型相比，该改进算法综合性能更佳；相较于原始的YOLOv5s，模型精度平均值提升了3.91%，速度提升了25.6%，体积下降了59.1%，具有较高的实际意义.另外，针对平台算力不足问题和便携性较差等问题，将来考虑引入5G通信技术，将处理工作放在云端，巡检人员仅需携带显示设备即可，实现智能实时检测.