基于边缘端目标识别与跟踪算法的输电线路航拍视频流诊断技术研究

杜觉晓，赵留学，莽修伟，焦政国，裴少通，杨 瑞

（1.国网北京检修公司，北京 100073；2.国网北京市电力公司，北京丰台 100075，3.华北电力大学电力工程系，河北保定 071003）

0 引言

输电线路巡检是电力系统稳定运行的可靠保障。随着我国特高压工程的开展，输电线路里程还在逐年增长，随之而来，线路巡检的压力越来越大[1]。目前，我国已基本形成“人巡为辅，机巡为主”的自动化巡检格局[2]。随着人工智能技术的发展，运用人工智能算法对无人机的航拍图像进行智能诊断成为研究的重点。下一步，巡检方式将向着智能化的方向发展。

目前主流的智能识别方法是深度学习，即通过卷积神经网络在大量的数据集中自主提取特征并进行缺陷的定位与自动分类[3]。主流方法包括Faster-RCNN（Faster-Regions with CNN Features）等两阶段方法[4]与YOLO（You Only Look Once）等一阶段[5]方法以及各种衍生算法：如赵振兵团队[6]提出的递归特征金字塔与神经结构搜索（Neural Architecture Search，NAS）的空洞卷积相结合的方法，一定程度上解决了金具检测精确度低的问题；尹子会团队[7]通过改进Faster-RCNN 模型中的锚框生成机制，有效实现架空输电线路巡检图像中的鸟种识别。

随着5G 网络的建成与无人机集群技术成熟，无人机上传到云端的航拍视频总量呈现爆发式增长。为了解决带宽拥堵问题并缓解中心服务器压力，移动边缘计算应运而生[8]。陈达团队[9]提出了基于MobileNet 的设备红外图像自动故障诊断方法，并进行了软件封装；盛从兵团队[10]通过综合5G网络和AI 边缘计算可实现无人机实时结果传输，提高无人机巡检效率和智能化程度。与之相伴随，模型轻量化、边缘化成为了深度学习算法发展的新方向[11～24]。

由于边缘计算装置的算力与内存有限，必须对AI 算法模型进行边缘端的改进与适配。Liu 团队[25]采用了反向纵深可分离卷积（Reverse Depthwise Separable Convolution，RDSC）开 发 并 应 用 于YOLOv4 的主干网络和特征融合网络，检测速度提高了20%以上；Fang 团队[26]使用MobileNetV3 替代CSPDarkNet53 特征提取网络，采用深度可分离卷积（Depthwise Separable Convolution，DWconv）和高效通道注意（Efficient Channel Attention，ECA）提升了检测速度，每秒帧数（Frames Per Second，FPS）达到了38.06；以MobileNet 为基础，华为诺亚方舟实验室[27]从卷积神经网络特征图冗余这一特点出发，设计了类似于深度可分离卷积的幻影卷积（Ghostconv）模块，提出了轻量级网络结构新范式；杨东团队[28]基于YOLO 算法和红外检测技术，实现了电力系统变压器套管故障检测；基于此，文中在NVIDIA Jetson Xavier NX 边缘计算模块上，针对YOLOv5 算法进行了轻量化与特征融合能力的改进，通过引入Ghostconv 模块进一步增强特征提取和融合能力；引入双向特征金字塔结构（Bidirectional Feature Pyramid Network，BiFPN）以提升多层特征融合能力；并融入Meta-ACON（Meta-Activate Or Not）激活函数，同时应用了多目标跟踪算法（Deep Simple Online Realtime Tracking，DeepSORT）对算法进行加速，从而解决了边缘计算识别效果差的实际问题。

1 算法框架

1.1 YOLOv5目标检测算法

YOLOv5 是YOLO 系列算法中综合性能和可拓展性最强的版本之一，其整体网络结构与YOLOv4版本类似，主要的特点是在数据增强部分应用了Mosaic 数据增强提升小目标的检测能力；在Backbone 和Neck 部分引入2 种CSP（Cross Stage Paritial）结构，提升了网络特征的融合能力；在Neck部分采用了特征金字塔网络（Feature Pyramid Network，FPN）和路径聚合网络（Path Aggregation Network，PAN）结构来进行下采样和上采样；在网络损失部分应用了类别损失、置信度损失和定位损失。在YOLOv5 算法6.0 版本中，采用了6×6 大小卷积替换Focus 结构，采用C3 模块替换了CSP 模块，并引入快速空间金字塔池化结构（Spatial Pyramid Pooling-Fast，SPPF）结构替换空间金字塔池化结构（Spatial Pyramid Pooling，SPP）结构。

1.2 YOLOv5改进策略

基于YOLOv5 算法6.0 版本，从Backbone 部分、Neck 部分和激活函数3 部分进行了轻量化改进，以提升YOLOv5 整体的准确率与识别速度，改进后的算法如图1 所示。图1 中网络输入为RGB（Red-Green-Blue）三通道数据。在采用原始YOLOv5算法的拼接模块（concat）和采样模块（Maxpool）基础上，使用Ghostconv 模块代替普通卷积模块、ACON激活函数模块代替SiLU（Sigmoid Linear Unit）激活函数模块，与原有BN（Batch Normalization）模块一起构成GBA（Ghostconv-BN-ACON）模块。在此基础上，借助深度可分离卷积模块（Depth-Wise Conv，DWconv）等构建起幻影瓶颈结构（GhostBottleneck）。为了避免过拟合同时降低网络参数量，仅在Backbone 和neck 部分对原有CBS（Conv-BN-SiLU）模块进行了替换。

1.2.1 Ghost模块引入

GhostNet 是专为移动端设计的网络，网络整体由Ghostconv 模块堆叠而成。在进行传统卷积层堆叠的同时，模块中的每一层都利用线性运算操作产生Ghost 特征，融合之后作为模块输出，在保证精度的同时最大限度压缩了网络结构。

一般卷积的算法可以表示为：

式中：Xc*h*w为通道数为c、高度为h、宽度为w的特征图矩阵；Yn*h*w为通道数为n、高度为h、宽度为w的特征图矩阵；fk*k为大小为k*k的卷积核；b为偏置项。

Ghostconv 模块的算法可以表示为：

式中：X为特征图矩阵；Y′为一般卷积输出的输入x的m个本征特征图；f′为大小为k*k的m个卷积核；Y′i为Y′中的第i个本征特征图；Yij为由d*d的卷积核线性变换生成的第j个Ghost 特征图；φi,j表示第i个本征特征图和第j个Ghost 特征图之间的对应关系。

如图1 所示，在改进算法YOLOv5-GBA 中，通过堆叠2 个Ghostconv 模块形成GhostBottleneck 模块：其中第一个模块用于增加特征维度，第二个模块用于减少特征维度，在此基础上，在两模块中插入普通DW 卷积层，并在旁路中采用DW 卷积层和普通卷积层组成的下采样结构。用堆叠成的GhostBottleneck 模块代替原始YOLOv5 算法6.0 版本中C3 模块中的残差（Restunit）结构，形成基于Ghost 卷积的改进模块：GC3 模块。在这样的设计方式下，GC3 模块不仅比其它压缩方法更能降低模型的体量，也最能保持模型准确率。

1.2.2 BiFPN结构引入

输电杆塔巡检工作中常见的缺陷尺度大小差距较为悬殊[15]。在多种缺陷统一识别的任务时，模型必须具备较强的多层特征融合能力。因此，本文采用了EfficientDet 中的BiFPN 简化结构来替换YOLOV5 算法中的PANet 层，实现自上而下与自下而上的深浅层特征双向融合，显著强化了不同网络层之间特征信息的传递。图2 为原始BiFPN 结构示意图与YOLOv5-GBA 适配的简化BiFPN 结构图。

图2 BiFPN结构示意图Fig.2 Schematic diagram of BiFPN structure

1.2.3 Meta-ACON激活函数

采用Meta-ACON 激活函数和其设计空间，可以自适应地选择是否激活神经元，以替换原有YOLO5 网络的激活函数。常用的RelU 激活函数其本质为最大值函数，计算方式为：

MAX 函数的平滑形式为：

式中：β为平滑因子；k为特征向量数；xi为输入量。

对于双输入量ηa(x)，ηb(x)情况，带入式（3），能得到以下特殊形式：

式中：σ为sigmoid 激活函数，采用式（7）的一般形式：

式中：A为激活函数输出值；p1和p2为适应调整学习率的自适应参数。

通过对ACON-C 函数求导可知，激活函数的一阶导数的正负极限值与导数上下界均由2 个参数来决定。为了确定β的数值以确定是否抑制神经元，β自适应函数为：

式中：H，W为矩阵高度与宽度；W1，W2为可变权重。

文中引入DeepSORT 多目标跟踪的跟踪算法，将YOLOv5-GBA 算法识别的结果作为DeepSORT 多目标跟踪算法的输入，将输电线路航拍视频流的诊断分为识别与跟踪2 部分，整体技术路线如图3 所示。

图3 DeepSORT多目标跟踪的跟踪算法原理图Fig.3 Schematic diagram of tracking algorithm for DeepSORT multi-target tracking

YOLOv5-GBA 预测结束后会形成一系列预测框，层叠在一起构成一组轨迹，经卡尔曼滤波目标位置预测后形成轨迹的延续。假设预测出的轨迹上的目标是确定态（即待检测的输电线路缺陷），则将卡尔曼滤波目标位置预测结果和YOLOv5—GBA预测结果进行级联匹配。一旦一组轨迹和待检测线路缺陷配对完成，仅仅需要在不断循环的过程中更新目标检测和目标跟踪轨迹。

若预测的结果是不确定态（即存在未知比例的背景或其他种类缺陷），则进行重叠度（Intersection over Union，IOU）匹配，经由匈牙利算法进行最优化轨迹配对；若仍然出现失配现象，对于通过IOU 匹配并满足阈值的对象，则返回程序起始点重新预测；对于未通过IOU 匹配或超过最大匹配次数的对象直接删除。

尿蛋白是糖尿病肾病的主要指标之一，ACEI类药物可使糖尿病肾病患者尿蛋白显著减少，降低血压，扩张肾血管，提高糖尿病肾病的疗效[8]。ACEI可以抑制血管紧张素Ⅰ转化为血管紧张素Ⅱ，降低循环系统血压，改善肾脏血流动力学效果[9]。ACEI可以减缓2型糖尿病患者的肾病进程，起到保护肾功能、避免恶化的作用[10]。ACEI不仅可以减少尿蛋白排泄，同时可以保护肾避免因蛋白质的重吸收引起的肾小管超负荷导致的促炎症反应。临床上可以将其与其它药物联用，提高治疗效果[11-12]。

图4 为不同算法在边缘计算装置中实时视频流的处理流程。图4（a）为YOLOv5 6.0 算法单线运行情况，输出带有预测框的视频流帧率通常稳定在15FPS，最大可达20FPS；图4（b）为改进算法YOLOv5-GBA 单线运行情况，在轻量化算法的提速下，单帧处理周期缩短，识别速率明显提升。

图4 视频流处理流程Fig.4 Video stream processing flow

图4（c）为DeepSORT 目标跟踪算法与YOLOv5-GBA 目标识别算法双线并行的情况，两者起到了互补的作用：YOLOv5-GBA 为DeepSORT 提供系列预测框层叠在一起的一组轨迹，进而作为卡尔曼目标位置预测的重要依据，而DeepSORT 算法复杂度低，内存占用量低，运行速度快，单独运行可达200FPS以上，对于进行速度慢的目标检测算法起到了有效的补充效果。可以将YOLOv5-GBA 运行得到的识别框视为关键点，而DeepSORT 推演得到的识别框视为关键点之间的插值，大幅提升带有预测框的视频流帧率。

图4（d）为当出现遮挡、半遮挡情况或强烈环境光影响时，YOLOv5-GBA 算法漏检，而DeepSORT仍能根据历史预测框轨迹进行短时推演。现场测试证明，目标跟踪算法的存在，显著提升了遮挡或半遮挡的线路缺陷检出率，并降低了环境光的影响。

2 模型训练与评价

2.1 模型训练与边缘端部署

目标识别与跟踪算法的训练环境、边缘端部署环境如表1 所示。

表1 训练与部署环境Table 1 Training and deployment environment

实验所用边缘计算装置所用NVIDIA Jetson Xavier NX 模块，其CPU 具有6 核NVIDIA Carmel ARM®v8.2 64 位CPU6MB L2+4MB L3，并搭载48个Tensor Core 的384 核NVIDIA Volta™GPU，功耗可在10W，15W，20W 之间切换。

在此基础上，通过加装显示器模块、按键控制模块实现交互式操作；加装5G 通讯模块实现诊断报表上传；加装大容量锂电池、电源管理模块与其他辅助模块；设计防水防尘便携式外包装，以NVIDIA Jetson Xavier NX 模块为核心，搭建起了如图5 所示的边缘计算装置。

图5 边缘计算装置图Fig.5 Picture of edge computing device

2.2 航拍数据集构建

目前国内并无输电线路可见光缺陷公开数据集，因此文中自建了包含有9 类缺陷的综合数据集，如表2 所示。

表2 输电线路巡缺陷航拍数据集Table 2 Aerial photography data set for transmission line defects

2.3 改进YOLOv5算法训练

深度学习模型具有较大的数据饥饿特性，常见的公开数据集诸如coco，ImageNet，PASCAL VOC 等均有上万张，而由于输电线路缺陷的稀缺性，很难获得大量不同图像特征的样本集。数据不均衡的情况下容易出现严重过拟合或收敛速度过慢的现象。因此，采用了迁移学习、分阶段学习与余弦退火算法的训练策略，尽量保持较大学习率以加大收敛速度同时防止过拟合现象出现。

式中：N为当前训练轮次，L(N+1)为下一训练轮次的学习率；L为步长；T为训练总周期；E为可调节的超参数；I为固定超参数。

YOLOv5 6.0 算法与YOLOv5-GBA 算法训练过程中的网络损失曲线如图6 所示，其中网络损失无量纲。

图6 训练曲线Fig.6 Training curves

由图5 可知，在YOLOv5-GBA 加载迁移学习的预训练权重后，网络损失的初始值就处于较低的水平0.105。在第二阶段采用大学习率训练时，网络损失值在前10 轮快速下降至0.015，在训练到135轮时，网络损失最终下降到0.008，趋于稳定。在迭代35～135 轮，迭代100 步网络损失没有显著变化，认定模型收敛，得到恒定的网络权重。而YOLOv5算法6.0 版本采用常规训练方法，在前100 轮网络损失下降迅速，在100 轮以后收敛速度减缓，最终在345 轮停止迭代。图7 为准确率曲线。对比图6、图7 明显可以看出分阶段学习可以有效提升收敛速度。

图7 准确率曲线Fig.7 Accuracy curves

最终9 类缺陷的平均准确率稳定在0.753 31，这说明改进策略获得了很好的效果。将YOLOV5—GBA 算法与原始YOLOV5 算法针对单目标对比，测试准确率对比如表3。

表3 测试准确率对比Table 3 Comparison of test accuracy %

对比检测结果可知，改进算法YOLOVS-GBA相比于原有YOLOv5 算法提升平均准确度2.8%，尤其是对鸟巢、绝缘子串自爆等具有显著特征可见光缺陷提升较大，最高可达4.2%，对于销钉缺失、螺母缺失、异物等空间尺度较小的缺陷也有不同程度提升。

为了验证改进策略对YOLOv5 算法6.0 版本的整体效果影响，本文设计了如下消融实验，结果如表4 所示。表4 中√表示使用对应的改进策略。

表4 消融试验Table 4 Ablation test

表4 的消融实验结果表明，Ghost 模块加入网络后将准确率小幅降低了2.2%，但将检测速率大幅提升了3 倍以上。在此基础上，BiFPN 与Meta-ACON 激活函数的引入将准确率分别提升了3.8%，4.1%。综合改进策略相比YOLOv5 算法6.0 版本准确率总体提升了2.8%，识别速率提升约3 倍。在大幅提升检测速率的基础上保证了输电线路多类别缺陷的检测精度，对于边缘检测环境下缺陷现场检测的实时性和准确性改善均有贡献。

2.4 边缘端部署

进行算法的边缘端部署，测试环境为满载功率下的NVIDIA Jetson Xavier NX 模块，算法最大识别速率如表5 所示。

表5 最大识别速率对比Table 5 Comparison of maximum recognition rates

由于底层架构不兼容，YOLOv3，YOLOv4-tiny与目标识别算法难以同时部署。根据表5 可知，相比表4，YOLOv5 系列算法在边缘端部署后识别速率有明显下降，而DeepSORT 算法在边缘端装置中可以与YOLOv5-GBA 算法进行较好的适配，并起到了有效的提速作用。识别效果如图8 所示。

图8 识别效果Fig.8 Recognition results

由图8 可知，YOLOv5-GBA 算法可以有效地完成防震锤锈蚀、鸟巢、销钉缺失、绝缘子串自爆、均压环歪斜等缺陷，由图8（a）可知，在自动跟踪算法的辅助下，鸟巢等容易被遮挡的对象也可以有效识别；由图8（b）可知，算法可以有效区分正常的销钉和缺失的销钉，避免错检；由图8（c）和（d）可知，算法具有较强的类间辨识能力。

3 结论

文中提出了一种应用于9 种常见输电杆塔故障检测的轻量化改进算法YOLOv5-GBA。构建了包含有7891 处输电线路可见光缺陷的数据集，基于原有YOLOv5 框架，引入GSConv 模块进一步增强特征提取和融合能力；引入BiFPN 结构以提升多层特征融合能力；并融入Meta-ACON 激活函数。之后，通过两阶段训练与迁移学习的方法，保证模型快速收敛，并在测试中获得了平均准确率75.1%，单类别最高准确率91.1%的结果。此外，引入DeepSORT 算法加速边缘计算装置的帧率，最高可达到224 FPS，保证了边缘端可视化巡检的实时性。

在结果中，对于销钉缺失、螺母缺失等小目标识别仍具有一定的提升空间。由于边缘计算装置算力有限，无法部署深层网络模型。在实际的工程应用中，通常使用云边协同的诊断方式，在边缘端仅进行金具连接板的整体识别，借助云服务器的强大算力进行深度诊断，从而提升整体缺陷检出率。

实验结果表明，文中提出的YOLOv5-GBA 算法在面对无人机航拍视频流时具有较好的处理与诊断能力，对输电线路现场诊断与云边协同诊断具有重要意义。