基于改进YOLO-ResNet混合神经网络的配网杆塔倾倒实时智能检测

2022-09-30张宝星莫一夫潘岐深谢锐彪

南方电网技术 2022年8期

张宝星，莫一夫，潘岐深，谢锐彪

(1.广东电网有限责任公司，广州510623；2.华北电力大学控制与计算机工程学院，北京102206)

0 引言

电力系统的稳定运行事关人民生活和社会安全稳定。作为电网结构中的重要部分，配电网易因自然灾害而发生大面积杆塔倾倒，直接影响电力用户的供电可靠性。此外，受灾地区道路受阻、通信中断等极端条件也给灾后抢修复电工作带来种种挑战。因此，为适应受灾地区的极端条件，对配电线路杆塔的倾倒情况进行快速、准确评估，尽快摸清配网大致受灾情况，对于提升配网勘灾工作效率，加快线路抢修复电具有重大意义。

在电力杆塔倾倒检测方法上，国内外学者进行了相关研究。文献[1]基于杆塔结构知识模型对无人机航拍图像中的杆塔进行了倾倒检测，但需要通过大量的计算进行杆塔线段提取。文献[2]设计了一个系统用于杆塔倾斜监测，采用GPRS无线通信网络技术进行数据传输，但速率较低，通信质量受信号强弱影响较大。文献[3]利用地面三维激光雷达采集数据以重构杆塔点云模型，再通过人工比对实现输电线路杆塔倾斜度测量，但测量结果直接受到点云模型精度和人工选点主观因素的影响。文献[4]设计了一种输电塔倾斜实时监测系统，采用低功耗广域网技术进行数据传输，但需要始终保持通信畅通，监测效果在很大程度上取决于通信质量。此外，常用的杆塔倾倒检测方法还包括铅垂法、平面镜法、经纬仪法和传感器法[5]，但这些方法普遍存在着对操作人员要求高、作业量大、风险高、效率低等问题。

近年来，随着无人机和人工智能等新技术的成熟，以无人机等前端工具采集杆塔数据，再回传至后端平台利用图像识别模型进行分析的模式取得了重大突破。文献[6]融合地理位置信息，用可变部件模型算法检测和定位电力杆塔，但并未对杆塔的状态进行准确判断。文献[7]利用激光点云数据，基于分层最小外接矩形和抗差估计实现了对倾斜杆塔的测量。文献[8]通过拟合塔身结构来计算杆塔中心线，从而获得倾斜率，但点云模型的精度直接影响了测量结果。文献[9]将Faster-RCNN算法成功应用到输电线路的异常状态检测，但该算法算力要求高、分析时间长，难以应用到边缘设备中。文献[10]通过简化YOLO算法提升检测速度以实现杆塔的实时检测，提供了一种较好的技术思路，但该模型只能对杆塔的状态进行粗略分类及定位，无法计算杆塔倾斜角度，且分类准确率非常依赖训练集，模型的泛化能力较差。文献[11]使用了两种深度学习模型即Faster-RCNN和YOLO-V3来检测输电塔。结果表明，Faster-RCNN具有更好的精度，但YOLO-V3的速度更快，这为类似的实验提供了很好的参考，例如通过改进YOLO-V3算法实现输电线路的缺陷识别[12]和杆塔检测[13], 基于YOLO-V3结合LSD线段提取方法实现杆塔的倾斜检测[14]。

总体而言，目前大部分用于分析杆塔倾倒的图像识别模型因算力要求较高，往往部署于后端平台，其较高的准确率和精细化的分析能力更适用于线路日常巡检。相应地，靠近前端且适用于部署智能检测模型的边缘计算设备的开发却少有研究。配网勘灾强调在短时间内进行大范围排查[15]，对于准确率并不存在着过高要求，同时受灾现场通信条件较差，前端数据回传难度大，研究适用于配网勘灾的杆塔倾倒实时智能检测模型，并开发相应设备用于实际部署，在前端完成实时检测工作，对于保障电力系统的安全稳定具有重大现实意义。

表1 前、后端分析模式比较

针对以上问题，结合配网勘灾工作和前端分析模式的特点，本文提出基于改进YOLO-ResNet的混合神经网络模型用于对配网杆塔倾倒的实时智能检测。首先，在目标检测算法对比实验的基础上，提出基于改进YOLO-V3算法的杆塔主体检测，通过引入广义交并比(generalized intersection over union, GIoU)对损失函数加以改进，有效提高算法的检测精度。其次，利用计算量小、均方根误差低的ResNet-50算法定位杆塔中心线，提出基于目标检测框和中心线的杆塔姿态判断方法，实现对杆塔倾斜角度的准确计算。最后，开发了一种可有效搭载配网杆塔倾倒实时智能检测模型的便携式勘灾设备，具有低功耗、小体积、高性能的特点，前端搭配无人机等工具使用，在勘灾现场实时分析杆塔状态，并通过现场测试验证其实际勘灾能力。

1 杆塔主体检测

1.1 目标检测算法对比

目前基于深度学习方法进行目标检测已取得较好效果，根据配网勘灾工作特点，算法在实际应用中需要快速、准确地检测识别出电力杆塔主体，同时对硬件的算力要求不能过高，以便于将算法部署到便携式勘灾终端设备上。

本文针对主流目标检测算法Fast-RCNN[16]，Faster-RCNN[17]、SSD[18]和YOLO-V3[19]，在杆塔数据集上进行检测速度的对比实验，以每秒传输帧数(frames per second, FPS)为指标，结果如表2所示。

表2 目标检测算法速度比较

由表2可知：YOLO-V3对杆塔主体的检测速度达到34帧/s，大大高于其他几种模型，可满足配网勘灾的实时检测速度要求，适合作为杆塔主体检测算法。

1.2 YOLO-V3目标检测算法

YOLO-V3是只看一次(you only look once，YOLO)算法的第三代模型，通过将骨干网络设计为更深的具有53个卷积层(Darknet-53)的卷积神经网络(convolutional neural networks, CNN)，提高了目标检测定位和分类精度；通过借鉴特征金字塔网络设计多尺度特征提取结构，提升了对小目标的检测效果。图2为YOLO-V3模型的网络结构，其损失函数L如式(1)所示。

图1 前、后端分析模式示意

图2 YOLO-V3模型结构

(1)

1.3 传统YOLO-V3算法缺陷分析

传统YOLO-V3通常使用2-范数距离(L2)或交并比(intersection over union, IoU)作为方框置信度损失函数。

L2作为方框置信度损失函数，在计算过程中收敛速度较快，但其本质上只反映预测框和实际框之间的距离，无法反映两者的重合度[20]。

交并比的计算公式如式(2)所示。

(2)

式中：RIoU为交并比；A和B分别代表预测框(黑色矩形)和真实框(绿色矩形)的面积。

IoU与广义交并比(generalized intersection over union, GIoU)[21]的对比分析如图3所示。

图3 IoU与GIoU的对比分析

与L2相比，RIoU作为方框置信度损失函数在大部分情况下能够较好地反映目标预测框和真实框的重合度，但在实际应用中仍存在以下两个主要问题：

1)当预测框和真实框不重叠时，RIoU=0且不反映两个框之间的距离，导致训练过程中无梯度回传而无法优化;

2)RIoU无法正确区分预测框和真实框的不同重叠方式。当预测框和真实框在图3所示3种情况下RIoU值完全相等，但检测效果明显不同。

1.4 基于GIoU的改进YOLO-V3杆塔主体检测

为了解决RIoU作为损失函数存在的两个问题，本文对传统YOLO-V3损失函数加以改进，利用GIoU计算杆塔主体目标检测框的损失。

广义交并比RGIoU的计算公式如式(3)所示。

(3)

式中：C为预测框A和真实框B的最小外接矩形框，如图4所示。RGIoU比RIoU多关注了两个方框之间的未重合区域，即使重叠区域为0时也能反映两者间的相对位置，其距离度量效果更为灵敏。

图4 交并比计算示意图

将GIoU引入YOLO-V3网络的损失函数，用于计算目标物体预测边框的回归损失，由于检测目标只有杆塔一类，因此改进后的损失函数如式(4)所示。

(4)

2 杆塔中心线定位

在完成杆塔主体检测之后，需要定位杆塔顶部和根部两个端点，通过端点连接实现杆塔中心线定位，便于后续判断杆塔姿态是否倾斜。

为定位杆塔中心线，本文在研究过程中尝试使用基于GIoU的改进YOLO-V3算法检测出杆塔主体之后进行杆塔中心线定位，然而这样会造成损失函数过度复杂，收敛难度加大。因此，采取首先进行杆塔主体检测再解决图像分类问题的思路解决杆塔中心线的定位问题。

在对智能调控装置进行控制电路设计的过程中，依据智能调控装置的调控方案，对其PLC控制器进行I/O地址分配见表4。

2.1 ResNet-50算法原理

随着网络深度的增加，其梯度消失和爆炸问题使得网络的训练难度倍增，收敛速度变得很慢，并出现性能退化问题，这给深度神经网络的应用带来相应的挑战。为增强神经网络表达能力，文献[22]提出深度残差网络ResNet从而有效解决此类问题。

ResNet-50使用残差(residual)模块作为标准网络组件，通过堆叠组成具有50层的更复杂的网络结构，由于使用全局平均池化操作，所以模型的尺寸更小。其残差模块的结构如图5所示，通过一个恒等映射将原本需要训练才能得到的函数h(X)变成f(X)+X，因f(X)的优化比h(X)简单得多，所以对于模型的训练，可以在表达效果相近的情况下大大降低优化难度。

图5 残差模块结构

2.2 基于ResNet-50的杆塔中心线定位

ResNet-50为一个准确率高且计算复杂度较低的分类网络，本文采用ResNet-50网络进行配网杆塔端点及其中心线定位。

在上一节所述基于GIoU的改进YOLO-V3算法检测出数据图中的杆塔主体后，通过人工对杆塔的两个端点进行标注，形成端点训练集，输入ResNet-50网络提取杆塔两个端点的特征值。以杆塔两个端点的坐标作为ResNet-50网络的归一化输出结果，并计算该结果与真实值之间的损失值，训练得到可用于定位杆塔两个端点及其中心线的ResNet-50网络模型。

3 基于检测框和中心线的杆塔姿态判断

在采用深度学习算法对杆塔姿态进行判断方面，现阶段主要是按照分类的思路通过大量数据的训练来得到对杆塔姿态的模糊分类能力[10]，只能简单地判断杆塔是倾倒姿态还是直立姿态，无法计算杆塔倾斜角度。而杆塔的倾斜角度主要依靠工作人员目测，在判断安置于不平整地面的杆塔时容易发生误判。如图6所示斜坡地形条件下杆塔3是绝对垂直的，但其所处的斜坡地形使杆塔主干线与地面夹角β<90 °，容易产生误判。

考虑到实际工作环境中杆塔可能安置于任何地形的塔基中，为了更加准确地判断杆塔姿态，同时更好地将姿态判断环节融入到深度学习算法中，本文提出了基于目标检测框和中心线的杆塔姿态判断方法。

在采集设备保持绝对水平的状态下，基于改进YOLO-V3算法得到的杆塔主体检测框的左右框线是绝对垂直线，可用于辅助杆塔姿态判断。在定位出杆塔中心线后，可计算出杆塔中心线和主体检测框垂直线之间的夹角，从而进行姿态判断。

如图6所示，在水平、斜坡、起伏3种地形条件下杆塔主体的检测框均不受其安置环境的影响，该方法可正确计算杆塔中心线与主体检测框之间的夹角α。当0 °<α≤5 °时，可判断杆塔状态正常；当5 °<α≤20 °时，可判断杆塔发生倒斜；当夹角α>20 °时，可判断杆塔倒杆(角度的判断阈值范围可根据实际情况进行调整)。此方法能适应各种地形，通用性更强。

图6 3种地形判断示意图

4 配网杆塔倾倒实时检测模型及设备

4.1 配网杆塔倾倒实时智能检测模型

结合前述研究，本文建立了配网杆塔倾倒实时智能检测模型，分析流程如图7所示。首先，将摄像头采集的原始图像输入基于GIoU的改进YOLO-V3杆塔主体检测模型，获得杆塔主体目标检测框。然后将杆塔主体图像输入基于ResNet-50的杆塔中心线定位模型进行端点定位，返回杆塔的顶部和根部两个端点坐标，两端点相连获得杆塔中心线。最后基于前述杆塔目标检测框和中心线计算夹角进行姿态判断，获得杆塔倾倒检测输出结果。

图7 配网杆塔倾倒实时智能检测流程

4.2 便携式配网智能勘灾设备

本文结合配网杆塔倾倒实时智能检测模型的特点以及配网勘灾工作要求，研发了低功耗、小体积、高性能的便携式配网智能勘灾设备，用于部署本文所研究的模型。

图8为便携式勘灾设备示意图。

图8 便携式勘灾设备示意图

便携式勘灾设备主要由3部分组成：基于FPGA的深度学习加速卡、CPU及相关外设接口。其中，深度学习加速卡主要用于深度学习神经网络的计算加速，CPU主要进行视频的解码、编码等预处理操作，外设接口包含USB、HDMI、以太网口等，支持与无人机遥控装置、摄像头等不同的设备相连，满足多种应用情景需求。具体应用方案如图9所示，设备通过外设接口一端获取无人机或车载摄像头拍摄的现场视频流，一端可输出杆塔检测结果到显示屏，相关参数如表3所示。

图9 便携式勘灾设备应用方案

表3 便携式智能勘灾设备参数

5 实验测试

5.1 数据准备与模型训练

本文数据采自广东某地10 kV配网线路，通过无人机和车辆分别从空中和地面两种角度沿线拍摄视频，并提取视频帧得到充足的图片数据，经人工标注分别获得杆塔主体检测数据集和端点定位数据集。其中，杆塔主体检测训练集包含图片3 212张，测试集322张；杆塔端点定位训练集包含图片5 170张，测试集596张，训练集和测试集之间不存在交集。

将杆塔主体检测数据集输入改进的YOLO-V3算法，经训练获得杆塔主体检测模型；将杆塔端点定位数据集输入ResNet-50算法，经训练获得杆塔的端点定位模型，并通过端点连接获得杆塔中心线。在此基础上，基于杆塔目标检测框和中心线进行杆塔姿态判断，结果如图10所示，红色框为基于改进YOLO-V3检测的杆塔主体区域，绿色圈代表基于ResNet-50定位得到的杆塔顶部和根部端点，连接两端点得到杆塔中心线并计算线框夹角θangle=27.85 °，通过角度阈值判断倒杆姿态。

图10 杆塔倾倒检测结果

5.2 对比分析

为了评价基于GIoU改进的YOLO-V3算法对杆塔主体检测的效果，本文分别以L2和IoU作为方框置信度损失函数构建另外两种YOLO-V3模型，在相同的数据集上对比分析了训练过程中随迭代次数的增多其损失值下降的趋势。损失函数变化曲线如图11所示。

图11 损失函数变化曲线

在训练初期，基于L2损失函数的模型收敛速度较快，但随着迭代次数的增多，以RGIoU作为方框置信度损失函数的模型的损失值降到了最低，拟合程度优于传统的L2及RIoU损失函数，效果最好。

此外，图12展示了3种模型迭代过程中的平均RIoU值变化曲线。由图可知，在整个迭代过程中，以RGIoU作为损失函数训练的YOLO-V3模型的平均IoU值明显高于其他两种模型，意味着该模型针对杆塔主体检测的预测框与真实框之间的重合度变高，其检测准确性有了显著提升。

图12 平均RIoU值变化曲线

如表4所示，通过在测试集上对比以L2、RIoU、RGIoU作为方框置信度损失函数的YOLO-V3算法对杆塔主体的检测效果，结果可知，基于GIoU的改进YOLO-V3算法在平均准确率、准确率、召回率都有相应提高。其中，平均准确率从97.12%提高至98.94%，准确率从94.5%提高至95.6%，召回率从97.5%提高至99.2%，说明该模型有效降低了对杆塔主体检测的误检率和漏检率。

表4 基于不同损失函数的模型效果对比

识别出杆塔主体后，为了确定杆塔的姿态，本文通过ResNet-50算法定位杆塔端点，再连接端点获得杆塔中心线，最后进行姿态判断。为了进一步评价ResNet-50在杆塔端点定位上的优势，本文选取了其他3组常用于图像分类的经典CNN结构模型AlexNet[23]、Vgg-19[24]和Inception-V1[25]进行对比实验，并从每秒浮点计算量(floating-point operations per second, FLOPS)和均方根误差(root mean squared error, RMSE)两个指标分析其检测效果。

对比结果如图13所示，可以发现，ResNet-50在表现出较小的均方根误差的同时仍保持较小的计算量。虽然Inception-V1的均方根误差最低，但其计算量为ResNet-50的4倍，不适合应用于便携式设备部署。

图13 不同模型检测效果对比

为验证本文所建立的杆塔倾倒实时智能检测模型的整体准确性，针对测试集的所有图片数据，采用人工逐张测量杆塔倾斜角度的方式，与本文模型的检测角度作对比，结果如表5所示。其中，模型的整体准确性(overall precision, OP)通过式(5)进行评价。

(5)

式中：ROP为整体准确率；NTA为被模型正确计算出杆塔倾斜角度的图片数量；NFA为被模型错误计算出杆塔倾斜角度的图片数量；NFD为模型未成功检测出杆塔或未成功定位杆塔端点的图片数量。根据表5可以算出本文所提模型的整体准确性平均达到了93.48%，满足配网勘灾对杆塔倾倒检测判断的准确性要求。

表5 模型整体准确性测试结果

5.3 便携式设备实地测试

本文开发并部署了一种便携式智能勘灾设备，为测试该设备的性能，分别采用机载和车载勘灾方案对广东某地10 kV配网线路进行实地测试。通过HDMI接口将便携式设备一端连接无人机遥控装置或车载摄像头，从中读取配网线路的拍摄视频，一端外接显示屏实时显示杆塔倾倒检测过程，部分视频帧如图14(a)所示。

图14 便携式设备杆塔倾倒检测

便携式配网智能勘灾设备在无人机拍摄线路的飞行过程中实时分析了杆塔的状态，分别统计正常和受损杆塔的数量，并截取受损杆塔图片，以“杆塔分析统计表+图片”的形式输出最终结果，有利于工作人员快速获取、上报勘灾结果。同时，对设备的功耗和检测时间进行记录，结果表明该设备的平均功耗为9 W，单次检测时间少于190 ms，完全满足前端低载荷、低功耗、高性能的要求，可在配网线路实际勘灾应用中有效搭载并运行本文所提的杆塔倾倒实时智能检测模型。