一种输电线路边、端协同检测方法和系统实现

孙仝 邓浩光 程昭荣 范亮 陆林

DOI：10.19850/j.cnki.2096-4706.2024.01.029

收稿日期：2023-06-25

基金项目：中国南方电网有限责任公司科技项目资助（031200KK52210032）

摘  要：输电线路在日常运行中受环境等因素影响会出现不同程度的配件老化、破损，导致输电、负载能力无法满足运营安全需求。为解决传统人工桥检作业难度大、检测时间长、工作空间受限等问题，提出一种基于无人机和深度学习的一体化输电线路巡检系统。系统基于卷积神经网络技术，采用YOLOv7目标检测算法对无人机采集的图像进行检测。首先通过事先设计的飞行路径和实时拍摄采集图像，其次传送到事先部署于无人机边缘盒子中的目标检测模型进行检测，最后将检测结果通过边缘盒子发送至使用者的APP。

关键词：边端协同；无人机；电力巡检

中图分类号：TP311  文献标识码：A  文章编号：2096-4706（2024）01-0138-04

A Method for Edge and End Collaborative Detection of Transmission Lines and System Implementation

SUN Tong1， DENG Haoguang1， CHENG Zhaorong1， FAN Liang2， LU Lin1

（1.Zhaoqing Power Supply Bureau of Guangdong Power Grid Co.， Ltd.， Zhaoqing  526000， China;

2.Guangzhou Zhongke Intelligent Inspection Technology Co.， Ltd.， Guangzhou  510623， China）

Abstract： The transmission lines may experience varying degrees of aging and damage to their accessories due to environmental and other factors in daily operation， resulting in transmission and load capacity not meeting operational safety needs. To address the challenges of traditional manual bridge inspection， such as high difficulty， long detection time， and limited workspace， captured by UAV . Firstly， the system  collects images through pre-designed flight paths and real-time shooting. Second， it transmits them to the target detection model deployed in the edge box of the UAV for detection. Finally， it sends the detection results to the user's APP through the edge box.

Keywords： edge and end collaboration; UAV; electric power inspection

0  引  言

輸电线路是我国电力运输系统中不可或缺的一环，具有跨越区域大、标准统一化和可靠性高的优点，普遍放置于城郊或城郊区域外。随着输电线路工作的年限增加，输电线路的各个配件会出现不同程度的老化、破损等现象。目前输电线路的日常检测依靠专业工作人员前往现场进行检测，存在难度大、检测时间长、工作流程复杂等问题，同时往往依靠工作人员丰富的检测经验排查输电线路问题。陈荣保等[1]提出图像拼接与Hough变换相融合的数字图像检测方法，增强目标电缆在图像上占据的比重以及抗干扰能力，用以检测输电线缆的运行情况。张伟奎等[2]在视觉注意模型的基础上，分析违规线路和其他环境的图像差异，分类计算线路边缘直方图特征，与其他线路环境的图像梯度分布相比，违规线路差异明显，从而检测出违规线路的差异。杨利波等[3]通过改进YOLO模型和使用无人机实现对输电线路的缺陷检测。朱凯等[4]利用改进后的Hough变换技术，提取检测图像的纹理特征，通过特征匹配得出最终的检测结果。万迪明等[5]通过分析直升机巡检过程拍摄到的图像，在事先检测到的输电线路兴趣区域内根据人眼感知特性来计算视觉显著图，然后通过视觉显著度对颜色、形状或空间分布等特性对异物区域实现统一定位。

上述专业人员解决问题的方法大多数基于传统的图像处理技术，并直接进行检测，并没有考虑到实际的应用，以及传统图像技术的泛化性并不高的问题。

随着无人机技术和深度学习技术在工业界的广泛使用，利用无人机进行拍摄，目标检测模型对输电线路进行缺陷检测逐渐替代传统的人工巡检方式[6]。由于无人机采集到的图像数据较大。并且针对类似这种大型图像数据的深度学习模型对硬件设备要求较高，一般无法部署在移动端。即小型深度学习模型的缺陷目标检测效果无法满足实际的应用需求，但大型的深度学习模型又无法在移动端上部署。现阶段人机的智能巡检方式存在小尺寸缺陷隐患检测准确率低，漏报率和误报率也较高的弊端[7-11]。

本文的研究目的在于提供一种包含移动端的实时分析的缺陷隐患检测系统，用以智能识别缺陷隐患巡检图像，方便工作人员操作使用，提高缺陷隐患的检测效率和缺陷识别的准确度。

1  目标检测模型

本系统选择YOLOv7作为目标检测模型，其在各种工业生产环境下都有较好的表现。YOLOv7的网络结构主要分为主干网络Backbone和检测部分Head两个部分，其中主干网络负责提取图像特征，检测部分负责对主干网络提取的特征进一步处理、预测以及输出，算法结构如图1所示。

主干网络由ELAN模块和MP-1模块组成，其通过各种卷积核大小为3×3和1×1的卷积操作、激活函数、最大池化操作和归一化操作的搭配完成对图像特征的提取。

ELAN模块是一个高效的特征提取模块，由两条分支共同连接而成，一条短分支和一条长分支。短分支负责提取浅层特征，长分支提取深层特征，浅层特征保留特征图的纹理、外观特征信息，而深层特征具有抽象的语义信息。然后ELAN模块对二者得到的特征图进行拼接操作，得到一个同时具有浅、深层特征信息的特征图。分支上的CBS模块协同运作，完成对图像特征的提取，短分支由一个CBS模块组成，长分支由五个CBS组成，其中CBS模块由卷积层（Conv）、归一化层（Batch Normalization）和激活函数（Silu）组成。

MP-1模块也由两条分支组成，与ELAN模块不同的是MP-1的两条分支是相同长度的（如图2所示）。其中上分支由最大池化层（MaxPool）和CBS模块组成，下分支由两个CBS模块组成。采用MaxPool层的目的是下采样得到特征图的关键特征信息，同时减少参数。MP-1模块的作用在于对特征图进行下采样的过程中，在减少参数的前提下，尽可能地减少特征信息损失。

检测部分主要由ELAN-W模块、MP-2模块和SPPCSPC模块组成，其作用是对经主干网络处理的特征圖进行预测。检测部分有三个检测头，分别检测图像中大、中、小目标。这是由于大特征图相对而言保留更多的空间信息，图像上小目标的特征会保留其中，所以大检测头中的大特征图通常用于检测小目标，而小检测头中的小特征图由于经过了几次卷积，信息变得更加抽象，所以更适合检测大目标。

其中ELAN-W模块与ELAN模块结构十分类似，其采用的CBS模块数量相当，但略有不同的是ELAN-W模块更加注重浅层特征与深层特征的融合。而MP-2模块的结构与MP-1模块结构完全一致，其所得到的特征图的通道数是MP-1模块的两倍。

SPPCSPC模块负责通过聚合采用不同尺度的最大池化操作获得不同感受野的特征图，使得网络模型可以适应不同分辨率大小的图像，同时不增加网络模型的参数，保证了网络的轻量化。

我们准备的硬件设备和软件环境如下：CPU使用Intel XEON E5-2620V4 @ 2.10 GHz，8C/16T；计算卡使用NVIDIA Titan XP 12 GB，用于以下实验过程：

1）缺陷检测数据集。云南电力试验研究院管理的输电线路上有大量的电力杆塔数据。由于一些线路老化，本实验通过筛选常规线路无人机检查的图像数据，收集了足够的训练和测试阳性样本数据。本次实验共采用1 564张数据用于训练和测试，按照训练集和测试集8：2的比例进行划分。

2）实验结果和比较分析我们使用YOLOv7算法进行了多次的调参尝试，以及大量的迭代次数来训练算法。我们在测试集上计算了精确度和召回率。经过实验发现，如表1所示，算法在全设备训练数据上具有优秀的性能。

在后续的例行飞行巡检中，我们采集了大量的验证数据进行算法的鲁棒性验证，在开放数据上显示，算法实用性能强。验证结果如图2所示。

2  边、端协同检测系统

2.1  系统组成

针对无人机巡检数据传输时间长、管理效率低，本文提出了一种边缘智能巡检系统。检测系统包括无人机、地面控制中心、边缘智能巡检系统（平板和电脑）、云端生产指挥系统服务器，无人机上安装有数据采集装置和边缘检测盒子，以及边缘智能巡检系统缺陷数据管理APP，整个系统如图3所示。

2.2  系统业务流程

数据采集装置包括控制单元、图像采集单元、无线通信单元。控制单元用于控制图像采集单元和无线通信单元工作；图像采集单元用于采集输电线路的图像信息，图像采集单元包括双光相机，双光相机包括可见光摄像头和红外光摄像头，可见光摄像头用于拍摄输电线路的场景画面，红外光摄像头用于（通过感应输电线路的红外辐射能量）获取输电线路的红外热成像图；无线通信单元用于实现无人机与地面控制中心的通信连接和数据传递，包括传输图像采集单元的数据、接收数据处理系统的控制指令等。

上述双光相机中设有图像推流处理器，图像推流处理器用于将输电线路的场景画面与红外热成像图融合叠加渲染生成渲染图像，以实现图像单线传输，从而便于快速传输和提高效率。

边缘检测盒子包括控制单元、图像处理单元、缺陷图像检测单元、SDK通信单元。控制单元用于控制缺陷图像检测单元、图像处理单元和SDK通信单元；图像处理单元用于对无人机采集到的通过SDK通信传入的图片进行处理；缺陷图像检测单元用来对图像处理单元处理好的图片进行缺陷检测，并输出检测结果；SDK通信单元与无人机之间进行数据传输，包括图片和检测到的缺陷信息。

当缺陷检测模型判断发现缺陷时，将通过无人机向遥控器发送警告信息和缺陷的定位信息，并且在遥控器画面中以红色框进行标识，实现输电线路巡检作业从先飞后识别转变为边飞边识别，可以第一时间发现重大缺陷。

终端APP的目录如图4所示，登录表示当用户进入网站或者打开APP时，用户输入账号和密码即可登录；任务管理包含两个子级计划管理和新建/修改任务，计划管理有各项计划的列表，每项计划包含计划的序号、计划名称、线路名称、电压等级、计划作业区段、巡检类别、巡检方式、作业人员、开始/结束时间、巡检/缺陷状态、操作，还可以根据以上的关键字进行查询需要的计划，子级新建计划还可以根据上面的关键词进行新计划的添加；新建/修改任务可以创建或者修改一个项目；打开任务文件目录的子级可以查看用红色框标识的缺陷图片，包含可见光和红外的，缺陷列表详情页可展示所包含的缺陷列表，每个缺陷有序号、描述、类型、等级和人工确认结果，还包含删除功能；导出选择弹窗可以以.doc和.xlsx格式导出巡检报告、检修记录、绘制照片、原始照片。

终端APP分别使用于移动端（边缘识别缺陷现场确认）和办公电脑端，移动端通过根据遥器端传来的缺陷信息进行现场确认（分已确认和未确认），然后再通过传输网络将已确认或未确认的缺陷数据上传到云端的生产指挥系统服务器，同时缺陷数据从服务器下发到信息班的班员的办公室电脑端，进行协同确认。

3  结  论

本文基于深度学习的输电线路的缺陷检测技术，并结合无人机图像自动采集技术，设计了一套移动端检测输电线路方法。与其他检测系统相比，该方法把深度学习、无人机技术和移动端开发技术结合起来，更加方便操作人员的使用与操控，具有更高的准确率和更加迅速的检测速度。该检测系统专门配置了边缘图像处理器，能够直接对相机采集的大量数据进行实时检测识别，且仅仅将检测识别出的有缺陷隐患的图像信息通过遥控器和路由器转发给边缘巡检终端，而不是将拍摄到的全部数据信息发送给终端，大大减少了通过网络传输的数据，进而提高了网络传输速度和效率，同时也提高了巡检的可靠性和效率，为用户带来了良好的体验效果。

参考文献：

[1] 陈荣保，唐大为，盛雨婷，等.数字图像在输电线路检测中的应用 [J].传感器与微系统，2019，38（9）：150-152.

[2] 张伟奎，钱涛，余长江，等.基于视觉注意模型的输电线路违规检测方法研究 [J].电视技术，2018，42（10）：8-11+24.

[3] 杨利波，杨嘉妮，贺学敏.基于YOLO目标检测算法的输电线路检测 [J].电力信息与通信技术，2022，20（8）：99-105.

[4] 朱凯，姜文东，方玉群，等.基于改进Hough变换的输电线路带电作业机器人检测方法 [J].制造业自动化，2022，44（6）：186-189+203.

[5] 万迪明，张杰，郭祥富.一种基于视觉显著性分析的输电线路异物检测方法 [J].电视技术，2018，42（1）：106-110.

[6] 郑腾龙.基于深度学习的无人机电力巡检障碍物目标检测与避障系统 [D].天津：天津工业大学，2021.

[7] 汪慧晨，周颖，徐瑞雪，等.智能巡检无人机在新能源领域中的应用 [J].科技与创新，2023（3）：162-164.

[8] SHAMSUZZAMAN J M .YOLObin： Non-Decomposable Garbage Identification and Classification Based on YOLOv7 [J].電脑和通信：英文，2022，10（10）：104-121.

[9] SUN K X ，CONG C . Research On Chest Abnormality Detection Based On Improved YOLOv7 Algorithm [C]//2022 IEEE International Conference on Bioinformatics and Biomedicine （BIBM）. Las Vegas：IEEE，2022：3884-3886.

[10] 陈杨山，张传庆，赵曙光，等.基于YOLOv7-Tiny的交通标识检测算法研究 [J].计算机科学与应用，2023，13（4）：737-744.

[11] KARBOWIAK D，POWA?A G. Porównanie dwóch modeli wymiany danych w sieci ELAN [J].Studia Informatica，2014，35（3）：29-38.

作者简介：孙仝（1985—），男，汉族，吉林吉林人，中级工程师，硕士研究生，研究方向：输电线路智能巡检技术；通讯作者：范亮（1985—），男，汉族，河南安阳人，高级工程师，硕士研究生，研究方向：视觉算法的目标检测。