基于深度学习和知识图谱的变电站设备故障智能诊断

肖发龙，吴岳忠，沈雪豪，何震凯，秦烨

(1.湖南工业大学轨道交通学院，湖南省株洲市412007；2.湖南旭瑞智能技术有限公司，湖南省株洲市412007；3.国网江苏省电力有限公司仪征市供电公司，江苏省扬州市211400)

0 引 言

随着社会用电量不断提升，对电网运行稳定性和智能化程度提出了更高的要求，传统的人工巡检诊断工作模式由于人力成本高、诊断方式单一、数据管理不集中等问题，已经不完全满足实时、高效的电力设备诊断要求。因此，变电站巡检工作面临严峻挑战，利用智能设备代替人工巡检成为必然趋势[1]。变电站电力设备在运行时一旦发生故障，可能会导致大规模大面积停电，给国民经济和工业生产带来不可估量的损失。所以，保障电力供应安全就成为了保障国家战略性能源安全的重要组成部分，尤其是保障电力系统的稳定运行要以提高电网的智能化程度为主攻方向。智能巡检是保障电网和电力设备安全、稳定、经济运行的重要服务手段，是实现电网智能化的关键[2]。随着5G网络、大数据、互联网、人工智能等高新技术的迅速发展，文本、图像、视频等多模态信息的数据呈指数增长，大量的数据信息和知识贴近人们对事物的认知。通过整合海量、多源、异构的故障诊断大数据，用于增强视觉场景的语义理解，结合这些信息进行有效的知识表达和知识推理，可以实现对变电站智能巡检的分析和决策。

当前目标检测算法[3]的核心是从获取的图像或视频中找到特定的目标主体，利用视觉设备提取目标图像并检测，得到待诊断设备的状况。基于机器视觉的设备故障诊断技术发展至今，已经在机械制造、航空航天、运输和工业生产等多领域得到广泛应用。近年来，基于深度网络模型的目标检测算法大多只是通过堆叠的多层卷积和非线性运算进行特征提取。文献[4]提出以多层卷积神经网络作为缺陷图像特征提取的骨架网络，融合注意力机制原理，进一步提升缺陷图像特征的可辨识性，增强了变电设备缺陷图像检测的准确性与鲁棒性；文献[5]基于刻度变体特征的图像识别对目标进行特征提取，应用局部二进制模式[6](local binary patterns,LBP)提取目标表面缺陷特征；文献[7]提出一种更快的基于区域的卷积神经网络(faster region-based convolutional neural networks,Faster R-CNN)[8]结合特征金字塔和可变性多层卷积的目标检测方法，扩展了Faster R-CNN网络结构对输入图片中不同尺度语义信息的读取，提升了网络对小目标的检测能力；文献[9]改进了YOLOv4骨干网，解决了电力设备目标检测的定位难题，用于电力设备表面缺陷检测；文献[10]通过改进YOLOv4算法提高网络对缺陷特征的提取能力，并用于检测航空发动机部件表面缺陷。然而，上述研究大多是识别设备的缺陷，并未考虑提取缺陷特征之后的工作，在更高智能化和自主性诊断方面有待提升。

将知识图谱技术[11]与视觉检测算法相结合为智能巡检领域提供了一种新的高效决策方法。文献[12]提出一种基于注意力机制的雷达领域知识推荐方法，通过学习雷达知识多模态融合的特征表示，实现雷达技术知识的推荐；文献[13]提出一种联合学习框架，将知识图谱中可解释规则的归纳与规则引导神经推荐模型的构建相结合，促进2个模块在产生有效和可解释的建议方面相辅相成；文献[14]提出了文本增强知识图谱嵌入模型，来执行对实体、关系和文本的推论，该模型不仅非常适合建模其潜在特征的交互，而且非常适合在图表中的实体之间建模路径；文献[15]提出一种便于知识图谱检索的挖掘框架，用于大型知识图谱的在线挖掘，并提出知识图谱中的有界搜索；文献[16]提出了一种半自动知识图谱构建技术,并将其应用于电网设备系统。

变电站设备的运行信息结构复杂、模态多样，如何表达和存储丰富的先验知识，并将其自然地与视觉检测算法相结合，辅助模型做智能决策，是本文解决的关键问题。为了实现在无人值守变电站环境下及时诊断设备是否发生故障，并针对故障完成智能决策，本文提出基于深度学习和知识图谱的多模态语义模型，利用知识图谱以三元组的形式对先验知识进行表征和存储，对变电站设备运行信息知识建模，通过基于深度学习的设备诊断检测算法对设备及故障进行识别定位与分析决策，提升变电站运行过程中的感知水平和运维效率，保障人身和设备安全，助力变电站智慧物联体系建设。本文的主要贡献：一是利用知识图谱对采集的信息进行统一表征和存储，构建变电站设备及设备故障的知识图谱库；二是利用YOLOv4检测算法对无人值守变电站设备进行实时检测，将视觉检测方法和知识图谱相结合，使得机器具备与人类似的联想能力，指导精准开展隐患排查；三是提出设备四诊法(望—视觉检测，闻—拾音检测，问—知识图谱查询，切—红外检测)，实现变电站设备智能故障诊断。

1 模型设计

1.1 总体设计

为了实现在变电站场景中对设备及故障语义理解进而达到智能故障诊断目的，本文提出了基于深度学习和知识图谱的多模态语义模型，模型总体框架如图1所示，主要包含两部分：多模态知识图谱构建及应用和YOLOv4目标检测算法应用。实现流程：首先，利用知识图谱对采用四诊法采集的多模态场景信息和互联网信息中变电站设备的语义描述信息、属性信息和空间位置信息等进行统一表征和存储；其次，通过YOLOv4检测算法对变电站场景中设备进行实时检测；最后，再结合知识图谱进一步辅助检测模型去判别设备类别及是否发生故障，并提出相应防护措施及建议，实现一站式智能化决策。

1.2 知识图谱构建

要达到模型对变电站运行场景信息的表示和存储，其难点在于如何以统一的形式编码包括图像、视频及文本等数据的信息知识。变电站设备故障知识图谱由于其数据具有一定的领域性，故采用自顶向下的知识图谱构建技术完成本体模型及数据层的构建。从变电站场景和互联网络中采集到的文本、图像、视频、音频等数据选择其中置信度较高的信息，添加进知识库里，用于描述变电站设备的概念及其相互关系，然后利用图数据库以网络化的模式存储数据，实现知识图谱的构建，使知识图谱查询能像人一样去联想，成为增强模型智能化及自主故障诊断的关键。变电站设备故障知识图谱构建流程如图2所示。

图2 知识图谱构建流程Fig.2 Construction process of knowledge graph

应用知识图谱的主要目的就是辅助识别变电站在运行过程中各设备已存在的问题或潜在危险，找出危险形成的原因，并提出相应措施及建议，从而提高电力系统运行的安全性。其中本体规则的构建是构建变电站设备故障知识图谱的重要任务。变电站设备本体的构建包涵了概念类别层次定义、概念属性关系定义等步骤。本体概念类别划分主要是对设备故障类型进行类别划分与定义，按照其内部元素构成可分为以下几类：设备类、部件类、故障原因类、建议及措施类。概念属性关系定义能够使得本体更加细化，进而形成具有良好结构的分类层次体系，每个故障类由设备、部件、故障原因、建议及措施构成，都能被抽象成实体与实体状态形式描述，从而形成定义准确、结构清晰的变电站设备概念框架。

数据层的构建是用来对已搭建好的本体框架进行内容填充。知识图谱的数据层通常采用三元组的形式<实体，关系，实体>描述实体和实体间的关系，例如：变压器上套管有裂纹损伤，变压器与套管的关系用三元组可以表示为<变压器，部件，套管>，套管与裂纹损伤的关系用三元组可以表示为 <套管，故障，裂纹损伤>。每一个实体或概念都用节点来表示，而节点间的关系或属性用边来声明，通过点与边可将变电站场景内设备实体和关系构成用网络化形式的语义图表示，能有效、直观地表示场景中设备-部件或本体-状态的关系。首先对已采集的信息进行整理，完成对输入语句的分词和标注，通过词向量(word to vector,word2vec)和翻译嵌入(translating embeddings，TransE)分别对标注语料进行预训练，生成词向量并根据词向量的余弦相似度来确定实体语义相似程度，实现实体语义的对齐和消歧。然后将预训练得到的词向量输入到基于transformer的双向编码表示条件随机场(bidirectional encoder representations from transformers conditional random fields，BERT-CRF)模型中进行领域命名实体识别，识别出信息中的关键实体以及实体状态，将抽取出来的实体映射到之前构建好的知识本体概念节点当中，从而建立起实体之间关联关系，实现本体框架与数据层之间的映射，在BERT层获取当前词的上下文信息，在CRF层对上下文之间的关联关系进行更精准地推断。最后，将当前流行的实体关系抽取模型BERT与卷积神经网络(convolutional neural networks，CNN)进行组合，同时引入注意力机制，构建基于BERT-CNN-Attention(bidirectional encoder representations from transformers-convolutional neural networks-attention)的实体关系抽取模型分析句法中不同词的关系结构，抽取实体间的关系。

通过以上流程，将变电站设备信息转化为结构化的三元组数据。由于文本数据和结构化数据都是来源于互联网，必然不可避免地包含着重复的信息，因此可通过三元组筛选模块，避免信息的重复添加。然后，根据定义的概念框架，将三元组知识联结起来，结构化数据以图的形式存储在Neo4j图数据库中，直观准确地反映变电站设备信息之间的联系，最终形成知识图谱。同时利用图查询语言，可以快速查出需要的数据，辅助智能变电站设备诊断及后续知识图谱的应用开发。

1.3 YOLOv4检测模型

YOLO[17-19]检测网络是一种实现回归功能的检测算法，最大的优势是检测快，目前在诸多领域检测中都获得了不错的成绩。在YOLO模型中图像被划分为大小为S×S的网格，每个网格生成B个候选框，每个候选框通过网络得到相应的边界框，最终形成S×S×B个边界框，目标物体由落入所在网格负责检测。YOLOv4是在YOLO模型的基础上进一步改进得到的,主要有3个方面改进：1)利用跨阶段局部网络[20](cross stage partial network,CSPNet)将Darknet53修改为CSPDarknet53，进一步促进了底层信息的融合，实现了更强的特征提取能力；2)利用空间金字塔池化[21](spatial pyramid pooling,SPP)在最后输出时添加4种不同的最大池化(max-pooling)操作，进一步提取和融合特征，卷积核大小分别为(1×1)、(5×5)、(9×9)、(13×13)；3)将特征金字塔网络[22](feature pyramid network,FPN)的结构修改为路径聚合网络[23](path aggregation network,PANet)，即在自底向上的结构基础上增加一个自顶向下的结构。

YOLOv4相较于之前的网络模型，在平均准确率(mean average precision,MAP)和每秒传输帧数(frames per second,FPS)上应用了CNN领域最优秀的优化方法，达到最优平衡。如图3所示，YOLOv4使用CSPdarknet53作为主干特征提取网络去获得有效特征层，之后使用了空间金字塔池化的结构，对经过3次卷积后的特征进行最大池化，以增加网络的感受野，利用路径聚合网络完成上采样、下采样、卷积、特征层融合等操作，提高目标缺陷的特征提取能力，最后Yolo Head对获得的3个特征层进行解码预测。YOLOv4的损失函数由完全交并比(complete intersection over union,CIOU)误差作为回归框预测误差。损失函数可分为回归框预测误差Lloc、置信度误差Lconf和分类误差Lcls。

图3 YOLOv4网络结构图Fig.3 Network structure of YOLOv4

损失函数由式(1)所示：

L=Lloc+Lconf+Lcls

(1)

回归框预测误差Lloc为：

(2)

(3)

(4)

式中：IOU(A,B)为预测框A和真实框B的交并比；ρ2(Actr,Bctr)为预测框和真实框的中心点的欧式距离，其中Actr、Bctr分别代表了预测框和真实框的中心点；m为同时包含预测框和真实框的最小封闭区域的对角线距离；wgt和hgt分别为真实框的宽、高；w和h分别为预测框的宽、高。

置信度误差Lconf为：

(5)

分类误差Lcls为：

(6)

2 实验和评估

2.1 实验环境配置

本文的实验环境如表1所示，部分网络参数说明如表2所示。

表1 实验环境配置Table 1 Configuration of experimental environment

表2 网络参数说明Table 2 network parameters

2.2 数据集制作

数据集的采集包括了在变电站内实际拍摄和使用Python程序爬取的变电站检修记录和图像。为了保证图像质量，将爬取图像的宽度和高度都设置为至少大于500。数据采集好之后，首先对采集的检修数据进行清洗和整理，共获得1 436条设备故障数据，通过分析内部元素，将变电站设备共分为5个大类(变压器、开关设备、防雷设备、电力电缆、配电设备)、24个部件(继电器、母线、避雷针、绝缘子、呼吸器等)、19种故障类型(裂纹损伤、矽胶变色、掉落、脱落、螺丝松动、渗油污脏、脱漆锈蚀、断股、烧毁、指示异常等)和相应的措施及建议。然后对采集的图像数据进行人工筛选，主要去除重复、模糊、不一致的图像，经过筛选后选取824张高质量图像作为初始数据集，并将这些图像的大小统一处理为416×416像素。为了更好地适应复杂的变电站场景，采用离线数据增强方法对数据集进一步扩充，形成包含4 120张图像的数据集。数据增强用于模拟变电站中的复杂场景，比如：阴天、暴雨、白雾等，这些天气因素会根据光照强弱不同，使设备图像灰度发生变化，对检测造成很大的干扰。图像数据获取后，需要通过labelImg工具对各类图像标注，将数据集中的图像转换为PASCAL VOC格式，并生成XML文件，如图4所示。将图像数据集以8∶1∶1的比例随机划分3 296张图像作为训练集，412张图像作为验证集，412张图像作为测试集。

图4 图像标注示意图 Fig.4 Schematic diagram of image annotation

2.3 目标检测实验指标

本实验结果的评估标准主要有精度P、检测速度FPS、召回率R、精度均值PmA。

(7)

(8)

(9)

(10)

式中：TP为将正类划分为正类的数量；FP为将负类误报为正类的数量；FN为将正类误报为负类的数量；PA为平均精度，是衡量每个样本分类器的性能指标；N(class)表示样本总数。

2.4 实验结果与分析

本文通过对比不同检测算法在变电站巡检环境下的性能表现，选择能够更好适应实际巡检环境的模型，如表3所示。

从表3结果来看，对比Faster R-CNN、分层协作多智能体强化学习与技能发现(hierarchical corperative mluti-agent reinforcement learning with skill discovery，HSD)、丰富的特征引导细化网络(guided refinement network，EFGRnet)、YOLOv3这4种算法，YOLOv4在检测速度上有良好的优势，54帧/s的检测速度可以满足变电站巡检工作需求。在目标检测工作中召回率与检测准确率往往会相互权衡，变电站场景下各设备大小差异大，存在相互遮挡的情况，检测难度进一步增加，很容易造成检测不准确、漏检。YOLOv4在召回率上与其他4种模型差异不大，在检测精度上是最优的，使模型达到最优平衡。图5展示了YOLOv4网络在测试图像上的部分检测结果。

表3 各算法检测性能对比Table 3 Comparison of detection performance of the algorithms

图5 YOLOv4网络在测试图像上的部分检测结果Fig.5 Partial detection results of YOLOv4 network on the test images

图6展示了局部变电站设备故障知识图谱：图谱中包含了5类设备的结构化信息，以及与设备相关的部件、故障原因、措施建议等信息。图7所示为在知识图谱中查询设备分类及诊断的规则：利用知识图谱结构化网络化存储知识的特性，使用Neo4j Cypher在知识图谱中对检测识别的目标实体与状态进行查询，返回实体变电站和与之相关的实体及属性，完成故障诊断任务。

图6 变电站设备故障知识图谱(局部)Fig.6 Graph of substation fault knowledge (part)

图7 知识图谱查询Fig.7 Knowledge graph query

诊断分析如表4所示，结合深度学习与知识图谱，对4例故障事件进行分析。首先，通过视觉检测得到初步的检测结果；其次，将检测结果作为查询知识图谱的输入；最后，通过执行Cypher查询，返回诊断分析结果。

表4 诊断分析记录Table 4 Diagnostic analysis records

3 结 论

为了实现更加智能化和自主性的变电站巡检，本文研究了基于深度学习和知识图谱的多模态语义模型，在原有目标检测网络YOLOv4架构基础之上，引入知识图谱对输入的多模态信息进行统一表征和存储，使得模型具备与人类相似的联想能力，将YOLO目标检测算法与知识图谱相结合，进而达到对变电站场景中物体视觉理解的目的。

未来的工作一方面继续增强其诊断能力，完善拾音检测和红外检测的功能，完全实现应用四诊法诊断变电站设备的潜在问题，提升模型的智能诊断能力；另一方面将模型部署到巡检机器人上，结合激光传感器获取的室内场景栅格地图，使巡检机器人同时具备在变电站场景自主导航和对设备自主决策处理故障诊断的能力。