多模态知识图谱在电力运检中的应用与展望

蔺家骏，闫玮丹，胡俊华，郑一鸣，邵先军，郭炳延

（1.国网浙江省电力有限公司电力科学研究院，杭州 310011； 2.浙江大学 电气工程学院，杭州 310027； 3.国网浙江省电力有限公司，杭州 310007）

0 引言

近年来，在实现“双碳”目标、构建以新能源为主体的新型电力系统等国家重要决策部署下［1-3］，国家电网有限公司处在智能化发展的重要时期，绿色低碳和数字化转型是其关键因素。

国家电网有限公司是重资产服务型企业，电力设备规模不断增大，运行、管理数据量也呈指数增长，电力大数据迎来新机遇、新挑战。国家电网有限公司设备部提出“加快构建国网特色现代设备管理体系”的战略规划，以支撑国家电网有限公司更为安全、更高质量、更有效率、更可持续发展。

电力运检作为电网运行中重要的一环，运检是运维和检修的简称，电力运检主要负责变电站内设备和输电设备的运行操作、检查维修、日常维护、更换等工作［4］，例如拉闸停送电、设备日常巡视、事故处理、设备年检等。提高电力运检工作的智能化、数字化是国家电网有限公司发展的当务之急。

电力运检每年会产生大量不同类型的数据，如停电记录清单等表格数据、故障报告等文字数据、在线监测系统产生的图片/视频数据、油色谱监测系统产生的时序数据。电力运检数据呈现异构化、多样化、复杂化、孤岛化，多种模态数据间的潜在关系没有得到深入挖掘，且运检工作对专家经验依赖较大，工作人员查找资料耗时较长。因此，解决电力运检在数据充分挖掘利用［5］、智能化运维方式完善、多模态知识库空缺等方面存在的问题对电网建设具有重要意义。

知识图谱（Knowledge Graph，KG）作为人工智能四大技术之一，既包含丰富的语义信息，又包含图的拓扑结构信息，定义为利用图状结构组织和使用类型不相同的大规模数据的形式化领域知识，与电力运检领域现状高度契合［6］，依托其模态丰富、储备丰富的运行数据，多模态知识图谱（Multi-modal Knowledge Graph，MMKG）在电力运检领域有极高的发展前景。

本文从电力运检现状出发，基于实际运检作业的需求和MMKG 技术的特点，分析了在电力运检领域发展MMKG 的可行性，介绍了MMKG 构建技术，总结了其能发挥作用的综合智能问答系统和故障处置两大类应用场景，提出了具体的应用思路，并深入分析了未来在电力运检领域发展MMKG 技术将面临的困难与挑战，为电力运检智能化、信息化、数字化发展提供可能的思路与方向。

1 研究背景

本节介绍电力运检领域的发展现状和KG 的基础应用背景，分析KG 技术与电力运检领域的契合度，介绍MMKG 在电力领域的已有应用，说明其在电力运检领域有极大的发展前景。

1.1 电力运检发展现状

随着社会用电量的不断提升，更加要求用电的安全稳定和实时智能等［7］。目前，电力运检积累了大量数据，涵盖多种模态，电力运检数据具备文本结构复杂、语义模糊、专业名词含量高等特征，传统的数据分析方法难以对其进行准确的文本挖掘。图片数据大多来自监控摄像头，目前主要用于依托计算机视觉（Computer Vision，CV）技术的缺陷检测、设备状态感知等。

电力运检产生的大量历史运行数据、案例报告等黄金数据有极高的挖掘价值，其蕴含的时序信息、专家经验等对日常运检工作有极高的指导价值，然而目前只能通过人工翻阅、关键词检索等传统手段获取其中信息，黄金数据沦为僵尸数据。且人工主观决策对运检人员的专业能力有极高要求，电力运检领域设备类型众多、故障信息多变、运行规程繁杂，通常需要专家参与，无法保障故障处置的实时性、高效性，亟须更加智能化、自动化、数字化的手段帮助提高现场作业的智能化水平，降低人力成本。

1.2 KG发展现状

KG 分 为 通 用KG（General Knowledge Graph，GKG）和领域KG（Domain Knowledge Graph，DKG）。GKG 往往包含大量数据，数据范围广但不精细，更适用于搜索引擎，难以支撑一个行业的功能需求，而DKG 仅针对某一个专业领域或一个具体方向，根据该领域的业务逻辑进行构建，DKG 要求该领域有较为完备的知识体系及较为准确的深度和广度，电力运检规程完整、要求严谨、数据庞大，符合构建DKG的要求。

KG 依据数据来源的类型分为单模态KG 和MMKG，大数据时代各领域数据量均呈爆发式增长，KG 以其强大语义信息处理能力、多模态知识融合能力、增量更新能力和推理计算能力，为多领域多模态的大规模数据提供了智能化、数字化产业应用的新方法，已广泛应用于金融、医学、影视、军事等领域，成为各大搜索引擎、各领域智能问答系统、人工智能（AI）助手依托的知识库。典型KG 见表1。表中YAGO 为大型多语言语义知识库；XLORE 为大型中英文知识图谱。

表1 典型KGTable 1 Typical KG

1.3 MMKG在电力的应用现状

KG 起初主要被用来处理文字数据，随着CV［8］和多模态学习［9］（Multi-modal Learning，ML）技术的不断发展，越来越多的学者发现图片数据对KG 的正面影响，将图片数据融入KG 以实现KG 补全、模态互补，已有工作证明加入图像数据的KG 在分类、补全任务中有重要作用［10-11］。

MMKG 是指数据来源为多源异构数据、多种模态数据互联互通的KG，目前较为典型的MMKG 有Dbpedia［12］，Wikidata［13］，IMGpedia［14］，实现了3 个KG间的实体对齐，包含数字与图像特征的MMKG［15］等。随着各专业领域对MMKG 的需求，构建MMKG技术正在飞速发展［16-19］。

KG 在电力领域中的应用正处于起步阶段，构建的DKG 多为纯文本KG，基于MMKG 做电力功能的研究也比较少。张敏杰等［20］依托自然语言处理技术，构建了变压器运检KG，实现了基于智能问答的3 个应用功能。赵振兵等［21］构建了栓母对KG，结合门控图神经网络模型，验证了KG 作为先验知识对栓母对缺陷分类任务的作用。刘梓权等［22］构建了电力设备缺陷KG，利用图搜索进行缺陷记录检索，验证了KG 较传统语义分析方法的高效性。杨强［23］针对设备全寿命周期管理需求，研究基于KG技术的展示平台，验证了KG 的可行性。汤亚宸等［24］研究了基于DKG 的规则推理技术，实现涉及设备、事件等5 个关键因素的分析与检索。赵振兵等［25］分析了航拍输电线路目标检测的现状，提出在该任务中融入KG 技术，结合深度学习模型的发展前景。综上所述，MMKG 在电力运检领域很多应用方向的研究尚处于空白或刚起步阶段。

2 MMKG构建技术

本节介绍针对电力运检数据的MMKG 构建技术，主要介绍多模态数据采集与预处理、多模态知识抽取与多模态知识融合方法，并给出部分电力运检领域MMKG示例。

2.1 多模态数据采集与预处理

将收集到的大量文本数据分为结构化、半结构化、非结构化数据，结构化数据包括电网实时及历史运行数据、设备资产信息数据库、电网设备属性等信息。半结构化数据，包括电力知识百科或电力专业词库中关于配电网评价的数据等；非结构化数据指长文本或短文本数据，包含配电网运行管理规定、评估导则、配电网历史评价案例等。

除文本外的其他模态数据，例如图像/视频数据、振动信号、故障录波等主要来自智能感知设备的采集，这些数据由于采集周期短，储备较大［26］，但其形式多种多样，且无效数据较多，需要经过数据预处理才能使用。无效数据主要包含由于人员主观因素、智能设备误差等原因导致的数据关键因素缺失、重复数据、歧义数据等。因此数据预处理工作的重点是进行数据质量的检测与修复，主要手段包括数据清洗［27］、数据集成［28］、数据转换［29］、数据降噪降维［30］等，以得到高质量的数据集。

2.2 多模态知识抽取

知识抽取分为实体抽取和关系抽取2 部分，主流方法有基于传统规则和模板的知识抽取、基于统计机器学习的知识抽取、基于深度学习的知识抽取［31］。在电力运检MMKG 构建任务中，知识抽取任务需要首先进行实体抽取，完成对不同模态数据中关键性语义的抽取，确定关键词对，完成本体构建，再根据业务逻辑进行关系抽取，完成单模态之间的KG 关系构建。针对电力数据特点，在电力领域多模态知识抽取任务中主要采用基于深度学习的方法。

2.3 多模态知识融合

由于电力运检数据采集设备种类多样，数据来源复杂，数据间的关联关系没有可直接利用的映射，知识存在严重的冗余［32］。知识融合技术通过对多源异构数据进行实体消歧［33］、实体对齐［34］、知识加工、知识整合等操作，达到多模态数据的多维度融合，消除冗余信息，生成对应模态数据间的关联关系，即映射［35］。目前，DKG 主要采用相似度计算的方法对不同模态的数据进行融合，分别对不同模态的数据进行语义标签抽取，针对文本数据可以采取自然语言处理（NLP）算法实现自动抽取方法。针对图片数据采用半自动抽取，用少量人工标签指导模型抽取。视频数据可采用非自动化抽取，即人工标注。计算3 种标签的语义相似度，将匹配程度最高的1 组图片和视频数据链接到文本数据上，形成多模态数据集。多模态知识融合流程如图1所示。

图1 多模态知识融合流程Fig.1 Multimodal knowledge fusion process

知识融合能够实现数据互联，将来自多个模态的知识整合在同一个网络中，实现模态互补、知识消歧，提高KG 的丰富度和质量［31］，满足下游任务需求。电力运检领域MMKG 构建完成后如图2 所示。MMKG构建整体流程如图3所示。

图2 电力运检领域MMKG部分示例Fig.2 Applications of MMKG in power operation and inspection

图3 电力运检领域MMKG构建流程Fig.3 Construction process of MMKG for power operation and inspection

3 MMKG在电力运检中的应用场景分析

本节详细分析了MMKG 在电力运检综合智能问答系统与故障处置两大应用场景的应用前景，介绍了现有功能和技术，提出MMKG 的优势与应用思路。

3.1 电力运检综合智能问答系统

目前，电力领域应用最为广泛的智能问答系统为95598 平台的智能助手，负责当地用户的供电疑问、电力政策解释等。文献［36-37］基于95598记录的真实问答数据研究针对电力领域的命名实体识别算法，建立了电力服务领域专用知识库，为位置、故障和解决方案等因素的准确识别提供了数据基础，但未构建DKG，仅做到实体识别，没有对实体间关系做深入研究。杨志明等［38］构建了配电网运检领域知识库实现基于智能辨识的知识问答功能。盛慧等［39］基于KG 与语音识别技术研究了电网运检智能AI 助手，实现信息汇集、智能研判、异常警告、辅助指挥等功能，可以支撑运检人员对电力运检专业知识的学习。综上所述，智能问答系统在电力领域能够取代部分人工工作，具有极高的应用前景，但上述文献仅对文本数据进行了处理，未挖掘多种模态间的数据关系。

电力运检领域由于需要专业知识的指导，发布了很多作业指导书、标准导则等技术文件，多为长文本数据，导致工作人员翻阅、查找资料时需要耗费大量的时间，虽然根据关键词检索能够定位到相关片段，但会将所有存在这个词的片段没有优先级地输出，需要工作人员主观寻找相关性最高的片段，耗时较长，且难以将图片、视频、拓扑图、运行数据等多模态数据与文字数据联系起来，是初级运检人员入门时的一大困难。因此基于初级运检人员的专业知识结构化培训与学习需求、实际运检作业中的知识查询、智能问答需求，将电力运检专业知识构建成MMKG，以此为知识依托，搭建电力运检智能问答综合系统，实现基于语义解析的检索与问答功能，根据用户提问返回清晰、准确的答案能够有效地解决问题，比起各类文件与手册更加智能，提高电力运检领域全范围信息化、数字化程度。

该场景的技术难点在于如何将多种模态的数据融合起来，解决不同数据源带来的歧义问题，高效组织电力数据。基于MMKG 的电力运检综合智能问答系统架构如图4所示。

图4 基于MMKG的电力运检综合智能问答系统架构Fig.4 Architecture of the intelligent query answering system for power operation and inspection based on MMKG

3.2 电力运检故障处置

目前基于KG 在电力运检故障处置方向的研究主要分为2个方向。

（1）对DKG 构建框架的研究。文献［5］以电网故障处置预案文本为数据源，结合神经网络模型对电力领域进行实体识别，重点解决了电力数据知识抽取问题，构建了电网故障处置KG。文献［40］也在知识抽取任务上进行了研究，以电网调度领域文本为数据源，构建了双向长短期记忆网络-卷积神经网络-条件随机场（BiLSTM-CNN-CRF）电网调度领域实体识别模型。

（2）研究基于KG 的故障处置相关功能实现。文献［41］设计了关于故障处理的DKG 构建框架，但其数据为单模态。文献［42］以功能缺陷文本为数据源，基于双向长短期记忆网络-条件随机场（BiLSTM-CRF）信息抽取模型与KG 技术实现电力系统二次设备功能缺陷处理智能平台。这些研究都取得了较好的成果，为后续研究提供了参考和方向，但没有充分利用多模态数据，只依据文本数据实现故障处置存在一定的局限性，具有极高的发展空间。

3.2.1 故障溯源

目前对电力运检领域的研究多为故障诊断，通过对设备多个指标、参数的监控与分析，判定设备是否处于故障状态，并确定故障类型［43-44］，缺少对故障等级的判定，对故障部位和原因的挖掘由于缺少对历史案例间联系的研究而不够深入。

文献［45-46］在电力调度领域用信息差异图解决系统故障组件溯源的问题，但其研究重点在数据的时序层，挖掘告警信息在时间序列上的前后信息差异，未深入挖掘多种模态数据间的联系。而电力运检领域的故障溯源对多模态数据融合分析的需求很高，引入MMKG 技术能够完善整个故障溯源任务的逻辑链，实现全周期、全流程的自动化。

由于电力设备种类、部件类型多样，部件间逻辑结构复杂，发生故障时存在连锁反应和并发故障，导致运检人员在进行故障类型判断时具有诸多困难，以往的运检工作需要运检人员具备大量的知识储备和案例经验，在运检人员发现设备异常时，按工作规范要求需填写故障报告，描述故障实际情况，并归纳故障类型，具有一定的滞后性、主观性。同时，一些较少见到的设备缺陷或变化性较大的故障，会受到运检人员知识和经验程度的影响，难以准确判定故障的严重程度等级，无法全面地识别设备故障风险，并评估其运行状态。并且由于故障现象通常由运检人员手动录入，不会完全按照运检部门详细的分类导则文件填写，因此经常存在描述与故障不匹配、描述有偏差、针对同一个故障存在描述方式不同的情况，对后续专家检修、存档都有很大影响。

因此，将故障案例、运维规范等信息和规则构建成MMKG，实现对运检工作人员主观的故障描述与故障图片的识别，自动定位故障设备、故障部位，自动输出故障类型或给出故障类型置信度，并判断故障等级，实现故障溯源功能，减少运检人员翻阅资料或询问专家的时间，并能够降低运检人员主观描述对判定故障类型造成的影响，提高电力运检的实时性、智能化，在实际运检工作中具有重要作用。

该场景的技术难点在于数据规模的不均衡，电力领域发展至今，安全性逐步提高，重大故障频率降低，其数据为典型的小样本数据，如何对小样本数据进行高精度分析与处理是一大难题。

3.2.2 推理决策

目前，故障处置中关于决策的部分工作仍由国家电网有限公司相关人员依靠人工知识或经验进行判断。王骏东等［47］在调度领域实现了辅助决策功能，将调度规则、故障预案和专家经验构建成KG，具备智能问答、案例匹配等功能，但要深入掌握电力设备故障的内在规律和各个部件的实际维修策略仍存在一定难度。

随着社会的发展，对供电可靠性要求较高，因此设备发生故障后应尽量缩短处置时间，且辅助决策的判定需要一定的可解释性。引入MMKG 技术，通过故障溯源功能反馈的信息和实施决策场景的实际情况完成对决策最优解的推理，同时推理出该故障的风险等级和风险分析结果，例如发生该故障且不做及时处理后会引发哪些连锁反应，KG 的逻辑表达为推理结果提供可解释性［47］，实现基于智能问答的友好交互辅助决策功能，为运检提供快速、准确、可解释的决策支持。基于MMKG 的电力运检故障处置流程如图5所示。

图5 基于MMKG的电力运检故障处置流程Fig.5 Fault handling process in power operation and inspection based on MMKG

该场景的技术难点在于知识推理的精度，电力领域作为至关重要的专业领域，其对智能算法的精准度要求较高，决策的准确性直接影响电网的安全运行，因此必须保障推理算法的精确度达标。

4 MMKG在电力运检中的挑战

本节在第3节的基础上提出在电力运检领域发展MMKG的3个挑战，并对未来发展提供思路。

4.1 数据融合

KG 的构建需要大量的数据支撑，电力运检领域每年产生的数据量非常大，但在数据处理阶段面临多个难题。从电力系统中获取的知识通常具有碎片性、异构性、多样化［48］，且具有知识交互壁垒，需要大量精力和专业知识去整合电力数据。

（1）电力知识存在一定的歧义和冗余，歧义使得KG 的实体、概念在构建过程中出现属性描述混乱或重复、实体间关系错综复杂，可能会导致图谱描述冲突、逻辑混乱，进而导致知识推理准确度降低；冗余导致KG 内存在大量无用的实体和关系，增加了KG的存储空间和无用的计算量。

（2）电力数据抽取时存在噪声，会稀释数据信息内容和数据质量。

（3）电力数据与通用数据间存在知识交互壁垒，数据处理时需要一定的专业知识，导致通用数据中与电力存在联系的部分数据无法直接应用在KG 中。如何将混乱、复杂的数据处理成能够支撑构建可更新、逻辑清晰、可解释的电力DKG 数据，如何打破通用数据与电力数据间的知识交互壁垒，是在电力运检领域发展多模态时序KG 的必由之路。因此，针对长文本的知识抽取、多模态知识表示、多模态实体消歧、将时序、空间、事件等多维度数据融入电力DKG将成为未来发展的研究热点。

4.2 小样本算法

目前，KG 技术虽然已经在电力运检中实现初步应用，但现有的模型对训练数据的质量要求很高［49］，电力数据往往数量多但质量不高，且存在数据分布不均衡现象，训练模型的代价是巨大的数据处理工作量，导致现有模型广泛推广的可能性不高。另外，现有的功能实现方式中为满足实际应用场景中的复杂功能需求，对计算和存储设备的要求较高，导致现有算法速度不高，部署在实际应用现场的系统中时体现为响应时间较长，不能满足一些对实时性要求较高的任务需求。因此提高对少量高质量数据的利用率，提高算法在大规模数据中的计算速度是电力运检领域应用MMKG 实现推理、故障溯源等功能的必要研究方向，目前模型微调、数据增强、迁移学习等方法是小样本学习的热点，由于电力领域数据特殊性与多源异构性，模型微调与数据增强不适合全部场景，迁移学习将会成为在电力领域应用的重要研究方向。

4.3 知识推理

知识推理是根据KG 中大量已有的数据来推断新的实体和关系或推理出错误的已有关系，实现KG 的补全或去噪，满足任务需求。现有知识推理方法主要有基于规则的推理、基于分布式特征表示的推理和基于神经网络和强化学习的推理［34］，针对DKG 的知识推理方法的准确度还有待提高。电力运检领域无时无刻不在产生新数据，如何将新数据与旧数据动态［50］、实时地联系起来，推理出它们之间的关系是未来知识推理发展的一大挑战。因此KG 的动态更新、基于时序信息的实时演化、基于小样本的精准推理等方向会是未来几年电力领域发展MMKG技术的研究热点。

5 结束语

本文从电力运检领域的实际需求出发，分析MMKG 技术与电力运检任务的适配度，介绍了构建MMKG 的基础技术，从电力运检综合智能问答系统和电力运检故障处置两大应用场景详细分析了应用MMKG 能够解决的问题和具体应用思路，提出在电力运检领域发展MMKG 要面对的三大难题与挑战，为后续的研究工作提供思路。

MMKG 以其丰富的数据类型、完整的逻辑关系、可解释性与可推理性在电力运检领域有巨大的应用潜力，一旦发展成熟便能够带来巨大的社会效益和经济效益。