基于Flink大数据分析的电力资产全寿命周期管理平台研究

胡晓明

（合肥职业技术学院，安徽合肥，230013）

0 引言

电网公司设备资产数量大、价值高,而且随着投入的不断增加，数量规模不断增加。目前电网资产全过程信息分散在规划计划、ERP、PMS等不同业务条线的不同的信息系统中,目前已经通过电网资产统一身份编码打通了电网资产管理不同业务环节，信息难以共享、数据冗余、专业管理脱节等问题得到了初步解决。但是针对贯通后的电网资产全过程数据,仍然缺少高效的分析工具,难以发挥资产全过程数据的价值。

为提高电网资产管理决策的准确性和高效性,有必要通过大数据分析技术,对电网资产全寿命周期数据进行分析,提高贯通数据的价值,利用数据为生产经营服务。基于Flink构建的资产全寿命周期管理平台，结合电网资产统一身份编码在贯通资产全过程数据方面的作用和索引关系，能够实现资产数据的收集、分析和挖掘。

1 研究现状

1.1 电网资产数据

电力资产大数据是针对电力资产数据的采集、存储、管理、挖掘、展现和应用等,具体涉及到电力的输、送、配等相关业务环节。电网资产信息具备大数据的典型特点，可以分为结构化数据和非结构化数据两类。随着智、大、运、物、移等高新技术的不断发展，智能电网的建设力度不断加大，尤其是物联网技术的广泛引用,使电力行业中非结构化数据不断增长。

电网行业作为典型的重资产企业,随着国家对电网建设的持续投入,其实物资产的比重占据较大,已经积累了海量的设备资产数据。电网企业的资产全寿命周期管理体系应用虽然取得了一定成效,但仍然存在数据质量不高、数据共享困难、数据应用受限等问题,数据应用、价值挖掘整体水平不高。

1.2 电网大数据分析

电网资产信息符合大数据的特点，即：规模大、来源广泛、增长速度快和数据价值大，国内外在电网大数据领域已经开展了大量研究和实践。电网大数据领域的数据挖掘主要集中在数据仓库的建设，通过聚类、分类、关联等分析方法，进行电力负荷预测、优化电力调度、系统故障诊断、动态安全平台等。大数据平台是能够处理和分析海量数据并为数据挖掘各个流程提供支持和工具的平台，通常提供数据集成、数据清洗、数据预处理、数据统计、机器需求技术、数据可视化等功能。

电网大数据分析包括数据采集、数据存储、数据处理、数据挖掘分析、数据可视化等环节，各环节需要根据数据的特点选取不同的技术进行分析处理。在电网大数据分析领域常用的方法有关联分析、分类分析、聚类分析等。电网大数据分析已经形成了诸多成熟的应用场景，包括电网设备状态评估、电网资产评价、电网缺陷分析、电力负荷预测等。

1.3 电网资产全寿命周期管理

电网企业已经制定了资产全寿命周期管理的相关规定，涵盖并统筹与实物资产相关的人力、信息、金融、无形资产，运用系统工程的方法和模型，统筹协调资产在规划设计、采购建设、运维检修、退役处置全寿命周期的管理行为和技术要求，力求实现资产全寿命周期内安全、效能、成本的综合最优。

电网资产全寿命周期管理包含全过程思想、集成化思想和信息化思想，设备管理是电网资产全寿命周期管理的核心。要求必须站在整个固定资产形成、运行、维护、退出过程的角度上，统一管理理念，统一管理目标，统一领导及组织，统一管理规则。同时，需要建立集成化的管理信息系统，其核心意义就是在资产安全稳定运行的基础上，寻求资产全寿命周期内的总体费用最大化。

2 Flink技术简介

随着电网资产数据的不断激增，如何对这些数据进行有效处理是亟待解决的问题，传统storm、spark等框架在某些应用场景下，已经无法有效地满足用户在特定应用场景下的需求。Apache Flink(简称Flink)为实时流的处理提供了新的选择，作为一种开源流处理框架,专为分布式、高性能、随时可用和准确的流处理应用程序而打造。Flink技术主要用于无界和有界数据的有状态计算,无界数据流就是指有始无终的数据，数据一旦开始生成就会持续不断的产生新的数据，即数据没有时间边界。无界数据流需要持续不断地处理。有界数据流就是指输入的数据有始有终。例如数据可能是一分钟或者一天的交易数据等等。处理这种有界数据流的方式也被称之为批处理其核心是分布式处理引擎,主要运行在常见的集群环境中。

图1 Flink架构图

为了应用Flink对电网资产数据进行分析,在数据采集侧,主要利用日志、SDK、MQ等方式,来获取多个系统组件中的分散异构数据,经过初步处理后以连续流的方式发送给Kafka。

在任务管理平台侧,主要对数据源类型、异构数据清洗和切分规则、数据集的维度和指标进行配置,在所有配置完成后,利用Flink流计算技术对数据进行实时处理,通过对数据实时处理后,根据数据集定义存入存储单元。

业务分析和实时报表,用于获取数据集中的结果，以图表方式展现或者通过接口方式输出。

3 电网资产全寿命周期管理平台系统框架

系统主要通过对电网资产的规划设计、物资采购、工程建设、运行维护、退役报废等业务环节信息的实时获取，实现资产贯通数据、专业应用数据、挖掘分析数据的展示，能够实现电网资产全寿命周期内的信息溯源和共享，支撑企业级资产管理大数据分析应用，全面提升电网资产管理智能辅助决策水平。

基于Flink的电网资产全寿命周期管理平台由四层构成，分别是：持久化层、业务层、控制层和视图层。

图2 Flink业务流程图1

持久化层主要对电力资产大数据进行持久化操作,近年来,随着电网资产统一身份编码在电网设备上的深化应用,散布于各个业务系统的电网实物资产数据可以方便地借助统一身份编码实现统一存储。控制层主要对视图层的相关信息进行读取,并对输入数据进行控制。业务层主要各类业务系统、模型库等。如设备价值分析、负荷分析等相关的电力资产数据分析模型。实现具体的电力资产大数据分析业务。Flink技术能够为平台业务层的构建提供直接支持,提供并行化的业务处理逻辑,能够访问基础层中的数据资源。基于Flink技术的Datastream API或Batch Processing API,先获取执行环境,在通过连接器获取数据源,随后对电力资产数据利用转换函数处理,最后保存结果。视图层主要实现对电力资产数据分析结果的展示和用户数据的输入,是访问的界面和接口。

图3 Flink业务流程图2

图4 系统总体架构图

4 系统功能

基于Flink的电网资产全寿命周期管理平台的功能包括数据挖掘分析、数据可视化展示和外部系统集成。

4.1 数据挖掘分析

（1）设备状态评估

随着电网资产统一身份编码深入应用，通过电网资产统一身份编码即可将分散于多个业务系统数据实现整合。借助大数据挖掘分析技术，能够对异构数据进行分析整合。电力设备状态大数据分析主要利用电网资产统一身份编码获取大量设备状态、电网运行等相关数据，基于统计分析、关联分析等大数据方法，从数据内在规律分析的角度发掘出对电力设备状态评估、诊断和预测有价值的知识，实现电力设备个性化状态评价、异常状态快速检测、状态变化的预测，全面、及时、准确掌握电力设备健康状态，为电网优化运行提供辅助决策依据。

（2）电网资产评估

电网资产信息表现为电网的输出参数信息、用户信息以及电网的各项设施设备信息，各种信息相互融合，且随着电网规模的增大和运行时间的增长，资产信息规模呈指数级增长。构建电网资产大数据分析评估模型，然后进行特征分解和重组，结合关联特征分解方法进行电网资产信息的自适应重组，实现信息融合滤波检测，实现资产信息预测和评估。

（3）设备缺陷分析

综合考虑不同设备投运年限、缺陷故障严重等级以及由于质量问题造成提前退役等因素的影响，构建相对完整的设备缺陷率、故障率和设备寿命评价模型，进而将这三个因素进行组合从而形成对设备质量的整体评价，为设备选型采购、设备运维策略优化提供更为科学的决策依据。

4.2 数据可视化展示

利用数据可视化的技术手段，多角度、多形态展示电网资产分布情况、资产价值和投运年限等资产总体情况，以单体设备为基础，开展电网设备在投产、运行维护、大修技改、缺陷故障、再利用、退役、报废、拍卖各环节的数据监测分析，实现设备在资产全寿命周期管理内的全过程监控和展示，展示设备状态评估、电网资产评估、设备缺陷分析等大数据分析结果，展示基于资产全寿命周期管理平台的深化应用成效。

4.3 外部系统集成

完成从原业务系统到分析应用库及展示库的数据接口设计，建立与运检、营销、建设、物资、财务、全业务统一数据中心等业务系统数传输通道，保障数据挖掘和大屏展示数据的安全有效获取，深入展现大数据分析所得到的信息和结论。

5 应用效果

为了体现系统应用效果，开展了全面的实验分析。效果评价分为特定设备搜索查找、数据删除操作两种。选择在2018年7月1日至2020年6月30日之间的电网资产数据进行处理,数据量为29387465条。用三台PC搭建的集群作为运行环境,其中:处理器为八核,内存为64G,硬盘为256G固态硬盘。

首先对特定设备进行搜索查找。例如搜索查找5年及以上运行年限的设备。首先以逻辑访问MySQL库表方式进行测试,共耗时10.32s;再以逻辑访问MongoDB的检索方式进行测试,共耗时6.23s;而借助Flink技术进行逻辑访问MongoDB的方式进行测试,耗时仅需0.42s。其次是进行删除数据操作。利用Flink删除800万条电网资产数据,能够达到更好的效果,借助Flink技术耗时仅4.23s,而使用MySQL逻辑共耗时143s。通过查找和删除两项操作的对比可以看出,借助Flink技术,比Java EE技术有更强的性能表现。

6 结语

基于Flink技术，结合电网资产统一身份编码的应用成效，构建的电力实物资产全寿命周期管理大数据分析平台运算性能比传统架构更加高效。平台构建为电力资产大数据分析提供了一种可行的解决方案。后续将进一步探索在Flink平台上人工智能算法与电力资产数据分析的结合,进一步完善电力资产大数据分析平台，进一步提升电网实物资产大数据的应用价值,持续推进电网实物资产精益化管理持续深化。