基于电力数据中心数据流转的可视化研究

赵小凡, 张梦清, 刘超

(广东电网有限责任公司 广州供电局, 广东 广州 510610)

0 引言

随着电网规模的不断扩大和电力企业信息化水平的提高，数据量呈现爆炸式增加，给电力数据中心数据管理带来了巨大挑战，数据管理工作的好坏直接影响日常工作的正常开展[1-2]。为克服电力数据中心的传统管理方法的不足，提出一种基于电力数据中心的数据流转可视化方法，实现对源头业务生产系统数据采集到数据中心的事务作业及作业进程进行监控告警；另一方面，实现对数据服务各环节相关数据流转过程进行监控，并对数据流转过程作业引发的问题能及时快速作出影响分析、告警，并以可视化界面快捷友好展现作业运行情况及异常问题点，快速发现问题、解决问题，从而为有效支撑各应用及时发现问题、及时解决问题提供有力保障。

1 平台总体架构与技术架构设计

1.1 平台总体架构设计

基于电力数据中心数据流转的可视化平台总体框架，如图1所示。

图1 平台总体框架

平台主要包括源数据层、数据采集层、数据存储层、应用服务层和用户层[3-4]。

用户层：数据资产运营管控平台系统的用户，实现访问控制。

应用服务层：数据资产运营管控平台系统部署在该层，实现监控指标的展示和系统的管理功能。

数据采集层：将源数据加工为指标数据，实现指标数据收集和指标数据计算的功能。

数据存储层：存储计算后的指标数据。

源数据层：数据资产运营管控平台的基础数据来源，包含：(1) 数据资产管理子工具的数据，如资产清单，资产申请单等。(2) 大数据平台的各指标数据，如平台CPU、内存、存储使用量等。(3) 各组件作业运行信息的数据，如Workflow调度工具的作业信息和作业运行信息，Ogg数据同步工具的任务信息和任务执行信息等。

1.2 平台技术架构设计

电力数据中心数据流转可视化平台的技术架构，如图2所示。

图2 技术架构图

可视化平台主要包括展示层、应用层、模型层和基础层。(1) 展示层[5]：前端框架采用Vue 2.6.10 + ElementUI 2.13.2 + Echarts 4.8.0。(2) 应用层：应用层框架采用SpringBoot 2.2.4 + Mybatis 3.3.1 + Quartz 2.3.0 + Druid 1.1.13，集成短信告警服务，使用AOP技术实现系统日志服务，应用层是由具体实现各种业务逻辑的类实现的，这些类必须实现框架指定的接口方法，主要功能是完成用户实际的业务功能。(3) 模型层：使用UDM建模思想进行数据建模[6]。(4)基础层：支撑UDM模型落地，完成应用层的数据交互。

2 可视化功能模块设计

为实现电力数据中心数据流转的可视化，可视化功能模块设计如图3所示。

图3 可视化功能模块图

模块主要包括：数据中心大屏展示模块、应用监控模块、数据监控模块、作业监控模块、专项监控模块、租户监控模块、平台监控模块和系统运维管理模块。

图3中，各模块主要功能如下。(1) 数据中心大屏显示模块：以可视化图形方式显示数据中心的运转情况：包括接入的数据源、接入作业、数据中心各层级表、数据中心各层级加工作业、数据服务接口数及数据服务接口加工作业[7-8]。(2) 应用监控模块：使用表格和图形方式展示大数据中心和非大数据中心应用各项指标。(3) 数据监控模块：使用表格和图像方式展示数据资产各项指标、数据接入表数量和作业数等指标、数据服务各项指标、数据质量各项指标和数据质量检查规则运行情况等。(4) 作业监控模块：使用表格和图像方式展示作业运行汇总指标、ETL作业各项指标和异常作业处理等。(5) 专项监控模块：使用表格和图像方式展示元数据各项指标。(6) 租户和平台监控模块：主要展示租户和平台的各项指标，并进行租户和平台切换查询。(7) 系统运维管理模块：主要进行用户管理、调度管理、Excel导入、菜单管理、字典管理、角色管理、定时任务、日志管理和流程管理等[9-10]。

3 数据中心可视化设计

3.1 数据流转图

数据中心数据流转图如图4所示。

图4 数据流转图

首先，通过采集设备(电表、终端设备等)采集原始数据并进行二进制预处理[11]；接着，将预处理之后的数据库文件分别传送给大数据平台、服务总线器和计量自动化平台等，通过估算、精算、数据和分析将产生的指标数据下发给各个数据平台进行生产运营分析、配网决策分析、电费异常分析、大客户管理分析和输电线路监测分析等[12-13]。

3.2 数据中心整体流转图

数据中心整体流转图，如图5所示。

图5 数据中心整体流转图

用户可选择源头业务系统下拉框进行单个业务系统整体流转监控，通过日期选择器切换日期进行查询不同日期的作业运行情况，点击表个数跳转至当前源头业务系统或数据中心层级表详细信息，点击作业数跳转至当前接入工具或加工层级作业运行信息，优先展示失败作业。

4 应用实例与创新点分析

4.1 应用实例

选择中国南方电网为研究对象，重点展示其应用监控模块内容，其应用总览和重点应用监控分别如图6、图7所示。

图6 应用总览图

图7 重点应用监控图

图6中，可以显示应用分布情况、部分应用分布情况、访问总数TOP10、资产申请总数TOP10和上月新增资产申请TOP10等。

图7中，作业总数：截止当前时间，统计数据中心为重点应用服务所部署的作业总数，点击作业总数可跳转到作业明细页面。成功数：截止当前时间，统计数据中心为重点应用服务所部署作业中成功执行的作业总数，点击跳转可以跳转到当天执行成功的作业明细页面。待执行：截止当前时间，统计数据中心为重点应用服务所部署作业中等待执行的作业总数，点击跳转可以跳转到当天待执行的作业明细页面。执行中：截止当前时间，统计数据中心为重点应用服务所部署作业中正在执行的作业总数，点击跳转可以跳转到当天正在运行的作业明细页面。失败：截止当前时间，统计数据中心为重点应用服务所部署作业中执行失败的作业总数，点击跳转可以跳转到当天运行失败的作业明细页面。关联工单数：根据作业、应用关联流程管理的未完成工单总数。访问数：应用系统的访问总数。

4.2 创新点分析

电力数据中心数据流转可视化的主要创新点如下。(1) 以电力数据中心实际需求为基础，将可视化和电力数据中心管理有机地结合起开，进行了针对性设计，将图像与数据库技术结合起来，提高了查询效率和数据处理速度；(2) 将可视化与数据库技术结合，实现外部数据的可视化拉取；(3) 为提高系统的安全性，设计出了账号、角色和设备组的三级综合管理方式；(4) 针对用户的不同需求和习惯差异，提供了灵活的配置需求。

5 总结

随着电网规模的扩大，电力数据中心呈现规模化和复杂化，电力数据中心的管理难度急剧增大，对电力数据中心数据流转进行可视化管理成为电力行业当前研究的一个重点问题。本研究对电力数据中心数据流转进行了可视化研究，实现了电力数据中心数据流转的高效查询和处理，具有很强的数据集成能力和数据展示能力，接口灵活开放、可以根据用户的个性化需求进行个性化配置，为电力数据中心可视化研究提供了新的参考。