基于统一模型的电网大数据存储与分析服务平台的实现

张锐 赵瑞锋 王海柱 郭文鑫

摘要

随着电网信息化系统建设规模的不断扩展，不断积累的电网运行数据呈现异构特征和海量化特征，本文依托大数据技术，提出一种新的调度大数据统一存储架构，实现海量分布异构数据统一建模、高性能统一分析的目标，并且具有良好的可拓展性和兼容性。

【关键词】统一模型 海量分布异构 存储架构数据分析

随着电网技术的不断发展，信息化水平的逐步提升，电网各类数据持续增加，数据不断积累并呈现出海量化特征，同时电网数据呈现出明显的分布异构特征。面对海量分布异构的数据，亟待依托大数据分析技术提升电力调度运行数据的潜在价值，但是在实际应用过程中，存在以下问题：

（1）分布异构数据难以统一建模、统一分析的问题;

（2）海量数据背景下，高性能分析及可拓展性的问题;

（3）人机交互与电网运行人员严重脱节及知识共享的问题。

本文以实现分布异构数据统一建模、高性能统一分析为目標，研究分布数据整合、异构数据统一建模、高性能计算等相关技术，依托大数据技术，提出一种新的调度大数据统一存储架构，支持海量分布异构数据统一分析的大数据软件平台，实现海量分布异构数据统一建模、高性能统一分析的目标，并且具有良好的可拓展性和兼容性。同时，将业务人员深度使用数据进行数据分析所积累的经验逐步形成共享的知识平台，将为电网业务运行提供良好的支撑作用。

1 系统架构

大数据存储和分析技术是新一代电网调度运行数据分析系统的基础，也是大数据在电网调度业务深度挖掘的关键因素，其应用架构如图1所示。

基于大数据技术，实现具有复杂数据分析能力的时序数据库，系统具有高度可拓展性，支持任意时间维度、复杂数据分析，支持BIGTable技术，实现测点无限列，提高系统易用性基于Web行业算法管理工具与知识管理平台，业务人员摆脱IT人员，深度使用数据分析，支撑电网调度业务。

2 关键技术

2.1 基于统一模型的数据存储与分析

电网调度业务数据来源于多地，物理分散广泛，并且不同源数据的异构性很大，包括存储结构、硬软件支持平台、业务模型等多方面的异构性。传统数据库自身局限性导致数据存储模型与前端语义模型的不一致，业务人员在进行数据分析的过程中，不可避免需要借助IT技能进行相应的数据分析支撑业务。鉴于此，本项目实现了前后端业务与数据存储的统一，以CIM模型所定义的业务语义作为数据分析的直接入口，使业务人员无需过多借助IT技术，采用可视化的方式定义数据统计分析过程，支持业务决策，消除业务人员使用数据分析的人机交互障碍。

结合大数据技术特点与电力系统对象特征，基于CIM规范的调度数据存储模型以及异构数据存储模型统一建模方法，构建一种基于CIM的统一电力系统数据模型，支持面向业务人员的数据分析，弱化业务人员对IT技术的依赖。

2.2 高性能大数据存储与分析

目前的调度海量数据分析性能和可拓展能力瓶颈主要在于传统技术难以同时兼容OLTP和OLAP场景，无法满足统一模型、统一存储场景下统一数据分析。随着近些年来大数据技术的迅猛发展，尤其是分布式内存计算技术的引入，可以完美解决两种分析场景对于系统I/O的不同需求，向量计算以及GPU计算硬件的引入可以满足两种场景下计算性能的需求。

基于电力行业CIM模型，结合大数据BigTable模型，兼顾海量数据存储与分析效率，实现基于大数据平台的统一建模。借鉴主流大数据技术，结合调度业务需求，提出面向调度运行数据特性的大数据统一存储与分析平台架构设计，实现OLTP与OLAP数据分析场景的融合，解决目前大数据平台技术局限性带来的数据分析性能和可拓展性瓶颈。

2.3 电力应用商店

基于大数据技术的电网应用商店具备电力行业算法库、电网调度专业模块的管理功能，基于行为推荐和基于内容推荐结合成推荐模型，实现调度业务模型与知识横向共享，加速业务部门之间协同与数据支撑业务的升级。同时，结合微服务架构，基于电网数据分析接口规范，促进业务功能建设在不同业务系统建设的共享，避免相同业务功能的重复投资。

面向调度业务的数据分析应用商店，形成一套应用功能管理、发布和使用机制，实现电网调度运行数据分析的省地横向业务部门之间经验及知识共享与管理，通过知识传播提升数据分析水平与效率，通过知识复用降低数据分析成本，不断积累为业务运行提供持续推力。从根本上解决了目前调度业务海量数据管理与分析系统的性能与可拓展性瓶颈，填补了电力行业业务人员数据分析接口标准的空白，推动了横向业务部门之间数据分析经验共享和协同。

3 总结

通过本项目的研究和工程示范，将电网调度运行数据分析领域采用的传统关系型数据库模式变革为基于大数据的数据共享平台，保障广东电网全面安全运行，满足电网全面、实时的安全预警的要求。

参考文献

[1]丁兆明，杜学军，王治平，胡捷.大数据存储和分析技术应用及标准化[J].信息技术与标准化，2013.

[2]葛磊蛟，王守相，瞿海妮.智能配用电大数据存储架构设计[J].电力自动化设备，2016.