分布式计算技术在电网计量运行数据分析中的应用研究

杨茗 王雷 刘斌 王轶

摘 要：智能电表及低压集抄改造是深化电力体制改革和互联网时代背景下，打造智能电网，实现电力营销精益管理的必然要求。随着省级计量自动化系统的应用深入，针对计量运行数据的深化应用是实现计量精益化工作的重点，而计量采集数是按分钟级进行采集存储，数据维度广、采集频率高、数据存储量大，通过传统的分析方式无法完成如此大量而复杂的数据分析工作。本文提出通过构建分布式计算技术，解决目前计量运行数据分析中的技术难题。

关键词：分布式计算;数据分析;计量运行数据

中图分类号：TM73 文献标识码：A 文章编号：1671-2064（2019）03-0146-02

0 引言

随着数字化电网及移动通信网络的发展，要求电网发展向更加智能、高效、可靠、绿色方向转变，企业管理向精益化方向转变，同时结合目前电力体制改革和互联网+战略的发展诉求，对电网企业电能计量业务提出了更高的要求。目前电网计量业务朝着省级集中方向发展，实现全省计量业务的统一化、规范化、一体化开展，在支撑电网常规计量业务开展的基础上，进一步需要开展针对计量运行数据的深化应用分析，提升电网企业在计量故障识别、数据采集率、实时线损、停电准确性等方面的深化应用。

1 计量运行数据分析现状

目前计量数据涵盖电力负荷、厂站电能量、配变监测、低压集抄不同维度的数据，涵盖数据范围包括：电压、电流、潮流、表底、功率因素等不同数据，历史数据存储了几年以上，需要把“沉睡”的数据变为有价值应用。计量运行数据具有如下特点：

（1）数据量大：计量自动化系统目前涵盖电力负荷管理、厂站电能量采集、配变监测、低压集抄四类数据，计量点数量多，采集的数据类型包含：电流、电压、表底、功率因数等不同维度的数据，数据采集周期比较短，加上计量自动化系统上线运营的时间比较长，已经积累了几年的历史数据，数据量极大。（2）数据变化快：系统每天都会产生业务归档数据，计量数据采集频率较高，不同类型的数据时刻在发生着变化，即使同一只计量设备的数据，也随着电网的运行时刻发生着变化。（3）數据维度广：计量自动化系统涉及到电压、电流、潮流、表底、功率因素等不同数据，不同维度的数据存储结构复杂多样，存储字段类型多。

目前电力企业已经进行了一些有益尝试。例如，建设基于数据中心的数据资源管理平台，围绕数据采集、存储与计算相关技术，完成初步技术探索，大幅提升了数据治理效率，显现出良好的应用效益，不仅使得分析效率提升数倍，还将硬件成本降低了50%以上，为后续构建企业级大数据平台奠定理论基础。

2 基于分布式计算技术的分析

2.1 分布式计算技术简介

分布式计算是一种计算方法，和集中式计算是相对的。有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。

2.2 基于lts+zookeeper的分布式分析框架

（1）LTS分布式任务调度。LTS（light-task-scheduler）是一个轻量级分布式任务调度框架，参考hadoop的部分思想。有三种角色，JobClient，JobTracker，TaskTracker。各个节点都是无状态的，可以部署多个，来实现负载均衡，实现更大的负载量，并且框架具有很好的容错能力。（2）Zookeeper分布式应用协调。ZooKeeper是一个分布式的开源的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。

如图1所示，计量数据分析任务可以向所有集群组提交，也支持向单个群组提交，例如：表码分析任务比较大，可以配置让所有集群组参与计算;亦可以根据业务规模估算任务与集群组处理的配置关系，比如：末端停电用户分析任务需要快速处理，可由单独的集群组进行计算处理。

2.3 基于Mycat+Mysql的分布式存储

（1）Mycat数据库中间件。Mycat是基于阿里开源的Cobar产品而研发，具有Cobar的稳定性、可靠性、可扩展等优秀特点。它核心原理就是拆数据，将一个张表的数据通过某个字段进行水平拆分后存到多张表中，如图2所示，通过路由字段去不同的数据库中查询数据，同时也存在一定缺陷，那就是查询语句中如果没有路由字段Mycat将不知道该数据在那个分片数据库上，会查询所有的分片，在返回结果给客户端。

（2）Mysql数据库存储。MySQL是一个关系型数据库管理系统，由瑞典MySQL AB公司开发，目前属于Oracle旗下产品。MySQL是最流行的关系型数据库管理系统之一，在WEB应用方面，MySQL是最好的RDBMS（Relational Database Management System，关系数据库管理系统） 应用软件。MySQL所使用的SQL语言是用于访问数据库的最常用标准化语言。MySQL软件采用了双授权政策，分为社区版和商业版，由于其体积小、速度快、总体拥有成本低。

如图3所示，通过分布式任务分析后的结果数据，基于Mycat进行数据路由，实现不同地区、月份的数据进行分布式存储，解决海量数据的分析及存储压力。并根据业务数据的访问效率，对于只做查询的数据进行历史表存储，实现读写分离，解决数据查询访问效率。

3 计量运行数据分析应用效果

针对计量运行数据量大、数据变化快、数据维度广的特点，构建分布式计算框架，实现海量数据的分布式分析计算，有效地提升计量业务的精益化管理水平，开展针对电量、功率、电压、电流、负载率、线损、停电等相关业务的精益化分析，提升电网运行管理能力。如图4所示，基于计量日冻结表码，每天进行台区线损的计算，实现台区线损的跟踪分析，针对有异常的台区进行跟踪处理[1]。

图5所示，基于日冻结表码数据，实现对用户日均用电情况的跟踪处理，辅助电网企业进行电量波动、电力现货交易、窃电等分析工作[2]。

4 结语

通过对分布式计算技术在计量运行数据分析中的研究，实现对海量计量数据的分析挖掘，实现客户日用电情况分析、异常数据监控等深度应用，使数据的价值得到最大程度的发挥，突破目前计量数据仅仅停留到表底采集的功能应用，把计量运行“沉睡”的数据盘活，提升电网企业计量业务的精益化管理水平，提升电网企业营销业务管理能力。

参考文献

[1] 高源晴.分布式计算在电能量计量系统中的研究与应用[J].科技资讯，2013（9）：8.

[2] 衡星辰，周力.分布式技术在电力大数据高性能处理中的应用[J].电力信息与通信技术，2013（9）：40-43.