云计算大数据处理技术在智能电网中分析与应用

徐高翔　黄勇达　赵卓

【摘要】大数据是信息时代的重要产物，在智能电网运用中融入大数据，正确掌握大数据的关键技术，能有效推动电力行业的可持续发展以及坚强智能电网的建设。基于此，本文首先分析电力大数据平台的总体架构以及电力大数据平台架构与电力系统数据流的结合点，然后以此为基础，从集成管理技术、数据分析技术、数据处理技术和数据展现技术四方面分析智能电网运用中的电力大数据关键技术。

【关键词】电力大数据；关键技术；智能电网

1、电力大数据平台总体架构

电力大数据平台总体架构如图1所示，此架构具备一定通用性，适合规划电力企业的大数据。此架构的存储框架是以Hadoop文件系统为基础的分布式文件处理系统，处理框架是以Map Reduce为基础的分布式计算技术。分别以分布式文件处理技术和计算技术为基础，使PB和ZB级的数据存储和查询分析成为可能。此外，此框架还包括传统的数据仓库、大数据调度框架、网络层、操作系统以及数据备份与恢复等模块。

电力大数据平台总体架构应该和电力系统里来源广泛的数据流结合，催生实际的产业应用。电力系统作为复杂的高维非线性系统，内部包括信息流、气象流、电力流等多种数据流向。图2是以电力系统总体平台架构为基础的电力企业商业应用和电力系统内部数据流的可能结合点，包含发电、输电、变电、配电、用电等多个环节的负荷控制系统、电能计量系统、管理信息系统、风电光伏功率预测系统、监测控制及数据采集系统等。

2、智能电网运用中的电力大数据关键技术

2.1集成管理技术

电力企业数据集成管理技术就是将两个及其以上的应用系统数据合并起来，创建出功能更多的企业应用。就集成角度而言，就是在存储介质或是逻辑上将各种来源、性质、特点以及格式的数据集中起来，为系统存储各种面向集成的、主题的、较为稳定的以及能呈现历史变化的数据集合，确保系统数据共享的全面性。

电力大数据集成管理技术包括数据抽取技术、关系型及非关系型数据库技术、数据过滤及清洗技术等多种技术。多样性是大数据的显著特点之一，这就决定了其数据来源的广泛性和数据类型的复杂性，也给大数据的处理带来了很大挑战。要处理好大数据，首先就要抽取并集成数据源数据，从中罗列出实体与关系，经过关联与聚合处理后再用统一结构保存这些数据。在集成与提取数据时要做清洗处理，确保数据的质量和可靠性。

2.2数据分析技术

大数据技术的根本驱动力就是实现信号到数据的转换，先把数据转化成信息，再把信息转化成知识，通过知识实现决策与行动。利用电力大数据分析技术可在海量电力系统数据中找出隐藏的规律和模态，给决策人员提供支撑。相较于传统逻辑推理研究，大数据研究是对海量数据进行统计性的搜索、比较、分类等处理，所以延续了统计科学的某些特点，如统计学关注的数据关联性或是相关性（相关性即指两个及其以上变量的取值间存在一定规律性）。做相关性分析主要是为了找出数据集里潜在的关系网，通常用可信度、支持度等参数进行反映。

就根本来说，电力大数据分析技术是传统数据挖掘技术在大量数据挖掘下的新发展。但因为大数据具有量大、增长快、种类多的特点，除了包括结构化数据还包括半结构化数据与非结构化数据，所以很多传统的数据挖掘方式已经不能满足需求。大数据环境下的数据挖掘和机器学习算法可从以下三点入手：一是从大数据治理、抽样及特征选择着手，把大数据转变为小数据；二是实施大数据下的分类算法、聚类算法研究；三是实施大数据并行算法，把传统数据挖掘方式做并行化处理后再运用到大数据知识挖掘中。

2.3数据处理技术

电力大数据的数据处理技术主要有三种，即分布式计算技术、内存计算技术和流处理技术。其中，分布式计算技术主要负责大规模数据的分布式保存和处理；内存计算技术主要负责高效读取数据以及处理在线的实时计算；流处理技术主要负责对实施到达以及规模与速度不受控制的数据进行处理。

分布式计算技术属于新的计算方式，主要研究怎样把需要强大计算能力解决的问题分解成多个小块，再将小块分配给多个计算机进行处理，最后综合处理结果即为最终结果。分布式计算技术的典型代表就是谷歌公司推出的Map Reduce编程模型。此模型先分解需要处理的数据，将其分配给多个Map任务区进行处理，然后根据键值保存到本地硬盘，接着在用Reduce任务根据键值汇总结果，最后输出最终结果。分布式计算技术适合在电力系统中采集大规模分散数据源时使用。

内存计算技术就是把所有数据都放在内层里操作，此技术解决了对磁盘读写操作时耗时量大的问题，计算速度也得到大幅度提升。内存计算技术的迅速发展与广泛运用得益于大数据浪潮的来临以及内存价格的降低。EMC、SAT以及甲骨文都相继推出了内存计算解决方法，把以往客户需要以天作为时间计算单位的业务缩减至以秒作为时间计算单位，有效解决了大数据知识挖掘以及实时分析的问题。

流处理技术就是把海量的数据组看作是流，当新数据出现时就即可处理然后返回结果。流处理技术的根本理念就是随着时间流逝数据价值会逐渐减少，所以要尽快处理新数据，得出结果。流处理技术的运用场景主要是金融里的高频交易、网页点击里的实时统计等。随着电力事业的不断发展，电力系统数据快速增长的同时对数据的实时性标准也逐渐提升，在电力系统中运用流处理技术能给决策者提供实时依据，满足数据的实时在线分析要求。

2.4数据展现技术

电力大数据数据展现技术主要包含3种，即可视化技术、空间信息流展示技术以及历史流展示技术。这3种技术从不同层面对电力大数据的数据展现技术作了诠释。利用数据展现技术可以帮助管理者更直接准确地理解电力系统数据要表达的含义，更全面地掌握电力系统的运行情况。

可视化技术主要在电网状态实时监控中运用较多，能有效提升电力系统的自动化运行水平。未来，可视化技术还可以与复杂网络环境里的有关理论相结合，并在电网自动布点、自动分层、自动分区等方面做进一步研究，更深入挖掘电网的联系与规律。

空间信息流展示技术包括变电站三维展示技术、虚拟现实技术等，主要应用在电网参数和已有地理信息系统的结合上。有机结合电力配电设备管理和地理信息系统，能帮助管理者更清晰的掌握设备情况，为决策提供及时、有效的地理信息。空间信息流展示技术可在变电站工程设计中使用，能有效节省资源、时间和成本，给电力企业创造高效益。

历史流展示技术主要在管理和展示电网历史数据中体现。在电力系统里通常都是以历史数据为基础进行深入应用分析。利用历史流展示技术，可根据生产现场实时监测数据以及电网规划、负荷预测数据绘制出相应的数据发展趋势图和走势图，还能模拟重大历史事件的发生和演变过程，更全面挖掘历史事件隐藏的规律和知识。

3、结语

综上所述，在提倡发展低碳经济以及信息网络技术迅猛发展的今天，智能电网的建设是必然趋势。在智能电网运用中的电力大数据关键技术主要包括集成管理技术、数据分析技术、数据处理技术和数据展现技术四种。本文重点对这四种技术进行了分析，得出四种关键技术均在智能电网中发挥了重要作用，实现了电网里海量数据的及时采集、分类、比较和处理。不可否认，电力大数据的四种关键技术有效弥补了传统数据处理方式的不足，提升了电网数据的处理质量和效率，为电力企业节省更多成本、创造更高效益，同时也有效提升电力企业的管理水平。

参考文献

[1]陈楷.电力大数据分析技术中云计算的应用[J].信息化建设， 2015（9）.

[2]宋亚奇，周国亮，朱永利.智能电网大数据处理技术现状与挑战[J].电网技术，2013（4）：927-935.