电力企业中大数据平台的应用

文/张伟剑 刘伯宇 张庆奇

现阶段，电力企业能源需求量、使用量较多，怎样对庞大的数据信息集中管理成为企业重要研究内容。基于大数据平台下，借助先进技术挖掘数据价值为电力企业提供决策帮助、节约经济投入、实现经济效益最大化。

1 大数据平台概述

常见大数据平台应用有Hadoop,属于处理大范围数据软件平台。Hadoop能够储存丰富的数据信息，具有成本低、高效的优势，即使对分布式底层细节不了解也能够开发分布式程序，分为HDFS与MapReduce。其中，HDFS有着高容错性特征，应用在硬件程序中能够提供高吞吐量访问程序数据，适用于大数据集的程序。而MaReduce属于编程模型，主要应用在大范围数据集的运算。大数据平台的应用为人们分布式并行编程提供了便利，把程序运行在分布式系统中。现阶段，软件实现指的是既定映射函数用于将一组键值对映射成一组新的键值指定并发的归约函数，确保映射的键值对共享相同的键组。HDFS能够兼容庞大的数据信息资源，MapReduce为海量的数据提供了计算功能。开源技术Hadoop具有分布式存储系统，利用MapReduce技术有助于提高计算效果。不过，真正的存储计算结果需要与业务系统融合应用。大数据平台有着高稳定性、扩展性、高效性特点，Hadoop可以在不同节点间移动数据并确保节点平衡，所以效率较高。

2 电力企业大数据的应用重要性

电力企业电网结构复杂，每天都会产生大量的信息资源，电力企业进行数据研究得到了重视。经过对大数据技术的分析和企业数据情况提出电力大数据，其中包含生产类信息与管理类信息，如：配电、用电、调度等。其影响主要集中在几方面：

（1）把各项数据作为电力企业重要资源，深入分析挖掘数据潜在价值采取有效的管理手段，实现管理形式与商业模式的创新。常见应用有配网精细化管理、业务运行监督、用电信息增值业务等。

（2）大数据融入电网发电、输变电、调度、配电等多过程，进一步完善了电网生产形式，提高生产水平从而促进智能电网发展。常见应用如：电力荷载检测、智能变电站等。另一方面，在其他领域中电力信息化也包含了众多复杂的信息，例如：安全设备、网络设备、主机设备等，衍生出复杂的数据信息。因此，想要对海量的数据信息进行有效的管理就要借助大数据平台，才能有序、高效的分析与处理数据，更好的挖掘潜在价值。

3 电力企业大数据平台应用方法

3.1 数据价值分析

电力企业大数据研究与挖掘的根本目标是结构化与非结构化信息，有效处理复杂的数据信息与结构调整。现阶段，电力企业数据主要集中于小数据集计算，因为随着大数据时代的发展，大数据计算结构仍未实现全范围应用，传统的数据挖掘计算周期较长。而应用小数据集的数据挖掘操作，稳定性低于庞大数据的挖掘结果，如：HadoppHDFS、HBASE的快速访问、Spark的分布式访问和计算、Sparkmllib的统计、计算、研究、Mahout的学习，借助大数据平台进行数据统计、挖掘、分析。

3.2 实时计算

实时计算在大数据应用中扮演着重要角色，电力企业实时数据包括设备运行参数、运行环境指标、客户实时需求等，其数据价值在初期形成时最大。同时，数据开始出现时，移动、计算、应用也是价值最大化的体现。因此，电力企业大数据要重视实时计算场景的运用，企业积极转变实时计算框架成为当务之急，比如：电厂中运行按秒、分钟的形式搜集；数据搜集后发送实时计算框架。框架内，把搜集的参数用在数据挖掘与数据模型中，进行设备异常状态监督、故障预警、状态评估。实时计算后，保留初始数据后继续挖掘有价值的数据再重新使用生成自相似的结构形式。所以，电力企业实时计算需要加大对分布式内存计算研究。

3.3 大数据平台应用过程

以某电力企业为例，对大数据平台应用过程展开分析，平台的核心功能是统计相关资料信息内数据出现的频率。准备1台主机、8台从机，创建9个节点的小型集群。经过创建的集群从客户服务中心导出工单统计，根据运行结果可以看到，大数据平台Map的时间约4786ms，Reduce时间是4536ms。统计后得出：导出的事件工单文件出现次数最多的事件有计算机（474次）、生产管理（450次）、协同办公（378次）、ERP（2812次）、目录系统（320次）。通过大数据平台能够精准的统计文件内频率出现最多的字段。

3.4 一体化发展

电能源作为我国基础能源，与我们生活、工作有着密切联系，也是国家建设发展重要环节。在当前大数据的快速发展中，大数据平台得到了电力企业的重视和应用，提出了促进大数据全面融合理念、创新经营模式，实现企业整合发展。尽管计划集成平台，而实质上则是大数据平台下的数据分析、搜集、集成。由庞大的数据信息框架、集成方法对促进电力企业建设发展有着重要作用，是实现一体化方式的重要路径。

4 结语

综合分析，伴随着电力事业的飞速发展，用电需求的增加，企业怎样对复杂庞大的数据资源进行有效的整合、储存、分析成为主要研究内容。该过程中，大数据的到来为企业数据管理提供了契机，借助大数据平台进行数据管理、数据挖掘、数据搜集有助于提升电力生产水平、管理效率，帮助电力企业在激烈的竞争中占据优势，早日实现大数据战略发展，为电力事业各环节建设提供技术指导与有效的处理方案。