Hadoop框架在电力大数据平台中的运用分析与研究

刘凯+高志娥+薛艳锋

摘要

文章首先对Hadoop框架及其优势进行简要阐述，在此基础上对Hadoop框架在电力大数据平台中的运用进行论述。期望通过本文的研究能够对促进电力大数据平台的完善有所帮助。

【关键词】Hadoop框架 电力系统 大数据平台

1Hadoop框架及其优势

Hadoop即海杜普，其归属计算机程序的范畴，是由阿帕奇（Apache）基金会研发的分布式系统架构。Hadoop框架的核心设计为分布式文件系统（HDFS）和映射规约（MapReduce），前者为海量数据提供了一个良好的存储环境，后者则为海量数据提供了计算。Hadoop是软件框架，它可以对大量数据进行分布式处理，这种分布式的处理方式，使Hadoop具有了如下特点：

1.1可靠性高

Hadoop可以按位对数据进行存储，在数据处理方面的能力非常值得人们信赖，由此使其具备了较高的可靠性，并在多个领域中得到广泛应用。

1.2良好的可擴展性

Hadoop能够在可利用的计算机集簇间对数据进行分配，并准确完成相应的计算任务，这些可以进行利用的集簇能够扩展到数以千计的节点当中，在此基础上，使Hadoop具备十分良好的可扩展性。

1.3容错性高

对于计算机程序而言，容错性的高低关系到程序的可用性，容错性越高的程序，可用性就越强。Hadoop可对数据的多个副本进行自动保存，并能对失败的任务进行重新分配，这样即使发生错误，也基本不会造成太大的影响。

1.4高效性

在节点之间，Hadoop能够对数据进行动态地移动，在这一过程中，可以保证各节点的动态平衡，正因如此，使其具备超快的处理速度。

1.5经济性

与各种数据仓库和数据集市相比，Hadoop为开源软件，它的应用成本相对较低，有助于经济效益的提升。

在数据提取和加载方面的优势使Hadoop在大数据处理中获得了非常广泛的应用，其所采用的分布式架构使大数据处理引擎与存储之间的距离变得越来越近，类似于加载的批处理结果能够直接走向存储。鉴于Hadoop所具备的上述优点，下面对其在电力大数据平台中的运用进行分析。

2Hadoop框架在电力大数据平台中的运用

随着我国电力体制改革进程的不断加快，推动了电力事业的发展。2002年末，中国最大的电网企业国家电网公司正式成立，由此使我国的电网运行与经营走上了正轨。由于国家电网公司的用户数量较多，加之资产的规模比较大，并且在电网运行过程中还会产生出大量的数据信息，为提高公司的业务处理效率，必须对电力大数据进行有效地处理。为实现这一目标，可基于Hadoop框架对电力大数据平台进行构建。图1为该平台的基本功能架构。

由图1可以清楚的看出，该平台的功能架构由五个层次组成，采用Hadoop框架，为平台提供数据存储与计算能力，通过Hadoop框架中的HDFS核心组件，可以分布式的文件存储，对采集到的非结构数据，如音视频、图片、文档等进行存储。映射规约（MR）除了可以实现批量计算之外，还能对批量数据进行离线分析，并将结果直接缓存在磁盘当中。

2.1Hadoop框架的建立

在对Hadoop进行建立前，需要做好相关的准备工作，具体包括如下内容：安装大数据平台并在服务器上生成相关证书，然后将之Copy到其它节点，对知识库进行配置，设置IP地址，启动Http服务，将IP地址修改成知识库服务器地址，并上传到任意一台服务器当中，通过复制的方式安装到所有服务器当中。

准备工作完成之后，应当新建一个Hadoop集群，具体方法如下：登录到大数据平台当中，进入集群管理点击安装部署，按照提示的步骤进行相关操作，在安装时，组件服务器的地址应当为yum资源中的IP地址。在对主机节点进行批量添加时，只有存储和计算这两个节点能够同时与多台服务器相对应，其它的节点则只能与某一台服务器相对应，需要特别注意的是，在该平台中，只能对存储和计算节点进行增加。

2.2具体应用

图1：电力大数据平台功能框架结构示意图

2.2.1在电力检修策略优化中的应用

可利用数据挖掘技术，构建起电力设备状态评价模型，通过对数据的在线监控，可完成对故障的自动识别，再与相关数据进行关联后，能够快速找出故障形成的主要原因，为检修人员提供准确的信息，从而实现优化检修策略的目标。

2.2.2在用电行为分析中的应用

在影响电力系统运行的诸多外在因素中，气候变化是一个较为重要的因素，雨雪风暴等恶劣天气，会对电网的正常运行带来不利影响，严重时可能会造成电力设备故障甚至损坏，由此会对用户的用电行为造成影响。借助电力大数据平台，构建基于用户和设备的信息数据，并结合气象数据，对影响用电行为的气候变化情况进行分析，由此可为电网规划提供可靠的依据。

3结论

综上所述，Hadoop框架以其自身所具备的优点，在诸多领域中得到应用。本文基于Hadoop框架建立电力大数据平台，通过该平台除可以对电力检修策略进行优化之外，还能对用户的用电行为进行分析，有助于推动我国电力事业的发展。

参考文献

[1]刘伟娜，董娜，LiuWeina.Hadoop框架在电力大数据平台中的应用[J].河北电力技术，2017（02）：35-38.

[2]岳阳，张晓佳，高一丹.基于Hadoop的电力大数据技术体系研究[J].电力与能源，2015（01）：16-20.

[3]王军，韩林峰，侯宾.基于Hadoop和关系型数据库的电力用采大数据混合服务架构[J].电子技术应用，2015（zl）.endprint