基于Hadoop的数据中心在电力企业的应用研究

孟椿智+谢瑞浩

摘要：传感器、物联网、云计算等技术的发展和改进，有效地促进了电力企业智能化、信息化和共享化，引入或研发了许多的自动化系统，比如电力控制系统、变电站告警系统、电网监控系统等，这些系统运行积累了海量的数据资源，亟需引入更加先进的Hadoop技术构建数据中心，确保对电力企业数据的分布式、透明化、虚拟存储和访问，进一步提高系统处理速度。

关键词：Hadoop；数据中心；电力企业；智能监控

中图分类号：TP311 文献标识码：A 文章编号：1007-9416（2017）11-0048-01

1 引言

云計算、互联网等技术的发展促进了人们进入到大数据时代，海量应用软件运行积累了数以亿计的数据资源，因此构建一个强大的数据中心，可以为用户提供一个高速并发的处理机制，实现数据的操作和服务。随着电力行业的发展和改进，实时监控、应急通信、电力故障及维护等领域引入了许多的信息化、智能化软件，这些软件可以为电网设备数据采集、通信传输、决策服务等提供强大的支撑，具有重要的作用和意义[1]。随着人工智能的发展和普及，电力企业将会引入虚拟现实、增强现实、机器学习、模式识别等技术，构建一个基于移动终端、平板电脑、服务器的先进大数据中心，组成一个强大的智能电网，提高电力企业的智能化水平，保证电力网络的正常运行[2]。

本文详细地描述了电力企业数据中心功能，提出利用Hadoop技术实现数据中心操作，分析了Hadoop分布式存储技术，利用MapReduce构建一个计算引擎，能够实现对电力数据的分布式管理，整合了硬件基础平台，融合分布式存储资源，实现信息操作和服务。

2 电力企业数据中心功能及应用分析

电力企业经过多年的发展，构建一个强大的数据中心，能够实现数据采集抽取、清洗转换、加载存储、数据应用，能够实现数据可视化显示、标准化体系建设，实现信息加工和服务。数据采集抽取功能可以从电力设备、电力线路等一系列软硬件系统中获取数据资源，采集到设备运行记录、电力事故记录、供电信息以及系统运行日志信息，将这些信息保存到数据仓库。清洗转换可以针对采集到的电网数据进行分析，利用归一化方法实现对数据的清洗转换，删除许多的噪声数据或无用数据[3]。加载存储由两个关键程序组成，数据中心设计和建设完成之后，可以将数据装载到中心存储器，数据加载存储需要大量的时间进行装载操作，能够为用户提供一个强大的数据加载引擎，按照变动的操作实现信息加工。数据应用可以针对中心的数据进行加工，并且为用户提供一个报表撰写、存储加工、分析应用和直接查询的操作，将这些操作流程通过后台进行分析，具体的数据应用包括后面才两个非常关键的环节，首先数据需要以维度的模式展现出来，实现信息加工、存储和访问；其次，数据中心需要涵盖原子数据，利用原子数据构建强大的操作流程，否则就不会造成数据的维护操作[4]。

在建设数据中心的过程中，为了保证电网数据的可用性，还要引入更多的标准体系，以便能够规范数据接入标准，保证应用数据是规范的，同时还可以实现数据可视化，这样就可以保证数据的操作友好性，能够更好地维护信息系统的功能。

在建设完毕之后，数据中心可以为用户提供强大的操作服务，比如实现停电统计分析、综合管理统计应用等。停电统计分析可以根据用户的需求评估用电量，以便能够科学指导电力企业供电、停电，保证居民生活、企业运转的正常性。综合管理统计应用可以从数据中心获取电力项目投资情况、项目实施进度等，及时地将这些信息上报给领导，方便电力企业的正常决策。

3 电力企业数据中心建设关键技术

电力企业数据中心建设引入了Hadoop技术，该技术在数据提取、清洗转换、数据加载方面具有很多的优势。Hadoop与当前的云计算技术相结合，组成了一个强大的分布式层次化架构，能够为用户提供形象化、直观化、共享化和数字化的应用软件，同时还可以为大数据处理引擎提供存储加载服务，实现对电网信息的精确探测和位置标识。Hadoop引入了先进的MapReduce技术，该技术可以将任何一个数据处理任务打破，并且可以将每一个任务发送到多个节点上，然后可以将单个数据集成加载到数据仓库中，实现信息加工和服务。图1为电力数据中心Hadoop数据处理流程。

在电力企业数据中心建设中Hadoop的目标定位是高可靠性、高可拓展性、高容错性、高效性，利用这些优势设计一个强大的数据仓库，实现对基础数据的采集清洗和转换，同时可以为每一个用户提供操作服务。Hadoop在电力企业数据中心建设中采用的关键技术包括很多，最底部是Hadoop Distributed File System（HDFS），其可以实现电力数据中心Hadoop集群中存储节点的文件管理，能够支持MapReduce的分布式访问功能，HDFS就是一个传统的分级文件系统，该系统可以创建、删除、移动或重命名文件，包含了很多的特定节点NameNode，这些节点可以将许多的存储文件进行分块，将每一块复制到多个计算机上，与传统的RAID架构大不相同，负责管理文件系统资源的访问和操作。另外，NameNode可以决定是否把数据中心的文件映射到DataNode上。另外，NameNode利用块标识实现DataNode的调取和响应，以便能够将DataNode中的实例信息组织起来，通过交换机将所有的信息集成在一起，响应HDFS客户机的读写请求，还能够执行NameNode的创建、查询、复制和删除操作。

4 结语

电力数据中心引入Hadoop技术，该技术能够强化数据中心的分布式、快速化响应操作，同时可以支持数以百万级的用户同时访问中心数据，保证电力数据中心的安全、可靠、高速运行。

参考文献

[1]雷蕾，李景文，宫大鹏，等.基于Hadoop的OSS域数据建模与采集方法研究[J].电信科学，2015，31（1）：128-138.

[2]罗贤缙，岳黎明，甄成刚.风电场数据中心Hadoop云平台作业调度算法研究[J].计算机工程与应用，2015，51（15）：266-270.

[3]刘青，付印金，倪桂强，等.CCF BigData 2015+237基于Hadoop平台的分布式重删存储系统[J].计算机应用，2015.

[4]赵会群，黄传聪.一种基于Hadoop的EPC物联网数据分析系统的研究与实现[J].计算机工程与科学，2015，37（4）：657-662.

Abstract：Sensor， networking， cloud computing technology development and improvement， effectively promote the electric power enterprise intelligence and information and sharing， introduced or developed many automation systems， such as power control system， alarm system， power grid substation monitoring system， the system has accumulated vast amounts of data resources， to construction of a data center to introduce more advanced Hadoop technology， improve the electric power enterprise， distributed data transparency， virtual storage and access， to further improve the processing speed of the system.

Key Words：Hadoop； data center； power enterprise； intelligent monitoring