分布式技术在电力大数据高性能处理中的应用

崔晓优　耿战霞　陈大鹏

摘 要：分布式技术是一种新型的科学技术，是在网络平台之上研发的高新技术，可提供非常良好的应用开发效果。并且，随着网络技术的不断提升，人们对网络平台应用技术的要求也逐步提升。文章针对分布式技术在电力大数据高性能处理中的应用做出了进一步探究，对电力大数据的概念、分布式计算比较分析、电力大数据储存以及计算的解决措施给出了指导与建议。

关键词：分布式技术；电力大数据；高性能处理

分布式技术在我国已经得到了广泛的应用，从最开始的两层模式发展到三层模式。三层模式包括业务层，数据层、逻辑层，该技术目前的发展，已经达到了拥有多层的体系结构。为了更好地应对该技术在电力大数据高性能处理中出现的各种问题，要对生产当中的各个方面以及销售系统的要求相适用，立足于云计算科技带来的各种优势，将分布式技术在大数据高性能处理中不断的做出深层次探究。

1 电力大数据的概念

1.1 大数据的应用

目前，信息化、科技化技术正在不断的进行高速发展，各种各样的信息资源呈持续上涨趋势。人们在感受科技给生活带来的变化同时，也造成了数字信息全球化资源快速增加。[1]根据国际上对该项数据的统计结果显示，在2015年，全球的数据总量已经达到了2.3ZB，并且预计，还会以平均每年50%的速度进行增涨。大量数据的增添，社会的各个层面皆开启了数据化时代。我国的电力企业是全世界排在前列的能源经济体系支撑，无疑大数据的时代早已在电力企业中开启。

1.2 大数据的定义

对于大数据的概念并没有统一的定义，通常对大数据的定义为：大数据可称之为巨量资料，是指在新的处理模式中才能拥有更加强大的决策力，观察力以及对流程进行优化能力的巨量、大增长率和多样化的资产信息。[2]大数据是不可在一定的时间范围内，应用以往的数据库软件对内容进行收集以及管理与大数据处理的集合。

1.3 电力大数据的应用改革

针对电力大数据而言，在变革能源的过程中，电力工业技术是进行改革的重点内容。电力大数据不仅要在技术上寻求发展和变革，更要在管理的思想观念上进行变革。这也是电力行业在大数据发展的时代背景下适应社会发展潮流的表现。

2 分布式计算比较分析

2.1 分布式计算的分类

针对比较有代表性的云计算、网络计算、志愿计算进行比较与分析。其中进行网络计算的方式是聚合分布的重要资源，可对虚拟的组织进行支持，全面对服务的质量进行提升，拥有比较稳定的网络拓扑结构，参与人员在相关任务确认完成之后，便可从系统中退出；志愿计算节点在进行登录系统时的随意性会比较强，虽然，会出现任务没有完成的提示之后便没有音信的状况，但在没有将任务完成时，会涉及到荣誉度问题，在之后进行任务分配时，系统会自动将荣誉度进行降低，减少对任务的具体分配。

2.2 分布式计算的分析

三种分布式计算皆可对异构资源实行支持，但从理念观念上而言又各不一样。网络的关键部分是路过中间件时，对异构系统进行屏蔽，对使用的用户信息透明化，将实际执行的过程通过中间件来进行操作。[3]对云计算的使用，可实现用户按照实际需求进行分配，并且有一定的保障作用，其实质同日常生活中使用的水与电是一样的。但是在异构方面使用的则是镜像执行。志愿计算对异构性的影响比较小，也就是能够返回至结构就可以，通过机器类型以及各系统等方面的差别没有特殊的要求。

云计算和网络计算，同志愿计算进行比较，该技术可被深层次进行应用，极大的降低了工作人员的工作量，只要将类型进行选用，剩下的两种计算方式都是对总部体系运行进行设定。此外，云计算将资源的集中化进行分散使用，而其它两种计算则需要对资源实施整合，之后才可在大型应用中进行执行。志愿计算只是利用该计算方式的灵活性质，将空闲中的资源把分割完毕的任务交付于志愿者进行执行，之后在进行整合把任务提交上去，整个实现的过程并不需要计算机中心的数据库系统，也无需云计算的各种终端，仅仅需要HOST便可实行调度。

3 基于分布式技术的电力大数据储存以及计算的解决措施

3.1 分布式文件系统

对于规模庞大的数据储存，分布式文件的可拓展性是使储存的系统功能实现的重要因素。Key-Value文件通常会在硬件系统上进行设计，有可用性以及高容错行的特征，该系统可提供具有容量非常高的访问数据吞吐量，极其适合在规模庞大的数据上进行使用。在该系统中，通常会采用一个master和许多的slave架构，其中master的作用是元数据的保管，slave的作用是对信息数据进行保存。这种结构可以使系统安置在非常多的集群当中，将扩展性得到提升。利用文本的副本，使该系统在有故障发生时，可自行进行恢复数据。该系统应用的模型对复杂的系统进行了简化，又提高了吞吐量。

3.2 并行计算

MapReduce是谷歌提出的架构软件以及模型计算，应用在非常大规模的数据集的运算当中。分布式平台在此结构基础之上，在体系内部的结构当中，MapReduce是非常好用的软件架构，可将任务分配发送至成千台集群中，以高容错的方法对数据集进行并行处理。将任务的并行处理功能得以实现，并且，将SQL至MapReduce实现了转换平滑，将原有的繁杂SQL实行解析处理，优化过后形成任务处理。在平台中，MapReduce可调度优化任务，把数据业务处理成不同的任务运行，尽量应用计算资源，将分析数据的时间整体进行缩短。

3.3 多为索引

（1）为了确保多为数据更好的实现查询功能，需利用数据集中的多为索引。多为索引中的过滤器以及refinement阶段构成了该查询分析。过滤器阶段是候选集选择，实行初级的过滤。过滤之后再利用refinement阶段，实现仔细的查找，获取最后的结果集。该数据索引建立在数据集的基础上，完成高质量的查询作业以及数据分析。经常使用的二级索而言，是建立在具体的维度上，在频率非常高查询时，可在维度上进行二级索引的建立。例如：建立B+树。进行查询的过程中，可直接利用一次二级将索引过渡，之后对需要的数据进行定位，极大的提升了查找的效率。

（2）该平台突破了Hadoop只对单项索引进行执行的问题，实现了所列索引的应用，将系统的查询速度全面提升。为了加强不同应用系统的支持，平台能够支持Secondary、CCINDEX、IMP Secondary Index三种索引。在此基础之上，利用服务端的技术，通过服务器对数据结果实行计算，之后返还给查询方，提高了对于复杂查询的运算效率。

4 结束语

曾经的计算机应用程序皆是在传输层上进行直接编辑，该方式十分不方便并且比较复杂，在大规模的系统中应用较为不便，并且不能对系统进行拓展，对于该现象的有效解决方式便是应用分布式技术。该技术在电力大数据中，在高性能处理方面实行了具体的分析，利用比较分布式计算，总结大数据的基本特征和云计算的应用发展，以便切实的提高分布式技术在电力大数据高性能中的处理水准。

参考文献

[1]邓贤添.基于分布式技术的电力大数据高性能处理中的应用研究[J].中国新技术新产品，2015，24：22-23.

[2]段春梅.云计算分布式缓存技术在海量数据处理平台中的应用[J]. 智能计算机与应用，2016，1：13-15+20.

[3]崔阳，吕志平，陈正生.分布式计算技术在大地测量数据处理中的应用[J].测绘科学，2014，5：146-149+42.

作者简介：崔晓优（1975-），男，河南许昌人，本科，工程师，研究方向：特高压直流輸电控制保护监控系统。