电力大数据高速存储及检索关键技术研究

李旭辉　徐玉生

摘 要：本文首先对当前电网典型业务系统大数据架构进行简单分析，重点研究而电力大数据高速存储及检索特征和关键技术，了解电力大数据的重点技术，在此基础上深入研究即时处理技术对于大数据典型应用的有效性，希望通过本文的研究能够更加全面的掌握关于电网业务系统大数据框架结构的基本情况，了解在电力大数据系统中应用的各种先进技术及主要特点，同时也为后期更好的研究即使处理技术及电力大数据提供参考。

关键词：电力大数据；高速存储；检索

中图分类号：TM769 文献标识码：A 文章编号：1671-2064（2018）03-0038-02

1 引言

近年来随着我国电力行业的不断发展，电力系统规模不断扩大，电力企业在运行中产生的数据发生较大的变化，数量越来越多、种类愈加复杂、来源更加多样化，在系统运行访问中容易出现响应不及时的情况，对电力企业的生产、运营管理等各环节的业务都产生较大的影响。而且随着大数据时代的到来，更好的应用电力企业产生的各种数据对于企业的发展具有重要的意义。因此在现阶段加强对于电力大数据及其高速存储、检索等关键技术的研究具有重要的现实意义，能够更加深入的分析研究大数据，发挥大数据的价值，全面掌握电网运行中各种典型业务系统的数据架构，更好的发挥高速存储、检索、即使处理等各种先进技术的作用，解决大数据系统建设存在的问题，也为电力大数据技术的应用提供指导和支撑。

2 电网典型业务系统大数据架构分析

随着电网技术的不断升级，大数据已经成为电力企业发展中的重要特征，数据的应用对企业发展的应用的也愈加深刻。在电网运行中的典型业务就是电力系统用电信息的采集，该系统中存在诸多用户，基数比较大，而且每天都会产生大量的数据，在业务系统运行中，数据的统计分析容易出现响应缓慢的情况，用户在使用系统时需要等待较长的时间。电力大数据一方面能够拓宽电力行业的深度，对供给侧、需求侧进行整合；另一方面也打破便捷，挑战垄断地位。针对这种业务系统，首先要对用电信息采集业务系统中使用的数据存储、数据检索以及信息流计算等各种技术的架构进行全面的分析，其次要对各种不同数据使用的存储检索技术的性能及架构进行分析总结，包括非结构化数据和结构化数据；在此基础上，深入研究电网运行中各种典型业务系统对即时信息流的处理技术的需求及应用现状。应用电力大数据，能全面掌握电力企业乃至整个行业的发展状况，预测未来的发展趋势，调整企业的发展规划，比如并网电价等，促进电力企业的发展[1]。

3 电力大数据高速存储及检索特征和关键技术

3.1 电力大数据高速存储及关键技术

大数据高速存储系统体系结构的研究主要几方面的问题；（1）基于Hadoop分布式存储系统的副本管理机制，重点研究在元數据服务器出现异常情况时需要使用的副本替换和重定向算法，从而避免受单一故障影响出现整个文件系统瘫痪的情况；（2）研究基于Hadoop分布式文件系统的备份恢复机制和动态扩展机制，重点研究如何对原有SAN网络等设备文件系统与分布式文件系统进行兼容，以及如何快速对分布式文件系统中的文件进行恢复同时进行增量式备份。

面向电力大数据的存储系统自配置自优化技术。基于Hadoop分布式文件系统的存储系统性能会受配置参数的影响产生较大的波动，而且系统的配置也比较灵活，各种应用数据也比较丰富，因此需要深入研究在大数据系统运行中影响系统存储性能的各种关键因素，针对这些因素设计合理的算法对系统进行自适应动态采样。同时要研究如何应用多节点协同配置优化技术、异构分布式跨层配置降维机制以及性能评测数据生成技术，在此基础上设计系统对面向大数据应用的存储系统的性能基准进行测试[2]。

电力大数据的存储速度要求比较高，但是信息的处理速度要求不高，针对这种情况在存储方案中需要引入数据缓存单元，一方面能够满足信息高速收集的要求，另一方面能够降低数据处理的成本。一种方式是应用FIFO存储器，信息数据从一头进入，另一头流出，而且有顺序要求。信息数据的传输效率比较高，但是只能按照顺序进行数据读写，而且成本也比较高。第二种方式是采用双口PAM，利用两套独立的端口进行数据的收集缓存，而且彼此可以进行数据交流，随时对数据进行读取。第三种方式是SRAM切换，虽然能够随时读写，但是占地面积比较大。

3.2 电力大数据检索特征及其关键技术

（1）电力大数据索引结构分析研究。首先要对大数据检索体系的结构、查询方法以及检索特征等进行分析，深入研究检索系统在电力大数据中应用的体系结构需求。其次对各种采集类和档案类数据进行采样分析，并分别研究不同数据的特征，根据其特点的不同，对使用的检索方法等进行总结归类。在此基础上深入研究电网业务中的大数据特征以及检索业务的逻辑结构需求等。（2）面向电力大数据的多维索引关键技术研究。目前还没有形成关于大数据多维索引的成熟技术，需要针对电力大数据系统设计专用的多维索引结构，该结构必须具备基础的多维区间查询功能和多表连接技术。因此要做好几方面的研究：一是对索引存储方法和压缩算法的研究，要求存储方法和压缩方法能够满足自适应和动态可扩展的要求，而且具备分布式的特点；二是研究故障恢复方法及负载均衡算法，电力系统中的数据量比较大，在大数据环境下必须保障索引的快速建立及存储；另外多维索引需要应用预计算及高速访问等技术。（3）要想实现对于电力大数据的高速采集，需要满足高采样频率，一般可以借助高速数据转化芯片来实现，但是成本比较高，分辨率也比较低，因此需要采用并行采样技术，将数据采集的时间进行交叉，多个芯片同时工作。比如说同时使用N路芯片进行采样作业，稳定不同路径的相位差，合并多个路径，实现高倍频率的采样，提高信息收集及传递的效率。

4 即时处理技术对于大数据典型应用的有效性

流技术的即使处理技术能够满足电力大数据的各种应用需求，主要表现在以下几方面[3]：

4.1 用户信息采集

电力大数据系统需要在短时间内实现用电信息数据的采集及分析判断，针对这种需求，应用流计算即使处理技术能够对采集到的实时数据进行预处理，对于异常数据进行准确的过滤筛选，并发出警报。结合系统运行的实际情况设计合理的算法，对异常数据进行实时监测处理，而且能够数据进行均匀化操作。

4.2 数据质量监测

电力大数据系统中需要对各种业务数据的质量进行实时监测，借助即时处理技术能够从数据的频度、来源、所属业务、单位等不同的维度对数据质量进行监测，同时与数据异常监测现结合实现对于数据质量的综合通报，而且有利于对数据质量进行改进。

4.3 视频图像处理

借助即时处理技术能够对电力大数据中的视频监控图像进行实时的计算，根据需要提取特定目标，并对其进行分割处理，包括光影变化的分析处理等，通过这种分析能够全面掌握电力设备运行中的各种原始数据，实时掌握设备的运行状态，预测可能出现的设备故障，从而降低电力大数据中人工成本，进一步提升系统的运行效率。

5 结语

通過本文的分析可知，大数据已经成为电力企业发展的显著特征，数据繁多也深刻影响道电力企业的发展，发展电力大数据符合当前电力企业发展的需求。本文重点研究了电网典型业务系统的大数据架构，高速存储、检索等关键技术，也深刻论证了即时处理技术对于大数据典型应用的有效性，未来随着电力企业的不断发展，电力大数据将会对电力企业的发展产生更加深刻的影响，同时也会遇到更多更复杂的问题。当前关于电力大数据的研究仍处于起步阶段，需要电力企业不断加强对于电力大数据的研究，不断优化大数据架构，研究更加合理的大数据方案，充分发挥各种技术的优势，不断推进我国电力大数据的发展，增强电力企业的竞争力，实现良好的经济社会效益。

参考文献

[1]齐俊，曲朝阳，娄建楼，等.一种基于Hadoop的电力大数据属性实体识别算法[J].电力系统保护与控制，2016，（24）：52-57.

[2]薛禹胜，赖业宁.大能源思维与大数据思维的融合（一）大数据与电力大数据[J].电力系统自动化，2016，（1）：1-8.

[3]彭小圣，邓迪元，程时杰，等.面向智能电网应用的电力大数据关键技术[J].中国电机工程学报，2015，（3）：503-511.