能源互联网大数据分析技术综述

董华彪 沈阳工学院

能源互联网大数据分析技术综述

董华彪 沈阳工学院

能源互联网这一概念是全球能源互联网技术领军企业远景能源所率先提出，远景能源认为能源的市场化、民主化、去中心化、智能化、物联化等趋势将注定要颠覆现有的能源行业。随着能源互联网的发展，越来越多的数据被采集和存储，以至于信息种类繁多，信息量巨大，而且要求信息具有实时性，因此，大数据分析技术在能源互联网中被广泛应用。本文通过对能源互联网大数据概念的分析，叙述了能互联网大数据分析技术，为能源互联网安全稳定的发展提供了重要的依据。

能源互联网 大数据分析 数据挖掘

前言：迫于环境保护的压力，可再生能源被相继开发，虽然再生能源具有可再生性并且不会对自然环境进行破坏，但是大多数都具有不稳定性，在此背景之下，能源互联网被提出。能源互联网以大电网为“主干网”，以微网、分布式能源等能量自治单元为“局域网”，通过开放对等的信息一能源一体化架构实现能源的双向按需传输和动态平衡使用。能源互联网开放、互联、分享等特征决定了其信息实时性要求更高，因此离不开大数据分析技术的应用。

1 能源互联网大数据概念

大数据技术以“4V”为其主要特点，即数据容量大（volume）、数据类型繁多（variety）、商业价值高（value）、处理速度快（velocity）。大数据分析处理过程主要包含数据采集、数据导入和预处理、数据统计和分析以及数据挖掘。数据采集一块依赖因特网和物联网技术，使用嵌入式传感器对数据进行采集，结果应用于各个监测系统中。为了实现数据分析，需要将采集结果进行导入，导入时还要进行预处理，因为由于一些不可抗的因素影响，会使得数据错漏和丢失，因此需要对数据进行预处理。数据的统计和分析包括分类、聚类和关联技术。大数据分析结果被用于数据挖掘，因为分析仅仅是以数据为中心进行处理，得到的结果不能被人们所理解。因此需要以数据挖掘为目的进行指导，对分析结果进行精炼和提取，转换为人们所能理解的语义形式。

2 能源互联网大数据分析技术

2.1 大数据处理平台

大数据系统需要非常大的数据处理、传输输和存储能力。目前的云计算平台是最符合要求的计算设施。云平台具有一定的可伸缩性，最大限度的利用自身的计算能力，降低成本，节省开支。同时云平台还具有安全性，可以保障用户信息不被泄露。面对庞大的数据量，单台计算机难以胜任，促使人们研究分布式并行计算方法，通过并行方法，许多单机难以完成的任务都能够在可接受时间内完成。在因特网中，数据流动性非常大，许多任务会不断产生新的数据，传统的数据处理框架不能够胜任，因此利用流计算来处理流数据，数据只需要进行一次性处理，随到随处理，使用完成后无需或者只要部分存储。如此庞大的计算量，对数据的处理速度有很高的要求。有人提出将数据全部驻留在内存中运行。CPU直接内存读取，因为内存数据读写速度远高于硬盘读取速度，计算性能大幅度提高，大大提高实时系统的性能。可视化数据处理技术是将数据转化为图形和图像在屏幕显示并且进行交互处理，有助于观察者进行系统稳态、暂态判断和整体运行感知。

3 大数据分析算法

大数据挖掘算法大多采用并行化的思想。关联分析是挖掘数据库中两个或多个变量之间存在的关系。经典的关联算法为Apriori算法，但是它存在着缺陷，因此FP-growth算法被提出，它解决了Apriori算法中长频繁项搜索子项数量巨大的问题，而且在效率上远高于Apriori算法。分布式聚类算法可以发现设备的故障和状态异常，将正常状态和故障状态区分。聚类以样本之间的相似度为基础，通过不同的距离计算方式达到不同的分类效果。在能源互联网中数据采集量巨大，聚类需要分布式运行，以达到减少计算时间的目的。在形成具体的分类标准和准则之后，可以用分布式分类算法分类。分类包含训练和分类两个过程，和聚类相比，分类更具有更明确的目标。分类算法也需要并行化实现，相较于传统的数据挖掘方法，优势明显。

结语：随着采集手段和技术的不断丰富，越来越多的能源互联网业务的大数据被采集和存储，因此大数据分析技术是能源互联网不可或缺的基础技术。大数据分析技术拥有很大的改进和研究空间，因为在数据收集和处理中工作量很大，分析计算也比较复杂，因此需要不断的实践和应用，逐步完善和改善大数据分析技术。在能源互联网中，应该充分利用大数据的“4V”特点和优势，将其发展成一个具有实时性或者准实时性的职能型分析工具。

[1]张东霞，邱才明，王晓蓉等.全球能源互联网中的大数据应用研究[J].电力信息与通信技术，2016，12(03):20-24.

[2]李洋，何宝灵，刘海涛等.面向全球能源互联网的分布式电源云服务与大数据分析平台研究[J].电力信息与通信技术，2016，05(03):30-36.

[3]杨佩，蔡皓，裘洪彬等.面向能源互联网的大数据关键技术研究[J].电力信息与通信技术，2016，06(04):9-12.

董华彪（1979——），男，辽宁鞍山人，专业：计算机应用技术、研究方向：数据挖掘技术