智能电网大数据处理技术现状与挑战

张硕

摘要：本文首先阐述了目前的智能电网大数据处理技术现状，接着分析了智能电网大数据平台和应用框架，最后对新时代智能电网大数据处理技术的机遇与挑战进行了探讨。

关键词：智能电网;大数据处理技术;现状

近年来，随着科学技术的进步和发展，人们对资源的开发利用越来越快，全球能源问题日益严重。其中，人们使用最多的能源无疑是电力。然而，在电力传输过程中仍然存在着大量的耗散现象。因此，许多国家都对智能电网进行了研究，以便对当前的电网进行技术改造。

一、目前智能电网大数据处理技术现状

（一）数据集成技术

智能电网大数据具有数据量大、类型大、速度快、分布广泛的特点。这些特点给大规模数据处理带来了很大的困难。因此，为了处理智能网格的大数据，第一点是通过数据提取、转换、剔除和校正来集成数据源。其中，由于大型数据在智能网格中的集成涉及多种类型的应用系统，且这些系统具有复杂的类型和特征，因此在数据大小、数据类型和实时需求上存在较大差异，而且单靠哪种技术是很难的。因此，有必要结合各种技术，综合考虑各种因素，建立一个一致、完整、有效的智能电网大数據系统。以交换、变换、道路为例。主要环节有三个步骤：一是数据提取，从源数据源系统中提取数据到目标数据源系统;二是数据转换和处理。根据业务要求，将上一步获得的数据转换为目的地数据源要求的格式，并对错误和不一致的数据进行清理和处理;最后，数据被加载，转换后的数据被加载到目标数据源。

（二）数据运输与存储技术

在数据采集和分析过程中，一个重要的问题是如何传输和存储数据，数据需要完整准确。使用数据压缩可以减少数据传输量，但重点是采用哪种方法。另一方面，数据压缩和解压的过程也需要占用资源和成本，因此必须合理安排。对于不同的情况和不同大小的数据，应根据数据的重要性、实时性和速度选择不同的算法进行压缩和解压缩。

对于数据的存储，目前使用分布式文件系统。智能网格中的数据是大而多样的，所以首先要做的就是对数据进行分类，然后分开存储。有些数据具有很强的及时性，必须单独存储。可以建立一个实时数据库系统。在网格数据中，非结构化数据的比例会逐渐增加，但在存储中，非结构化数据无法直接存储，需要在存储前转换为结构化数据。

（三）并行数据库

并行数据库是一种数据库。它属于基于mpp和集群并行计算环境的高性能新一代数据库系统。该数据库能够保证数据存储的安全性和网络运行的稳定性，在不影响系统正常工作的前提下实现多用户的同步访问，并能快速处理数据。然而，尚不充分的是并行数据库系统仅适用于结构数据。必须首先将非结构数据转换为结构数据。数据库存储容量有限，可扩展性差，限制了系统对数据的存储和分析能力。

（四）云计算技术

在互联网相关服务增长、使用和交互模式的基础上，由于信息处理的方便和简单，云计算技术应运而生。它主要涉及虚拟化资源。这些资源需要通过互联网提供。这类数据通常是动态的，容易扩展。选择云计算最重要的原因是它可以存储大量的数据而不用担心存储空间不足和使用数据并行处理技术。分布式文件系统也是云计算核心思想的反映。然而，如上所述，云计算缺乏及时性，有时影响到数据的及时分析和处理，降低了效率，需要进一步改进。云计算平台虽然可以实现数据存储空间的大扩展，但数据的保密性较差，安全性无法保证。当有重要的资料储存时，例如资料的遗失与破坏，会造成重大的损失。

二、智能电网大数据平台和应用框架

（一）大数据平台的建立

由于智能网格大数据应用程序需要统一的数据访问、清理、存储和管理，这些功能是通过构建大数据来实现的。智能电网大数据的核心平台分为基本资源、数据管理、数据存储、数据分析和处理、平台服务和平台控制五个部分。其中，数据分析和处理是大型数据平台的核心。根据具体业务要求，该部分除了提供基本的批处理和流处理功能外，还可以实现图形计算、内存计算、数据挖掘、统计分析、机器学习等一般的数据分析算法包或工具功能。

（二）应用框架的建设

现时，由于电力公司的各业务部均有各自的资讯系统，他们会从不同时段收集不同的资料，并记录特定时段的资料，因此它们不能反映网格对象的所有属性。在数据共享方面存在困难。目前迫切需要建立一个统一的数据模型，以存储和管理智能电网各个环节的数据。因此，在实践中，通过电力系统的稳定分析和控制、电力传输和转换设备的故障诊断、负荷预测、用户行为分析等具体步骤，实现了与智能电网业务系统的实时数据收集和数据交互，以及社会经济形势的分析和预测。

三、新时代智能电网大数据处理技术的机遇与挑战

（一）数据的时效性

在智能网格中，数据量很大，因此传输、存储和分析往往需要很长时间，但有些数据需要及时处理，但现有的云计算平台不符合要求。并行数据库系统的数据存储容量不能满足要求。因此，数据处理的速度变得越来越重要和迫切。

（二）可视化分析技术

数据收集和处理在数据库和相关系统中进行，但最终会显示给用户。庞大的数据流使用户无法直观地理解它，需要使它成为一种易于理解的方式，如文本、图片等，在这个过程中，重要的信息需要筛选并转换成图片和其他形式，在屏幕上显示，以实现与用户的交互。

（三）异构多数据源

随着智能电网的逐步发展，将有越来越多的数据来源。例如，在电网中发电、输电和用电等方面产生了大量的数据。需要及时收集所有这些数据，数据的结构和处理方式也日益不同。因此，如何处理多个数据源和多个数据结构已成为我们需要解决的问题。

四、结束语

本文主要介绍了智能电网大数据技术的基础、现状和存在的问题。可见，未来智能电网大数据技术的大规模应用已成为必然。因此，我们应该密切关注智能电网大数据处理技术的发展，找到最佳解决方案。

参考文献：

[1]叶展勇，黎素云，俞晓彤.智能电网大数据处理技术与挑战[J].电子技术与软件工程，2019（10）.

[2]李宝玉，戴羽.智能电网大数据处理技术现状与挑战[J].科技经济市场，2018（04）.

[3]何永波.智能电网大数据处理技术现状与挑战[J].科学大众（科学教育），2018（11）.

[4]张啸宇.智能电网大数据处理技术现状[J].中国科技信息，2018（21）.