电力系统多源异构数据混合式存储方式研究*

黄 欣，吴伟杰，张伊宁，赵敏彤

（广东电网有限责任公司电网规划研究中心，广州 510080）

0 引言

在现在智能电网发展的背景下，电力公司在运转中也会生成大量的数据，其业务开展也是一个课题。对于来自多个来源的数据，电力公司也需要采用新的方法来解决。在这种情况下，有必要实现新的技术应用，实现数据处理效率和能力的切实提高。

多源异构数据配置通过操纵虚构机群集整合数据资源，并行使资源调度器结构和配置这些大型动态数据资源，来成现高效的转移和存储。大量的数据意味着为公司的发展供给了优越的契机[1]。本文概述了存储和配置数据的举措，可以有效地行使和阐发数据，明确了配置和存储有价值的数据是重要问题。

如图1 所示，数据提取依然遭到多种技术的限定。包括数据收集时消除冗余，成本高昂的数据存储以及针对电网行业的数据处理和迁移技术。迄今为止，这些技术有待进一步研究和完善，都是本领域研究的热点问题，不仅具有理论研究的意义，而且具有更广阔的商业价值。

图1 数据迁移与存储过程

1 多源异构数据存储

1.1 调控大数据

此技术侧重于存储大量数据，能够应对电网电力公司的数据增长、数据分类和多源异构数据存储[2]。大数据分类如表1所示。

1.2 多源异构数据处理方法

为了实现电力调剂节制体系的多源异种数据融会，构建节制全景数据，需求操纵多源异种数据处置方式中的数据预处置方法。其中，数据提取是指有挑选地查抄和复制每一个数据源中的数据，并将其视为数据的输入部门[3]。

1.2.1 数据抽取

数据抽取可以从不同的数据库和不同的服务平台中获得所需的数据，但提取不同数据类型的数据需要不同的技术。例如，以往的结构化数据可以利用动态学习框架进行提取，半结构化数据需要利用混合表现和机械学习技术进行提取，按行进行提取。在数据仓库必须提取的数据内容方面也存在一些重要问题。标识要提取的数据的源，即存储数据的系统上的数据库[4]。基于所需数据为不同的调度控制系统设置数据提取规则。图2所示为数据中心。

表1 数据分类图

图2 数据中心

调度控制系统主要涉及SCADA、WAMS、OMS、GIS系统，这些系统收集电力网中设备的运转状态、制造商、地下位置等详细信息。因此，在分析调度控制大数据时，需要从这几个系统的数据库中提取数据。提取的特定数据信息必须根据需要创建数据表。例如，为了分析山西省内的A类设备的年故障类型、故障频率，根据设备厂商进行分类。

对于相同的设备X，将该设备的设备名称在SCADA 系统中标记为X，在OMS 系统中标记为X，在GIS 系统中标记为X，在WAMS 系统中标记为￥，使设备的正确识别变得困难，对数据的正确提取产生影响。为了解决此问题，基于元数据文件信息和一个或多个特殊属性关系用唯一标识符表示每个设备。

1.2.2 数据清洗

从数据源的数量和数据层次的角度来看，可以将数据质量划分为单个数据源实例层问题[5]。调控系统数据清洗如图3所示。

图3 调控系统数据清洗

2 存储管理技术

为了提高数据在实际访问中的性能，可用性和可靠性，开发和使用了许多新技术，如表2 所示。RAID重建、磁盘保险存储技术、LUN拷贝和BBU断电保护是确保技术可靠性的关键方法。SAS、FcOE和iSCSI技术可确保技术的可扩展性。缓存预取和回写技术在性能方面具有优势。这些技术在实际的系统数据存储中是有效的。smart thin 技术在多源异构数据系统中提供了极高的应用程序价值，它在容量利用率和可用性方面提供了优异的性能和存储容量虚拟化功能。

表2 存储技术

实际上，此技术只需从存储池中单独分配实际使用的容量，即可满足用户的存储容量需求，同时最大限度地减少提高存储系统可扩展性和利用率所需的初始投资。实际的应用程序还可以在线扩展容量，而无需备份或迁移数据。通过避免与此过程相关的风险，可为存储池设置警报阈值。当程序的存储池容量接近阈值时，系统会发出警报，提示员工增加容量。存储管理技术如图4所示。

图4 存储管理技术

在具体的技术处理中，实现按需目标的技术有两种。首先，使用读/写重定向来支持读/写数据，然后使用写时空间来分配空间。在第一种方式中，主要是在读写时以映射表为基础进行重定向处理，但是在第二种方式中，具有动态分配区域的技术，具有不确定的数据分配存储区域，在具体的应用中，有必要通过映射表的应用来记录逻辑地址和存储区域位置的关系[6]。

3 存储保护方式

3.1 灾备机制

避免因人为或自然原因导致数据丢失或业务中断。当信息系统受到不可抗拒的影响时，灾备是信息体系延续功能的关键，可避免数据丢失和功能中止[7]。有效地保护不断增加的信息体系和数据的安全，降低信息体系风险，并构建一个针对异地灾害的体系，已成为企业信息保护的趋向。

3.2 容灾机制

容灾机制是一种远程备份，可在发生灾难后防止丢失或损坏原始数据。因此可以通过将复制卷直接映射到主机来实现正常的读/写操作，而无需恢复灾难数据[8-9]。容灾技术架构如图5所示。

图5 容灾技术架构

4 结束语

本文探析了多源异构数据优化管理系统如何集成存储结构化和非结构化数据的关键技术，并对结构化和非结构化数据进行了全面的存储、管理、共享和数据保护。设计多源异构数据优化管理系统以满足电力公司信息系统的数据管理和应用程序需求，从而存储和高效地处理数据。在提高数据存储中多源异构数据的隔离和保护效率的同时，还大大提高了生产效率，使信息系统能够控制整个数据过程的管理，并提高了信息管理的级别。