大数据技术下智能电网配用电数据存储技术分析

周高强 王二辉 李英杰 孙亚平

摘  要：近年来，受互联网技术蓬勃发展的影响，促使大数据技术被广泛应用于各个领域及各个行业。智能电网是我国电网发展的主流趋势，能明显提高电能利用的合理性，大大降低能源消耗量。同时，智能电网中电力设备及应用系统运行期间可能产生大量数据，一旦处理方法不得当则可能影响电网运行效率。本文以智能电网配用电数据为切入点，分析其构成特点，进一步提出具体的存储技术框架，旨在为相关从业人员积累更多的实践经验。

关键词：大数据技术  智能电网  数据存储

工作实践证明，智能电网中所产生的配用电数据量相对庞大，具有异构性及多源性等鲜明特点，大大增加数据存储及集成的难度，而利用大数据技术能有效整合配用电数据，基本实现集成存储非结构化及结构化数据的目标，大大提高其数据处理效率，突出智能电网运行高速性的特点[1]。同时，大数据技术能有效分析配用电数据，准确预测多源高纬数据，持续优化电网原有的构架，确保用电高峰期调度合理性。智能电网中配用电数据可划分为软件异构及硬件异构2个部分，尤其是软件异构指各种操作系统及数据库，甚至包括各个参与主体所设计的应用平台，并且操作系统不同其数据库、软硬件平台及数据存储的要求也不尽相同，可能出现数据重复采集及重复存储的问题。鉴于此，本文针对“大数据技术下智能电网配用电数据存储技术”进行分析研究具有重要的价值意义。

1  智能电网配用电数据的构成分析

按数据类型，智能电网配用电数据可划分为非结构化数据、半结构化数据及结构化数据，而结合数据来源差异，可划分为电网外部数据及电网内部数据。通常情况下，配用电数据普遍利用信息集成化方式予以呈现，促使其数据具有维度大、颗粒度混杂及多类型数据共存的特点[2]。其中，结构化数据是智能电网中最为重要的业务支持数据，受现代应用大范围普及的影响，例如：客户日志信息及分布式电源等，部分半結构化数据及少部分非结构化数据（即文本信息、视频信息及Web页面等）被纳入基础数据分析范围。由于智能电网中特定网站web类数据量大大增加，出现非结构化、半结构化及结构化数据共存的局面。

智能电网中各个系统或主体间呈现相互独立的存在状态，大大增加其数据维度，其集中体现于配用电数据从属多个主体，所有主体间相互独立存在，造成数据存储及数据采集的时序性存在着明显的不一致性，逐渐拉大数据维度。同时，系统中各个业务开展基本处于独立运行的状态，各项业务可自主选择数据采集时间，一旦彼此间无法统一时则可能拉大数据维度[3]。同时，数据颗粒度混杂的产生原因相对复杂，与不同系统业务需求差异性间存在着密切联系，并且非结构化数据及元数据的存储空间及数据格式均不尽相同。无论是否为同一种结构化数据，其容量及用户不同则属性要求也不同。

2  智能电网配用电数据存储技术的框架设计分析

2.1 资源管理

由于配用电数据普遍为多源异构，客观上要求相关管理人员于存储前期采取相应的处理措施，例如：将智能电网中硬件平台与虚拟化技术相结合，搭建符合配用电数据要求的Master/Slave逻辑结构，满足自动化筛选多源异构数据的要求[4]。同时，以负载均衡方式为主要手段，动态化分配用电数据相关存储资源，持续优化智能电网内部资源结构，实现用电高峰期合理调度资源的目标，大大提高存储资源利用率。此外，设计技术应用框架期间，尽可能选择2种或2种以上虚拟化技术配置系统，例如：以虚拟机VM技术为例，能将配电系统中自动化主站平台转变为配用电大数据中节点。

同时，虚拟机VM技术能促使各个市县区域内子系统及电力外网中企业及政府等用户IT资源转变为节点，极大程度上缩小框架设计空间，大幅度提高其系统运行效率，而经虚拟化配用电系统，其内外部计算资源成为相对独立的资源池。为了大大提高资源池中IT资源的运转效率，保证智能电网运行安全性及可靠性，相关技术人员必须构建负载均衡模型，方可达到优化资源配置的目标[5]。与其它模型相比，负载均衡模型是非线性规划模型，具体运行期间不得脱离系统中任务量及节点数量等方面信息，再进行求解优化。其中，模型所使用的算法包括BP神经网络算法及遗传算法。

虚拟化及负载均衡化处理配用电数据资源后，基本实现均衡配置内部资源的目标。为了提高配用电系统资源的利用率，相关技术人员合理调度各种资源，综合考虑系统的具体需求，妥善设计各种模块，例如：外部接口模块、控制模块、算法模块及调度模块等。总而言之，智能电网数据可划分为物理空间、映射地址及存储介质，而设计配用电数据应用框架时尽量划分为实际数据管理、元数据管理及资源管理3个层面，做好数据预处理工作，详细区分元数据的类型，灵活运用中间件技术，充分发挥其技术优势及作用，大大提高非结构化数据的处理效率。

2.2 元数据管理

存储数据时以系统是否能根据配电数据大小为依据，大大提高存储空间的分配效率，并且所产生的地址映射（即元数据）进行妥善处理，尤其是存储数据时做好标准化元数据的管理工作。同时，预处理数据期间提前筛选数据，区分非机构化数据及结构化数据，及时转换不同类型数据，形成标准化元数据，并且以XML格式为呈现形式，将完成转换的元数据存储至Master节点之中。此外，中间件技术的应用形式相对多样，例如：仿真终端、整合数据及访问数据等，基本实现不同技术间信息资源共享的目标，大大提高数据整合的运行效率，强化总体管理效果。

2.3 实际数据管理

与其他类型数据相比，实际数据具有多源异构类及高纬度等鲜明特点。因此在实际管理的过程中，相关技术人员结合实际数据与元数据间映射关系，利用NoSQL技术手段分布式存储具体数据，即综合考虑实际数据与智能电网间位置差异性，采取相应的分层存储措施，针对处于内部电网中实际数据则存储于电网内部，针对处于电网外部的实际数据则存储于电网外部。

3  结语

通过本文探究，认识到受智能电网大范围普及的影响，其配用电数据存储及处理水平高低直接决定电网总体运行状况，占据着极其重要的地位及作用，而应用大数据处理技术能分门别类存储不同类型数据信息，极大程度上优化电网内部空间，大大提高电网运行效率。因此，相关技术人员秉持实事求是的工作原则，将元数据视为基础设计完整的技术框架，为促进我国智能电网配电数据存储技术水平进步提供强有力的支持。

参考文献

[1] 王林童，赵腾，张焰，等，田世明.配用电大数据多源集成及存储优化方法[J].高电压技术，2018，44（4）：1131-1139.

[2] 施康，朱超平.基于大数据技术下智能电网配用电数据存储技术研究[J].自动化与仪器仪表，2018（2）：65-67.

[3] 张福铮，黄文琦，陈华军，等.基于HBase的配用电海量时序数据存取研究[J].现代电子技术，2017，40（13）：159-163.