分布式电网中数据备份与恢复系统研究
2017-11-09王剑雄宋昊楠王玉兰
王剑雄,宋昊楠,郑 惠,王玉兰,郝 娟
(1.河北建筑工程学院,河北张家口075000;2.清华大学,北京100084;3.唐山师范学院,河北唐山063000)
分布式电网中数据备份与恢复系统研究
王剑雄1,宋昊楠2,郑 惠3,王玉兰1,郝 娟1
(1.河北建筑工程学院,河北张家口075000;2.清华大学,北京100084;3.唐山师范学院,河北唐山063000)
相比于传统电网,分布式电网存在着易受外界的影响,系统发电随机性强、波动程度大等问题,因此对分布式电网运行状态的监控和管理是保证分布式电网稳定运行的前提。而在分布式电网信息管理的过程中,数据的备份与恢复是技术的关键。根据分布式电网运行数据的基本特性,采用Moss(Microsoft Office SharePoint Server)构建了分布式数据备份平台,并利用相关模型设计了存储器负载均衡原则,可有效地提高系统的应用价值。
分布式电网;数据备份;数据恢复;负载均衡
电力系统当中运行的数据是错综复杂的,尤其对于分布式电网来说,发电的随机性、负荷变化的复杂性都直接地反映到数据管理的难度上。目前,这些数据信息大多数是以大数据的形式存放在分布式电力调度的云存储空间中,采用以集中为主,分布为辅的管理模式,但是这种方式给数据的管理也带来了一定的风险。
随着分布式电网的进一步发展,这种方式越来越不能适应数据管理的要求,尤其是集中为主的管理方式,对系统数据的备份和恢复产生不利的影响。因此,设计合理的云存储系统实现对分布式电源大数据的有效管理是目前急需解决的问题。
一个完整的分布式电网的数据来源十分广泛,主要有以下几类:(1)分布式电网内部电气信息采集网络形成的设备运行数据集合;(2)与分布式电网相关的广域测量系统所形成的数据集合,主要包括接口运行数据、地理信息、气象信息等。而这些信息具有几个明显的特性,主要有数据规模大、数据类型丰富、数据产生具有高速性。但是在如此大量的数据中,却有一部分数据具有很大的冗余性,因此,针对这些数据属性,为云存储空间构建合理的数据存储、备份、恢复体系具有重要的意义。
1 Moss功能及性能分析
Moss(Microsoft Office SharePoint Server)是微软公司出品的一款以数据管理为核心的应用平台,它以服务器的形式为企业构建相应的智能数据管理平台,并提供分布式数据的协作管理及友好门户的功能[1]。
Moss的数据存储采取以树形为主的拓扑结构,具有良好的节点拓展特性,其基本结构如图1所示。
Moss可以处理多种形式的数据类型,而且能够做到相互隔离,可靠性很高。作为数据存储核心的场集合,是一组高性能的数据服务器,可以采取集中处理和放置的方式,也支持分散处理和放置的方式,为数据的多种处理要求供了良好的硬件基础。
2 分布式电网数据备份和恢复体系设计
图1 Moss数据存储拓扑结构图
基于Moss的数据存储及备份体系主要由三大功能模块组成:存储服务器、管理服务器及Moss代理服务中心。存储服务器是数据存储及备份的核心部分,是底层数据存储及介质服务器的逻辑管理部件。这样的逻辑部件以节点的形式存在于Moss系统当中,成为数据管理的子系统。对于分布式电网而言,由于其数据形式多样,有同构的、异构的、非结构化的、系统数据等,所以为了提高管理的效率,不同的存储服务器节点针对一个种类的数据模型,当某种模式的数据量相对较大时,也可以由多个逻辑节点对这一模式进行分别管理。对于Moss而言,一个良好的存储服务器应具有良好的数据存储的平衡能力和实时并行备份的能力。
管理服务器是整个系统的控制核心,主要的功能是向存储服务器下达数据备份的命令,该命令由工作人员按照相应的功能需求进行命令的设置和管理,因此,管理服务器具有很强的功能适应性。为了方便使用,管理服务器以B/S结构的方式向用户提供服务,并以树形结构的方式向用户显示整个数据备份系统的数据结构。管理服务器除了备份功能外,它还是恢复子系统的核心,功能是响应用户的恢复需求,并调用存储服务器的管理功能实现数据的恢复。
Moss代理服务中心是数据媒介存储器与Moss系统之间的桥梁,它负责响应客户需求,组织Moss数据源,形成管理结果。图2为分布式电网Moss平台结构。
在Moss的数据存储及备份体系中,所有的数据都需要实现并发的存储备份、恢复及访问,而数据分布在不同的服务器中,又要形成一个统一对外的整体。为了提高数据服务的效率,就需要设计相应的负载均衡策略,以使每个服务器的性能都能保持相应的水准。
图2 分布式电网Moss平台结构
负载均衡策略的本质是按照某一原则来有效地分配相应的软硬件资源,使整个系统的运行处于最佳状态[2]。在Moss体系中,最重要的资源类型有五种,分别是处理器资源、内存资源、网络带宽资源、磁盘IO及作业重要程度。根据分布式电网运行的基本特点,本设计采取红绿加权树的分配原则来设计负载均衡策略。
所谓红绿加权树就是按照系统的设计原则,分别确定各种资源的紧急性原则。针对分布式电网运行的特点,本设计设计资源分配权值如表1所示。
表1 资源权值表
有了以上表中的数据,就可以构造出一棵基于当前作业及资源情况的加权树,树的基本结构如图3所示。
图3 系统权值树
而各个节点的综合负载按照以下公式计算:
式中:Effcpu、Effmem、Effnet、Effio为处理器、内存、网络带宽、磁盘IO的系统效率;IMPjob为作业的重要程度。
最后按照计算的结果,对各分支进行有效地标注,当资源综合利用率已经超过80%的分支就标注为红色分支,不再进行作业及任务的分配,而资源综合利用率不足20%的,标注为绿色分支,优先进行作业分配,在20%至80%之间的按照综合权配数由低至高进行依次轮询。系统中生成权值树的同时,也会生成一个综合权值表,辅助权值树进行资源管理。
3 结语
本系统针对分布式电网的运行特点,构建了分布式电网数据备份与恢复系统。该系统采用Moss平台,设计了相应的管理服务器、存储服务器和Moss代理,并利用加权树的方式构建了负载均衡算法,经实际测试,该算法可以有效提高分配效率,有利于整个系统整体性能的提高。
[1]叶云.基于分布式架构的数据备份与恢复系统的设计与实现[D].长春:吉林大学,2008:5-6.
[2]梁根.基于公平调度算法的分布式系统负载均衡研究[J].计算机工程与设计,2008(6):1362-1364.
Research on data backup and recovery system in distributed power network
WANG Jian-xiong1,SONG Hao-nan2,ZHENG Hui3,WANG Yu-lan1,HAO Juan1
(1.Hebei Institute of Architecture and Civil Engineering,Zhangjiakou Hebei 075000,China;2.Tsinghua University,Beijing 100084,China;3.Tangshan Normal University,Tangshan Hebei 063000,China)
Compared with the traditional power grid,the distributed power grid was with many question such as many influence by the outside world, random strong of power generation and the big fluctuation degree, and so on.Therefore, the monitoring and management of the operation status were the prerequisite for ensuring the stable operation of the distributed power grid.In the process of distributed grid information management,data backup and recovery were the key to technology. Based on the basic characteristics of distributed grid operation data, a distributed data backup platform with Moss(Microsoft Office SharePoint Server)was constructed,and the memory load balancing principle was designed by using the related model,which could effectively improve the application value of the system.
distributed power grid;data backup;data recovery;load balancing
TM 73
A
1002-087 X(2017)10-1490-02
2017-03-21
王剑雄(1975—),男,河北省人,硕士,副教授,主要研究方向为数据恢复及算法。