APP下载

输变电工程数据存储管理分层数据架构设计

2021-09-24任重

电气传动自动化 2021年2期
关键词:存储管理数据量结构化

任重

(国核电力规划设计研究院有限公司,北京 海淀 100095)

1 输变电工程数据存储管理的定义与理解

输变电工程实质上是有关输电线路以及变压器安装方面的建设工程。它的数据量非常庞大,包含整个输变电工程领域相关方面的所有数据。主要针对工程预期设计、全面规划、可行性研究、具体实施、完工总结等各个方面的所有数据,进行全面收集、拆分、合并、研究,最后做进一步的管理、处理、存储、迁移、使用等。

输变电工程数据的种类。输变电工程是整个电力系统的一部分,也是最关键的一部分。它的主要种类包括工程信息、地理信息、资源信息、设备信息、经济信息等。值得注意的是,数据信息的获取和分类极其重要,一要获取高质量的、完整的、准确的一手信息,二必须通过数据的属性、类别、结构、模式等方面进行分类细化,对今后的数据存储十分重要。

输变电工程数据的特点。输变电工程数据由于来源方式广泛,导致其十分多元化和异构化。也就是说,数据的内容多数普遍具有共享性,深入挖掘细化即可增加数据本身的价值和效果,具有可处理可操作的性质。数据根据特性又可以分为结构化数据和非结构化数据,前者一般包含运行数据、二维表结构数据,而后者一般以视频、图像、数学模型等,形式多样化,需要更多存储空间,对后续存储管理要求更高。

输变电工程数据的作用和影响。输变电工程数据很重要,一旦储存不慎,轻则影响整个电力系统或者信息系统的运作和发展,重则涉及到信息资源的安全和建设,因此在实际的数据存储管理操作工作中必须严谨和慎重。

2 输变电工程数据存储管理分层数据架构设计思路

输变电工程数据多,形式繁琐,原因在于它全部来自各个工程项目。如果工程项目是输变电工程数据存储管理的基本单元,那么数据单元和数据包就是工程项目的组成部分。三者的关系就如同图1展示的范围大小,即工程项目的范围大于数据包的范围,而数据包的范围则大于数据单元的范围。

图1 输变电工程数据工程项目范围比较图

输变电工程数据相当于我们的联合国,而每一个工程项目则是属于联合国的每一个国家,具有其本身的独立性和完整性,相互之间不影响却又独立并列存在。而工程项目的内部则像国家内部分有行政、军事、经济等部分一样,它根据项目性质或工作环节的区别进行划分,彼此之间紧密联系相互影响。因此进行数据存储的时候,所有工程项目存储器可按照工程项目的属性进行分类细分,细分清楚后全部并列至总体储存器当中,从而实现总体存储数据中包含分层存储数据的架构。

三维设计模型存储模式。在信息化逐渐成为数据存储管理常态的基础上,三维模型是最能直接体现出输变电工程数据存储模式的一种表现手段。通过收集几何属性、层次数据、结构关联等数据,建立相关的工程模型、几何模型、物理模型和组合模型单元进行集中管理,设置好一一对应的连带关系。在此模式中,获取到的每个GIM模型文件实质上可作为一个数据包,成为三维模型的一部分。

文档资料数据存储模式。文档数据是输变电工程数据最基础的数据相关体,它贯穿了整个工程从开始到结束的全过程。不管是最初的设计阶段,还是中间的施工落实阶段和最后的竣工阶段,所有的线路和数据都可按照内容和类型进行重新组织分类,形成它自身的存储模式。在此模式中数据包是在存储管理中获取的每一套文件,文件可以是设计图纸、勘测报告、概算书等。

3 实践研究与分析

本文将以沈阳工业大学学报第41卷第6期2019年11月刊登的一篇论文《基于层级设计的输变电工程数据存储架构》中的实验数据作为分析对象,进行输变电工程数据分层数据架构设计研究分析。

本次实验的存储中心数据标准存储单元包括128GB内存的服务器、2颗8核CPU和1TB硬盘,通过建立了10组不同参数的存储中心进行仿真测试。由图可见,第二列的存储中心数和第四列的数据集数从第1组到第10组是逐步增加的,也就是说在数据集数增加的前提下,存储中心数也是同步上涨的,两者是共同增长的关系。这说明了在数据管理中,分层数据存储中心得到了充分运用(如表1)。

接下来观察图2的数据,图2是一张坐标曲线图,横向的X轴是反映数据量/MB,数量从最低100MB增长至最高900MB,竖向的Y轴是反映任务用时/s,数值从0s到60000s。对比表1后明显可以看出,“任务用时/s”指的是数据迁移前后的存储数据执行相同任务的使用时间。

图2 数据迁移前后任务使用时间比较

表1 存储中心配置参数

从整体来看,实线和虚线的线条趋势都是明显上涨的,说明随着数据量不断增加,迁移前数据比迁移后数据在执行同一个任务时,使用时间多。

4 结论

众所周知,输变电工程数据特性众多,数量巨大,模式多样性,结构迥异,更新换代快,在此基础上要做好输变电工程数据存储工作实属不易。经本文探讨,设想按照输变电工程数据的特点进行分类,主要分成工程地理信息数据、三维设计模型数据和文档资料数据三大类,再分别以工程项目、数据包、数据单元的模式进行分层储存,结合实际情况探讨了一种数据存储新模式。

实践表明,分层数据存储架构在总体数据存储模式中是有积极作用的。在数据量不断增加的情况下,分层数据存储模式在数据存储整体环境中运用自如。同时,在数据进行迁移的任务使用时间对比下,可以看出在相同的数据量下,迁移后的数据在执行同一个任务使用的时间比迁移前的数据少。在此基础上,我们继续把三类输变电工程数据细分为结构化数据和非结构化数据后,明显可以看出结构化数据在数据量增长的情况下,数据所需用时低于非结构化数据。

由此可见,根据输变电工程数据的特点分别进行数据存储处理,在不同的存储架构里能有效提高数据存储效率,优化工程存储空间,节省出更大的空间容纳数据。同时,重要的输变电工程数据得到了安全储存,完整性没有受到破坏,海量输变电工程数据存储问题得到了有效解决,在输变电工程系统和总体电力系统方面都体现了极其重要的意义。

猜你喜欢

存储管理数据量结构化
基于大数据量的初至层析成像算法优化
促进知识结构化的主题式复习初探
计算Lyapunov指数的模糊C均值聚类小数据量法
高刷新率不容易显示器需求与接口标准带宽
结构化面试方法在研究生复试中的应用
宽带信号采集与大数据量传输系统设计与研究
一种卫星数据广播系统端站存储管理方案设计
文档存储管理系统的设计
省级气象数据文件共享存储管理系统研究
基于图模型的通用半结构化数据检索