APP下载

能源云平台绿色数据中心的构建

2021-11-23狄广义

中国新技术新产品 2021年17期
关键词:灾备集中式结点

狄广义

(国能网信科技(北京)有限公司,北京 100011)

0 引言

云计算是近几年兴起的互联网现代化技术之一[1]。云计算为科研提供了一种新的资源使用和计算模式,可以为互联网用户提供动态、可拓展的计算资源和储存能力的大规模分布式计算集合[2]。在云计算技术的支持下,各类作业储存在资源池,应用系统可针对业务需求获取计算能力、储存及技术软件服务,云计算平台也结合需要动态地进行部署、配置或取消。云计算的资源更加虚拟化,其储存效率突出,具有较高的可扩展性,便于在科研工作中应用[3]。云计算系统按需配置资源,系统弹性、可用服务突出,可实现快速、动态布置资源的目标,并结合业务需求灵活地进行升级、扩充。

1 构建能源云平台背景

1.1 政策支持

自“数字中国”战略提出以来,中央和地方均高度重视数字产业发展,特别是国务院国资委下发《关于加快推进国有企业数字化转型工作的通知》和《关于推进“上云用数赋智”行动,培育新经济发展实施方案》,要求加快推进产业数字化转型[4]。国内能源行业明确提出打造能源类企业数字化转型示范,数字战略及相关政策使能源企业的数字化发展迎来历史机遇。

1.2 技术支持

能源革命和数字革命的深度融合以及在技术上深度的发展,为各能源企业的发展提供了新的发展方向[5]。新兴数字技术(例如“云、大、物、移、智、链”等)的出现,为能源企业的行业发展带来了新的机遇,能源行业的发展模式、行业发展的思维以及业态都受到新兴数字技术的影响,其结构都发生了一定的转变[6]。云平台和智能终端的建设,大幅度提升了信息接入网络的速度,并能够通过数字技术对能源企业或者行业进行智能监测,实现对企业生产或发展的远程运维操控,还可以对发展趋势进行精准预测,提高对未发生灾害的应对能力。

1.3 复杂数据信息处理技术

随着科学技术的飞速发展,大数据被广泛用于半结构化和非结构化数据中,通过分类、清洗和过滤可以将其完全转化为结构化数据。同时,在云平台的开发和运行过程中,非结构化数据信息也可以有效地存储在分布式系统中。

首先,它是一个分布式文件系统。分布式文件系统将相应的信息数据有效地存储在物理存储点中,完成对这些数据信息的统一分发和管理,并为用户提供相应的访问接口,有效地摆脱、减少对原始文件系统的约束。

其次,它是分布式数据库。随着科学技术的飞速发展,在当今的大数据时代,人们对数据的查询、管理和存储的要求越来越高,分布式数据系统开始在建设社会的各个领域中应用,图像数据库也广泛地应用于各个领域。

最后,它是一个关系数据库系统。结构化数据对云平台的发展和运行具有重要影响,因此,相关人员在构建云平台时,应更加重视对数控信息的处理和存储,更加有效地执行相关任务。因此,在存储数据时,负责人必须综合考虑数据和信息的特点,确定合适的存储方式。

2 能源云平台的构建

2.1 集团云平台总体架构

集团云平台的建设涵盖了3个数据中心,分别为集团生产云数据中心、集团同城灾备云中心和集团异地灾备云中心,其中异地灾备云中心为完全新建的数据中心,其余2个数据中心为现有的生产数据中心[7]。集团云平台围绕集团数据中心的地域分布进行规划设计,具体划分原则如下:不同地域处于不同的Region,即包头和北京各1个Region,不同的Region内包括1套云平台的软硬件基础设施,要求对多Region的云进行统一管理,逻辑上形成1个分布式云数据中心,每个Region内的云架构根据业务上云及云容灾的需求进行设计和适配,最终实现应用于两地三中心灾备的云平台架构,如图1所示。

图1 两地三中心架构

集团云平台的建设主要分3个阶段进行:1) 第一阶段主要形成拟静态优化设计、流固耦合及参数化设计等关键技术,建设机电一体化方针平台、虚拟现实实验室及先关技术知识体系和管理体系,并采购相关软硬件。2) 第二阶段主要是建设新工业设计体系、多学科协调方针体系及相关技术知识体系与管理体系。3) 第三阶段是设计云平台,并与ERP系统及PLM系统进行融合,在推广前端支撑平台中使用。

集团生产云数据中心中规划了2个AZ,分别为AZ1和AZ2,分别部署X86和ARM资源池,其中X86资源池用于运行生产业务,ARM资源池用于运行创新业务;集团同城灾备云中心规划了2个AZ,分别为AZ3和AZ4,同样部署X86和ARM资源池,其中X86资源池用于运行生产业务,ARM资源池用于运行创新业务;集团异地灾备云中心规划了1个AZ,即AZ5,部署X86资源池,在运行生产业务异地容灾系统中使用。

门户、CRM等共8个业务在集团生产数据中心中运行,通过云服务器高可用技术服务在同城灾备云中心中实现容灾;全面预算、移动办公等共7个业务在集团同城灾备中心中运行,通过CSHA在集团生产云数据中心中实现容灾,从而在北京同城2个数据中心实现相互容灾;OA、4A和门户共3个应用通过CSDR实现异地容灾。

2.2 集团云平台基础设施总体架构

基础设施包括网络、计算和存储,3个数据中心基础设施规划设计如下。

在集团生产云数据中心部署X86服务器和ARM服务器作为计算节点,同时部署分布式对象存储、分布式文件存储、分布式块存储和集中式存储,其中集中式存储用于为X86服务器提供存储空间,并为集团同城灾备云中心的集中式存储配置存储层双活,以提供云服务器高可用服务;分布式块存储主要为ARM服务器提供存储空间;数据库直接部署在云上,以支撑业务系统的运营。

在集团同城灾备云中心部署X86服务器和ARM服务器作为计算节点,同时部署集中式存储和分布式块存储,其中集中式存储用于为X86服务器提供存储空间,并为集团生产云数据中心的集中式存储配置存储双活,以提供云服务器高可用服务;分布式块存储为ARM服务器提供存储空间;数据库直接部署在云上,以支撑业务系统的运营。

在异地灾备云中心部署X86服务器作为计算节点,部署集中式存储用于复制集团生产云数据中心、集团同城灾备云中心的集中式存储配置存储层数据,以提供云服务器容灾技术服务;数据库直接部署在云上,以支撑业务系统的运营。

3个数据中心部分别部署备份一体机,将生产中心和同城灾备中心的数据备份后复制至异地的备份一体机,实现数据级的容灾。

2.3 功能实现

利用数据分析和关系树的方法建立分类模型。分析灾害信息数据不同属性间的关联性,最终选择数据中关联性最强的若干个特征属性。通过聚类分析、关键词提取进行数据分析,得到相应的数据模型[8]。随后对训练得到的模型进行测试分析,并根据测试指标来判断所建立模型的可靠性和准确性。

2.3.1 数据关系树搜索建模方法

该系统采用的建模方法为关系树搜索法[5],该方法以拓扑的形式对不同的数据类型进行建模。

2.3.1.1 初始化

初始化状态,参数设置情况如下,首先B(B为结点数据)=∞,其次当前水平记为L=0;当前节点记为p=0。

2.3.1.2 p=0的展开情况

把p=0的直接子结点与当前水平(L=0)进行结合计算,将计算得到的数据储存在数据库中,用D(x,M)来表示。

2.3.1.3 结果检验

《液化烃球罐紧急切断阀选型设计规定》中规定: 当罐区有可靠的仪表空气系统时,应选用气动紧急切断阀;当罐区无仪表空气系统、但有负荷分级为一级负荷的电力电源系统时,应选用电液执行机构或电动执行机构驱动的紧急切断阀。在实际应用中,电动控制阀响应动作慢,且不能实现故障安全状态,因此不建议作为紧急切断阀使用,在无仪表气源的情况下优先选用电液控制阀。当切断阀的执行机构为气动型时,首选故障安全型单作用气缸执行机构;若采用气动双作用气缸执行机构时应配储气罐;若必须采用电动型执行机构时,其电源应采用负荷分级为一级负荷中特别重要的电力电源供电。

分析目录表中记录的结点数据,剔除标准为D(x,M)>B+r(r为新节点数据)。

2.3.1.4 回溯

目录表中的结点检验完毕后,则可以返回上一层进行操作,将数据参数设置为L=L-1。

如果L=0,则算法终止;如果L≠0,则转回结果检验;如果活动表中有结点,则继续第五步(选择最近结点)。

2.3.1.5 最近结点选择

选择活动表中的D(x,M)最小结点,将其记作p′,作为当前结点并进行下一步操作,当当前水平L为最终水平时,则转第六步(最终结果检验)进行数据操作,如果L=L+1,就将操作转换到第二步(p=0的展开情况)。

2.3.1.6 最终结果检验

利用算法进行检验,检验逻辑如下:以当前结点p′为起始点,检验其包括的每个节点x[i],如果检验结果为D(x,M)>D(x[i],M)+B,那么得到的结果可以保留,继续进行检验;如果数据结果为D(x,x[i]),且D(x,x[i])

2.3.2 信息图形展示数据统计交叉覆盖法建模方法

设训练集为K=(a1,a2,…,ak),K分为S个子集K=(k1,k2,…,ks),对训练集进行预处理。训练过程中构造第i类学习样本ki的球形领域的步骤如下:1) 如果序列样本集为空,则转回第五步(选择最近结点);否则,令j=1,任取ki中一个时间序列设为ai。2) 按照公式(1)~公式(3)计算d(X),作以ai为中心,阈值为H=d(X)的覆盖时间序列为C(j)3) 通过求解球形领域的重心和平移领域的中心位置,使C(j)可以覆盖更多的样本点。4) 从ki中将C(j)删除,如果样本集非空且j=j+1,则任取尚未被覆盖的样本点设为ai,转回第二步(p=0的展开情况)。5) 迭代终止。

式中:d(X)为阈值;ai为Ki中第i个时间序列;Ki为第i个训练集;x为某一节点。

2.3.3 信息追溯树搜索定位建模方法

在关系树中,其分支结点的主要内容可以总结为3点,分别是累计评分、实时情况以及被访问次数。

2.3.3.1 选择

从根节点开始,向搜索树下端不断搜索需要被拓展的节点,对每个节点进行检查分析,检查结果一共存在3种情况,分别是该节点以结束拓展可能、该节点的所有动作已经被拓展以及该节点有可行动作且没有被拓展。

搜索到已结束的节点时,就在该节点继续进行操作。节点的被访问次数在选择的过程中会不断增加,在完成对所有节点的检查之后,可以在搜索树的地段部分找到一个节点进行拓展操作。

2.3.3.2 拓展

需要拓展的结点是通过数据筛查发现的,其中将其迫切需要被拓展的节点记作父节点,需要拓展但未进行拓展的动作记为A,以此创建父节点下新的子节点,进行下一步模拟操作。

2.3.3.3 模拟

成功和失败的评分记为1或0,随机进行模拟,模拟结束时间为当结点的评分成为结论时,此时便可以停止模拟操作。

2.3.3.4 反向传播

在对不同的子节点进行模拟后,会进行最终的累计评分操作,在父节点到根节点的整个路径上(包括所有结点累计评分操作)都以该模拟结果数据为依据,在选择数据结果的过程中,当出现结论时,最终的评分以发现的结论为最新评分结果,在不停地模拟更迭的过程中,随着数据模拟评分的改变,以评分最好的子节点作为决策依据,也就是将最新的评分结果作为最终定论。

2.4 图形数据库的设计方案

合理设计有关的scada 结构,其中主要设置前置机处理、实时性数据库系统管理、用户界面、报表工具软件、核心scada、数据库工具、图形编辑工具软件以及计算工具软件,设计期间必须给予重视,改善有关的系统结构。

图形在数据库中的储存可以以2种方式进行,2种方式有其不同的优点,一种是操作简单的整图记录,将1个完整的图形作为1条记录,然后将其储存在数据库中,但是其缺点也很明显,数据的冗余度比其他方式高,缺乏灵活性。另一种方式是将图形中的子元素摘除,以子元素的形式进行储存,该操作方式的优点是冗余度较低且灵活性较高,能满足基于OMS系统调配管理的需求。

3 集团云平台建设利用现状

目前已构建成熟稳定、安全可靠、开放兼容以及具备大规模资源管理和调度能力的IAAS云平台体系,完成了两地(北京、包头)三中心云化建设及统一云运营运维管理的任务。基于IAAS云平台架构实现了两地三中心完善的“灾备及服务”云架构,提升了应对突发灾难场景的数据恢复能力和关键业务接替能力,满足监管安全合规的要求,可以保障系统整体数据的安全。

形成具备120台网络设备、320台物理服务器、2 000台虚拟机、5套分布式存储以及6套集中式存储设备的云平台基础设施规模。使包括一体化管控系统、生产指挥协调调度系统、商旅平台系统以及OA系统等在内的75套系统在云平台上运行的任务。

3.1 生产云平台内存使用率

生产云平台内存使用率较高,已经达到了扩容预警值,计算资源分配及使用现状见表1。

表1 生产云平台内存使用率

3.2 存储资源块存储使用率

存储资源块存储使用率较高,生产核心存储分配率已达206.76%,存储资源分配及使用现状见表2。

表2 存储资源块存储使用率

4 结语

综上所述,在建设能源云平台以及应用绿色数据的过程中,构建了集团一体化管控、集团办公自动化、基石以及数据湖等共计75套系统。

采用关系树建模的方式,实现应对突发灾难场景的数据恢复能力和关键业务接替能力,并保护云平台系统安全稳定地运行,同时保障数据信息的安全。

形成具有120台网络设备、320台物理服务器、2 000台虚拟机、5套分布式存储以及6套集中式存储设备的云平台基础设施规模。完成包括一体化管控系统、生产指挥协调调度系统、商旅平台系统以及OA系统等在内的75套系统在云平台上运行的任务。

目前已构建成熟稳定、安全可靠、开放兼容以及具备大规模资源管理和调度能力的IAAS云平台体系,完成了两地(北京、包头)三中心云化建设及统一云运营运维管理。

猜你喜欢

灾备集中式结点
Ladyzhenskaya流体力学方程组的确定模与确定结点个数估计
组串式、集中式逆变器的评估选定浅析
企业级信息系统应用级灾备建设与应用
轨道交通清分系统灾备升级方案研究
深蓝云海“云灾备”正式上线
接触网隔离开关集中式控制方案研究
应用级灾备系统的研究与设计
基于Raspberry PI为结点的天气云测量网络实现
基于DHT全分布式P2P-SIP网络电话稳定性研究与设计