基于国产化数据库应用的超融合水电站数据容灾机制探讨及应用
2023-02-19国能大渡河大岗山发电有限公司杨娟杨军何亚东
国能大渡河大岗山发电有限公司 杨娟 杨军 何亚东
为了满足水电站等能源产业向智慧型发展的需要,一些电站开始引入信息化技术,使其融入到电力生产的各个环节中,数据中心作为电站信息系统运行的核心组件,其承担着对关键业务的计算、运营业务的承载以及数据存储和备份的重要任务,随着数据量日益增大,数据项越来越庞杂,电站对数据中心的依赖性越来越大,信息化系统最大的价值就是数据,保护好数据尤为重要,这些数据影响着电站运行的方方面面,因此需要对数据的传输和存储加强管理,以确保水电站数据的安全。近几年一些银行和航空企业的数据系统故障带来的社会影响,让我们不得不引起重视,一旦发生意外,有可能直接造成核心业务瘫痪,带来严重的后果。
1 现状分析
通过梳理电站数据中心业务现状,影响数据安全的主要有以下几点问题:
(1)缺乏整体规划。电站数据机房集成了多个业务系统,涉及软硬件众多,新系统缺乏长远规划,导致数据中心管理混乱,系统架构臃肿无序,计算、存储的需求在各个服务器之间不均衡,大量的软硬件资源被浪费。
(2)硬件故障隐患。数据中心前期搭建过程中,数据量及相应的访问量并没有达到过多,所以采用单服务器的模式运行,且数据存放于外置存储,发生故障将导致数据不可用,业务宕机。同时业务软件和硬件紧耦合,追加容量一般只追加磁盘,随着容量变多后存储性能容易成为瓶颈,无法实现容量和性能的线性平滑扩容。
(3)数据存储隐患。随着越来越多的业务系统上线,随之而来的是相应的业务操作不熟练问题对数据产生巨大风险,因不规范的使用方法将会造成业务数据被误操作、误删除,海量数据丢失的风险直线上升,且系统缺乏专门的数据管理制度和存储备份恢复保护机制,一旦发生故障导致数据丢失无法恢复,将导致电站业务平台瘫痪,造成重大经济损失。
2 解决方案
2.1 总体设计思路
数据容灾系统(如图1 所示)采用软件虚拟化技术对电站业务系统进行虚拟化,将计算、存储、网络、安全等资源虚拟融合到一台服务器中,构建水电站超融合统一平台架构,采用UXDB 作为数据库支撑软件,实现对数据操作和数据存储方式的分离管理,结合电站业务实际,研究并制定可靠的数据备份策略,设计可视化数据库管理界面,实现数据备份进度、数据备份质量、数据同步风险等信息展示,进一步提高运维效率和质量。
图1 数据容灾系统总体设计架构Fig.1 Overall design architecture of data disaster recovery system
2.2 超融合系统设计
超融合服务器作为数据存储备份的硬件支撑,将传统业务系统使用虚拟化技术进行支持,通过虚拟化网络组件进行连接和网络逻辑隔离,虚拟化存储组件构建统一的虚拟存储池,具备良好的扩容性,满足业务系统对数据存储量的要求和高速I/O 的读写需求,实现业务数据的增长和平台横向扩展性。超融合结构将整个系统的计算节点和存储节点部署在同一位置,在提供存储能力的同时具备计算能力,提高资源利用率[1]。
2.3 数据库系统设计
系统采用UXDB 作为数据库支撑软件,包括国产DB 数据处理引擎、国产DBDFS 分布式存储、国产DB可选组件的部署,如图2 所示。
图2 数据库系统架构Fig.2 Database system architecture
2.3.1 国产DB 数据处理引擎
数据库引擎是用于存储、处理和保护数据的核心服务。当访问数据库时,不是直接读写数据库文件,而是通过数据库引擎去访问数据库文件。当SQL 语句给数据库引擎时,数据库引擎会解释SQL 语句,提取数据给调用者。对于国产DB 数据处理引擎是保证水电站数据容灾机性能的核心部件。
数据库引擎提供容灾备份相关任务如下:
(1)创建电站多业务数据库以保存系统所需的关系或XML 文档。
(2)创建能够满足电站业务需要的数据库,优化设计、创建和维护各个组件,确保数据库的性能处于最佳状态。
(3)提供有关如何有助于确保业务数据和日志文件安全的信息能力。
(4)提供日常数据备份管理支持,优化数据库存储、查询性能。
(5)提供业务数据备份系统,数据存储,查询故障排除能力[2]。
2.3.2 国产DBDFS 分布式存储
在分布式集群中增加数据服务的结点就可以无限的增加数据存储的量,突破了本地磁盘和盘阵的容量存在存储上限的瓶颈;分布式存储将数据分散存储在多台独立的设备上,突破了传统的存储系统因集中存放所有数据系统性能受限的瓶颈。
(1)分布式存储打破数据库数据的上限。传统数据库均采用本地文件系统或者磁盘阵列的方式进行数据存储,理论上,这种存储方式是有上限的,其上限取决于本地磁盘系统的容量或者磁盘阵列服务器的容量。而分布式存储是没有上限的,只要在分布式集群中增加数据服务的结点就可以无限的增加数据存储的量。
(2)分布式存储提升数据访问性能。磁盘的I/O 一直是数据库产品的软肋,尤其当数据增加到TB 甚至PB级别之后,这种I/O 的延迟将变得更为明显。采用分布式存储就是为了解决数据增加到TB 甚至PB 级别之后的I/O 瓶颈问题。众所周知,相对于网络技术的发展,磁盘I/O 的发展要远远滞后,分布式系统将数据访问分散在不同的数据服务节点上,其效果是多个硬盘的同时读写操作(并发处理),该方式将传统数据库的磁盘I/O 的压力转化为网络I/O,从而提升整体性能。
(3)分布式存储集群和容错。UXDB 是将数据处理(数据库引擎)和数据存储(分布式存储)分离的数据库系统。当数据处理和数据存储分离之后,数据库引擎将不再参与数据的复制,该工作将由分布式存储接管,UXDB 的分布式存储系统支持:无复制、读复制和读写复制。当启动了复制功能后,同一份数据会分别存储在不同的数据内容服务节点上,当集群中任何一台数据内容服务结点失败时,分布式存储都将能够提供完整的数据,这将不会影响数据库引擎的正常工作。此外,分布式存储还包括DIR-目录服务器、元数据和复制服务器,这两种服务器均支持Hot-Standby 的集群。
(4)数据库引擎的Hot-Standby 集群。数据库引擎支持Hot-Standby 集群方式,该方式是通过以流方式实时复制WAL(Write、Headlog)实现的。流复制传递日志的方式有两种,一种是异步方式;另一种是同步方式。异步方式是事务提交后不必等日志传递到Standby 即可返回,所以Standby 数据库通常比Primary 数据库落后很少;同步方式在Primary 数据库提交事务时,一定会等到WAL 日志传递到Standby 后才会返回,这样当主备库切换时可以做到零数据丢失。
2.4 数据备份策略制定
根据电站需要,制定符合本电站生产及管理需要的数据容灾机制。系统结合全量备份和增量备份,初建进行人工的全量备份,将历史数据加工清洗,分类存储到对应的备份仓中,实现数据操作和存储的分离管理。针对各业务的实时数据采集的秒、小时、日、周、月级的需求,自主备份采用增量方式实现了实时备份,最小备份1周至最大30 日的备份间隔策略。系统备份数据范围包括数据库数据、生产PLC 程序、工作文件,除自主备份外的数据集合外,建成图形化文件管理的即时操作功能。
2.5 可视化界面设计
系统提供可视化的数据中心备份管理、国产化数据库可视化管理功能(如图3 所示)。
图3 可视化界面Fig.3 Visualization interface
设计可视化数据库管理界面,实现数据备份进度、质量、同步风险等信息展示。
当业务发生故障,可通过超融合平台故障检测工具,快速定位网络故障的节点。同时可以清晰展示虚拟机、虚拟网络间流量,实时获取数据中心业务状态[3]。
3 实施应用情况
通过搭建电站超融合数据中心,建立了数据容灾备份系统,应用国产数据库实现了电站关键系统的数据容灾备份,并应用数据图形化管理工具,实现电站重要数据如PLC 程序、设备资料等数据的统一存储管理。基于国产化数据库应用的超融合水电站数据容灾机制研究及应用,可有效降低电站数据风险,保障站内设备安全稳定运行。按每年减少1 次数据事故预估,可减少故障处理工期10天,节约故障处理直接损失约80 万元,减少数据维护成本50 万/年。
4 结语
当前国际态势下,做好我国能源和数据安全的自主可控研究是个迫切的课题。关键发电企业的容灾备份系统建设及研究有利于增加能源安全性,数据可靠性。本文对水电站国产数据库容灾备份体系做了多方面研究,结合实际问题和需求,做了容灾体系建设标准探索及系统应用尝试,形成了国产自主的电站数据库双向备份架构体系,并利用超融合架构与国产数据库实现数据容灾备份的一体化管理。
引用
[1] 马晓明,张新博.面向达梦数据库的应用系统移植研究与实现[J].电脑编程技巧与维护,2021(4):82-84.
[2] 周亚洁.数据库国产化替代面临的问题及对策研究[J].信息安全研究,2018,4(1):24-30.
[3] 张欢.某企业数据中心容灾系统的设计与实现[D].北京:中国科学院大学(工程管理与信息技术学院),2015.