APP下载

高性能数据拯救系统DataSafe的设计

2018-11-19院仁杰袁晓东

通信电源技术 2018年9期
关键词:快照全量列表

俞 俊,院仁杰,袁晓东

(1.南京南瑞集团公司信息系统集成分公司,江苏 南京211000;2.南京云白信息科技有限公司,江苏 南京210008)

0 引 言

为了防止数据库系统的软、硬件故障造成数据丢失的严重后果,生产系统的数据库都需要进行定时备份。传统的备份方法需要对数据库定期进行全量备份[1,2],而随着系统数据量的增长,全量备份耗时越来越长,对于大数据量的系统甚至出现在夜间备份窗口无法完成一个数据库全量备份的情况,持续到早晨业务高峰期的备份操作会对业务系统的性能产生极大的影响。

当需要通过备份数据对数据库进行恢复时,传统的磁带库或者虚拟带库恢复数据库的时间也非常长。例如20TB的数据库使用磁带库或者虚拟带库,按照平均200 M/s的恢复速度,最小恢复时间大约为40 h。

针对传统数据库备份方法全库备份、数据恢复时间过长的问题,我们研发了DataSafe高性能数据拯救系统,它具备以下优点:

(1)采用备份服务器端自动合并技术,边备份边合并备份集,不需要在恢复时合并备份集,实现快速恢复,数据库恢复的时间与数据库规模无关。

(2)支持各种基于块变更跟踪的数据备份技术,例如Oracle块跟踪、LINUX CBT等。

(3)支持各种增量备份技术和日志前滚技术,例如Oracle增量备份和归档日志前滚。

(4)只需要在初始化阶段做一次全量备份,今后只需要备份增量,可以避免定期全量备份,减轻生产系统负担。

(5)通过快照可保留多个时间点的历史数据,避免了保留多个备份集带来的存储资源浪费。

(6)备份集可以用于开发、测试、灾备演练、数据脱敏等工作。

1 总体功能架构

DataSafe系统基于B/S架构为用户提供服务,其功能整体架构如图1所示。

图1中各部分功能说明如下:

(1)首页:用户登录成功后,进入控制面板首页,内容包含所有节点状况(节点切换显示、故障节点显示)、快照池使用量、重删池使用量、应用程序列表、失败任务列表、事件错误列表等,界面如图2所示。

(2)应用管理:应用管理是系统核心模块,由以下模块组成:本地应用模块、备份管理模块、远程应用模块、应用组管理模块,包含发现新应用、应用列表、应用保护(重新保护)、应用详情、SLA管理、取消保护、策略查看/删除、过期备份处理、工作流、故障恢复、备份管理、历史任务详情、备份挂载、备份还原、快照管理、重删管理、远程重删搜索、数据零丢失操作、任务进度详情、任务列表详情、镜像卸载、镜像删除、镜像挂载、镜像状态等功能。

(3)SLA策略管理:SLA策略管理对数据备份的策略进行管理,由以下模块组成:模板管理模块、策略配置模块、资源配置模块,包含新增模板、模板列表、编辑模板、克隆模板、查看模板详情、查看关联应用、搜索模板、删除模板、管理策略、策略可视化、新增策略、策略列表、编辑策略、删除策略、新增资源配置、资源配置列表、编辑资源配置、查看资源配置详情、克隆资源配置、删除资源配置、搜索资源配置和、查看关联应用等功能。

图1 DataSafe功能架构图

图2 DataSafe系统首页

(4)域管理:域管理由主机管理模块、存储池管理模块和组织管理模块组成,包含新增主机、编辑主机、开启/关闭主机CBT、删除主机、搜索主机、新增快照池、编辑快照池、删除快照池、快照池数据列表、快照池统计数据、重删池数据列表、新增组织、组织列表、编辑组织、查看组织详情、资源管理、删除组织、资源查询等功能。

(5)监控中心:监控中心由任务监控模块、事件监控模块和日志下载模块组成,包含任务监控列表、搜索任务、查看任务详情、改变任务优先级、取消任务、事件监控列表、搜索事件、查看事件详情、日志下载等功能。

(6)基础配置:基础配置由用户管理模块、角色管理模块、个人信息模块、邮件通知模块、节点管理模块,包含新增用户、用户列表、搜索用户、编辑用户、节点分配、组织分配、角色分配、删除用户、新增角色、角色列表、搜索角色、编辑角色、删除角色、权限设置、个人信息维护、邮件通知设置、新增节点、节点列表、编辑节点、开启/关闭CBT功能、启用/禁用节点、删除节点、搜索节点、节点状态检测、节点证书交换、节点移除证书、节点配对、取消配对等功能。

2 系统创新特点

DataSafe系统与市场上的同类型产品如Actifio[3]相比,有以下几方面的特点和独到之处:

(1)除支持Oracle数据库外,还支持 MySQL、达梦、DB2等数据库的备份管理,通过对逻辑卷进行块变化跟踪来实现。

(2)支持多节点管理,可同时管理多个备份节点机。

(3)满足可灵活配置的资源权限,包括对主机、应用、策略模板、资源模板、用户、节点等都可以按角色来管理相关资源。

(4)支持Oracle数据库的零丢失数据恢复,而其他数据备份工具只能恢复到数据备份的时间点。

3 结束语

本文介绍了高性能数据拯救系统DataSafe的目标、整体功能架构和系统创新特点。经过实际测试,单备份节点环境下数据库初始化全量备份速度超过600 M/s,集群环境下数据库初始化全量备份速度超过1 TB/s,每5 min可备份一次增量或归档日志。通过我们独有的技术无论数据量多大都可以即时恢复,并可实现Oracle数据库恢复时的零数据丢失,最大限度保障RTO指标。

猜你喜欢

快照全量列表
面向Linux 非逻辑卷块设备的快照系统①
EMC存储快照功能分析
学习运用列表法
贵州野生小檗属植物土壤与植株微量元素相关性及富集特征
扩列吧
大数据还是小数据?
271家网货机构公布资金存管信息超八成全量业务上线
一种基于Linux 标准分区的快照方法
让时间停止 保留网页游戏进度
列表画树状图各有所长