一种基于云存储方式进行数据备份的研究及实现
2017-11-07谭文贵王琨黄英港
文/谭文贵 王琨 黄英港
一种基于云存储方式进行数据备份的研究及实现
文/谭文贵 王琨 黄英港
首先分析了传统数据备份的缺陷，然后阐述了采用云存储方式进行数据备份的设计思路和实现过程，最后将云存储方式进行数据备份在生产系统进行了初步的试验。详细的理论分析和试验结果表明：该备份方式具有良好的动态扩展能力、低成本、稳定性高、性能达到预期的目标，以及易于维护的特点。该方式进行的数据备份的相关研究工作，对于后期备份资源云化建设、并网和后期系统维护提供了参考依据。
云存储 数据备份 虚拟机
1 引言
在生产系统中，对数据的备份是一件非常重要数据管理工作。对虚拟机、Oracle数据库的传统备份方法，均是采用带库离线备份的方式。这种方式存在存储数据丢失、数据安全性、扩展性、恢复速度慢等问题。传统的数据备份方式存在一系列的缺陷，主要包括以下几个方面：
（1）磁带失效率高，数据易丢失。磁带库的磁带介质固有的非密封性，且物理磁带库对磁带没有容错保护机制，备份业务涉及到的磁带组中任意一盘磁带的卡带、磨损、霉点、粘连等，均会导致整个备份无法恢复。
（2）故障率和维护成本高。物理磁带库是一个非密封的机械设备，其核心部件磁带驱动器，机械手，传送装置等各组成部分均为机械易损件，受灰尘、温度、潮湿等因素影响大，故障率高，从而导致设备使用率差，数据备份作业无法正常连续运行。根据统计，物理磁带库每年维护费用高达设备购买费用的15%以上。
（3）数据库备份和恢复过程复杂冗长。物理磁带库由于物理磁带的读写是顺序进行的，无法像物理硬盘一样进行随机读写，导致了一个物理磁带驱动的I/O性能非常有限的，无法满足电信级的业务系统数据备份及恢复的性能要求。
为解决在生产中对虚拟机、Oracle数据库备份问题，弥补上述缺陷，提出一种基于云存储方式进行数据备份实现方案,该方案使用开源软件swift及PC服务器搭建环境实现。
2 系统设计过程
2.1 系统组网方式确认
系统组网如图1所示。
图1：系统组网
备份服务系统需要部署3个网络，分为：内部私有网络、外部存储网络、管理网络。内部私有网络：负责存储节点、proxy节点之间的通信；外部存储网络：外部设备通过该网络与存储系统进行数据通信；管理网络：通过该网络对整个存储系统进行管理。
确定各节点部署方式（如图2所示）。
图2：系统节点部署方式
在本方案中，将使用到3个重要节点，分别是管理节点、代理节点、存储节点。核心交换机为cisco N7010交换机，交换机上的万兆模块主要用于代理节点。网络链路主要有：IPMI链路（用于服务器带外管理）、管理网络（管理节点网络）、内部存储网络链路（存储节点之间的网络）、外部存储访问链路（代理节点与存储节点之间网络）。
2.2 虚拟机备份方法
2.2.1 vmware虚拟机备份实现方法
如图3所示，具体步骤包括：
图3：一种vmware虚拟机备份实现方法
（1）用户登录分布式对象存储系统管理控制台；
（2）用户通过管理控制台，设置备份客户端、虚拟机以及备份文件在swift上的存放路径等备份信息，然后发起备份任务；
（3）备份任务发起后，在备份客户端上需要对虚拟机进行快照，并获取需要备份的虚拟机的vmdk文件列表；
（4）根据第3步生成的文件列表，将这些文件备份到media server上；
（5）第4步备份完成后，media server上swiftclient会将虚拟机备份文件上传至swift中，上传完成后，将media server上的虚拟机备份文件删除，释放空间，整个备份过程完成。
2.2.2 vmware虚拟机恢复实现方法
如图4所示，具体步骤如下：
图4：一种vmware虚拟机恢复实现方法
（1）用户登录分布式对象存储系统管理控制台；
（2）用户通过管理控制台，选择需要恢复的虚拟机备份文件或选择需要的备份记录进行恢复，然后发起恢复任务；
（3）恢复任务发起后，首先将swift中的虚拟机备份文件下载到media server；
（4）第3步下载完成后，将media server上的虚拟机备份文件传到vmware主机上，拷贝完成后，将media server上的虚拟机备份文件删除，释放空间；
（5）根据虚拟机备份文件创建新的虚拟机，虚拟机创建完成后，将原有虚拟机停止，启动新的虚拟机，新虚拟机即为备份时间点的虚拟机，整个恢复过程完成。
3 Oracle数据库备份及恢复方法及系统
3.1 Oracle数据库备份方法
如图5所示，采取rman备份，具体步骤如下：
图5：Oracle数据库备份方法
（1）用户登录管理控制台；
（2）用户进入备份客户端管理界面；
（3）用户根据需要来添加备份客户端；若备份客户端已存在，则无需添加；
（4）用户进入备份目录管理界面；
（5）用户根据需要创建备份在分布式对象存储系统中的保存目录；若目录已存在，则无需创建；
（6）用户进入备份目标数据库管理界面；
（7）用户根据需要来添加目标数据库；若目标数据库已存在，则无需添加；
（8）用户进入备份任务管理界面；
（9）用户根据需要制定备份任务（全备/增量备份），指定将备份的客户端、目标数据库、备份脚本及备份保存的位置；若备份任务已存在，无需制定；
（10）自动或手动执行备份任务，系统会自动将目标数据库备份到用户指定的目录中。
3.2 Oracle数据库恢复的方法
如图6所示，具体步骤如下：
图6：Oracle数据库恢复的方法
Oracle数据库需要恢复到指定的时间点，恢复方法：
（1）用户登录管理控制台；
（2）用户进入Oracle数据库恢复功能界面；
（3）用户在备份树中找到数据库恢复的时间点需要的所有的全备、增量备份等；
（4）用户确认选项开始进行恢复；
（5）用户执行恢复任务后，系统会自动将全备、增量备份依次恢复到备份客户端源目录，同时利用rman来进行数据库恢复。
4 成果展示
成果实现了一种基于云存储方式进行数据库备份的方案，以更好完成虚拟机和Oracle数据库的数据备份任务。成果主要内容可以分为以下几个方面：
（1）备份管理员可以通过管理界面直接掌握数据库备份服务情况，包含节点的组成、备份告警、备份空间按用户使用量的分布、在1月内的备份使用曲线、备份成功失败的任务数。管理界面明显优于传统带库管理，服务管理界面展示 （图7）；
图7
（2）个人用户在申请备份资源后，自己可灵活管理备份空间，在个人管理界面上可以清楚展示数据库备份总任务数、运行的、成功的、失败的任务。管理界面展示（图8）。
图8
5 结论与展望
根据传统数据备份的缺陷，然后阐述了采用云存储方式进行虚拟机和数据库备份的设计思路和实现过程。并进行了虚拟机和数据库备份在生产系统进行了初步的试验。为用户提供了存储如下类型的数据：虚拟机镜像、视频文件、音频文件、图片、文档、数据库的备份等，并以服务的形式提供给用户。具体包括：
（1）现有带库备份方式失效率高，数据易丢失，该方案采用PC服务器的内置硬盘为存储介质，同时数据有3个分布在不同服务器的副本，保障了数据的安全。
（2）现有带库备份方式故障率和维护成本高，该方案采用的备份介质为硬盘而不是磁带，故障率低；由管理软件进行统一后台管理，数据分配采用自动数据平衡，故障率和维护成本低。
（3）现有带库备份方式备份和恢复过程复杂冗长，该方案备份和恢复过程简单、速度快，只需在管理界面上操作即可。
（4）现有带库备份方式无法进行数据的下载查询。该方案支持备份数据的实时下载查询，数据存储以服务的形式提供，灵活性好。
[1]顾炯炯.云计算架构技术与实践[M].北京：清华大学出版社,2014:9-1.
作者单位中国移动通信集团重庆有限公司 重庆市401122
谭文贵（1983-），男，重庆市南川区人。硕士学位。
