数据备份的分析和发展思考
2020-07-10徐琦江西省邮电规划设计院有限公司南昌市330002
徐琦 江西省邮电规划设计院有限公司 南昌市 330002
0 引言
微盟删库事件引发对IT系统数据保护的关注,数据备份作为数据保护的最后一道防线再度引起热议。本文将在分析常用数据保护技术的基础上,探讨数据备份技术的现状和发展方向。
数据被视为IT系统的灵魂,是IT系统运行的“血液”,失去数据的IT系统毫无价值,因此IT系统自诞生伊始就高度重视数据的保护。经过几十年的技术演进发展,目前数据保护技术主要有三大类:
第一类,本地高可用。即一般是在同一地点采用冗余方式把数据复制成多份。这既包含设备的冗余设计和架构,磁盘的raid技术,也有服务器高可用集群和存储快照等镜像技术,实现了主数据和副本运行在不同的设备上,避免因单点故障或者数据损坏,带来的系统不可用。
第二类,数据备份。本文指自动脱机备份,是按照备份计划定时将生产数据出库成为历史副本,最终形成一系列按时间轴排列的副本集。本地高可用数据保护技术的副本是在线数据,和主数据保持同步,而副本是离线的历史数据。数据备份只能保证系统可恢复到过去的某个时点,但会丢失时点后的数据。
第三类,远程容灾技术。本质上是本地高可用技术在物理位置上的延展。数据跨越大型的物理环境,通过专用链路实现业务连续不中断。容灾的范畴比较广,不仅仅考虑数据,还要考虑整个物理环境和用户的应用。容灾不是简单的一种技术,它是一大堆技术加上管理的组合。容灾技术进一步提升了系统的高可用。
上述三类数据保护技术中,本地高可用和远程容灾技术,都是着眼于保护系统的在线状态,保证数据可以随时被访问,保持业务的连续性,而数据备份是将整个系统的数据或状态保存下来,数据处于离线状态,也被称为冷数据,不支持高可用性,目的是确保系统可恢复。
1 何为数据备份
数据备份泛指将数据以某种方式加以保留,以便在系统遭受破坏或其他特定情况下,重新加以利用的一个过程,本文的数据备份特指IT系统通过备份软件将系统在某个时刻的数据乃至整个网络系统按照备份计划“克隆”,把目标数据转换成备份文件存储到指定备份设备上,单独存放;并能够在灾难发生后,将系统恢复到过去拥有完整备份数据的某个时间状态。为了防止备份数据意外损坏,产生多个时点的多份备份数据副本是必要的。同时数据中心也可能面临灭顶之灾,所以部分数据副本还建议“离场保存”。
备份技术的目的是将整个系统的数据或状态保存下来,它不仅可以挽回硬件设备损坏带来的损失,也可以消除或减弱逻辑错误和人为恶意破坏等意外事件给系统带来的影响。
数据备份技术不保证系统的实时可用性。一旦意外发生,备份技术只保证数据可以恢复,但是恢复过程需要一定的时间,在此期间,系统不可用。备份系统强调备份数据的完整性、实时性,以及时间序列的连续性和真实性。
数据备份是IT系统必不可少的组成部分,其意义不仅在于防范意外事件的破坏,还包括历史数据的保存归档。
1.1 数据备份的类型
备份方式主要分三大类:全备份、增量备份、差异备份。
(1)全备份
全备份又称完全备份或全量备份,它将备份所有选定的文件,然后清除每个备份文件的存档属性(存档属性标识哪些文件需要备份,在全备份中不依赖存档属性)。使用全备份恢复时,恢复所有文件时仅需具备指定时点的全备份文件。全备份至少在首次创建备份集时执行一次。
(2)增量备份
增量备份仅备份自上一次全备份或增量备份后创建或更改的所有文件,并将备份文件标记为已备份即清除存档属性。采用增量备份恢复,需要拥有指定时点最近的全备份文件及其后到达指定时点之间所有的增量备份集。
(3)差异备份
差异备份仅备份自上一次全备份以来创建或更改的文件。差异备份不将文件标记为已备份即存档属性不被清除。采取差异备份恢复,需要指定时点最近的全备份文件和最后一个差异备份文件。
以一周为一个备份周期,三种备份方式如下图:
图1 三种备份方式差异比较
三种备份方式各有优劣,在确定备份类型时,必须考虑备份对网络带宽的影响和恢复数据所需的时间。
?
1.2 数据备份的网络结构
常见的数据备份系统主要有Host-Base、LANBase和基于SAN结构的LAN-Free等多种结构。
(1)Host-Base
Host-Based是传统的数据备份的结构。它将磁带库直连到服务器,而且只为该服务器提供数据备份服务。在大多数情况下,这种备份大多是采用服务器上自带的磁带机,而备份操作往往也是通过手工操作,主要备份服务器操作系统等小规模文件。
Host-Based备份结构的优点是数据传输速度快,备份管理简单;缺点是不利于备份系统的共享,不适合于大型的数据备份要求。
(2)LAN-Based
LAN-Based备份,以生产网络作为传输介质,配置一台服务器作为备份服务器,由它负责整个系统的备份操作。磁带库则接在某台服务器上,在数据备份时备份对象把数据通过网络传输到磁带库中实现备份的。LAN-Based备份结构的优点是节省投资、备份资源共享、集中备份管理;它的缺点是对网络传输压力大,速度慢。
图2 LAN-Based备份
(3)LAN-Free
LAN-Free备份系统是建立在SAN(存储区域网)的基础上的,其结构如下图所示。基于SAN的备份是一种彻底解决传统备份需要占用生产网络带宽的解决方案。它是一种全新的体系结构,将备份设备和磁盘阵列各自作为独立的光纤结点,多台主机共享备份设备,数据流不再经过生产网络而直接通过SAN传送到备份设备,是一种无需占用网络带宽 (LAN-Free) 的解决方案。LAN-Free的优点是数据备份统一管理、备份速度快、网络传输压力小、备份资源共享;缺点是投资较高。
图3 LAN-Free备份
2 数据备份的价值
备份是一个“古老”的技术,也是三种数据保护技术中最被忽视。为保障系统高可靠性和业务连续性,冗余架构、集群、快照、分布式技术等一系列高可用技术在每个I T系统中被普遍采用。911事件后,摩根士丹利因为健全的远程容灾系统,第二天即可以照常运营,而纽约银行由于数据中心损毁,又缺乏有效的灾备系统,数据难以恢复,数月后不得不破产清盘,类似案例使得投资巨大的远程容灾技术迅速推广,目前大型企业的核心系统一般均配备容灾中心。但是高可用和远程容灾技术虽然能够应对设备损坏、数据中心断电失火等“灰犀牛”事件,却避免不了误删库、逻辑错误等“黑天鹅”的出现。
某大型企业在核心系统上建设了一套同城同步容灾中心和一个异地异步的容灾中心,具有罕见的高可用性。可是在一次系统升级中,因为误操作,使得生产中心和同步容灾中心的数据同时失效,危急下,本应该执行异步容灾中心向生产中心的逆向同步被错误执行为正向同步,导致异步容灾中心数据也随之毁坏,最终系统彻底宕机,数天方才恢复运营,损失巨大。
近期的微盟删库事件更是一例数据保护的反面教材。系统采用了分布式、多副本、云计算等一系列高可用技术保护数据,却抵挡不了删除指令的破坏,长达十天的停顿,1.5亿的赔偿,更对微盟的商誉造成不可估量的损害。
上述案例说明本地高可用和远程容灾技术对数据保护不全面,而数据备份技术正可以补齐这块短板。数据备份是针对数据脱机保存、离线保护,阻断了在线灾难的蔓延,保证了系统可恢复。前述大型企业就是通过备份恢复了系统,微盟则未做离线数据备份,长时间无数据可用于系统恢复。同样,如果都能够拥有一份完整、可用的数据备份,那么9.11恐怖袭击中近三分之二企业也不会因为重要数据受损而破产。由此可见,数据备份作为IT系统数据保护的最后一道屏障,是数据保护不可或缺的手段。
3 传统数据备份的痛点
根据互联网和移动安全公司AVG Technologies对中小企业的调查,大多数企业重视数据备份,认为数据丢失最影响生产力,超过收入和客户信心的影响。而据I D C调查,60%-70%的企业C I O对现有备份系统不满意,Gartner的报告显示50%的企业在2020年前准备升级或更换备份系统,那么传统数据备份为何让人又爱又恨?
首先,传统数据备份的投资收益低。受早期的网络带宽和存储介质(磁带)的影响,传统备份需要搭建一套专用的备份平台,将被保护的生产数据打包成image文件传送到备份设备保存,生产系统无法直接读取或使用image文件即备份数据。所以备份平台不为生产提供服务,唯一价值在于数据损坏后的恢复,可这恰是IT系统极力规避的状况,从而导致一个悖论——企业花费大量的资金购置一套希望永远用不上的系统。而且随着数据中心的扩张,备份系统的运维和投入与日俱增,最终既浪费投资,又存储了海量无用的沉淀数据。
其次,传统数据备份对正常生产影响较大。生产系统在备份期间要避免大数据量或者频繁操作,而传统备份需要定期执行全备份等大数据量备份,读取并压缩海量的生产数据,耗时长,有可能严重影响生产系统的运营效率。
第三,更加严重的是传统数据备份的可用性在日常难以验证。备份过程中数据会被压缩转换,转换后数据是否完整、准确和一致性无法检验。生产系统只有在备份数据恢复后,方知其是否可用,能否用于系统恢复。备份恢复失败的案例并不罕见,越是核心系统,数据量越大,越可能备份失败。前文所述某大型企业在备份恢复中,就曾经出现备份数据副本失效,严重影响恢复进程。这也是备份策略采用多个备份数据副本的重要原因。
综上所述,传统备份只是为了数据恢复而存在,它不仅占用了有限的投资,挤占宝贵的生产运营时间,备份成效还难以检测和保证。故而,企业对备份系统的满意度下降是必然趋势,也阻碍了人们持续投入的热情,反过来又导致备份系统更加低效,弱化数据保障,跌入恶性循环。
4 下一代的数据备份
可是作为I T基础设施的“最后一道防线”,备份又不可或缺。针对传统备份的缺陷,新一代的数据备份技术——CDM(Copy Data Management,数据副本管理)被提出。CDM是一种全新的备份技术,采用数据原格式的永久增量备份,保证了与原始数据的一致性和完整性。区别于传统备份的Image文件, CDM使用原格式(Raw Format)拷贝生产数据,采用永久增量备份方式,即首次完全备份,后续以类似CBT(Change Block Tracking)等捕获数据变化量(增量Δ)的技术持续记录变化数据,并存储到备份磁盘阵列,而非传统的磁带库,最终生成了类似生产数据快照的“黄金副本”的备份数据。“黄金副本”可以定期出库到光盘或者磁带,用于异地保存。数据恢复时,只需要将对应时点的增量数据和全备份整合,即形成该时点的备份数据,无需解压等恢复过程,数据可以直接被使用,大大缩减了恢复的时间窗口。鉴于CDM的快速恢复,甚至可以作为部分场景下异步容灾的手段。
4.1 CDM与传统备份对比
CDM与传统备份的比较如下:
(1)备份方式
传统备份:通常采用Image文件格式压缩数据并备份到磁带,备份数据不可用、难验证。采取周期性地全备份方式,即选择全量+增量方式,比如每周日全量备份,周一至周六增量备份等。备份时间窗口长,存储空间需求大。
图4 传统备份方式
CDM备份:采用数据原格式备份到磁盘,备份数据可用、可验证。采取永久增量备份方式,只有一份全备份,后续只记录数据变化量(增量Δ),并可叠加到已经存在备份系统中的全备份,合成新的全备份,逻辑上每一个备份点都是一个全量数据,缩短了备份窗口,提高了备份效率。
图5 CDM备份方式
(2)备份数据的恢复
传统备份:恢复生产系统数据时,需要将某个全备份的Image文件先恢复到指定存储,再叠加若干个增量数据,最后加载应用。整个过程耗时较长,且应用可能加载失败。
图6 传统备份恢复
CDM备份:恢复数据时,只要将全备份和指定时点的变化数据整合成对应的备份数据,由于CDM备份采用了生产系统的原格式,这使得备份数据可以直接挂载至原主机或者应急环境启动业务系统,无须备份数据解压缩过程,大大缩减恢复时间窗口。
图7 CDM备份恢复
从上可知,CDM和传统备份相比从根本上解决了备份可靠性的问题、减少了对生产系统的占用,提供了快速恢复的能力。
同时,CDM可以让备份数据发挥更广泛、更重要的作用。企业中生产系统数据大约占整体数据量的20%,而分析、测试开发、文件共享、历史数据和存档数据占据80%以上的存储空间。CDM可以按照需求,灵活快速的将备份数据整合成不同时点的保证数据一致性的生产数据副本,尤其是近实时的生产数据的“黄金副本”。数据副本可以虚拟出多个逻辑副本直接挂载给相应服务器使用。这不仅统一了数据源,避免数出多门,又避免各类应用直接从生产系统复制数据带来的影响和冲突;还使得企业节省为历史库、查询库、测试库、ODS等应用购置专用存储的投资,又减轻了海量存储带来的维护压力,将备份从传统低值的沉默数据、沉没投资提升成为非生产的准实时生产数据中心。
CDM除了为本地服务,还可以通过云计算将备份数据弹性扩展的虚拟成多个副本以服务的形式呈现,不同时间点的数据副本在不同的位置快速且安全地服务不同的应用,无需经过实体持久化拷贝过程,直接切换时间窗口,实现与位置无关的跨域的数据备份和分享,进一步提高了备份数据的利用率和管理功能。如下图:
图8 CDM的云服
4.2 CDM的优势
通过比较可以得出新一代备份技术CDM具有以下的优势:
(1)安全可靠的数据备份。CDM备份采用原生数据格式,可以被系统直接使用或者被验证,确保数据可靠性、一致性和可用性。
(2)高效的备份和恢复。CDM采取永久增量备份,缩短了备份时间窗口,提升备份效率,减少了对业务资源的占用。数据恢复能够通过直接挂载备份数据,快速恢复业务。
(3)充分挖掘海量备份数据的价值。通过将备份数据整合、快照、克隆等方式创建出多个满足不同需求的副本,满足各类应用需求,节约了各类应用的存储投入,使得备份不只局限于备份,充分发挥了备份投资的价值。
(4)采用云模式,实现跨域共享,消除了备份孤岛,简化了系统结构,缩小了存储规模,减轻了维护压力,降低了管理成本。
5 结束语
目前CDM也存在其弱点,作为多系统的数据备份和共享平台,性能要求非常高,必须采用存储一体机,容易被产品绑定,而且CDM的应用仍然不够广泛,开发、建设和维护都比较欠缺案例和经验,但这并不能阻止CDM的成功。特别是在云计算时代,数据高度集中,安全要求也更高,CDM的低消耗、快恢复、高可靠、高附加值具有广阔市场空间。