存储技术在省级气象数据保护中的应用研究

2019-01-06全秋浩杨鹤马云飞

吉林农业 2019年13期

全秋浩，杨鹤，马云飞

（吉林省气象信息网络中心，吉林长春130062）

1 概述

随着信息技术的发展和气象信息化的深入发展，省级气象部门已经搭建了多项数据纵向贯通、横向集成的多元化气象信息系统，而且业务系统对信息技术的依赖性也越来越强，同时，支撑业务系统的气象数据越来越重要，气象数据的丢失和业务的中断，往往意味着巨大损失。如何应对不确定环境下的气象数据丢失的风险，如何在软件和硬件故障后让业务系统快速恢复，如何保证气象数据万无一失等，这些课题已经摆在气象部门的运维和管理人员面前。

2 气象数据保护

2.1 数据保护核心

气象数据保护就是结合气象部门自身的气象实时和历时资料的数据保护和业务连续性需求，制定适合于气象信息部门自身的容灾方案和恢复策略，在遇到突发的系统故障和气象数据部分或全部丢失的情况时，以最短的时间恢复业务系统的正常运行。

气象数据保护的范畴很广，从技术角度来看，要建立一套有效的气象数据保护方案和数据丢失时的恢复策略，其需要考虑以下几个问题：气象数据的完整性和一致性、气象数据传输的网络连通性和网络带宽、气象数据传输的安全性以及气象备份数据存储媒介等；从实现方法来看，有拷贝、备份、复制、快照、镜像等；从实现位置上来看，可以在主机层、网络层、存储层实现。

无论采用哪种数据保护方案，数据保护的核心都是建立一份或多份数据副本，一旦出现数据故障，可以通过备份的气象数据进行恢复或进入短时间的替代使用。

2.2 数据保护衡量标准

恢复时间目标和恢复点目标是数据保护的两个通用的衡量指标。恢复时间目标指的是从发生数据丢失时到恢复数据使用所需要的时间，这一指标体现了数据恢复能力；恢复点目标指的是业务系统在发生数据丢失的情况下能接受的最大数据丢失量，这一指标体现了数据的冗余能力。

恢复时间的目标越小，意味着业务系统允许的数据丢失到恢复的时间越短。对于气象业务部分肯定希望由于数据丢失造成的业务系统无法使用的时间越短越好，但是这意味着需要在数据备份和恢复上投入更多的成本，而对于省级、市级和县级的气象部门来说，其恢复时间目标一般是不相同的。在考虑气象数据保护方案和数据丢失时的恢复策略时，要评估自身对气象数据丢失到恢复能接受的最大允许时间，在考虑到投入成本的前提下，制定适合的、性价比高的气象数据保护方案、数据备份方式、数据恢复策略以及数据容灾系统。

2.3 数据保护技术实现的层次

目前，数据保护的技术有很多种，按照实现位置的不同，可以分为主机层、网络层、存储层。主机层数据保护：通过主机上的通用或特定软件来实现数据保护，例如，经常使用的拷贝，就是一种数据保护手段。此外，基于主机的复制软件（如Veritas VVR软件）或特定应用软件（如Oracle Data-Guard），也都是基于主机层的容灾；网络层数据保护：主要是通过一些智能网络交换机或存储网络虚拟化引擎的复制、镜像、快照来实现，例如，IBM SVC等；存储层数据保护：最主流的就是基于盘阵来实现，主要包括镜像、复制、快照三大功能，这些是各大存储厂家都可以提供的相应实现方案。

3 数据保护技术

3.1 拷贝

大家经常使用的拷贝，也是一种数据保护手段。拷贝技术的数据保护方式仅支持文件格式的数据拷贝，无法拷贝正在使用的文件，且需要手动操作，无法判断数据增量，每次数据备份时都需要拷贝全部数据，且备份数据仅与当时拷贝的原数据一致，当需要备份的数据量较大时，拷贝和数据恢复都将占用大量的业务服务器资源。拷贝技术的恢复时间目标和恢复点目标无法预估，一次性投入成本较低，但人力和维护成本相对较高。适用于对业务连续性无要求的业务系统，且备份数据量较小的场景。

3.2 复制

数据的复制技术指的是通过使用复制软件或硬件把数据从一个存储区域传输到另一个存储区域，生成一个数据副本。网络层的复制技术可以精确的判断增量数据，在实现数据异地备份的同时，所花费的链路带宽很小。使用复制技术可以保证数据格式和原数据的一致性，减少了格式转换的环节，极大地缩短了业务系统的恢复时间。

服务器将IO写到存储中，通过复制引擎（复制软件），将增量的数据块发送到异地的灾备中心的存储中，写入完成后，返回一个确认信息。复制是一种异步的数据保护手段，所以会有少量的数据丢失。网络层和存储层复制对数据传输带宽要求相对较低，且数据的提取过程不影响业务服务器的性能，而服务器层的复制对业务服务器性能影响较为明显。

复制方式数据保护恢复时间目标和恢复点目标可达分钟级。服务器层的复制成本与服务器数量成正比例相关，且复制过程对服务器性能影响较大，而存储层复制成本为一次性投入，与服务器数量无关。适用于对业务连续性要求较高的气象核心业务系统，且传输距离较远或传输链路条件不高的场景。

3.3 镜像

镜像技术是指在存储系统中通过同样的读写操作，在两个独立的存储空间中存储相同的数据。镜像技术适用于近距离传输且对网络带宽要求较高，具有维护低成本、数据丢失后切换快等特点，基本可以达到数据零丢失。适用于对业务连续性要求高的气象核心业务系统，且数据的提取不影响业务服务器系统资源的场景。

3.4 快照技术

存储系统中的数据快照与生活中所说的照片非常相似，不同的是存储系统中的快照对象是数据，快照相当于一个数据的副本或是复制品。快照的主要特点包括：瞬间生成，存储系统可以在几秒钟内生成一个快照，获取源数据的一致性副本，占用存储空间少，生成的快照数据并非完整的物理数据拷贝，不会占用大量存储空间。所以，即使源数据量很大，也只会占用很少的存储空间。

快照部署的方式：单一集中存储情况下，快照软件部署在生产存储，应对人工误删除、病毒等软故障。在存储系统中存在备份存储的情况下，快照软件部署在备份存储，这样部署的好处是不会影响生产存储性能，部署快照的优点：可恢复任意快照点数据，不需要在主机上安装软件，不影响主机性能，能够快速生成快照，且恢复速度快。适用于用户的业务系统对恢复点目标和恢复时间目标要求一般，数据丢失后进行数据恢复时允许业务短暂停机的场景。

4 数据保护解决方案

4.1 备份软件保护方案

备份软件保护方案需要在一台备份服务器上安装备份软件，并且在每一台有数据保护需求的服务器上安装备份客户端，根据策略将数据拷贝至备份存储，既可以包括操作系统和虚拟机数据，也可以包括数据库、邮件系统数据等。当生产数据发生故障时，可以从备份存储中进行恢复。这种方案的优点是比较简单易用，投资也较少，适用于对恢复点目标、恢复时间目标要求不高，且服务器和应用数量不多的情况。这是因为备份软件的数据备份对业务连续性有影响，一般都是在夜里进行，而且在数据量比较大的情况下，例如几十TB，恢复的时间也会比较长，甚至可能达到 2～3天，这对很多气象部门来讲是不能容忍的。而且因为备份软件是根据服务器数量收费的，所以，在应用和服务器比较多的情况下，投资成本也会线性增长到一个非常高的程度。

4.2 CDP数据保护方案（复制+快照）

了解了备份软件的保护方式后，基于存储的CDP本地数据保护方案也是解决方案之一，即复制和快照保护。存储复制是通过一台生产存储和一台备份存储实现的，它通过存储控制器内置的复制软件将数据按策略从生产存储拷贝至备份存储中，当生产存储出现故障停机或数据丢失时，可以通过备份存储进行业务接管和数据恢复。

其和备份软件的一个很大区别是，因为两台存储的数据格式是一样的，所以，在发生故障时，只需要把备份存储成功挂载在服务器上，业务就可以恢复，而不需要像备份软件一样去花大量的时间做数据回滚，所以，恢复起来比较方便，时间也较快。此外，由于是基于存储实现的，不需要在主机端安装软件，不仅节省了一台备份服务器，不影响主机的性能和带宽，而且不管服务器的数量如何增长，其投资成本都是固定的，这也是复制解决方案的优势之一。最后复制方案也不需要业务停机，所以时间上比较灵活，用户选择1～2个小时做一次复制都是可以的。

在快照保护上，其通过保存某个时间点的数据，可以有效预防很多软故障，包括误删除、文件损坏、病毒攻击等。例如，每半小时做一次快照，在20点10分的时候误删了一个文件，在几分钟后发现了，那么就可以通过20点钟时候的快照，将删除的文件恢复出来。

4.3 镜像保护方案

前面的所有本地灾备方案，都会有不小的数据丢失，而数据镜像方案真正实现了恢复点目标为零，因为任何一个数据IO的写入，都会在对端镜像存储中写入完整后，才会接受下一个数据IO的写入，这样可以最大程度地避免数据丢失。为了降低应用延迟，两台存储之间需要通过万兆网络进行数据镜像。与复制技术一样，镜像保护也是基于存储层面实现，所以不会占用主机的性能和带宽资源，而且还具备实时切换能力，相比复制技术的故障恢复时间又提升了一个级别。镜像方案需要两台性能规格相当的存储，其恢复点目标和恢复时间目标可以达到很高级别，适用于对数据安全性和业务连续性要求较高的气象用户。

4.4 本地双活保护方案

本地双活保护是数据保护方案中最高安全级别的解决方案，通过两台相同配置的存储搭建双活系统，每个控制器上配置两个10GE或40GE接口卡，两两交叉互连，作为数据镜像的专用通道。两台存储的数据卷通过双活软件组成一个虚拟卷，统一对外提供存储服务，服务器看到的是一个数据卷，在任何一台存储发生故障时可以自动切换到另一台存储，保证数据零丢失、业务不停机，而且服务器感知不到这种切换，是完全透明的。在正常情况下，两台存储可以同时对外提供读写服务，既提升了应用性能，也保证了设备利用率。双活方案不需要增加任何第三方软硬件，投资成本低，部署管理简单，而且没有兼容性风险，此外性能和可靠性也更高，是一种非常领先的双活解决方案，适用于对业务连续性要求较高、不允许业务停机和数据丢失的环境。