基于CommVault 的省级气象数据环境归档应用

江蕾 邱玲

（四川省气象探测数据中心 四川省成都市 610072）

1 引言

企业最为宝贵的财富就是数据，要保证企业业务的持续运做和成功，就要保护基于计算机的信息。人为的错误、硬盘的损毁、电脑病毒、自然灾难等等都有可能造成数据的丢失，给企业造成无可估量的损失。如何对数据进行有效的存储管理作为一道难题实实在在地摆在大家面前，从而推动了旧的数据存储管理架构不断完善，新的数据存储管理架构不断涌现。而数据归档技术利用数据存储与内容管理的无缝集成，可以实现在数据生命周期管理(ILM, Information Lifecycle Management)的每一阶段，根据数据相对于企业的使用价值保存在相应的存储系统中，并对这些海量的非结构化数据进行结构化索引、排序，建立快速高效的数据查询和内容检索系统，将数据转换为企业的信息资产。

全国气象信息共享系统(China Integrated Meteorological Information Sharing System, 简称CIMISS)自2016 年正式业务运行以来，一直支撑着四川的省级气象业务应用，目前系统存储的结构化气象数据（地面实况、高空实况、非结构化数据索引信息、系统支撑信息等）提供了实时和历史数据的在线服务；系统存储的非结构化气象数据（卫星、雷达、数值模式、服务产品等）提供了近一个月的在线数据服务，其中结构化气象数据存储在CIMISS（新一代天气雷达信息共享平台）中的BDB（ORACLE 数据库，基础库），SMDB（ORACLE 数据库 支撑库）中，非结构化气象数据存储在IBM 通用并行文件系统（General Parallel File System ,简称GPFS）上。CIMISS 系统的灾备措施主要采用了基于Rman和TSM 的Oracle 11g 数据库备份。这种数据备份方式有个重要的问题，当数据库有多个时，通常会使用一个单独的数据库来作为Rman 恢复目录，如果这个数据库出现故障，那么所作的所有数据库备份也都不能使用，除非恢复这个数据库。那么为了保证这个用于存放Rman 恢复目录的数据库出现故障，通常还要对这个数据库使用OS 命令备份，因此使得Oracle 数据库备份复杂，同时GPFS 如果出现故障那会导致数据的全部丢失，如何做到GPFS 上多文件的备份和多个oracle 数据库备份呢？

目前随着某些存储设备的老化、省级数据环境中的历史数据的不断扩展和新资料类型的不断加入（比如雨滴谱数据、西南区域环境模式产品、实况融合分析格点产品、FY 卫星产品等等），原有的磁盘阵列和磁带库相结合（SMDB 备份到磁盘，BDB 备份到磁带库）的结构化数据（ORACLE）备份方式存在着技术实现复杂、日常维护管理困难、备份恢复过程冗长以及磁带库固有的弱势导致无法胜任未来一段时间的应用，同时非结构化数据产品的在GPFS 上存储的时效在CIMISS 系统设计之初就按照每一大类产品的日增量来划分存储位置、存储容量、以及存储策略等，设计详细方案是各数据目录均考虑30%冗余,近线再考虑2 倍的备份容量，目前四川非结构化气象数据存储的总容量是57TB，目前的数据日增量200GB 左右，考虑到30%的容量冗余，计算出来数据平均存放周期为30 天左右，而且上面数据是除去气象历史个例数据计算的，因此随着新资料类型、各种原始数据分析产品的持续加入以及气象应用对历史气象数据的需求以及系统设备的老旧问题导致单纯使用GPFS 设备存储非结构化气象数据已经无法满足日益繁杂的气象应用。

同时，除了气象数据外，省级气象数据环境的中应用程序以及应用配置（主要是离散的配置文件与应用程序文件）的种类和数据量也在随着应用的多元化日益剧增，因此解决整个气象基础数据环境的备份与文件级别备份与还原是实现省级气象数据环境归档应用的两个方案。

对应于数据备份与归档的区别，从目的来看，备份是为了快速恢复数据，是用于恢复目的的数据保留，是为了应对数据丢失；归档是为了长期保存数据，保证数据的快速检索和可管理性。从应用场景来看，选择备份的更多是对于业务连续性有要求的企业，保证数据能够立即使用，在业务中断时能够在最短时间恢复数据，数据变化量大；选择归档的更多是出于法律法规要求或服务质量要求的单位，应对数据审查，长期存放，数据变化量相对较小。总的来说，备份侧重于保存数据副本，进行数据保护；归档侧重于数据长期存储，方便检索访问。但备份和归档对任何行业来说都是不可缺少的一部分，如果没有对数据进行归档整理，而是选择直接备份，后期想要进行数据调取和访问就会显得十分麻烦，尤其是医疗、教育等行业。尽管备份与归档本质上有所区别，应用目的不同，但是二者都是数据保护的手段，结合在一起能够帮助用户改善数据资产的管理，用最低的成本实现数据的高效管理与利用，在遭遇系统故障或自然灾害时能够快速恢复数据，增强数据安全性。

首先，一个合适的解决方案，一定是符合公司现有的环境的。因此，在制定解决方案之前，工程师与运维人员一定要明确公司现有的环境和资源。到底有多少的存储空间？可以存储多少的数据？一共要备份多少的数据？这些都是在制定解决方案之前需要明确的部分。其次就是软件和策略的问题。

2 省级气象数据归档应用

相比过去，数据保护方法的选择变得更加重要。数据备份和恢复解决方案在更广泛的运营流程中正扮演着越来越重要的角色，包括灾难恢复、开发/测试和开发运营等。事实上，据报告，到 2020 年，30%的企业将在运营恢复以外的流程中使用数据备份。而促成这一点的正是云平台和大数据等颠覆性技术的出现。这些模式正在改变数据保护技术的格局，同时，企业将在不能影响预算或复杂性的前提下继续面对不断增加的治理和控制要求。

作为全球领先的数据备份及恢复领域服务提供商，Commvault 数据管理解决方案使企业能够智能化地存储、保护、优化和使用数据，Commvault 软件可提供自动化处理以加速IT 工作流程，从而让企业充分发掘数据价值，之所以选择Commvault 软件作为备份，原因有如下：

2.1 简化迁移至云平台的过程

到2018 年，将云平台用作数据备份终端的企业将增加一倍。这是因为云平台具有成本和可扩展性上的优势，但这一迁移需要具有战略性的高效策略以保证在整个云平台的迁移以及后续运行管理过程中优化工作量并且最大程度地降低复杂性。Commvault 为这些平台最大程度地减少了人工脚本撰写工作和复杂性，同时提供丰富的数据离线迁移功能，从而保证在不增加成本或风险的情况下达到服务等级协议要求。

2.2 工作负载和数据的可移植性

每家企业迁移到云平台的过程需要不同的阶段和时间，因此 Commvault 通过根据业务需求的变化实现工作负载可移植性的灵活性和选择简化了云平台的执行。通过Commvault，企业可以在本机上将工作负载转移到任何地方从内部到云平台、从云平台到云平台、或者从云平台回到内部。因此，企业可以自由选择最适合其工作负载、容量要求和预算的环境。这让企业能够根据业务需求的转变自由改变云策略。

比如，通过 Commvault，在云平台中映射虚拟机就像是在内部映射它们一样简单。远程站点数据和生产工作负载能够简单地合并，并且可以轻松获得大幅缩短和减少测试/开发周期的能力。此外，可通过统一的管理控制台对全部基础架构中的所有这些措施进行管理。

2.3 避免供应商锁定

工作负载和数据可移植性带来的是灵活性以及投资保护。 Commvault 不仅简化了工作负载和数据可移植性，它还实现了选择上的自由，使企业不仅能够毫不犹豫地采纳新的基础架构，而且也能启用 NoSQL 或 SAP HANA 等新的应用并且不必担心影响业务。 Commvault 已开放了其平台用于提供本机文件类型和虚拟机访问，这让企业能够真正自由地随时采用任何技术，无需承担可用性、可恢复性或自由度上的风险。也就是说，不会再出现供应商锁定的情况或者担心技术选择将影响未来的业务需求。

2.4 获得高效软件服务的数据保护和成本控制

云平台不仅改变了数据的存储和保护，还成为许多关键应用的平台。从Salesforce 和 Oracle 到 SAP 和 Office 365，许多重要的商业应用现在都位于云平台上。这些软件服务（SaaS）应用的存储成本控制以及确保符合规定的数据保护是一大挑战。软件服务应用的存储和容量成本不断增加，并且随着用户对它们依赖程度的上升而呈几何级数增长，这在IT 行业内已经十分常见。

Commvault 可以通过利用带有数据平台链接的云平台文件共享技术最大程度地减少这些软件服务应用的存储要求，这还使软件服务内容能够映射到被管理的基础架构以符合数据治理、电子发现和合规要求。更进一步说，对于关键的软件服务应用，Commvault 能够通过追踪变量的变化保护 IT管理基础架构上的软件服务应用数据，从而进一步改进服务等级协议。这可以提供部分关键软件服务应用进行快速数据恢复所需的颗粒度，同时为开发测试运行提供附加基础架构。

2.5 确保无限的可扩展性

随着数据继续快速增长，扩展能力可能成为最大的数据管理障碍。一些遗留系统迫使您使用多种解决方案来支持更多的数据，这造成了越来越重的运营负担和越来越高的成本。但对于 Commvault 而言，可扩展性一直是一项核心优势。自一开始，它就被开发成一个分布式可扩展架构。这让它能够管理数十亿、甚至数万亿对象，从而支持任何规模的数据环境并且不会限制特征或功能。因此，Commvault 的扩展方式不同于市场中的任何其他数据管理解决方案，能够将成本和复杂性转化为信心与控制力。

2.6 世界级的技术和产品支持

在支持方面，没有一家供应商能够超越 Commvault。在技术领域，Commvault 依然处于创新前沿，为大量的虚拟平台、云服务供应商、存储软件等提供支持。除了技术支持之外， Commvault 也是业内评价最高的客户支持企业之一。在数据保护、恢复保障与合规领域，对客户的支持极为严谨。Commvault 客户支持得到了 98%的客户满意度，超出了业内的任何一家公司。这一高质量的服务还得到了 Commvault授权支持合作伙伴的支持。这些合作伙伴都经过严格的培训和认证，能够达到 Commvault 高规格的支持标准。

基于气象应用的及时性与可靠性，选择CommVault 软件来实现气象数据的备份与回传（备份业务文件），备份策略的设计与制定通常遵循以下原则：

（1）根据业务需要确认备份介质保存周期。

（2）合理的选择备份方式。备份的最终目的是为了进行数据恢复，在选择备份方式时，要在业务系统性能需求许可的情况下，最大程度的降低数据恢复时的复杂程度。

（3）对于相关业务系统的数据，为保证数据一致性，尽量安排在同一天进行备份；

（4）对于数据量较小的备份任务，或较为关键的业务，则建议每天进行一次全备份，以降低恢复时的复杂程度；

（5）根据各业务系统对备份的需求，以及系统的忙闲程度，为每个备份任务划定可以进行数据备份的时段。尽量使备份数量在一周内的每天平均分布，可以采用大小数据量相搭配，或关键业务与非关键业务相搭配等方式进行；

（6）在每次业务数据做大调整后应立即做一次全备份；

（7）尽量使并行工作，提高备份效率；

为了实现以上应用，在基于已有的存储基础上，备份数据通过以太网传输给备份服务器，由备份服务器将备份数据写入备份存储，整个系统的系统总体结构图如图1 所示。

图1： 系统总体架构图

核心的备份服务器的规划如下：

备份管理服务器使用虚拟机部署。最低配置：8 CPU（逻辑处理器），内存16G， C 盘空间200G，D 盘空间200G。备份介质服务器使用物理机部署。最低配置：8CPU 逻辑处理器），内存32G， C 盘空间200G，D 盘空间800G（重复数据删重库）,E 盘空间1TB（备份索引）,F 盘（挂载备份存储空间）。建议使用10Gb 网络，并且备份数据和挂载存储使用的网口分离。

实施步骤如下：

（1）安装备份服务器，预安装IIS 及.Net Framework3.5，配置hosts 文件。

（2）平台客户端代理模块安装，COMMVAULT 核心程序安装与配置。

（3）按照数据的分类配置备份任务（存储策略、计划策略等）。

（4）对于GPFS 备份,需要先创建GPFS 虚客户端。

3 程序及配置文件归档应用

介于气象气象对实时性及高效性的要求，选择Comm Vault 商业软件用作核心气象技术数据的备份应用可以实现高效的数据管理并且降低运营成本，为了提高软件的高性价比应用，对于操作系统上层应用的程序以及配置文件的备份采用操作系统级别的文件备份设置，因为首先集群应用作为故障处理的第一道屏障，其次程序以及配置文件对于对业务应用实时性要求不高，因为对于不同的操作系统，采用不同的方式进行文件的归档应用，另外目前只有核心业务的程序以及配置文件才需要备份。对于操作系统级别的备份，设置备份策略和计划可以增加进行备份的可能性。备份开始前，要确定备份哪些数据、备份的频率和使用什么样的介质进行备份。备份的时候，应该进行完全备份，同时，备份通常安排在空闲时间进行。在大多数系统中，由于此时用户数量最少，所以打开的文件也最少。由于备份要占用一些系统资源，运行备份时用户会发现系统反应迟钝。对于备份策略，分为以下三种：

（1）完全备份：将会对备份源的全部数据进行备份，备份完成后备份数据成为一个完全备份时间点，备份的是所有数据。

（2）增量备份：是在上一次备份的基础上对源数据进行备份，依赖上一个任意备份点，只备份上一次备份完成到当前时间的变化数据。

（3）差异备份：是在上一次完全备份的基础上对源数据进行备份，依赖上一个完全备份点，只备份上一次完全备份完成到当前时间的变化数据。

一般情况下，每周/每月做一次完全备份，每天做一次增量备份，在同一个任务里完全备份可以与增量备份或差异备份相组合，但是增量备份和差异备份不能同时设置。如果只设置了增量备份或差异备份，首次运行任务会自动降级为完全备份。

对于LINUX 操作系统，linux 提供了诸如tar、cpio、dump 等工具来实现。这样，无需花钱购买，便可根据系统的实际情况，结合使用相应的备份恢复工具实现备份与恢复的基本功能。我们选择TAR 的方式进行文件的定期备份，tar 可以为文件和目录创建档案。利用tar，用户可以为某一特定文件创建档案（备份文件），也可以在档案中改变文件，或者向档案中加入新的文件。tar 最初被用来在磁带上创建档案，用户可以在任何设备上创建档案，如软盘。利用tar命令，可以把一大堆的文件和目录全部打包成一个文件，这对于备份文件或将几个文件组合成为一个文件以便于网络传输是非常有用的。而且linux 直接用tar 打包整个系统即可，不必使用额外的工具。如果想要压缩，可以用gzip，其实不必备份全部的系统，只要将配置和核心程序文件备份即可，备份方案如下：

（1）创建备份NAS 空间。

（2）备份操作系统挂载NAS 空间。

（3）利用tar 定期实现目录下的所有程序和配置文件打包备份到NAS 空间。

（4）LINUX 服务器出现故障造成程序以及配置文件丢失时，试用tar 将备份的目录文件恢复到指定目录。

对于WINDOWS 操作系统，只做气象处理核心程序和配置的文件备份，其他的操作系统级别的文件暂时不采用此方法进行备份，我们借助于bat 脚本文件和FTP 软件进行服务器文件备份,备份方案如下：

（1）创建备份NAS 空间。

（2）利用FTP 协议定期实现核心程序和配置的文件备份到指定的备份NAS 空间（分为全量和增量的方式）。

（3）利用SERVER 端的“任务计划程序”创建备份的基本任务，对于特定服务的机器采用中间服务器的方式去实现此应用。

（4）WINDOWS 服务器出现故障造成程序以及配置文件丢失时，试用FTP 协议将备份的文件恢复到指定目录。

4 结论

数据安全和业务连续，是信息化环境下各类用户最重要的安全原则。数据中心通过自身的技术创新和领先的灾备供应商的解决方案，对四川省气象数据基础数据环境中的数据和核心业务应用程序采用分级和分步骤的备份和归档应用，在业务数据方面CommVault 软件不仅能完成基本的备份归档工作，同时对我们的业务数据实现了高效的数据管理和分析应用，同时对非业务数据的备份归档在考虑性价比前提下采用更加灵活的服务器文件级别备份归档。

数据备份与归档未来应用的思考，首先使用虚拟化平台统一采用无代理模式进行备份，无需在虚拟机内部额外安装其他软件，最大限度屏蔽了虚机内部细节，降低几十甚至数百倍用户日常运维成本，在海量虚拟机场景下优势尤为明显。对于文件级的备份，采用多种备份模式和更有效的文件备份策略，满足用户基础文件备份与恢复需求，在文件丢失后，能够快速恢复任意备份点全部数据，或恢复任意的单个或多个文件，让文件备份更高效可靠。对于数据恢复，系统可提供在秒级时间内数据恢复，整个过程不对原始备份数据产生影响，最大限度减少因灾难或故障造成核心业务中断并保证了原始备份数据的安全，并且无须在备份阶段进行任何额外配置，有效降低用户对备份系统的配置管理成本。最后归档可选本地归档与云归档两方式，其中本地归档支持包括本地分区、本地磁盘、本地目录、逻辑卷LVM、Fibre Channel、iSCSI、NFS 和CIFS 等存储类型，云归档使用的云存储类型则包括AWS S3、阿里云等主流云存储。用户可以根据数据归档需求与现有存储环境，配置适宜的归档方式与存储方案。