基于多活中心模式的存储虚拟化和文件系统高可用平台研究及建设

涂畅+王海滨+郑宝铭+师威

摘 要：文章立足开行实际，以跨数据中心的多活部署和资源云化管理为架构目标，面向云计算和大数据的新型技术要求，研究提供更加高效、敏捷、灵活、可靠的数据存储资源平台，探索跨数据中心的数据综合管控、利用及保护。本课题结合开行稻香湖数据中心的规划和详细设计，以及正在开展的搬迁建设工作，完成了存储虚拟化和文件系统高可用平台的技术研究，提出了新型数据中心的混合模式存储架构及演进路线，并搭建基础环境进行推广验证，为后期架构转型和技术升级积累经验，为搬迁工作提供技术支持和参考，相关成果将应用于新数据中心建设。

关键词：多中心；存储虚拟化；文件系统高可用；混合存储架构

中图分类号：TP333 文献标志码：A 文章编号：2095-2945（2018）03-0189-03

Abstract： This topic is based on the reality of the Bank， with multi-live deployment of cross-data center and the management of resources cloudization as the framework goals， in order to meet the new technical need of cloud computing and big data， this research intends to provide a more efficient， agile， flexible and reliable platform for data storage resources， and explores the integrated management， utilization and protection of cross-data centers. In combination with the planning and detailed design from the Data Center of China Development Bank， as well as the ongoing relocation and construction work， the technological research of storage virtualization and file system high availability platform has been completed. The hybrid storage architecture and evolution route of the new data center are put forward， and the basic environment is built to popularize and verify it， which can provide technical support and reference for the later stage of architecture transformation and technology upgrading. The results will be applied to the construction of new data centers.

Keywords： multi-center； storage virtualization； availability of file system high； hybrid storage architecture

1 概述

對于数据的高速处理和深度利用，研究建设基于多活中心模式的存储虚拟化和文件系统高可用平台，是开行创新IT基础架构和数据处理模式，建立架构开放弹性、业务IT深度融合、安全可控的信息科技体系的必要手段，将为新常态下开行践行开发性金融战略提供更加有力的支撑。

1.1 面临需求与挑战

当前国内银行业IT数据存储不断向RPO和RTO趋向零的双活方向发展，通过不同粒度资源池满足应用需求，同时按照技术标准化、流程标准化和管理标准化三个维度推进服务管理体系建设。

1.2 存储虚拟化及文件系统高可用应用

国开行2015年初启动了稻香湖数据中心规划设计，并以此为发展契机，于2017年初启动了多中心存储虚拟化和文件系统高可用平台建设研究项目。

对于多活中心非核心系统结构化数据可以采用存储虚拟化技术结合应用层多活技术实现数据多活，对于多活中心非结构化数据可以采用分布式文件系统高可用平台技术实现数据多活。

2 多活中心存储虚拟化平台方案

2.1 概述

存储虚拟化建设能够取得较大效益，可以实现多个独立存储系统的整合、存储空间及性能的整体利用率提升，赋予所管理存储资源丰富的数据优化、高可用和业务连续性能力等。

2.2 分类与选型

存储虚拟化分类具有三种类型：一是基于主机的存储虚拟化；二是基于存储网络的虚拟化；三是基于磁盘阵列的虚拟化。对适用场景和优缺点的分析如下：（1）三种虚拟化模式优缺点比较。（表1）（2）主要技术选型说明。基于上述比较，存储网络的虚拟化适用范围最广，可作为一般情况下的首选。基于以上特点及借鉴同业应用经验，开行选用存储网络虚拟化技术。

2.3 关键场景应用

（1）多活中心全场景部署模式。方案模式及效果：满足非核心系统由数据级灾备向应用级灾备发展需求，构建五种场景：本地存储双活；本地双活、同城异步复制；同城双活；同城异步复制；同城双活、异地异步复制。

（2）资源高效管理。方案模式及效果：纳入存储虚拟化网关强化统一管理；引入新技术：资源池管理统一分配资源，云管理平台，提供自服务功能、运营服务目录功能，提高资源管理效率。endprint

（3）利旧设备分级存储。方案模式及效果：利旧设备分级组合；不同级别设备组合通过扩大网关内存，提高性能；增加应用灵活性。

（4）数据安全性保障。方案模式及效果：多份数据保存，保证数据安全；快照应用，提供各种环境使用。

（5）高效空间利用。方案模式及效果：使用自动精简配置，提高存储利用率；应用实时压缩，压缩后数据量减少，带宽的占用降低30%左右。

（6）长距离数据同步。稻香湖与怀柔长距离影响，需要确认延迟是否对系统建设带来影响；要分析不同存储数据块大小对于数据双活读写性能的影响程度。

方案模式及效果：一是大数据块时对测试值分析，单并发时远程响应时间比本地多1.8ms；当并发数提高到24个时，本地和远程的响应时间相差很小；小数据块长距离写测试分析，并发量小时性能较好，读写延迟满足数据库双活要求，存储块大小与数据库默认块大小（8KB）一致时，数据读写性能更好；二是测试裸光纤长距离延迟，根据生产和同城实时数据传输测试验证数据，远程写操作响应时间平均为2.16ms，能满足数据库双活5ms的延迟要求。

2.4 平台技术验证

一是同城双活的虚拟化验证；二是异地异步复制技术验证；三是开发测试OPENSTACK资源池使用验证；四是管理分布式存储软件验证。

3 多活数据中心文件系统高可用平台方案

开行实施高可用平台建设是为建设多活数据中心的基础架构，为未来向云数据中心发展奠定基础。

3.1 概述

文件系统高可用主要技术特点：一是物理部署分布式；二是处理过程分布式；三是数据存储分布式；四是访问接入分布式。

3.2 调研与选择

在广泛产品调研的基础上，开行研究采用商用高可用文件系统产品。

各文件系统的优缺点及适用范围总结如下（表2）：

对比分析，并行集群文件系统GPFS（General Parallel File System）各方面特征符合开行要求。

3.3 关键场景应用

（1）数据双活。方案模式及效果：一是双中心同步：搭建GPFS集群，数据以双副本同步形式，分别存储到生产中心和辅生产中心；二是双中心数据双活：数据在两中心实时同步，同时读写，数据层面实现双活；三是同等服务能力：双活应用本地访问后台数据，应用服务器可同等提供对用户的服务能力。

（2）长距离同步。方案模式及效果：一短距二层可靠：长安街、北丰20公里大二层双中心模式下，双中心的双活秒级切换；二是三层同步不稳定：阜外、怀柔的跨中心距离120km，经测试三层网络传输的同步工作不稳定。

（3）数据安全和保护。方案模式及效果：一是三副本：双数据中心的GPFS集群，在集群中，数据以三副本的形式存储；二是三份数据都可使用；三是与应用系统协同确保数据安全。

（4）优化数据生命周期。方案模式及效果：一是透明迁移热点：利用分层存储功能，挂载不同性能的存储，配置自动迁移数据；二是数据自动分布：自动调整数据的分布，优化数据生命周期管理。

（5）统一大数据存储平台。方案模式及效果：一是利用FPO搭建大数据存储平台；二是构建通用分布式平台。

3.4 平台技术实践

GPFS在多中心的实践中，选定三种架构：一是Linux+GPFS，FPO+SAMBA服务；二是Power平台GPFS集群连接高端存储；三是X86平台GPFS集群连接低端存储。开行结合行内ECM平台建设进行了双中心模式下短距离GPFS集群功能测试、GPFS单中心集群测试、双中心模式下长距离GPFS集群功能测试。

4 应用效果

应用效果一是存储设备利旧，涉及裸容量750PB，可以有效降低存储使用成本约1000万元；二是简化运维流程，提升了资源配置效率，推进多层次运维体系建设；三是新架构和服务交付能力提升，满足应用系统容灾恢复、多活和大数据等应用扩展性和高可用性的要求；四是业务连续性级别提升，存储数据零丢失。

参考文献：

[1]施泽全.基于虚拟化的高校数据中心异构存储策略研究及实践[J].中国新通信，2015（23）.

[2]冯偉斌，张云勇，王志军.支持不同存储方式的OpenStack云平台设计与实现[J].电信科学，2016（4）.endprint