基于分布式存储的应用场景研究

■ 中国航空结算有限责任公司 高红岩

编者按：伴随着新一代信息技术的快速发展，未来的信息化建设的方向将是在保障信息安全的前提下，优化资源与架构，达到降本增效。IT 运维部门，作为企业重要的成本部门，也应该主动探寻降低IT 成本的新方法，助力企业稳步发展。

传统模式下的集中式SAN 存 储，随着企业数据的急剧增加及对存储类型的多样化要求，已经无法适应企业发展的需要。集中式存储通常采用 Scale-UP 的扩展方式，存储扩容受到物理槽位数量、容量License 等因素的限制，并且扩容后只能获得容量的扩展，无法获得性能的提升，甚至有时还出现性能下降的情况。

集中式存储所有的数据访问都要通过磁盘控制器，这使得磁盘控制器成为了整个磁盘访问的瓶颈。

同时，不同厂商的存储设备之间的数据迁移非常困难，需要依赖额外的软硬件，导致集中式存储的性能孤岛和数据孤岛的现象出现。

此外，集中式存储多是软硬件一体机，采购成本很高，不同厂商的存储设备其管理方式也不尽相同，加大了管理复杂度，造成管理成本和维护成本非常高。随着云计算、大数据技术的发展，传统集中式存储在对新技术的支持上就更显乏力。

Ceph 是一款开源软件定义的分布式存储解决方案，很多商业分布式存储解决方案都是基于Ceph 发展而来的，如Bigtera的VirtualStor 系列产品，Hope Bay 的ArkFlex 云端大规模数据存储平台产品。

作为一款统一存储解决方案，Ceph 可以为用户提供块存储、对象存储和文件存储，Ceph 采用多副本方式保证数据可用性，无中心架构避免中心节点性能瓶颈，整个分布式存储架构采用高可用架构，支持故障域隔离。与集中式存储Scale-UP 的扩展方式不同，Ceph 分布式存储系统采用Scale-Out 横向扩展方式，集群规模可扩展到上千台，扩展时实现性能与容量的同时提升，有效提高基础架构的敏捷性，并采用通用X86 服务器，实现与硬件的解耦，从而可获得成本上的优势。

图2 磁盘分区

Ceph 的分布式存储平台

1.搭建基于Ceph 的分布式存储平台

搭建POC 验证环境对Ceph 分布式存储进行性能方面的验证。服务器配置如表1 所示。

2.Ceph 分布式集群设计

（1）集群采用3 节点架构，三个节点均为OSD、MGR的角色，选择其中一个节点作为监控节点MON。

（2）磁盘设计：每个节点配 有6 块SATA 硬 盘 和1 块SSD 盘。使用其中2块SATA 盘作为系统盘，剩 余4 块SATA盘作为数据盘，设置为JBOD 模式，每个数据盘运行一个OSD进程。Ceph 使用日志卷保证数据强一致性，每个OSD 对应一个日志卷。因日志卷使用空间很小，为了提升Ceph 集群性能，SSD 剩余容量作为OSD 缓存使用。使用Parted 命令将SSD 使用划分4 个分区，并保证4KB 分区对齐。

磁盘分区如图2 所示，sda 为SSD 盘，sda1、sda2、sda3 和sda4 这4 个 分 区 分别4 个OSD 的日志卷，sda5、sda6、sda7 和sda8 分别作为4 个OSD 的缓存来使用。

集群包括3 节点，每个节点 包 括4 块1.8 TB SATA盘作为数据盘，整个集群的裸存储容量为1.8 TB×4×3=21.6 TB，采用三副本保护，整个集群可用容量为7.2 TB。

表1 服务器配置

（3）网络设计：

每个节点都有三组网络：内部数据交换网络、对外数据访问网络和集群节点管理网络。每个节点具有2 块双口万兆网卡，每块网卡的第1 口和第2 口分别做绑定，采用mode4 双活模式，在扩大网络带宽的情况下实现网络冗余保护。

绑定后的一组网卡作为内部数据交换，另一组网卡作为对外提供数据访问。每个节点的千兆网卡作为集群节点的管理网。因为Ceph采用多副本方式存放数据，节点之间会进行数据交换，所以集群内部的数据交换网络要采用万兆网络或者更高速的网络。

对外提供数据访问的网络可以使用千兆网络，也可以使用万兆网络，这主要依据业务数据流量以及业务性能要求，推荐使用万兆网。节点管理网只是用于节点管理，数据量很小，可以使用千兆网络也可以和对外数据网络共用。网络拓扑图如图3 所示。

图3 网络拓扑图

3.性能测试

在Ceph 集群中划分两个块存储卷，分别叫做vmw-600和vmw-500，在VMware 集 群中的每个主机上通过iSCSI Software Adapter 识别到这两个卷。从VMware 虚拟化集群中选择一台磁盘空间为124 GB 的虚拟机，做下列存储迁移测试。作，这个时间也会算作虚拟机迁移的时间。对于VMware 平台的虚拟机存储迁移，迁移的块大小为63 KB, 可以计算出整个分布式集群的IOPS 约为(310×1024)÷64=4960。

测试一：将虚拟机从IBM DS 系列存储迁移到分布式存储上，查看磁盘性能情况。

在迁移过程中，从底层看到SSD 盘写带宽达到310MB/s 以上，SSD IO 繁忙率达到80%以上，SATA 数据盘没有IO，这是因为SSD 盘作为数据缓存使用，所有数据是先写入SSD 的。虚拟机存储迁移共用610 s 完成，迁移速度为208 MB/s。

对于虚拟机实际迁移速度比分布式存储底层看到的速度慢的原因，是因为虚拟化平台在虚拟机迁移时会做一些预处理的工

测试二：将虚拟机从vmw-600 迁移到vmw-500 上。

此时SSD 盘写带宽在216 至239 MB/s，读带宽在50 至76 MB/s，IO 繁忙率达到87% 至91% 之间上，SATA数据盘没有读写IO。

当虚拟机迁到61% 时，SATA 数据盘出现写IO。此时SATA 数据盘写带宽17至31MB/s 之 间，IO 繁忙 率超 过25% 至41% 之 间。SSD盘读带宽为136 至149 MB/s，写 带 宽124 至127 MB/s，IO 繁 忙 率 超 过85%, 计算出集群的平均读IOPS 为(134×1024)÷64=2 280，平 均 写 I O P S 约 为(146×1024)÷64=2 008。整个虚拟机存储迁移共用670 s 完成，迁移速度为189 MB/s。

当sdd、sdb、sde 和sdc磁盘出现写IO 时可知，SSD盘缓存使用量已经达到向底层磁盘刷数据的条件，SSD盘正在向底层SATA 盘迁移数据。此时，SSD 盘既要作为写缓存接收来自上层应用的写数据，又要将自身数据读取出来传到SATA 盘上，所以对于上层应用来说，整个集群IOPS 相比测试下降了59.5%。

4.集群服务器配置建议

根据实际测试结果，对于实际生产环境中的分布式集群配置有以下几条建议：

（1)不同类型接口的SSD盘对集群性能影响很大，如果预算允许，建议配置NVMe接口的SSD 盘。同时不同的SSD 盘有其不同的适用场景，如读密集型场景或读写均衡型，可根据具体使用场景进行选择。

（2）建议配置大容量SSD磁盘或多块SSD 磁盘：因为SSD 作为缓存使用，容量较小会导致系统频繁的从SSD 向底层数据盘刷数据，影响整个集群的IOPS。

（3）对于集群性能，既要关注IOPS 和带宽，还要关注延迟。要根据业务的实际负载情况及性能要求对分布式集群的配置进行合理规划。

（4）从安全性角度考虑，每个节点的数据盘数量不宜过多，避免单节点故障影响面过大，而且故障恢复后数据恢复时间会比较长。

5.分布式存储应用场景

根据分布式存储的架构特点及测试的情况，对于分布式存储的应用场景主要在以下几个方面：

（1）基于应用服务的虚拟化平台。

对于承载业务应用层的虚拟化平台，对存储带宽和IOPS 要求相对较低，而且对延迟的容忍度较高，可以使用分布式存储来满足。

（2）下沉数据的保存。

使用分布式存储，通过对数据的分级管理实现数据生命周期管理，即满足了业务对历史数据随时在线可查的要求，也实现了数据低成本存储。此外，因为客户对数据安全性要求不断地提高，有些客户要求历史数据要离线保存5 年甚至7 年时间，而且数据量也非常庞大。对于这样的存储需求，也可以采用分布式存储来满足。

具体可以采用两种方式，一种是通过分布式存储中的文件存储，为业务系统划分一个大容量的文件存储空间。另一种是通过备份软件将历史数据备份到分布式存储中，将分布式存储作为备份空间使用。

（3）文件存储及对象存储。

使用分布式存储的文件存储，可以很好的满足业务的NAS 空间需求，在实现成本降低的同时，采用多副本方式实现数据的保护。

随着业务功能的不多丰富，业务的数据类型也开始多样化，出现了图片、音频、视频等非结构化数据，对于这些非结构化数据，对象存储因其扁平化的独特结构有着天然的优势。而且，由于云计算的推广，对象存储也对企业云平台提供了很好的支持，这些场景都非常适合使用分布式存储的对象存储方式来满足。

结束语

企业业务场景是多样的，了解业务的实际工作负载情况、性能要求、高可用要求以及存储容量等要求，对于存储规划工作至关重要。针对不同类型的需求设计不同的存储解决方案有助于实现性能和成本的平衡。