关于分布式存储应用于智慧广电建设的探讨

赵开宇 田兰梅

（作者单位：四川省广播电视科学技术研究所）

随着以大数据、区块链为代表的数据产业不断发展，海量数据的存储问题至关重要。传统的中心化存储因成本高、安全性低广受诟病。为克服上述缺点，市场发展出了分布式存储技术。分布式存储技术因其拓展易、成本低、稳定度高等特性，已成熟应用于诸多海量数据使用的互联网领域。分布式存储有不同的技术类别，技术选型时要结合适用场景和具体的存储需求进行选择。目前市场上应用的主流分布式存储系统有HDFS、Ceph、GFS、GPFS、Swift等，这里主要针对HDFS、Ceph、Swift三种具有代表性的技术进行说明与比较，并结合四川省智慧广电建设探讨分布式存储技术应用的必要性和技术路线。

1 HDFS/Ceph/SWIFT分布式存储的工作架构

1.1 HDFS的工作架构

HDFS是典型的中心控制节点架构，如图1所示：

图1 HDFS的工作架构图

HDFS中使用NameNode存储管理数据（元数据），使用DataNode存储业务数据。运行时NameNode控制DataNode，通过DataNode管理本地数据[1]。

客户端从某个文件读取数据时，首先从NameNode获取该文件的地址，然后从NameNode读取具体的业务数据。

不同的DataNode节点中存储的数据存在冗余，当其中部分节点出错时，能通过冗余的部分反推恢复损坏的数据。

在整个数据的读取过程中，由于元数据的访问量相对业务数据占比很少，故NameNode不会是HDFS的性能瓶颈，系统的性能提升主要是通过增加DataNode的节点数量来增加其承载能力。

1.2 Ceph的工作架构

Ceph是典型的完全无中心架构，如图2所示：

图2 Ceph的工作架构图

与HDFS的间接通信不同，Ceph不存在中心节点，数据存储位置是通过设备映射关系计算求得的，应用端与存储节点直接通信。

其存储系统的核心组件有MON、OSD、MDS[2]。

（1）MON：管理存储系统的硬件逻辑关系（如资源布局信息）。

（2）OSD：用于实现对磁盘的管理，实现数据读写功能。

（3）MDS：守护进程，跟踪文件的层次机构和存储元数据。

（4）RADOS是包含MON、OSD、MDS的存储集群。确保数据保持一致性，通过数据复制、故障检测和恢复、数据迁移区报和所在集群节点保持平衡。

（5）RBD：块设备，提供块存储磁盘给客户端。

（6）Ceph FS：一种文件系统，使Ceph的存储数据与POSIX兼容。

（7）Librados：使程序语言工具能访问RADOS，支持JAVA、Python等。

（8）RADOS GW：允许应用程序连接对象存储。

客户端读取数据时，第一步通过RADOS GW与存储对象建立连接；第二步通过MON取得资源布局信息；第三步通过名称信息和资源布局信息得到数据的地址信息；第四步通过位置匹配选取特定的Ceph FS进行通信，读/写数据。

1.3 Swift的工作架构

Swift是完全无中心架构，将对象均匀分布到虚拟节点上（区别于Ceph，这里使用一致性哈希算法），再通过Cluster Ring将虚拟节点映射到物理存储设备上，实现数据定位[3]。如图3所示：

图3 Swift的工作架构图

Proxy Server：负责各组件间的通信，提供对象服务API。

Account Server：用户可以通过定义的方式，进行存储区域管理。

Container server：容器服务。提供存储隔间，类似目录或文件夹。

Object Storage：对象服务。包含存储实体及其元数据。

Cluster Ring：记录磁盘存储的映射关系。

2 三种分布式存储各自的特点

部署分布式存储，选择合适的容器云技术时需要充分结合应用场景和具体的存储需求。不同种的存储技术有着各自的特点。

2.1 HDFS

（1）适合存储大文件，如G级、T级文件。HDFS通过元数据进行文件管理，元数据包括目录信息和存储块信息，是占用管理节点NameNode内存的，如果应用于小文件的存储，会产生大量的元数据，耗费内存，导致系统性能下降。

（2）适合低频写入，并行读取。HDFS一次只允许写入单个文件，不支持动态修改文件，要求让文件一次写入就不再变化，要变化只能在文件末尾添加内容。

（3）适用廉价PC设备。多副本的存在提高了存储的容错和恢复机制，使得HDFS可以应用于普通的PC设备上，相较于传统的中心式存储，降低了对单机设备的硬件要求。

2.2 Ceph（当前应用最广泛的开源分布式存储系统）

（1）支持小文件的存储。在Ceph中，条带设置通常为KB级别，而HDFS对应的块大小默认为64 MB。

（2）支持并发写入。区别于HDFS一次只允许写入单个文件，Ceph支持多个并发编写器。以一个1 T的文件为例，每个object设置为4 M，该文件会切割为256 000个object。Ceph引入PG（Place Group放置组）作为object的容器。Ceph通过CRUSH算法运算PGID找到适合存储的OSD（数据存储单元），完成数据的写入过程，一份数据写多个副本。

（3）数据强一致性。设读操作需要读取的节点数为R；写操作需要更新的节点数为W；数据复制的份数为N。在Ceph中R+W＞N，读写操作的节点存在交集，保证了数据的强一致性（这即是CAP理论）。

2.3 Swift

（1）无单点故障。Swift的元数据的存储地址每个节点的地位是平等的，处理存储的方式是一致的，保证了其具有强大的容错性。为避免因服务节点过少导致数据倾斜，这里的服务节点数通常设置＞32。相较于HDFS中的单一故障点NameNode，Swift具有更好的容错能力。

（2）扩展性。Swift的架构是完全对称的，可以通过新增设备来实现线性提升，系统会自动处理数据迁移，使各服务节点达到新的平衡。（关于数据迁移，做Swift部署方案设计时，要充分预留节点扩展的可能性，以免数据迁移制约系统的应用。）

（3）数据强一致性。Swift默认配置是N=3，W=2，R=2。这里R=2，代表同时读取2个节点的元数据，然后比较时间戳以确定新旧版本。如果2个节点的数据出现差异，后台进程会进行数据同步，确保数据的强一致性。

3 分布式存储在四川省智慧广电建设中的应用

目前，四川省内各广电机构的智慧广电建设使用的数据存储以中心化存储为主，相较于新兴的分布式存储，其成本高、安全性低的问题不容忽视。将分布式存储技术应用于智慧广电建设，在降低数据存储成本、提高安全播出率等方面不失为一种有效手段。

3.1 在四川智慧广电建设中部署分布式存储的必要性

一方面，随着视频技术的不断发展，虚拟现实（Virtual Reality，VR）视频、超高清视频等新节目的业务不断拓展，广电的数据存储需求日趋增长。目前，在四川广电建设中，仍以传统的中心化存储为主，未来势必在拓展存储空间、保持数据传输稳定性等方面难以满足庞大业务数据的存储需求。

另一方面，智慧广电发挥“智慧”属性的关键着力点在于大数据和云计算的运用。而分布式存储是这两者的基础。只有掌握了分布式存储技术，建立起四川广电自己的存储系统，才能跟上国家数字化转型的发展速度。

3.2 在智慧广电建设中部署分布式存储技术路线的建议

针对智慧广电的行业特点，分布式存储的主要应用场景是图片、音频、视频等非结构化数据。各级广电机构可根据存储的类型选择分布式存储技术，如文件存储适用HDFS，统一存储（块/对象/文件统一体）适用Ceph，对象存储适用Swift。

在分布存储系统的部署上，主要解决跨机房的服务切换和数据同步问题。本文推荐集群整体切换方案，如图4所示：

图4 集群整体切换架构

集群整体架构的特点：

（1）甲乙两机房相互独立，当总控节点出错时，自动从总控节点切换到备份节点。

（2）以数据分片C为例，四个C副本，C11、C12存在甲，C21、C22存在乙，在工作的某个时刻，甲为主机房。乙为备机房。甲乙间的同步可采用强同步或异步两者模式。强同步模式下，2个机房的数据保持一致，若主机房出故障，可灵活采用自动切换或手动切换2种模式进行切换；异步模式下，备机房的数据会落后主机房，可选择切停服务等主机房排除故障，也可选择切换到备机丢失部分数据。