基于Ceph对象存储的云网盘设计与实现

杨 飞，朱志祥，梁小江

(1.西安邮电大学 计算机学院，陕西 西安710061;2.陕西省信息化工程研究院，陕西 西安710061;3.未来国际信息股份有限公司 研发部，陕西 西安710065)

随着云计算和大数据应用的快速增长，网络数据呈海量的增长方式，人们对数据存储能力、计算能力的需求呈爆炸式增长，这对存储系统的容量、可扩展性、数据可靠性以及安全性提出更高的要求，这种需求正在影响着数据存储基础设施的发展。

传统的NAS存储系统，存在着存储性能的局限性、可靠性低、扩容成本高、易形成单点故障等问题，而Ceph分布式存储系统是集高性能、高可靠性和可扩展性为一身的存储系统，能有效避免传统存储系统的缺点［1］。

本文以Ceph分布式系统为研究对象，设计基于Ceph对象存储的健康集群，通过设计多个对象网关实现对应用请求数据的存储和管理，使用负载均衡提高云网盘的请求、响应和吞吐能力，然后设计统一的Token认证系统，实现对象存储集群的数据安全性和隔离性，最终设计和实现了基于Ceph对象存储集群的云网盘。

1 系统设计与实现

Ceph是一种具有高性能、高扩展性、高可靠性的分布式存储系统。Ceph可为一套存储系统同时提供对象存储、块存储和文件系统存储3种功能，以便在满足不同应用需求的前提下简化部署和运维。在实践当中，Ceph可被部署于上千台服务器上［2］。

首先设计基于Ceph对象集群的简单集群系统，保证整个Ceph对象存储集群的可用性，同时Ceph存储集群也是整个云网盘的存储系统。

整个Ceph存储集群拥有4个Gateway节点，分别为EAST、WEST、SOUTH、NORTH。这些节点能对外提供和发布对象存储服务，实现基于Ceph对象存储的多区域网络访问，所有的应用请求必须通过这4个Gateway节点实现。根据实际网络用户的数量和分布情况，动态的调整Ceph对象存储集群的架构，满足不同区域用户的动态请求服务［3］。

基于Token的统一认证系统，保证整个Ceph云存储集群的安全性，同时对不同用户进行隔离，保证整个Ceph对象存储集群的高可靠性。

最后设计和实现基于Ceph对象存储集群的云网盘。通过大量网络应用测试和分析，本系统实现了基于Ceph对象存储集群的云网盘基础功能［3］。

1.1 总体设计框架

用户通过网络进行存储应用访问，首先要通过统一的Token认证系统，区分不同用户的权限和工作区域，实现数据管理和数据操作的安全性和隔离性［4］。

根据用户的分布和数量，设计合理的Gateway区域，实现对不同用户请求的对象存储服务，满足用户访问请求的实时性和可用性。

本系统设计出4个不同的区域，分别为EAST区、WEST区、SOUTH区、NORTH区，其能提供不同区域的对象存储服务。整体设计框架如图1所示。

图1 整体设计框架

1.2 多区域的统一认证

在整个Ceph存储集群中，大量网络用户通过用户访问节点进行统一的认证，在统一认证系统中安装和配置Keystone服务，产生统一的Token认证码，在4个Gateway节点上均使用这一Token认证码，这样保证了用户请求能在4个不同的节点上对Ceph存储集群进行合法访问［5］。

在基于Ceph对象存储集群中的4个不同区域节点，均需要安装配置MySQL和Keystone，首先在MySQL中创建Keystone数据库，然后在Keystone的配置文件中，将数据库修改为MySQL并设置用户名和密码，这样就完成了Keystone的单点认证服务。

在Ceph集群的配置文件中，分别修改4个不同区域节点的Gateway配置文件，将其中keystone_url选项中的IP修改为用户访问节点的IP，这样用户访问节点每产生一个Token。在Ceph对象存储集群中的4个不同Gateway区域节点中，当有对象存储服务请求时，不同的区域节点能使用统一的Token验证码对用户访问节点进行数据的操作和数据的管理［6］。如图2为统一认证框架。

在整个Ceph对象存储集群中，通过Token统一认证系统，能保证用户请求服务的安全性和隔离性，因为只有获取到Token才能实现对云网盘的访问和控制。

图2 统一认证框架

1.3 多区域数据操作

在整个Ceph对象存储集群中有4个不同的区域节点对外提供服务接口，通过Token统一认证系统，只有合法用户才能对云网盘进行基本操作。从而实现不同区域用户对整个Ceph对象存储集群的数据访问和数据操作。对多区域的数据操作包括文件上传、下载、复制、删除、共享、权限修改等操作。

通过使用软均衡负载设置，实现4个不同的Gateway节点对数据的轮询访问，由此便提高了云网盘的请求、响应和吞吐能力，有效降低了用户访问节点的压力，从而提高整个Ceph对象存储集群的可靠性［7］。

2 系统测试

2.1 Keystone统一认证

在用户访问节点上安装和配置Keystone，并初始化Keystone数据库，重新启动Keystone服务，通过设置和添加环境变量，最后执行Keystone的初始化脚本。这样在用户访问节点上就能够产生统一的Token认证码，实现云网盘的统一化的认证和管理。

在EAST、WEST、SOUTH、NORTH这4个不同的区域节点，均配置和安装Keystone和MySQL服务，首先设置MySQL的用户名和密码，允许客户端进行访问，在MySQL中创建Keystone数据库，然后在Keystone配置文件中修改数据库指定为MySQL，并初始化数据库，然后重启。这样在4个不同的区域节点上就能产生Token认证码［8］。

在4个区域节点的Ceph配置文件中，分别修改Keystone的地址为用户访问节点的地址，则当用户访问节点产生统一的Token认证码后，在4个区域节点上，可使用该Token认证码对云网盘进行数据操作和数据管理。

2.2 云网盘数据操作

在用户访问节点上设置软均衡负载，所有的网络访问用户通过该节点实现对整个Ceph对象存储集群的轮询访问。

在用户访问节点的均衡负载配置文件中添加4个不同区域的监控节点信息。当有用户请求服务时，通过数据监控界面可查看当前的数据操作记录［9］。

通过网络对Ceph对象存储进行监控，查看不同区域的数据的监控界面，如图3所示。

图3 数据监控界面

基于Ceph对象存储集群的云网盘可实现基本的数据操作和管理功能，如图5所示。

图4 云网盘界面

2.3 云网盘性能测试

云网盘的服务请求入口的IP为http://10.10.10.5:8090/yunpan，使用该IP作为测试的URL，使用Apache Bench软件设置并行连接数和请求数，通过实验测试云网盘的性能。

如表1所示，请求数为1 000，并行连接数分别为10、100、1 000。

表1 并行请求数为1 000

如表2所示，请求数为10 000，并行连接数分别为10、100、1 000。

表2 并行请求数为10 000

如表3所示，请求数为100 000，并行连接数分别为10、100、1 000。

表3 并行请求数为100 000

如表4所示，请求数为1 000 000，并行连接数分别为10、100、1 000。

表4 并行请求数为1 000 000

经过对上述测试结果的对比分析，得出总体的测试对比图，如图5所示。

图5 测试对比图

3 结束语

设计和部署Ceph存储集群，根据实际生产需求设计多对象区域架构，实现多对象存储服务。采用软负载均衡，提升云网盘请求、响应吞吐能力，并集成基于Token认证系统实现对象数据的隔离与安全。通过测试，本系统能实现基于Ceph对象存储集群的云网盘数据操作和数据管理功能，同时保证了整个云网盘的良好性能。

［1］ 李翔.Ceph分布式文件系统的研究及性能测试［D］.西安:西安电子科技大学，2014.

［2］ 段剑弓.存储系统NAS和SAN的差异和统一［J］.计算机应用研究，2004，21(12):94－97.

［3］Weil S A，Brandt S A，Miller E L，et al.Ceph:A scalable，high－performance distributed file system［C］.Berlin:Proceedings of the 7th Symposium on Operating Systems Design and Implementation(OSDI)，2006:307－320.

［4］ 肖培棕.分布式文件系统元数据负载均衡技术研究与实现［D］.合肥:中国科学技术大学，2009.

［5］Gritzalis S，Katsikas S K，Lekkas D，et al.Securing the electronic market:the KEYSTONE public key infrastructure architecture［J］.Computers＆Security，2000(19):731－746.

［6］ 蔡官明.开放式云存储服务平台设计及移动云盘应用开发［D］.广州:华南理工大学，2013.

［7］Cheswick B.The design of a secure internet gateway In Proc［C］.Salt Lake:Summer USENIX Conference，1990:233－237.

［8］ 覃灵军，冯丹，曾令仿，等.基于对象存储系统的动态负载均衡算法［J］.计算机科学，2006，33(5):88－91.

［9］Holmquist L E，Redström J，Ljungstrand P.Token－based access to digital information proceeding［M］.Berlin:Springer－Verlag，2000.

［10］王芳，陈亮.对象存储系统中基于负载均衡的设备选择算法［J］.华中科技大学学报:自然科学版，2007，35(10):46－49.