超融合存储关键技术及应用

韩银俊 杨洪章

摘 要：近年来超融合存储迎来了飞速发展。工业级和开源级超融合存储系统存在诸多不足。中兴通讯的超融合存储在可靠性、一致性、兼容性、扩展性、性能等方面突破了一系列关键技术。基于超融合存储的中兴云桌面产品在陕西高校市场实现了规模商用，低成本是未来研究方向。

关键词：超融合;存储;可靠

1 超融合存储概述

超融合基础架构是指基于通用的x86服务器硬件，通过虚拟化和分布式软件技术，提供计算、网络和存储的虚拟化资源服务，对外提供统一的资源池服务。超融合可以为数据中心带来最优的效率、灵活性、规模、成本和数据保护。近年来超融合存储迎来了飞速发展，多套存储设备可以通过网络聚合起来，实现模块化的无缝横向扩展，形成统一的存储资源池。

2 超融合存储发展现状

当前，国内外超融合存储软件的研究开发被划分为两大阵营：工业级和开源级：

（1）工业级的超融合存储系统包括：Nutanix、EMC ScaleIO、Vmware VSAN、SmartX ZBS等，其存在成本高昂、需要专业维护人员、几乎被国外IT巨头垄断等缺陷。以Nutanix为例，2013年就已经进入中国市场，但是经过几年的发展，市场份额始终難以达到预期。究其原因，Nutanix不能满足国内客户的真实需求，在中国只提供软硬一体机，不单独提供软件服务，这就导致中国企业必须将机房所有服务器都更换成Nutanix的一体机，一次性投入过大。

（2）开源级的超融合存储系统包括：Ceph RBD、Sheepdog、Gluster等，其存在稳定性不够、功能不够完善，不具备商用条件等缺陷。以Ceph为例，虽然在学术界引起了越来越多的关注，但代码和系统的发展方向本质是由RedHat公司控制，真正应用在生产系统的少之又少。主要原因包括：数据与负载的分布均衡性较差、代码质量低下、对小文件支持不足、整体性能不足。

为了克服上述工业级和开源级超融合存储系统的不足，迫切地需要研究开发具有兼容性强、稳定性强、功能完善、易运行维护的超融合存储系统。

3 中兴超融合存储的关键技术

ZXEBS是中兴通讯的超融合存储解决方案，在存储的可靠性、一致性、兼容性、可扩展性、性能等方面突破了一系列关键技术。

3.1 存储可靠性

可靠性方面通过多副本的方式，保证单个节点的损坏不会影响到数据的丢失。超融合存储的可靠性主要依赖多副本机制保障，通过分布在不同主机上的多份数据副本，避免在发生节点/数据损坏时丢失数据。当系统检测到节点故障时，需执行服务切换操作以保证可用性。在此过程中，应当保证用户请求不中断，无感知，同时，避免出现双主机同时接受更新操作等问题，保证强一致性。

3.2 数据一致性

在数据一致性方面，通过日志的方式进行序列化和不同节点直接的数据同步，确保强一致。首先保证更新操作的完整性和正确性，解决多客户端并发时的原子性和脏读问题。其次是副本间一致性保证，解决在磁盘损坏、网络分区等异常情况下，多个数据副本的一致性保证机制。

3.3 存储兼容性

超融合存储可直接用于替换本地磁盘、SAN等传统存储设备，保证上层应用无须作出任何修改。为保留现有软硬件投入，基于虚拟块设备驱动方式的访问接口能提供最大限度的兼容性、降低迁移成本。通过在Linux内核IO层实现自定义的块设备驱动，将IO请求通过网络转发到多个服务端并行处理，能够提供比iSCSI协议更高的效率以及更好的扩展性。

3.4 存储可扩展性

采用一致性HASH的方法，把数据均衡分布到节点中所有的磁盘上，充分发挥各个磁盘的能力，支持在线的服务节点的扩容和均衡。通过软件方式实现集群的动态扩容、减容，实现存储资源的按需分配，避免前期投入过大，降低后期扩容的实施复杂度。对于扩容＼＼减容，应当实现为在线的动态操作，避免停机影响线上业务。并在硬件资源调整后，通过数据迁移等方式，对数据、负载分布进行重新均衡，避免出现热点或资源利用不充分的情况。

3.5 存储高性能

通过SSD的加速，实现读写缓存的加速，大幅提升了存储IO性能。对于块设备，由于需要维护的元数据信息较少，其管理操作相对简单。基于常规的文件系统实现软件定义的块设备存储时，存在不必要的IO开销，降低了系统性能。优选的方式是，针对块设备的特点，开发本地KV文件系统作为替代，仅实现块设备所需接口，并针对性块设备的读写方式进行优化，提升性能。

4 中兴超融合存储的应用

基于超融合存储架构的中兴通讯uSmartView云桌面从2015年进入陕西高校市场，实现了在西北大学，陕西科技大学、西安电子科技大学等高校规模商用，提供软硬件一体化的云课堂解决方案。云课堂解决方案将桌面虚拟化技术和计算机教室完美结合，改变了传统计算机教室结构，实现了教学集中化、管理智能化、维护简单化，支持互联网方式访问桌面，在电子阅览室、多媒体教室、学校机房、老师办公、图书阅览室等环境下，通过兴云课堂教学管理软件，承载主课教学，支持多种师生互动方式和课堂管理方式，为师生提供良好的教学体验。

5 结论

中兴通讯的超融合存储解决方案在存储的可靠性、一致性、兼容性、可扩展性、性能等方面突破了一系列关键技术。如何在低成本的前提下满足上述关键技术特性，是未来的重点研究方向。

参考文献：

[1]吴明虎，张惟.浅谈“云”中的超融合[J].科技风，2017-08-15：75-76.

[2]杨腾飞，申培松，田雪，冯荣权.对象云存储中分类分级数据的访问控制方法.软件学报，2017，28（9）：2334-2353.

[3]屠要峰.高性能、高可靠中兴超融合架构关键技术解析[J].通信世界，2017（9）：55-56.

基金项目：深圳市科技创新委员会科技应用示范项目资金资助项目（No.SF20170036）

作者简介：韩银俊（1977-），男，高级工程师，主要研究方向为云计算平台。