超融合技术在高校数据中心的应用

户利利,张聪

(深圳大学 信息中心，广东 深圳 518060)

0 引言

随着近几年IT信息化技术的快速发展，高校作为人才培养的摇篮和科技创新的高地，信息化系统也日趋完善。各种学习平台、教学、办公管理软件的引入改善了教学方法，提高了管理效率。数据中心作为高校信息化建设的核心枢纽，是高校信息化建设的基础和载体，也是未来高校发展的核心资源。本文结合S大学数据中心的发展情况，介绍了高校数据中心的发展历史，重点介绍了超融合虚拟化平台的技术架构和S大学超融合虚拟化平台的建设和使用情况。

1 高校数据中心的发展历程

随着信息化技术的高速发展，高校对信息化基础设施的需求不断增加，为了满足这种需求，数据中心作为高校信息化建设的核心枢纽也在不断变化和发展。高校的数据中心基础设施从单机服务器系统逐步演化为软件定义的虚拟化平台。

1.1 传统的数据中心

20世纪80年代，以X86服务器和PC系统的诞生为标志，数据中心主要采用包含网络、服务器和操作系统等多层次水平分工的架构，这个时期，各层IT产业链获得了很大的发展，产生了一大批生成服务器和网络设备的厂商，各个高校的数据中心也是在此基础上建立了起来。在这个时期，业务系统都是部署在单台服务器中，使用服务器自带的计算和存储资源，通过交换机连接到网络中。

1.2 存储集中的数据中心

随着信息化的发展，产生了大量的数据，服务器上自带的存储已经不能满足用户的需求，大空间存储的需求推进了存储设备的产生，这个时期，数据中心的架构转化为服务器加后端共享存储的模式。2007年，S大学信息中心采购了一套EMC存储，用于备份各个业务系统的历史数据。

1.3 传统的虚拟化系统

伴随互联网行业的兴起，产生了越来越多的应用系统，对服务器、存储的需求呈指数级的增加，高校数据中心机房里产生了大量不同品牌和型号的设备，大大增加了运维的工作量和运维难度，传统的物理服务器+共享存储的架构已经不能满足业务的需求。另外一方面，服务器虚拟化技术的整合式架构进化为传统的虚拟化架构，提高了资源利用率和运维效率[1]。传统的虚拟化架构是通过光纤交换机将高性能服务器和存储连接起来，各个主机通过交换机实现存储共享，通过虚拟化软件将高性能主机的CPU和内存以及后端的存储资源进行统一管理和配置。从2011年开始，S大学信息中心分三期建立了由9台Dell R815主机和EMC存储构成的3个集群的vmware虚拟化平台。

1.4 超融合架构的虚拟化系统

随着商业数字化和互联网化对IT资源的使用速度和使用要求的大幅提升以及分布式存储架构技术的发展，产生了超融合虚拟化架构。2016年7月在Gartner公司月公布的技术成熟度曲线中超融合架构已经度过概念炒作期，进入实际落地阶段，成为现代化数据中心基础架构的标准组件[2]。超融合架构中，在多台服务器硬件中同时部署分布式存储和计算虚拟化软件，将这些服务器节点上的计算、存储资源进行虚拟化，构成一个统一的虚拟资源池提供给用户使用。2018年，S大学信息中心构建了由19台主机构成的华为超融合虚拟化平台，用来替代即将退役的vmware虚拟化平台。

2 超融合架构

超融合技术最早的起源是受Google、Facebook等大型互联网公司通过软件技术构建大规模数据中心的启发，结合虚拟化技术实现的可扩展的IT基础架构[3]。互联网对IT资源的使用速度和使用需求的大幅提高以及分布式存储架构、SSD技术的发展都促成了超融合架构的实际落地和快速发展。超融合架构打破了传统的服务器、网络和存储的孤立界线，将CPU、内存、存储、网络和虚拟化技术整合在一台设备上，每一台设备作为一个单元节点，多节点通过网络聚合实现模块化的无缝横向扩展，形成统一的资源池[4]。

超融合虚拟化架构是在传统虚拟化架构基础上发展起来的。传统虚拟化架构中的存储是单独的设备，通过FC交换机与虚拟化主机连接。这种架构的缺点是系统复杂，采购起点高，即使是一个容量小、性能低的虚拟化系统，主机、交换机、存储这3种类型的设备都缺一不可，并且系统的搭建和配置也比较复杂。同时这种架构扩展困难，如果需要增加计算资源即添加主机，不仅需要新购置交换机的光模块，还需要在后端存储部分对新增加的主机进行路径添加等设置。在超融合架构中，网络、存储、主机3个层面集成到了一起，大大降低了系统的复杂度。并且系统方便扩展，可以通过横向扩展的方式同时添加计算和存储资源，扩展的过程相对于传统的虚拟化架构简化了很多，同时节点数量可以扩展得非常大。传统虚拟化架构与超融合虚拟化架构的部署对比图如图1所示。

图1 传统虚拟化架构与超融合虚拟化架构的部署对比图

超融合架构不仅在部署和维护中优于传统虚拟化架构，在性能上也具有显著的优点。超融合架构的存储是根据服务器节点数量多节点并发的，系统的读写性能随着服务器节点数量线性扩展的，节点越多，读写性能越好，并且为了保证分布式数据的可靠性，超融合架构采用的是3副本方式进行数据备份。而传统的虚拟化架构的读写性能不具有扩展性，并且为了保证系统的可靠性，传统的虚拟化架构存储部分需要双控制器，而双控制器使得即使安装了SSD卡的存储，也无法发挥SSD的性能。

3 超融合虚拟化系统在S大学的应用

2011年开始，S大学分三期创建了vmware虚拟化平台，平台上主要是各个学院的网站以及财务、人力和教务等业务单位的虚拟机。考虑到系统硬件的使用年限和系统的稳定性，我们在2017年底的时候采购了华为的超融合虚拟化平台来替代vmware虚拟化平台。

4 总体技术架构

S大学的超融合虚拟化平台由19个节点构成，其中高性能节点3个，存储和计算节点16个，每个节点有4个10G端口，2个用于业务，2个用于存储。节点上的2个业务端口通过链路聚合为基于源目的MAC负载均衡的方式连接于两个万兆交换机，构成业务平面；节点上的2个存储端口通过链路聚合为主备模式的方式分别连接于两个万兆交换机,构成存储平面，用于华为FusionStorage分布式存储的端口。千兆交换机S5720主要是对各个主机的管理端口进行管理。该校超融合的网络架构图如图2所示。

图2 网络架构图

5 基础硬件配置

高性能节点为华为XH622节点主机，配置为2颗 英特尔至强E5-2699 V4处理器(带散热器)，16条 DDR4 RDIMM 32GB内存，2张10Gb双端口网卡(含两个多模模块)，2块600GB SAS 10K RPM 2.5的硬盘。存储和计算节点为华为XH628节点主机，配置为2颗英特尔至强E5-2680 V4处理器(带散热器)，16条DDR4 RDIMM 32GB内存；2张10Gb双端口网卡(含两个多模模块)，2个600GB SAS 10K RPM 2.5’硬盘和10个4 000GB SATA 7.2K RPM 3.5’硬盘，SSD卡为ES3 600C V3 800G SSD卡。其中XH622和XH628节点提供4个10G SFP光口和1个RJ45电口，其中2个10G SFP光口用于业务接入，2个10G SFP电口用于存储接入，RJ45电口用于管理网络接入。

万兆交换机两台，配置为华为CE6 851-48S6Q-HI，56Tbps，包转发率1080Mpps，10GE光端口数量48个，用于服务器节点的存储和业务接入，40GE端口数量6个。负责管理的千兆交换机一台，配置为华为S5 720-56C-EI-AC，交换机容量598Gbps，包转发率252Mpps，10/100/1 000Base-T以太网端口数量48个，用于机箱和各个计算节点的接入，万兆SFP+光口4个(配置两个万兆多模模块)。

6 IP地址

考虑到系统的安全和管理、维护的方便性，系统在设计初期对管理、业务和存储平台的IP做了些规划。IP的规划遵从如下原则：

·BMC平面与业务平面、存储平面要有对应关系，即IP地址最后一位要相同；

·同一网段的IP地址也需要根据设备类型进行规划：

服务器机框IP为1-10；高性能计算点为21-30；管理&存储&计算节点为31-40；存储和计算节点为41-60；

·用于管理的软件平台IP地址从61开始按顺序往后排。

最终IP如表1所示(考虑到平台安全，IP网段有些字符用*代替)。

表1 最终IP

7 超融合虚拟化

华为的超融合虚拟化平台计算虚拟化部分采用的是Fushion Computer安装方案。虚拟基础设施系统由虚拟资源管理节点Fushion VRM(VRM)和计算节点代理Fusion CNA(CNA)两部分组成。CNA节点部署虚拟化管理代理软件和虚拟化软件，用于将服务器的CPU和内存进行虚拟化。VRM是计算资源管理节点，用于对所有的CNA节点的计算资源进行管理。在本项目中，在两个不同的管理CNA节点上分别部署了主备VRM节点。

华为的超融合平台存储虚拟化部分采用的是Fushion Storage安装方案。其中Fushion Storage Manager(FSM)采用主备方式部署于两个管理CNA节点上，用于管理进程、提供存储告警、监控、日志等操作维护功能。Fushion Storage Agent(FSA)部署在各个CNA节点上，实现与FSM的通信。MDC实现对业务进程控制，对分布式集群状态控制，控制数据分布式规则、数据重建等。业务IO进程VBS，负责卷元数据的管理，提供分布式集群接入点服务，使计算资源能够通过VBS访问分布式存储资源。每个服务器上部署一个VBS进程，形成VBS集群。OSD执行具体的I/O操作。在每个服务器上部署多个OSD进程，一块磁盘对应部署一个OSD进程。

8 建设成果与分析

超融合虚拟化平台建成后可以对外提供19×512G的内存，180T的可用存储，在不考虑超卖情况下，可以提供798个虚拟机。目前平台已经平稳运行将近两年，为学院、财务、教务等业务单位提供将近300台虚拟机。

这套超融合系统是为了接替将要退役的vmware虚拟化平台。这两套系统一个是基于传统架构的虚拟化系统，一个是基于超融合架构的虚拟化系统。在使用过程和维护过程中还是有差别的。

超融合系统部署简单，而传统架构的系统则要复杂很多。超融合系统硬件上架后两天的时间里，系统已经全部部署完毕；vmware虚拟化平台在15年时候，我们对该平台上增加了一套华为集中存储，只是对存储进行配置和添加主机工作就持续了7天。

性能方面，vmware作为老牌虚拟化厂商还是领先于华为的，在虚拟机迁移、克隆、快照等方面都是优于华为的。

在厂商运维和安全方面，华为是优于vmware的。华为是我们的国产软件，满足软件国产化的安全要求，华为虚拟化厂商的运维服务做得很到位，400服务随时解答用户的各种问题，eservice运维服务也为用户提供了实时的平台监控，并且原厂服务也不是很贵，而Vmware的license和原厂服务则要远远高于华为。

9 总结

利用有限资金建设满足学校需求的虚拟化平台是高校数据中心建设中的重要问题，超融合虚拟化平台因其建设门槛低，扩展简单等优点已经广泛应用于高校信息化建设中。本文通过高校数据中心的发展历史，介绍了S大学的数据中心在各个时期的情况，重点介绍了S大学超融合虚拟化平台技术架构、建设情况和主要技术模块的功能。实践证明华为超融合虚拟化平台在性能提升、降低成本、操作简便和方便扩容等方面具有不可替代的优势，同时可以很好的满足各个业务部门对信息化的需求。