超融合架构技术在高校数据中心建设中的应用实践

都业涛

摘要：信息化的发展推动了高校数据中心建设，数据中心建设现已成为高校信息化发展的重点，从最初的多个独立的物理服务器分别承载各自的应用系统，逐步向以软件定义，多个物理服务器组成的一个或多个集群来承载所有的应用系统的虚拟化平台架构方向发展。首先了解超融合的技术及优点。其次以某高校数据中心为例，运用超融合技术架构对高校数据中心进行改造。实施结果证实，超融合虚拟化平台具有性能提升、降低成本、操作简便、方便扩容等优点。超融合虚拟化平台可以完善高校数据中心架构，满足高校各业务系统运维需求，为今后高校建设、改造数据中心积累经验。

关键词：超融合；高校数据中心；虚拟化

一、前言

近年，依据我国“十三五”，特别是“十四五”信息化发展规划，全国各高校建设数字智慧校园已经到了深度融合期。为落实上级部门针对高校内部全面实现教学服务的“一网、一门、一户”的原则，提高为教学服务意识，构建方便快捷、优质高效的服务体系。数据中心已成为高校建设数字智慧校园不可或缺的组成部分，其使为高校教学及科研，师生人员管理及生活的服务的各类相关信息系统集中管理和运维，使各类信息系统不再沦为信息孤岛。

传统的数据中心主要以物理服务器，交换机，路由器，网络安全等设备组成。几乎每个单位或部门都有一套独立的网络架构。各信息系统为了实现其所需的功能，以黑龙江科技大学财务系统为例，配备2个主服务器，1个数据存储服务器，1个本地容灾服务器（分别是两家不同的服务器供应商），3个专用交换机，2个专用边界防护设备，占用了两个半的2.2米机柜空间。随着信息化的发展，业务及数据量激增，后期系统的扩容和升级可能导致还需更多的使用空间。系统的定期维护也需要相应设备的厂家工程师相互配合来完成。单从这方面来看，传统的架构方式物力及人工成本较高，且时效性较低。以目前的超融合技术发展来看，高校数据中心基本架构的改革可能成为一种必然的趋势。

二、超融合技术特点

超融合的架构是指使用多台物理服务器和交换机组成一个集群或多个集群，形成一套单元设备，并具备计算、网络、存储和服务器虚拟化功能，将运算和存储单元合二为一。超融合架构是通过虚拟化平台软件来合理硬件资源的，运算资源和储存资源都是通过虚拟机来合理调配使用，是一种以虚拟机为核心的虚拟化应用。减少传统数据中心的硬件设备，有效节省投资成本，缩短应用上线时间。

（一）多副本技术

多副本，是指将数据保存多份的一种冗余技术，超融合平台的副本复制模块来保证副本的一致性和副本之间的同步。底层管理的副本对上层服务是透明的，上层不感知副本的存在。副本所存放的位置必须满足主机互斥原则，即不可能出现两个副本同时存在同一台主机上的现象。以两副本为例，若写入一段数据，该数据依次经过条带化和分片之后，会再经过副本复制模块，分别写入到不同的主机中。在无故障的情况下，为保证副本数据的一致性，两个数据副本必须都写入完成后，这段数据才算写入成功。若读取一段数据，会选择其中任意一个副本进行读取。在没有网络中断，硬盘损坏掉线等异常状态下，文件的副本数据是始终保持一致的。

（二）分布式存储

分布式存储[1]是一种数据存储技术，一般使用常规x86服务器，通过软件技术将常规x86服务器的存储单元构成一个虚拟的存储单元，利用可扩展的架构，一方面可以分担数据存取的读写压力，提高性能，另一方面利用软件的定位信息，可以提供横向扩展的“scale-out”的扩容能力。

（三）数据多副本保护

当硬件层面发生故障时（硬盘损坏，存储交换机/存储网卡故障等），导致该故障主机上的数据丢失或者不能被访问，影响业务运行；超融合平台提供数据多副本保护机制，确保业务数据在存储池中存有多份，并且互斥地分布在不同的物理主机的不同磁盘上；因此，此时用户数据在其他主机上依然有完好的副本，可以保证数据不会发生丢失，业务可以正常运行。

（四）高可靠性

当外部环境故障（比如主机网线断了，所在存储不能访问等）导致业务中断时，超融合平台提供了成熟的HA机制（HA是Highly Available缩写，是双机集群系统简称）[2]，将发生的故障主机的业务在资源充沛的非故障主机上自动重启，即可实现业务的连续运行或短暂中断。在超融合平台集群中，对启用了HA功能的虚拟机所在节点进行心跳检测，每隔几秒钟检测一次虚拟机状态，一旦发现虚拟机出现故障，并且故障持续时间达到用户预设的时长时，将把该虚拟机上的所有进程转移到其他虚拟机节点上运行，从而为客户提供不间断的服务。一旦虚拟机宕机， HA能够将宕机时间缩短至几秒钟。而且能够将系统恢复到宕机以前的状态，从而保证虚拟机机的稳定运行。在HA的保护下，各个信息系统再也不用因为硬件故障或日常性的维护而中断运行。

超融合平台网络层采用管理面、控制面、数据转发面相互独立的架构，各层面通过标准化和解耦的接口进行通信。若某个子模块发生故障，只影响这个模块内部，不会导致整个网络平台出现故障。

管理面采用集中式控制方案，通过集群模块选举出管理面主控节点，使用集群文件系统将数据分布式地存储在每个网络节点中，若控制节点发生故障，超融合平台会自动选出新的主控节点，新的主控节点通过集群文件系统获取集群网络配置数据，保障管理面的高可靠。

控制面与管理面一样采用集中式控制方案，复用集群模块推选主控，主控节点会拉起中央控制器；通过各个计算和网络节点的网络代理模块主动上报机制，中央控制器恢复对当前每个计算和网络节点的实时状态掌握，保障控制面的高可靠。

数据转发面运行在应用层，可保证转发面出现异常时，不会导致内核宕机，并通过重启服务方式快速恢复转发面，大大减少转发面对平台本身可靠性的影响;数据转发面支持单主机内主备切换，备进程包含数据转发面的所有配置信息，可以在主进程异常退出后，备进程立刻成为主进程，接管所有的网络转发业务，用户业务不会中断，保障数据转发面单主机高可靠。

网络层中虚拟路由器为集中式路由器，进行三层转发的流量需要通过路由器进行转发，当路由器所在节点出现故障或者路由器连接的业务网口无法通信时，会影响连接到该路由器的设备之间的通信。

超融合平台网络层提供路由器HA功能保障三层转发网络可靠性，通过网络控制器实时监控集群中主机运行状态和业务网口状态，当发现主机故障或者业务网口无法通信时，中央控制器会计算受到影响的虚拟路由器，自动将这些路由器切换到其他正常工作的主机上，保证经过该路由器的流量可以正常转发。

三、超融合架构技术在高校数据中心建设中的应用案例

（一）硬件设备

传统存储中主要为NAS[3]和SAN存储[4]，分别有各自的应用场景。比如，NAS 有自己的文件系统，因此存储设备端负载相对较重，一般 NAS 适合I/O请求次数较少，但是文件存取能力较高的场景。而SAN存储，不管采用 iSCSI还是FC协议进行连接，在挂载 SAN存储前，需要系统对其进行格式化安装文件系统，即在SAN存储端没有文件系统，存储设备的负载比较轻，相比而言，SAN存储更加适合I/0请求次数较多、数据访问小而频繁的场景，数据库场景为典型应用场景，传统业务部署模式选择服务器+外置FC存储部署就是基于此原因。对于超融合分布式存储而言，需满足更多的场景需求，因为超融合所有的应用数据都是放于同一个存储介质上，不论随机I/0、顺序I/0，或读密集型、写密集型应用。这种情况下，首先应该考虑选择什么样的存储介质可以有效提高性价比。

机械硬盘（HDD，Hard Disk Drive）是计算机上使用坚硬的旋转盘片为基础的非易失性存储器，它在平整的磁性表面存储和检索数字数据[5]。机械硬盘以价格低、容量大而著称，但其性能却比较低，尤其是随机读写的性能通常只有几百 IOPS。

固态硬盘（SSD，Soild State Disks）是一种主要以闪存（NAND Flash）作为永久性存储器的计算机存储设备，具有优异的 IOPS 和吞能力。虽然 SSD 性能高，但其价格高、容量小的问题也是当前阶段其大规模推广的主要障碍。虽然SSD价格近几年下降很多，但是大容量的SSD价格仍然昂贵，相比HDD的10T的容量，每单位容量价格贵了10倍有余。使用全闪存存储最大的问题就是成本过高。

因此为了实现存储系统在性能、容量、成本三者之间达到最佳均衡，鉴于以上原则，超融合架构出于对当前阶段的绝大部分场景如何达到最优性价比和性能的考虑，黑龙江科技大学数据中心的做法是使用混合硬盘配置方式，即使用固态硬盘SSD 作为I/0读写提速的缓存层，用于存放用户业务经常被访问的数据，而机械硬盘HDD则作为数据最终存放的位置。

（二）磁盘组

在混合硬盘配置前提下，基于性能最佳实践，超融合分布式存储会将缓存盘和数据盘以磁盘组的关系进行配对，磁盘组由1个SSD 带 n个HDD组成 （n≤7）。单一主机内可以有多个磁盘组，每个磁盘组相互逻辑隔离，即每个磁盘组的 SSD仅为其磁盘组下的HDD提供缓存加速的能力。

磁盘组所带来的好处之一是减少了 SSD 故障所影响的范围。当某块SSD发生故障后，故障影响的范围会限制在该 SSD 所在的磁盘组内的磁盘，在进行数据修复时，也仅需修复其磁盘组内的HDD上的数据，无需整机进行修复。

黑龙江科技大学数据中心超融合平台总体硬件设备主要分为服务器和交换机。服务器采用6台Lenovo SR850，其中每台服务器配置4块600GB的SSD硬盘及10块1.8TB的HDD硬盘。交换机采用2台万兆以太网交换机作为存储交换机；2台万兆以太网交换机作为业务及数据通信交换机；2台千兆以太网交换机作为管理交换机。以上是黑龙江科技大学数据中心超融合总体的硬件配置，分为超融合架构建设工程和扩容一期工程。扩容一期内容是分别为每个主机Node节点增加了6块HDD硬盘，从采购到扩容完成历时2个工作日。

（三）超融合网络架构

超融合的网络架构由管理网、业务网、数据通信网、存储网四个网络平面组成，每个网络平面独立部署。

管理网是指管理员接入管理网对超融合集群进行管理。管理网通过双交换机聚合实现链路冗余，单个交换机或单条链路发生故障不会影响超融合管理模块的稳定性。

业务网是指某个信息系统用于进行正常的业务访问。业务网也可通过双交换机端口聚合实现链路冗余，对业务出入口配置静态绑定，并且可以配置多个业务出口供虚拟网络中虚拟机选择，保障业务网冗余高可靠。

数据通信网是指虚拟机之间的东西向流量，可实现业务之间的通信，组建私网保障数据安全。同管理网和业务网一样，两台或以上数量的物理交换机通过端口聚合实现链路冗余。超融合虚拟交换机采用分布式部署方式，即集群所有主机上都设置一个虚拟交换机，若其中一台主机掉线时，通过虚拟路由和虚拟机HA技术，其他主机会接管原本经过这台掉线主机上虚拟交换机的流量。

存储网是指执行需要经过网络的IO动作，实现数据存储功能。组建私网保障数据安全无需静态绑定和交换机上链路聚合，超融合平台从软件层面实现了链路聚合功能，按照TCP连接实现私网链路的负载均衡，主机之间不同的TCP连接可以使用不同的物理链路。

综上所述，超融合网络架构实现了网络链路的全冗余，任何一个网络平面的故障都不会影响其余的网络平面。

（四）超融合架构应用情况

超融合系统架构用于黑龙江科技大学数据中心建设完成后，超融合平台位于校园网中，支持对外提供87.5TB硬盘及6*512GB内存容量，提供100多个虚拟机（均至少2副本保护）。如今，已平稳运行3年有余，为学校财务处、教务处、保卫处、学生处等单位提供优质服务。

四、结语

黑龙江科技大学利用了有限的资金初步完成了对数据中心架构的部分改造，虽然校内还有一些信息系统没有纳入超融合平台，但是从已在超融合平台的信息系统使用情况来看，已经取得了良好的效果，获得各级使用单位及师生的一致肯定。自从使用了超融合架构，明显节省了数据中心的宝贵空间，释放机房维护人员的精力。相对于传统的系统架构，超融合平台架构在系统的扩展性，维护性，空间及硬件的利用率等方面有许多明显的优势。为了确保高校数据中心的稳定性、易用性、持续性、安全性，并降低维护成本，使用超融合架构技术是一个很不错的选择。为建设数字智慧校园，全面实现校园信息化，建设专业特色鲜明的高水平应用型大学提供有力保障。H

参考文献

[1]张翅.高校实验室云桌面数据存储方案的探索与实践[J].信息记录材料 2022，23（07），177-179.

[2]赵烽帆.基于VMware ESX软件的高可用性虚拟化服务器系统建设应用[J].震灾防御技术，2014，9（03），540-549.

[3]付长冬.网络存储体系结构的发展和研究[J].小型微型计算机系统 2004，（04），485-489.

[4]付长冬.基于自主运算的自适应存储区域网络系统[J].软件学报 2004，（07），1056-1063.

[5]孙瑞.固态硬盘与机械硬盘综合比较探究[J].科技尚品，2016（01）：172-173.