基于超融合技术的高校数据中心设计与实现

冼学辉 熊伟

摘   要：高校智慧校园迎来大数据时代，数据中心更是智慧校园建设的核心支撑。如何在关键服务上做到稳定、健壮，在服务部署上做到灵活、高效，在运维上做到绿色、经济，始终是数据中心建设面临的关键问题。文章结合超融合技术研究，深入分析网络架构、服务部署及安全策略特性，设计基于超融合的高校数据中心建设方案并实施，在实践中收到良好效果。

关键词：数据中心;超融合;私有云;x86;分布式存储

中图分类号：TP308 文献标志码：A 文章编号：1673-8454（2020）15-0080-03

一、引言

《教育信息化2.0行动计划》提出：没有信息化就没有现代化，教育信息化是教育现代化的基本内涵和显著特征，是“教育现代化2035”的重点内容和重要标志。高校作为教育信息化建设骨干力量，无论是在高水平大学建设有效支撑方面，还是在国家信息化技术研究应用及引领方面，都发挥着重要作用。作为“双一流”建设高校，华北电力大学通过完善信息化建设，构建绿色、开放、共享的数据中心，不断提升学校的教学质量、服务水平和管理效能，进而增强师生信息化获得感。超融合技术的快速发展，带来的技术变革也为高校数据中心的变革带来了新的契机。[1]以往传统的数据中心建设，通常是针对网络、存储设备构建框架，服务器设备随新业务购置，分批上线集成，这样就容易造成孤岛现象、灾难保护不足以及IT管理成本增加等问题。[2]而超融合技术将计算、存储、网络和安全功能深度融合，实现统一精细化的IT资源分配与调度。

华北电力大学保定校区原有数据中心建设时间较早，采用的是传统分散式架构，即业务系统和服务器硬件资源采用一对一的传统架构部署模式。而且各个学院、部门陆续托管了多台服务器等硬件设备在数据中心，品牌与性能参差不齐。随着信息化建设的规模日益增大，旧有架构暴露了不少问题：

（1）服务器使用年限久。原先购置的设备，在性能上已无法满足学校每年的新业务上线的需求。

（2）单机单应用造成资源利用率低。学校各院系部在进行信息化建设时一般单独采购硬件设备，单机负荷低。各个系统之间无法共享，很多资源平时用不上，高峰期又不够用且难扩展，导致了大量资源的冗余和浪费。[3]

（3）系统可靠性低。早期业务系统建设时，由于考虑建设成本，没有进行高可用或者备机的建设。一旦服务器出现故障，业务系统无法在短时间内恢复，严重影响学校相关工作的进行。

（4）大量服务器、存储、交换机、安全等硬件设备，来自不同厂商，导致IT运维管理负荷重。

在数据中心升级改造过程中，充分发挥专业人员长期的运维经验和技术优势，深入分析传统集中存储的特点与不足、服务器虚拟化和分布式存储技术应用需求，结合高校信息化技术先进性特点，构造基于超融合私有云平台的数据中心。

二、超融合技术

1.超融合技术简介

超融合基础架构（Hyper Converged Infrastructure， HCI）是一种新型的网络共享存储架构，基于标准通用的硬件平台，通过软件定义实现计算、存储、网络融合。[4]超融合基础架构具备以下三个技术特点：

（1）计算虚拟化。计算资源虚拟化技术将通用的x86服务器经过KVM、XEN等技术，向最终用户呈现标准的虚拟机，这些虚拟机具备系列化的硬件配置。

（2）存储虚拟化。用虚拟化技术“池化”集群存储卷内通用x86服务器中的本地硬盘，实现服务器存储资源统一整合、管理及调度。

（3）网络虚拟化。这里特指的是软件定义网络（Software Defined Network， SDN），通过OpenFlow、Overlay等技术将网络设备的控制面与数据面分离，从而实现网络流量的灵活控制，使超融合架构中各类网络功能资源按需分配和灵活调度，实现网络虚拟化。[5]

2.超融合对比传统虚拟化的优势

（1）架构更简单、稳健。超融合架构将传统架构虚拟化、存储、网络三层集成到一个x86服务器上，只需使用以太网交换机将计算节点进行链接，便能快速搭建业务所需要的一切IT资源。而多个计算节点构成的集群，消除了单点故障隐患，具有更好的稳定性和更强的可靠性。[6]

（2）采用分布式存储系统。通过部署分布式存储的方式，对本地存储资源进行虚拟化，再经集群整合成资源池，为数据中心提供存储服务。而分布式存储多副本技术的特性，使数据更安全、业务更可靠。[7]

（3）更低的建设与维护成本。超融合架构更简单，理论上两个计算节点便可以构成一个集群，这样使初期建设可以按需采购，降低一次性投资建设的压力。而后期需要扩展时，可在不中断业务的情况下新增和删除节点，实现线性方式水平扩展，使部署更快捷、管理更方便。[8]

（4）运维更简单。[2]超融合架构将传统架构的服务器管理、存储管理、网络管理甚至安全管理集成到一个统一的用户界面上，用户可以在一个界面上，实现计算和存储资源的池化，CPU、内存、存储等资源的分配，虚拟机的创建和启动，无疑会为运维带来极大的便利性。

三、超融合技术在高校数据中心的应用实践

目前学校数据中心由两部分組成：一是由传统存储服务器组成的数据库服务，保护现有投资，实现单一应用;二是由超融合组成的私有云服务，实现应用服务及系统灵活调度、安全可靠。

1.数据库服务

数据库服务作为高校数据中心的核心业务，承载的是学校重要的数据财产，要求数据库服务能稳定、安全、高效地运行。在数据库服务的硬件选型上，我们采用比较成熟的方案：x86服务器+光纤存储。相比起小型机硬件配件单一、采购成本及维护成本高的劣势，[9]x86服务器的前期投入成本和后期维护费用远低于小型机。而对内存和CPU要求都较高的数据库、商业应用和虚拟化来说，x86服务器的可靠性可以媲美小型机，而且更加容易维护与更新，更加有利于关键性业务的可持续发展。[10]

从服务器、光交换到存储服务器都采用了双节点高可用的架构，如图1所示。特别是光纤存储，采用2台存储服务器构建存储系统，每台均配备2个控制器，实现了对称双活系统。对称双活系统在1个控制器离线的情况下不影响业务，在3個控制器离线的极端情况下依然能保证业务不下线。每台存储服务器配置128GB缓存，为学校数据中心的数据库服务提供了强大的性能保障，以满足数据库服务稳定及安全的苛刻需求。

2.私有云服务

笔者学校以“超融合技术+云计算管理软件”为基础，建设了架构灵活的云化基础设施，实现了计算、存储、网络、安全的统一资源池。

（1）计算及存储配置

私有云平台包含20个节点，集群规模达40C，每个节点的配置如下：2颗Intel Xeon Silver 4114处理器，128GB 内存。平台主控机在故障时可自动转移，在运行资源需求没有溢出资源池总量的前提下，允许多个节点离线。平台支持集群资源调度，能在特定的场景下，将虚拟机从 CPU 或者内存利用率比较高的主机迁移到利用率比较低的主机上，将负载过高的主机的利用率降到阈值以下。

私有云平台采用分布式存储技术，实行二副本的策略，每个超融合节点配置了2块300GB SAS用于安装HCI底层操作系统，2块480GB SSD作为分布式存储的缓存盘，4块1TB SATA作为分布式存储的数据盘。其初始化后实际可用存储容量为32.88TB，最大读速度为431.7MB/s，最大写速度为301.7MB/s，其性能已经能满足学校绝大部分的应用场景。后期存储容量不足，可在线直接添加SATA盘扩充容量。

（2）网络配置

超融合将多个x86单元设备通过以太网技术聚合起来，实现模块化的无缝横向扩展，形成统一的资源池。对集群进行构建时，需要构建4张网络，如图1所示：

①业务网络，用于承载虚拟机的南北向通信。采用支持堆叠技术的两台千兆接入交换机，下行端口速率GE接入服务器，上行端口速率10GE，两条10GE链路聚合方式接入核心交换机，构建冗余的业务网络。

②存储网络，二层通信，用于实现分布式存储，负责超融合节点间存储数据通信，采用支持堆叠技术的两台全万兆接入交换机，实现双交换机链路聚合，在保证性能的同时提高整个网络架构的健壮性。

③VXLAN（Virtual eXtensible Local Area Network）网络，二层通信，采用两台千兆介入交换机进行堆叠，用于承载虚拟机的东西向流量。

④管理网络，采用两台千兆介入交换机进行堆叠，用于物理服务器IPMI （Intelligent Platform Management Interface）等远程管理，为终端用户提供虚拟操作界面。

其中，在业务网络的设计上实现软件定义网络（Software Defined Network，SDN），将网络功能与专有硬件设备分离，将网络功能使用软件的方式实现。如图2所示，根据学校业务类型，划分3个业务子网——互联网业务区、内网业务区和教学科研区。每个区域下，可以给每个业务群单独分配一台虚拟机交换机，实现对业务群进行精细化的网络配置管理和网络监控。这样，无论是组建业务网络，还是对网络进行改造，再也不必进行现场的布线施工，只需通过管理平台便能实现网络的搭建。

（3）灾备及安全

云平台提供两种方式。一种是虚拟机整机备份，可以根据业务重要性，配置多个备份容灾模版——每日备份、每周备份和每月备份等。另外一种是CDP （Continuous Data Protection）备份，对于运行着核心业务或者核心数据库的虚拟机，可以通过CDP，对虚拟机写入数据进行I/O级的备份，从而实现关键数据的保护。

在私有云安全防护上，我们利用超融合私有云平台的分布式防火墙，对每个业务VLAN内的虚拟机在业务网络之间实现了横向隔离，当单台虚拟机中病毒以后避免出现横向蔓延。而南北向的流量则设置了两层防护，数据中心核心交换机的前置硬件防火墙（见图1）及私有平台云提供的云WAF（Web Application Firewall），满足了不同类型业务安全需求。这样无论是从南北向还是东西向都构建了完备的安全防护体系，有效地保障了私有云上的业务安全。

四、结语

高校“双一流”建设，离不开信息化的有效支撑，高校师生在教学、科研、管理和生活服务上，对信息化产生了多样化的需求。绿色、高效、灵活、安全的数据中心建设是信息化建设的核心。要在关键服务上做到架构稳定、健壮，在应用服务的部署上要做到灵活、便捷，在建设与维护成本上做到经济，这就要求高校IT人要摸清自己学校信息化现状需求，深入了解私有云、虚拟化、分布式处理、超融合等关键技术，制定科学的规划，然后量体裁衣地设计、打磨数据中心的实现方案。基于超融合的数据中心上线以来，明显提升了学校教学、科研应用的运行效率，缩短新业务上线周期，提升师生信息化服务满意度，为学校未来大数据业务提供平台与资源的核心支撑，有力促进了学校“双一流”建设与发展。

参考文献：

[1]方昕.超融合架构技术在高校数据中心中的应用[J].电子技术与软件工程，2017（14）.

[2]牛永正，肖辰，马永新.超融合架构在高校数据中心中的应用——以天津商业大学数据中心建设为例[J].信息系统工程，2018（9）.

[3]翟永刚，丁增鑫，王青峰.基于云计算的高校数据中心设计与实现[J].中国教育信息化， 2015（17）：61-63.

[4]郝冠南，刘星宏，程丽彦.人民日报社新闻业务高性能的超融合存储架构全面部署[A].中国新闻技术工作者联合会.2019年学术年会论文集[C].2019.6.

[5]Stanford University.Clean slate program[EB/OL].2006.http：//cleanslate.stanford.edu/.

[6]刘家乐，陈贻品.基于超融合技术的高职院校数据中心建设研究[J].信息技术与信息化， 2019（8）：106-107.

[7]王盈.超融合让云计算回归本质[J].软件和集成电路，2016（7）：46-49.

[8]解培.超融合基础架构在商业银行私有云中的应用[J].金融电子化，2015（12）：75-77.

[9]黄海峰.辽宁移动探索“小机x86化”成星星之火 点亮运营商数据库转型之路[J].通信世界，2015（24）：40.

[10]姜姝.是时候去小机了 国产x86已雄起[N].中国信息化周报，2014-09-29（026）.

（编辑：王天鹏）