新基建背景下高校数据中心建设创新与实践

2023-12-21王志强李广福张学燕

电子元器件与信息技术 2023年8期

王志强，李广福，张学燕

1.山东工艺美术学院，山东济南，250300；2.山东青年政治学院，山东济南，250103

0 引言

随着国家数字中国建设的持续推进，高等教育与信息技术高度融合，教育信息化为高等院校教学、科研、管理及服务提供了良好的支撑环境，为高等教育高质量发展提供有力保障。教育部等六部门在2021年发布的《关于推进教育新型基础设施建设构建高质量教育支撑体系的指导意见》中指出：“构建新型数据中心，为本地区教育机构提供便捷可靠的计算存储和灾备服务。[1]”2021年教育部印发《高等学校数字校园建设规范（试行）》，其中明确指出：“建设安全、高效、节能的数据中心基础设施，构建安全、稳定、高效的网络、计算（服务器）系统、存储系统、基础软件系统、备份容灾系统等，为信息化应用提供良好的支撑环境”[2]。从以上文件可知，构建安全、稳定、高效、节能的现代化数据中心，为计算、存储及备份容灾系统等提供良好稳定的运行环境，是教育信息化的基础，是教育信息化的支撑和保障。

本文以山东工艺美术学院数据中心机房建设为例，主要介绍新一代数据中心机房建设中供配电系统、模块化布线系统、新网络技术架构及数据交换网络四个方面的实践与经验，及它们与传统数据中心机房相比所具有的优势。

1 增程式节能高效配电模式，为数据中心机房电力保驾护航

供配电系统是保证数据中心机房中计算、网络、存储及辅助设备等可靠运行的基本条件，现代数据中心机房电力系统以节能环保、稳定可靠为基本原则，建设一个安全、稳定、节能、环保的供配电系统对数据中心机房显得尤为重要。山东工艺美术学院在数据中心机房建设时，对不间断电源配电模式进行了更加稳定与节能的新模式探索，除常规的市电接入之外，采用了柴油发电机和UPS延时相结合的新方式，它的工作原理是：当市电停电时，机房配电系统自动切换至UPS供电，并确保UPS供电启用2分钟之内自动启动应急发电机供电。这种新模式与传统的供电模式相比，具有许多优势。

1.1 持续动力输出，不再为供电时长担忧

传统的铅酸蓄电池单位内聚能量偏低，不能为数据中心设备提供长时间的电能。蓄电池只能短时间内为机房提供电力输出，若遇到市电较长时间停止供电，这种情况下铅酸蓄电池很难为机房提供长时间供电。而使用柴油发电机和UPS延时配合为数据中心机房进行电力输出，不用再担心供电时长的问题，只要确保发电机有足够的柴油，就可以持续为机房提供电能。

1.2 投资回报率高，机房空间占比小

传统的不间断电源供电模式大多采用UPS主机配备大量铅酸蓄电池的方式，若想增加供电时长，需要串联大量的蓄电池，供电时长是与电池的数量成正比的，电池数量越多供电时间就会越长。目前铅酸蓄电池的价格偏高，大量的电池采购会增加机房的建设成本，并且电池的循环使用寿命是有限的，每隔几年需要更换一次电池，这无疑也增加了成本。由于电池的能量密度低，大量的电池会占用机房很大的一部分空间。新供电模式只需一台柴油发电机，从目前的市场行情看，发电机的价格不是太高，并且使用期间定期对发电机进行保养，可以使用十几甚至几十年，一般不用为使用寿命问题而担忧。这种模式的选择，降低了机房建设的投资成本。

1.3 节能高效，供电性能不再受限

铅酸蓄电池电解液含有大量的硫酸及硫酸铅，大量的废弃电池需要专业部门才能够处理，每年需要回收处理的废电池消耗了一定的能源，不利于国家倡导的节能减排。如果对电池处理不当致使废液进入环境，大量的重金属废水会对环境造成污染。并且UPS供配电系统只能为计算机设备、网络设备及存储设备等供电，不能为机房内精密空调提供电力。当市电停电时间过久，由于机房内的设备会产生大量的热量无法排出，致使室内温度急剧升高，持续高温的环境容易使设备发生宕机。柴油发电机和UPS延时的新模式，只需配备少量的铅酸蓄电池，用于保障市电停电后、发电机启动之前的几分钟的供电时间。这样减少了大量被替换下来的电池的处理成本，也减少了废弃电池污染物对环境的排放，符合国家节能减排的政策。发电机不仅能够给计算机、网络及存储等设备供电，同时也可以给机房内精密空调供电。

2 模块化高性能光纤配线系统，拓宽5G时代信息高速公路

学校在进行数据中心综合布线系统建设时，充分考虑到云计算、大数据、虚拟化和物联网等业务对网络传输基础设施的高标准要求，它需要具备传输带宽高、传输速度快、吞吐量大和低延时等特点，同时满足学校线上教育教学、网络视频业务爆发式增长及智慧校园系统等业务需求，以及考虑到后期维护成本，采用了基于MPO连接器的高密度光纤配线系统，它与传统的布线系统相比优势比较明显。

2.1 可扩展性强，系统部署灵活

基于模块化光纤配线系统，可以根据业务需求量进行动态配置，1U高度的高密度光纤箱满配可安装12个MPO预端接盒，每个预端接盒可配备12个LC适配器，这样一个1U高度的光纤箱满额可管理144芯光纤。根据业务的需求量，只需配备当前数量的MPO预端接盒即可，若后期随着需求量的增加，随时可以增加MPO预端接盒的数量，既可以做到按需配备，又可以缓解因资金紧张而带来的问题。MTP连接器的特点是即插即用，当有新的模块盒需要接入配线箱时，只需将安装有MTP连接器（母端）的MPO-MPO集束光纤跳线插入MTP连接器（公端）即可，从而实现了系统部件的快捷连接。而传统的布线系统就很难做到快速、便捷连接，部署的灵活性及可扩展性都要比高密度模块化MPO光纤配线系统弱。

2.2 高密度配线管理，节约机柜空间

高密度模块化的MPO预端接盒设计，具有大容量、低空间占用量的特点，节约了机柜的占用空间，从而大大提高了机柜的利用率。譬如，1U高度的高密度MPO光纤配线架可端接光纤芯数达144芯，而普通ODF光纤配线箱若端接144芯光纤，则需要12个熔接盘，箱体高度大约为35厘米，标准机柜1U的高度约为4.445厘米，35厘米高度大约是8U的高度。也就是说，同样是144芯的光纤端接，普通ODF光纤配线架占用的空间是高密度MPO光纤配线架的8倍。

2.3 数据传输速度快，数据传输性能好

随着网络带宽的提升及数据交换量的剧增，万兆传输已成为数据中心布线的主流趋势，MPO连接器支持100G/s数据传输速率，避免了数据交换、传输瓶颈的问题，并且配备多芯带状或束状光缆，链接稳定可靠，保证了数据在传输过程中的稳定性。由于光纤布线系统具有高带宽、高速率、抗干扰能力强等优点，现代数据中心机房设备大多配备光纤接口，传统的双绞线接口已很少使用，因为传统的双绞线布线系统已经很难满足现代数据中心高密度设备接入和对传输介质高性能的要求。

3 基于网络新技术架构，助力数据中心飞速发展

学校在新数据中心机房建设时，采用分布式VxLAN和EVPN技术方案，基于Spine-Leaf物理网络拓扑架构，实现校园网的扁平化，满足数据中心对网络的性能可靠、数据转发高效、可扩展性强等需求，很好地解决了传统三层网络模式存在的虚拟化部署、资源调整等业务不灵活等问题，减少了资源浪费，提高了信息的传播效率。

3.1 业务部署灵活，可扩展性强

随着服务器、虚拟机数量不断增加，网络规模越来越大，数据中心数据流量成倍增长，传统的网络架构已无法满足云计算、大数据等新业务对网络承载的需求，基于路由协议的传统三层网络架构VLAN无法突破物理二层的限制，不能满足大规模虚拟化部署，虚拟机迁移受物理网络架构限制，新业务上线网络配置烦琐、扩展性差。基于以上问题，采用分布式VxLAN+EVPN技术方案构建逻辑大二层扁平化网络，以解决资源整合、业务备份、负载均衡等需要，以及虚拟机部署迁移的需要[3]。

3.2 数据传输速率高，网络可靠性高

传统的网络架构业务与网络耦合性高，如果网络出现问题对业务影响大，并且传统网络VLAN中存在广播数据包容易在整网中泛洪占用网络资源等问题。针对数据中心数据大流量、无阻塞传输，学校在新数据中心建设时，配备了支持VSU虚拟化技术的高性能交换机，上联端口线速交换能力可达100G。基于VxLAN+EVPN技术部署的网络架构，将VxLAN二层、三层网关部署在Leaf交换机上，Spine交换机只负责IP的高速转发，Spine-Leaf物理组网架构是一种新型的逻辑二层网络架构，实现了业务与网络的解耦，能够很好地应对网络中激增的数据流量，提高网络传输效率，降低对网络资源的占用率，并且有效阻止了广播风暴的产生[4]。VSU虚拟化技术能够将多台物理设备虚拟为一台逻辑设备，进行统一的运行管理，从而实现了网络的可靠性。借助交换机自带的虚拟化特性，在Leaf交换机与服务器链路上做跨设备链路聚合，将多设备进行跨设备链路聚合，通过VSU虚拟化技术将多台Spine交换机逻辑上虚拟成一台设备，同时将串接在核心链路中的安全设备旁挂在按“东西”向流量和“南北”向流量的Leaf交换机下，提高了网络链路及网络出口的可靠性。

3.3 网络配置自动化程度高，网络运维更加智能化

新的网络技术架构中的网络设备会根据网络全局配置、交换机模板配置自动生成设备配置，实现了设备即插即用，设备配置自动生成等网络自动化构建与配置，做到了网络业务调整按需下发、自动化部署等。例如，当网络中交换机出现硬件故障后，使用相同型号的交换机进行替换后，新入网交换机的配置会根据自身业务需要自动下发，从而使既有业务不受设备的调整影响。传统的网络技术架构则很难实现新入网设备自动化部署等功能，在进行网络业务调整时需要对设备进行流程比较烦琐的配置。

4 EoR+MPO数据交换网络搭建，实现低投入、高效率

现代数据中心机房建设过程中，考虑到数据业务的可变性、云计算和虚拟化大量部署对数据交换的高效性、以脊叶网络拓扑架构为代表的大二层网络结构的新趋势，数据交换网络搭建需要充分考虑以上各种业务的需求。

4.1 EoR与ToR数据交换网络架构对照

EoR布线架构是传统的数据中心网络布线架构，是在每排机柜边端配置网络机柜，俗称网络列头柜，数据交换机放置在网络列头柜内提供网络统一接入点，每个IT机柜里的服务器等设备通过光纤等最终跳接的网络列头柜与交换机连接。ToR布线架构是在每个IT机柜顶部配置一台或两台数据交换机，机柜内的服务器等设备通过跳线直连到机柜内的交换机上面，每个机柜内的交换机通过上联口最终连接到汇聚交换机。

4.2 EoR+MPO技术组合与ToR相比性价比更高

EoR+MPO技术组合是将传统的EoR布线构架与高密度MPO光纤配线架相结合的方式，在每个IT机柜顶端安装一台MPO光纤配线架用于本机柜内服务器等设备的连接，MPO光纤配线架通过光纤与列头机柜里的数据交换机连接，这种技术方案避免了EoR布线架构后期线缆可扩展性不强、管理较复杂的现象，又具备了ToR布线架构的分布式网络接入、可扩展性强、高速率等优点，并且与ToR架构每个机柜内配置数据交换机相比，在机房建设时资金投入低很多。