网络云资源池部署方案探究

2021-12-20吴星培王晨鹤赵帅男

通信电源技术 2021年12期

李晗，吴星培，王晨鹤，赵帅男，穆铭

（中国移动通信集团设计院有限公司河南分公司，河南郑州 450000）

1 概述

网络功能虚拟化（Network Function Virtualization，NFV）是将传统电信设备功能通过软件实现，运行在通用硬件设备上，并采用虚拟化技术实现业务敏捷迭代、支撑网络演进以及降低整体成本的目标[1,2]。NFV是应对移动互联网时代业务快速变化的有效手段和向5G演进的基础性技术，同时也是中国移动实现“大连接”战略的重要网络基础[3,4]。

2 网络云资源池系统架构

2.1 基本概念

资源池节点是指在同一数据中心/园区内的一个或多个硬件资源池集合。硬件资源池包括一组EOR交换机/EOR配对路由器及其下连的计算、存储、网络等硬件资源，将一套VIM及其所管理的物理与虚拟计算、存储、网络资源等定义为一个虚拟资源池[5]。为充分发挥资源共享的优势，在技术条件满足的情况下单个虚拟资源池的规模应尽可能大，单硬件资源池内的虚拟资源池数量应尽可能少[6]。

2.2 3层架构

按照层次化架构设计，网络云硬件资源池自下而上分为接入层、核心层、出口层3层[7,8]。

接入层部署TOR和各类计算型服务器、存储设备。核心层部署EOR和EOR配对路由器，并按需配置内层防火墙、IDS/IPS、WAF以及负载均衡器等设备。EOR向下汇聚交换网络内的所有接入层交换设备，配对路由器作为3层网关，并向上与出口路由设备互联。出口层复用现网承载、传输网络组网设备。出口层作为网络云站点内部和外部网络互联互通的纽带，对外完成与外部设备的高速互联，对内负责与网络云站点核心层交换设备互联，完成与站点外部路由之间的信息转发和维护。

2.3 硬件分区要求

为了避免出现单硬件设备（机架电源模块、配电柜、存储设备等）故障同时影响多个有容灾备份关系网元，将一个硬件资源池划分为两个硬件分区。为了提升业务可靠性，在条件允许的情况下优选两套电源系统为不同硬件分区供电[9]。

对于有容灾备份关系的多个网元部署在同一局址的同一资源池时，可能会被VIM分配到同一物理主机和同一机柜，存储也可能分配到同一套存储设备上，因此存在单硬件设备故障同时影响多个有容灾备份关系网元的风险。为避免该风险，需要在虚拟层划分可用区AZ。建议设置2个AZ，每个AZ内设有独立的计算服务器和存储集群。由于AZ的划分基于硬件，因此需要与硬件分区对应。一个硬件资源池划分两个硬件分区，硬件分区对供电和存储的要求如下文所述[10]。

（1）供电。若采用交流供电，两路供电分别来自两套不同的UPS主机或UPS电源系统，但仍为同一套电源系统。在条件允许的情况下，优选两套电源系统为不同硬件分区供电。若采用直流供电，两路供电来自同一套直流电源系统的两个端子，存在直流电源系统故障或输入开关故障时所有设备断电的风险，因此在条件允许的情况下将资源池硬件划分在两个硬件分区内，采用两套直流电源系统为不同的硬件分区供电，以提升业务可靠性。

（2）存储。本次采用分布式存储，为避免存储集群故障影响整个资源池的网元，至少应配置两套分布式存储集群。

3 资源池标准化部署方案探究

探索网络云资源池标准化设计，从设备安装和集成的角度，基于模块化部署、层次化组网设计理念优化资源池机柜布局。

方案探究中假设一个数据中心机房为10列（A～J），每列20个机柜（1～20），合计200个机柜。考虑EOR的扩展能力、数据中心标准机房空间以及可用VLAN空间等，在一个机房部署一个硬件资源池。此外，考虑配套系统，可以配置1 500台服务器。

3.1 硬件分区

一个机房部署一个硬件资源池，硬件分区有以下两种方案。

（1）中轴线分割。每一列1～10行机柜为硬件分区A，11～20行机柜为硬件分区B，如图1所示。

（2）按排分割。A、C、E、G以及I共5列为硬件分区A；B、D、F、H以及J共5列为硬件分区B，如图2所示。

图2 按排分割方案（方案2）

两种方案对比如表1所示。

表1 不同分割方案对比

综上所述，中心轴线分割方案优于按排分割方案。为了保障资源池供电的安全可靠，每一排部署两个UPS三级屏。1～10列机柜为硬件分区A，由UPS1、UPS3、UPS5、UPS7以及UPS9供电；11～20列机柜为硬件分区B，由UPS2、UPS4、UPS6、UPS8以及UPS10供电。

3.2 组网设备部署

硬件资源池划分A、B硬件分区，A、B硬件分区共用核心层组网设备，成对核心层组网设备应分别部署于A、B两个硬件分区。组网设备作为每个硬件资源池内中枢系统，一般成对配置。采用中心型和集中在两排两种部署方式，优先部署组网设备。在一个资源池内接入层到核心层采用中心型部署，计算、存储以及管理模组服务器接入模块通过双路由接入核心网组网设备，既保证了资源池内总路由最短，又最大限度避免了走线交叉。由于组网设备功耗偏大，此方案有效避免了大功耗设备过于集中，有利于设备散热。优先部署业务、存储及管理EOR，业务EOR北向连接EOR配对路由器、EPC防火墙及业务CE，与业务CE部署在同一排。将CMNET接入路由器作为出口层，单独部署在一排。

3.3 模块化部署

网络云硬件资源池硬件规模大，为简化和规范化设计，采用模块化部署制订了3个方案。

3.3.1 方案1（4个机柜1个模块）

计算型服务器(含可信资源池和网管资源池)包括4个机柜1个模块，每个模块配置44台服务器、3对TOR（业务、存储、管理TOR）以及2台硬件管理TOR。存储服务器包括4个机柜1个模块，每个模块配置40台服务器、2对TOR（存储、管理TOR）以及1台硬件管理TOR。

3.3.2 方案2（7+4组合）

计算型服务器（可信资源池）包括7个机柜1个模块，每个模块配置90台服务器、6对TOR（业务/存储/管理TOR）以及3台硬件管理TOR。计算型服务器（网管资源池）包括4个机柜1个模块，每个模块配置44台服务器、3对TOR（业务/存储/管理TOR）以及1台硬件管理TOR。存储服务器包括4个机柜1个模块，每个模块配置40台服务器、2对TOR（存储/管理TOR）以及1台硬件管理TOR。

3.3.3 方案3（7个机柜1个模块）

计算型服务器(含可信资源池和网管资源池)包括7个机柜1个模块，每个模块配置90台服务器、6对TOR（业务/存储/管理TOR）以及3台硬件管理TOR。存储服务器包括4个机柜1个模块，每个模块配置40台服务器、2对TOR（存储/管理TOR）以及1台硬件管理TOR。

假设一个机房部署一个硬件资源池，装1 500台服务器。3种方案对比分析如表2所示。