云化网络多租户改造方案分析和实践

史庭祥，田会芹（中兴通讯股份有限公司，江苏 南京 210012）

0 前言

大数据、在线交易、电子政务、网络视频等新兴互联网业务使得数据中心进入高速增长期，需要提供数据中心互联（DCI）业务，将业主的多个数据中心，多个云连接起来，形成逻辑上整体的数据中心和云网络，满足多种业务和多地数据中心交织的情况。此外，软件定义安全（SDS）方案以虚拟化数据中心和租户维度，提供安全防护模型，适应全新的服务计算模式、动态虚拟化管理方式和多租户共享运营模式。

可见，在不考虑应用改造为面向业务架构（SBA）的情况下，云化网络需要改造支持多租户和多数据中心的应用场景，满足应用多样性、业务灵活部署和资源共享等多方面需求。

1 面向多租户的云化网络架构研究

云化网络面向多租户和多数据中心（DC）的场景时，需要给应用（租户）带来差别化体验，也要为租户带来和DC 无关的无差异服务，使DC 基础设施以云服务方式售卖。

图1 示出的是支持多租户应用的跨DC 全局资源的统一管理。

从租户角度，每个租户可以管理各自的资源，资源支持分布在不同资源集群，满足预先设定的业务服务质量（SLA）。为此，云化网络设计要满足如下要点。

图1 支持多租户应用的跨DC全局资源的统一管理

a）逻辑隔离的统一硬件资源池。按硬件资源类型不同，划分不同的资源集群（Resource Cluster），分布在多个物理DC。为对全局资源进行逻辑隔离，将数据中心的资源，定向分配给不同的虚拟化数据中心（vDC或PvDC：提供者虚拟化数据中心），避免资源的互相占用，影响业务的开展。同时，根据不同SLA需求划分各自的PvDC，如非信任域（DMZ）PvDC，一类服务等级的PvDC，二类服务等级的PvDC，公有云PvDC 等，以便满足运营商或大型企业租用专有云，超过专有云计算能力的服务由公用云服务；亦或是运营商网络的部分网元部署在DMZ 域，部分网元部署在高服务等级的域。而且PvDC 要支持资源分布在多个DC，比如控制面和用户面分离业务（CUPS），其控制面和用户面尽管有相同的SLA，但分布在不同DC。

b）组织vDC 和分配租户资源。PvDC 不足以支撑复杂多变的应用需求，租户可能包括多种用户，每个用户包括一种或多种SLA的vDC资源。因此，引入“组织vDC”（OvDC），即满足一种或多种SLA 的vDC 资源的集合。租户网络在组织vDC 里构建，使得租户的资源和网络可以跨在不同物理DC，实现多种HA 和容灾场景，而应用驱动着vDC灵活部署，通过云管理系统和编排器的统一管理和调度，实现差异化SLA 资源的自动匹配。

c）跨DC 部署资源。一个资源集群可以跨DC 部署，好处在于当某个类型的硬件资源不足时，可以在其他DC 部署扩充的新增容量。反过来，资源集群的资源可以在多个vDC 之间分配，比如2 类vDC 都需要转发面硬件资源，该资源集群就会被切割成2个部分，每个部分归属在一类vDC里。

图2 示出的是支持多租户应用的跨DC 全局资源的统一管理（vDC跨DC部署）。

图2 支持多租户应用的跨DC全局资源的统一管理（vDC跨DC部署）

支持多租户的虚拟化网络将为每个租户提供更加灵活的资源分配和管理，并实现多个租户之间的业务隔离和安全通信。为此，该网络的虚拟化管理系统架构所包含的组件，横向划分3个资源域。

a）服务器，存储和网络等资源域（Resource Cluster）：NFV应用服务所需的资源。

b）基础设施的管理域（Infrastructure Management Cluster）：管理服务所需的资源。

c）NFV 应用服务的管理域（NFV Management Cluster）：NFV管理服务所需的资源。

图3示出的是支持多租户的虚拟化资源管理系统架构。

支持多租户的虚拟化管理系统采用Overlay 方式，搭建在已有虚拟化管理系统之上，便于灵活配置，实现租户和非租户2种系统的混合，因而架构纵向分为2个维度。

a）非多租户方式的虚拟化管理系统。和传统虚拟化系统一样，资源管理系统分为2类：服务器等资源管理器和管理等资源管理器，当然也可以是两者的结合体。该组件的作用是直接和Hypervisor、虚拟交换机通信，基于预设规则完成对虚拟机分配计算、存储和网络资源。根据多种资源集群的设置情况，资源管理器可以有一个，也可配置多个；既可以管理一个DC 内的全部资源，也可以跨DC管理。

图3 支持多租户的虚拟化资源管理系统架构

b）多租户方式的虚拟化管理系统。如上述分析的多租户需求，为在资源集群之上构建灵活的PvDC和OvDC，作为各个租户分配的虚拟机的容器，需要构建多租户资源管理器（Res Manager for Multi-tenant）。该组件支持租户和相关所需的虚拟机的创建和隔离，用于租户的生命周期管理（LCM）的API接口也通过该组件实现，包括实例化、伸缩容量等。同时，应用管理器（VNFM）和网元管理系统（EMS）作为一种特殊的租户形式存在。

2 多租户网络改造方案设计实践

多租户网络在架构组件上和非多租户的最显著的区别在于引入多租户资源管理系统，和管理多个虚拟化资源管理系统不同，即使只有一个虚拟化管理系统，也需要为多租户场景配置多租户管理系统。

2.1 案例分析

以某国虚拟化IMS 项目为例，客户要求采用支持多租户的VMware 系统为云管理平台，因此，多租户资源管理系统采用vCloud Director-SP 8.2（vCD）。虚拟化IMS 系统作为应用服务部分，包括的VNF 或组件有vCSCF、vCG、vMMTel、vSBC、VNFM、EMS。支撑这些应用，将每个物理DC 的资源集群分为3 个PvDC，即NFV管理域（PvDC NFV MGMT）、NFV 资源域（PvDC Res）、资源保留域（RP PvDC）。

OvDC 也分为3 个，和PvDC 一一对应：OvDC-NFV Mgn、OvDC-vIMS、OvDC-vSBC。划分的依据是应用服务组件的不同属性，如NFV 管理域中组件（如VNFM和EMS 等）所需的硬件资源不需要很强的性能，应用服务本身的组件如vCSCF、vCG、vMMTel 和vSBC 的应用场景不同，前3 个组件属于控制面，置于NFV 资源域，而vSBC 包括数据转发面的性能需求，因而单独划分出“资源保留域”，通过固定分配资源的方式确保vSBC虚拟机独占相应的资源。由此可见，云化网络在电信领域也有多租户场景。

图4示出的是多租户网络改造方案设计实践。

图4 多租户网络改造方案设计实践

从该案例可知，多租户网络的实际部署，包括2部分需求。

a）部署需求。按照重建方式，所有的网元实体，包括VNFM、EMS、vCSCF、vCG、vMMTel、vSBC 等都需要在多租户资源管理平台之上重新部署，这些VNF 或组件依据不同的特性需求部署在不同OvDC 资源池内。

b）组网需求。按网元的操作维护管理、VNF 生命周期管理和VNF之间的关系，划分为3部分网络。

（a）VNFM-VIM Network：VNF 管理器和虚拟化资源管理平台的接口网络，后者在多租户需求下是vCD，通过vCD 提供API接口实现虚拟机自动部署等虚拟化特性，获取多租户环境。

（b）VNFM-VNF Network：VNF 管理器和VNF 的接口网络，实现对VNF生命周期管理功能。

（c）Operation Network：操作维护网络，包括几类接口：EMS 和VNF、EMS 和VNFM、Web 客户端和VNFM、Web客户端和EMS。

2.2 应用初始化

每个租户的应用，由一个或多个VNF 组成，把每个VNF 部署称为“应用初始化”。非多租户场景时，通过虚拟化资源管理系统（VMware 命名为vCenter）实现VNF 的手工部署；相应的，多租户场景下，多租户虚拟化资源管理系统vCD提供接口支撑VNFM 初始化VNF和运行VNF 实例，且支持自动部署方式，此外，vROPS提供告警和性能统计接口。

和安装应用软件类似，初始化VNF 所需的全部信息包括：VNF 安装包，VNF 镜像文件，VM 信息（描述计算、存储、网络等资源信息），部署指令文件和运行策略，以及VNF 相关的组网信息等。VNFM 和vCD 的接口定义，决定用什么方式来加载VNF 安装包，实现应用初始化。IT 和CT 应用有所不同，加载VNF 安装包有2种方法（见图5）。

图5 加载VNF安装包的方法

方法1 源于IT 领域常用的“开放虚拟化格式”（OVF），按ETSI DMTF 的定义，OVF 是一种软件包标准，支持开放、安全、高效和可扩展的格式，用于运行在虚拟化系统上的分布式软件包。而VNF 有描述符VNFD，这是部署VNF 的模板，描述VNF 的部署和运行行为需求。方法1包括以下步骤。

a）VNFD映射成OVFD，即2种描述符的转换。

b）VNFM 构 建OVF Package，包 括XML 格 式 的OVFD，VNF镜像文件等。

c）VNFM把OVF Package发给vCD。

d）vCD 解析OVF Package，调用REST API 接口通过vCenter实现VNF部署。

由于vCD 也支持外部作为Restful Web 客户端，VNFM 初始化应用就有第2 种方法：方法2 常用于CT领域。OVF作为IT领域常用方法，主要用于VM 部署，但对CT 定制支持不多。另一方面，ETSI 以TOSCA 格式定义VNFD，TOSCA（云应用拓扑编排标准）由OASIS组织制定，开源组织中广泛使用，大部分厂商参与TOSCA 标准制定。因此，基于REST API 的方法2 非常值得讨论和采用。VNF 初始化之前，驱动vCD 加载VNF安装包的过程包括以下步骤。

a）VNFM获取包括VNFD的VNF Package。

b）VNFM解析包括VNFD的VNF Package。

c）VNFM把VNFD翻译成Json文件并保存。

d）VNFM 通过REST API接口，请求vCD 存储镜像文件包，这步包括许多Restful 接口消息，如请求创建OVF Package、获取上传的URL、上传OVFD、获取另一个上传的URL、上传VM 镜像文件、监控和获取上传结果。

采用方法2，VNFM 对VNF 安装包加载和后续的实例化有更大的自主权，避免直接加载OVFD 带来和vCD 的理解差异，某国虚拟化项目采用该方法成功实现分钟级自动部署。

3 面向多租户的应用网络移植方案研究

虚拟化网络设计方案1 般侧重在“新建”角度，随着虚拟化网络建设第1 波浪潮接近结束，云网一体化等方案走到前台，然而重心仍然在提供统一、融合、智能、简洁的网络，依然没有考虑虚拟化网络本身的进阶，没有考虑虚拟化网络存量如何平滑的更新换代。本文从多租户需求为切入点，除阐述面向对租户网络的架构和方案设计和实践外，增加面向多租户的应用移植方案研究。

根据对应用的影响程度，多租户应用的移植方案有3种。

a）Online方式：完全不影响现有应用和相关服务。

b）Offline 方式：移植过程中关闭应用的原实例和相关服务。

c）Rebuild方式：重建应用的新实例和相关服务。

以某国虚拟化IMS 项目为背景，说明每种方式的部署过程。

Online方式的部署过程如下：

a）准备OVF 模板，由管理该IMS 应用的OvDC 资源池的Catalogue 使用，Catalogue 负责管理VNFD、软件镜像文件等。

b）为该应用创建目标OvDC，并在vCD 配置该OvDC。

c）创建该OvDC 管理的计算、存储和网络等资源，即待移植的虚拟机所需的资源，包括分配内外部的网络资源，以及在现有资源集群里分配计算资源。

d）移植该应用的每个虚拟机到vCD 环境，像初始化VNF一样。

e）VNFM 和云管理平台的接口从vCenter 迁移到vCD。

f）确认VNFM和该应用的全部VNF集成成功。

Offline方式的部署过程如下：

a）准备OVF 模板，由管理该IMS 应用的OvDC 资源池的Catalogue使用。

b）为该应用创建目标OvDC，并在vCD 配置该OvDC。

c）创建该OvDC 管理的计算、存储和网络等资源，即待移植的虚拟机所需的资源，包括分配内外部的网络资源，以及在现有资源集群里分配计算资源。

d）移植该应用的每个虚拟机到vCD 环境，具体包括先下电已运行的IMS 应用的全部虚拟机，再创建目标IMS应用。

e）VNFM 和云管理平台的接口从vCenter 迁移到vCD。

f）确认VNFM和该应用的全部VNF集成成功。

Rebuild方式的部署过程如下：

a）准备OVF 模板，由管理该IMS 应用的OvDC 资源池的Catalogue使用。

b）为该应用创建目标OvDC，并在vCD 配置该OvDC。

c）创建该OvDC 管理的计算、存储和网络等资源，即待移植的虚拟机所需的资源，包括分配内外部的网络资源，以及在现有资源集群里分配计算资源。

d）VNFM 和云管理平台的接口从vCenter 迁移到vCD。

e）开通新的IMS 应用，具体包括的步骤有：确保重建的IMS 应用所需的资源足够；使用VNFM 部署新IMS 应用；确认和配置新的IMS 应用成功；清除原IMS应用，包括断开和vCenter的联系。

实际部署时选择Offline 方式，主要原因是Offline方式比重建方式少占用硬件资源，比在线移植方式的风险更加可控。在线移植方式的风险是，尽管虚拟机以独立应用方式完成迁移非常平滑，但是和新建应用采用的完整的初始化过程不同，存在中间态，可能无法确保过程完美，或者说，增加应用上线后的验证和维护时间和成本。

4 结束语

随着2019年6月工信部发放5G商用牌照，移动互联网和物联网朝着产业互联网进发，个体消费者、企业、政府部门都是云化网络的使用者，电信云、专网、政务云混杂交合，这一切使得多数据中心和多租户成为大规模、统一的云化网络的必备需求。面向多租户的云化网络是本文的研究对象，其采用资源逻辑隔离，vDC 和Multi-DC 技术，以及全局化资源的配置管理，实现随需而动的资源分配和多租户层面的负荷均衡，可见，从面向应用角度，这是更先进的云化网络。

云计算和虚拟化的结合，来源于社会各界对“资源共享，智能运维”的共同诉求，激起了近年如火如荼的从IT 到CT 的云化网络建设浪潮。多租户的需求，好比客户希望享受出租车的服务却只要付公交车的价格，这是把云计算和虚拟化技术推向更高效率的结果。本文从多租户的需求出发，提供适配的虚拟化资源管理的架构分析、方案设计，并结合项目实战分享经验，希望对国内云化网络技术发展提供参考和借鉴。