基于VxLAN组网的云数据中心互联方案

张届新，吴志明

（中国电信股份有限公司上海分公司，上海 200120）

基于VxLAN组网的云数据中心互联方案

张届新，吴志明

（中国电信股份有限公司上海分公司，上海 200120）

从VxLAN技术实现现状、云数据中心底层承载网络现状等维度，多视角地对基于VxLAN组网的云数据中心之间的互联互通方案进行了研究与测试验证，并分析了各种方案的优缺点及适用场景。通过本文的研究，以期为运营商的云数据中心发展提供相关技术参考。

云数据中心；MP-BGP EVPN；overlay；VxLAN

1 引言

作为一种具有高扩展、高冗余、支持大二层组网的overlay（叠加网）网络技术，VxLAN（virtual extensible local area network）越来越多地应用到电信运营商以及互联网服务商的云数据中心中，以实现系统容量和逻辑通道的扩展、网络的高效自愈、面向云的端到端网络运维效率提高以及跨广域网的二层可靠互联。

随着基于VxLAN技术组网的云数据中心建设日益增多，这些云数据中心之间实现互联互通以满足虚拟机迁移、灾备等业务需求的工作凸显紧迫且重要。

本文结合VxLAN的技术、设备实现现状、云数据中心互联的底层网络现状等信息，对基于VxLAN组网的云数据中心之间互联互通方案进行了研究与验证。同时，云数据中心之间多节点互联，包括业务网络互联和存储网络互联等。本文主要探讨云数据中心之间的业务网络互联方案。

2 VxLAN云数据中心互联方案

基于VxLAN构建的云数据中心之间互联方案，按照overlay网络及underlay（底层承载）网络的技术实现可以有多种方案。

在overlay网络层面，由于IETF RFC7348定义的基于多播实现的VxLAN方案，不仅对现有IP承载网络有较高要求，而且不同厂商实现细节不同，导致异厂商VxLAN设备互通存在问题[1]，因此，部分厂商提出了基于SDN（software defined networking，软件定义网络）控制器作为 ARP（address resolution protocol，地址解析协议）代理的VxLAN方案和基于MP-BGP EVPN（multiprotocol border gateway protocol ethernet virtual private network，多协议边界网关协议—以太虚拟专网）作为控制平面的VxLAN方案。在underlay网络层面，可以有二层网络和三层网络方案。

2.1 SDN控制器作为ARP代理

SDN控制器作为ARP代理的VxLAN云数据中心互联方案根据underlay网络可以分为二层互联和三层互联。

2.1.1 二层互联

两个VxLAN云数据中心之间通过数据中心出口的VxLAN/VLAN双栈交换机或路由器基于VLAN互联。此时，互联的VxLAN云数据中心之间只有underlay层，基于VLAN实现多节点互联和业务转发。SDN控制器作为ARP代理的VxLAN云数据中心通过VLAN二层网络互联如图1所示。

如图1所示，虚拟机通过VLAN方式接入vSwitch（虚拟交换机）。根据vSwitch对VxLAN的支持能力，VxLAN交换机/路由器分别采用对数据透传（vSwitch支持VxLAN封装）或基于VxLAN封装方式（如vSwitch不支持VxLAN封装而仅支持传统VLAN封装）处理vSwitch进入的数据。由于目前城域二层网络绝大多数仍然采用传统局域网组网，仅支持VLAN进行逻辑通道隔离，因此，云数据中心的出口VxLAN/VLAN双栈交换机或路由器将从数据中心内部接收到的数据转换为VLAN封装，并通过二层网络传送到对端云数据中心。对端云数据中心则执行反向操作。

基于VLAN二层网络的VxLAN云数据中心互联方案实现简单，不受互联的云数据中心内所采用的具体技术方案限制，支持任意厂商解决方案的互联互通。但是，方案中需要把数据中心内运行的VxLAN终结，转换为传统VLAN后再进行跨节点互联，无法很好地支持跨广域网的多个云数据中心之间大二层互联。

由于当前SDN控制器东西向互通性较差[1]，因此，VxLAN云数据中心之间通过VLAN互联适用于底层网络为二层及以下，且各云数据中心内采用不同厂商的SDN控制器作为控制平面的VxLAN方案组网场景。

2.1.2 三层互联

在实际部署中，由于远距离光纤成本高、VLAN二层网络先天的局域网特性等因素限制，云数据中心之间大多数情况下基于IP网络实现互联互通。此时，VxLAN云数据中心之间互联，IP网络作为underlay层，而VxLAN隧道作为overlay层实现多节点互联及业务转发。SDN控制器作为ARP代理的VxLAN云数据中心通过IP网络互联如图2所示。

图1 SDN控制器作为ARP代理的云数据中心二层互联

目前主流厂商具体技术实现有一定差异，尤其SDN控制器东西向兼容性较差，异厂商VxLAN交换机/路由器之间直接构建VxLAN隧道存在困难。为此，可以利用支持VxLAN功能的vRouter（虚拟路由器）实现异厂商VxLAN交换机/路由器组网的云数据中心节点间VxLAN隧道的建立与互联互通，其中，选择一家厂商的VxLAN vRouter作为虚拟机部署在云数据中心节点的计算资源池内，构建基于同厂商的VxLAN隧道，规避异厂商硬件解决方案组网的VxLAN隧道互通性问题。

图2 SDN控制器作为ARP代理的云数据中心通过IP网络互联

SDN控制器作为ARP代理的VxLAN云数据中心通过IP网络互联具体有两种实现方式，对IP网络有不同的技术要求。

（1）多播方案[2]

云数据中心之间的IP网络全程端到端开启多播或多播VPN。多播方案是最早提出的VxLAN方案，但是，在实施部署时有较大的限制：一是如果采用多播方案，全网开启多播将带来城域网流量大幅增加；二是如果采用多播VPN方案，则对城域网IP设备的技术要求较高，不仅某些设备不支持多播VPN功能，而且异厂商设备之间多播VPN互通也会存在不可预知的问题。

（2）单播方案

单播方式是利用头端复制（head-end replication）功能实现VxLAN互通，2个云数据中心的VxLAN vRouter之间配置在同一个peer域内，2个VxLAN vRouter之间三层可达即可。单播方案对IP承载网本身没有额外要求，但对构建VxLAN隧道的VxLAN vRouter要求较高：一方面所必须的头端复制功能并非所有厂商的VxLAN vRouter都支持，另一方面，VxLAN vRouter作为一种 VNF（virtual network function，虚拟网络功能），其性能指标目前与硬件VxLAN交换机有一定差距，同时，与虚拟化平台性能耦合较紧。考虑到VNF的性能受虚拟化平台限制，具体实施时，建议单播方案可以每租户方式部署VxLAN vRouter。

SDN控制器作为ARP代理的VxLAN云数据中心通过IP网络互联，可以很好地实现跨广域网的云数据中心之间大二层互联，同时，由于全程是VxLAN隧道，可以基于每个互联端口提供4 000×4 000个二层逻辑实例VNI（VxLAN network identifier，VxLAN网络标识）。但是，目前大多数厂商不支持跨不同SDN控制器部署VxLAN隧道；同时，如采用基于多播的VxLAN技术实现方案，需要underlay的IP网络全程开启多播或多播VPN，对现网设备要求较高且需要更改现网配置。

SDN控制器作为ARP代理的VxLAN云数据中心通过IP网络互联，需要各云数据中心内采用同厂商VxLAN设备或同厂商VxLAN vRouter组网。其中，多播方案适用于已有IP网络已开启多播或多播VPN功能，且对大流量穿网不敏感的城域网；单播方案需要vRouter支持单播VxLAN功能，当前虚拟化实现性价比较低，因此，单播方案适用于对成本不敏感的电信运营商。

2.2 MP-BGP EVPN作为控制平面

MP-BGP EVPN作为控制平面的VxLAN云数据中心互联如图3所示。两个基于VxLAN组网的云数据中心分别部署支持MP-BGP EVPN功能的VxLAN网关设备，实现两方面的功能：一是对内，基于VxLAN实现数据中心内无控制平面的 VxLAN网络转换为互通性较好的 EVPN VxLAN；二是对外，基于MP-BGP EVPN通过underlay承载网络实现与对端数据中心EVPN VxLAN网关的互联互通。

MP-BGP EVPN控制平面实现peer发现、路由学习（包括本地学习和远端学习）和分发、根据终端接入信息构建用户标识并基于标识进行路由转发。IETF RFC7432[3]定义MP-BGP EVPN控制平面采用MPLS（multiple protocol label switch，多协议标签交换）作为转发标识，但目前考虑到实现简单，大多数厂商采用VNI作为控制平面的二类路由转发标识。当控制平面根据MP-BGP建立好路由转发表后，业务流量就可以沿着建立好的路径进行转发。

MP-BGP EVPN标准主要由 IETF制定，其中关于MP-BGP EVPN的二类路由转发机制有 2个草案，即draft-ietf-bess-evpn-overlay-04[4]和 draft-ietf-bess-evpn-prefixadvertisement-02[5]。两者的关键区别在于：前者定义MP-BGP EVPN的二类路由采用内、外两层MPLS标签标识用户并进行转发，而后者只定义了单层MPLS标签标识并转发。具体实现而言，这2个草案分别对应于MP-BGP EVPN二类路由转发机制中的对称转发和非对称转发。

（1）对称转发

每个EVPN VRF（virtual routing forwarding，虚拟路由转发）域内都需要设置一个专门用于路由转发的专用VNI。当数据流进入VRF域，入口EVPN VxLAN网关将其转发到专用VNI，再由专用VNI将其路由转发到出口EVPN VxLAN网关。因此，对称转发将执行两次路由转发，需要两层标签，但不需要VRF中每个VxLAN交换机/路由器都存储VRF内所有VNI信息。因此，减少了VxLAN交换机/路由器的资源消耗，也降低了对VxLAN交换机/路由器硬件性能的要求。

（2）非对称转发

EVPN VRF域入口的EVPN VxLAN网关进行基于VNI-a的全局路由查找和转发，然后在出口VxLAN交换机/路由器仅执行二层转发。非对称转发无需为每个VRF建立一个专用路由的VNI，且只需要一层标签。但是，非对称转发需要VRF中的每个VxLAN交换机/路由器都存储本VRF中所有VNI信息，对VxLAN交换机/路由器硬件资源消耗较大，对VxLAN交换机/路由器设备性能要求高。

目前，主流厂商的MP-BGP EVPN VxLAN解决方案基本遵循了这两个草案，设备形态主要是高端交换机和多业务路由器两种。

MP-BGP EVPN作为控制平面的 VxLAN云数据中心互联方案可以较好地实现跨广域网的异厂商VxLAN云数据中心互联，从而实现端到端的VxLAN大二层组网，组网扩展性强，可基于每互联端口提供4 000×4 000个二层逻辑通道实例。

图3 MP-BGP EVPN作为控制平面的云数据中心互联

3 实验模拟测试

中国电信股份有限公司上海分公司（以下简称上海电信）在2个云数据中心搭建了试验环境，分别对SDN控制器作为ARP代理的VxLAN云数据中心互联和MP-BGP EVPN作为控制平面的VxLAN云数据中心互联方案进行了测试。

（1）SDN控制器作为ARP代理的VxLAN云数据中心互联测试验证

如图4所示，将不同厂商模拟构建的云数据中心按照第2.1节方案分别通过二层网络和IP网络互联。2个云数据中心的虚拟机可以互相ping通，且可以实现虚拟机实时迁移。

图4 SDN控制器作为ARP代理的VxLAN云数据中心互联测试

（2）MP-BGP EVPN作为控制平面的VxLAN云数据中心互联测试验证

如图5所示，不同厂商的VxlAN网络分别部署在2个数据中心，所有EVPN VxLAN网关部署在同一个AS（autonomous system，自治域）内，并配置一台路由器作为RR（route reflector，路由反射器）。

图5 MP-BGP EVPN作为控制平面的云数据中心互联测试拓扑

测试中，控制平面分别采用MP-BGP二层EVPN和三层EVPN，进行路由学习和转发；数据转发平面分别采用VxLAN隧道和MPLS技术，验证了基于MP-BGP EVPN的VxLAN互联互通效果。

·从控制平面来看：由于参测厂商参照相同的MP-BGP二层EVPN的2类路由转发标准，因此，可以实现异厂商VxLAN数据中心互通；而由于参测厂商参照不同的MP-BGP三层EVPN的2类路由转发标准，导致部分厂商无法实现互通。

·从转发平面来看：只要控制平面MP-BGP EVPN路由转发成功，转发平面不论是VxLAN over IP的overlay数据转发方式还是基于MPLS VPN转发，都可以实现业务流的正常通信，只是此时，两种不同的转发方式对底层承载的IP网络要求不同。

4 结束语

随着VxLAN技术在云数据中心的部署日益广泛，基于VxLAN技术组网的云数据中心之间互联互通方案也提上了日程。电信运营商在选择跨VxLAN云数据中心的互联方案时，需要秉承技术标准化以规避被厂商绑架、技术成熟度以规避现网引入风险、技术经济性以实现提质增效的原则，综合考虑所选用设备的技术实现能力、互联节点间的底层承载网络现状、运营商的建设运维成本要求等情况，分类别、分场景地进行部署。同时，还要根据测试评估、现网应用、业务需求等推进相关技术进一步标准化、相关设备进一步成熟。

[1]张届新,傅志仁,吴志明,等.VxLAN在云数据中心组网的应用[J].电信科学,2015,31(9):163-169. ZHANG J X,FU Z R,WU Z M,et al.VxLAN application in cloud datacenter network[J].Telecommunications Science,2015, 31(9):163-169.

[2]IETF.Virtual eXtensiblelocalareanetwork (VxLAN):a framework for overlaying virtualized layer 2 networks over layer 3 networks:IETF RFC7348[EB/OL].(2014-08-01)[2016-06-22]. https://tools.ietf.org/html/rfc7348.

[3]IETF.BGP MPLS-based ethernet VPN:IETF RFC7432[EB/OL]. (2015-02-01)[2016-06-22].https://datatracker.ietf.org/doc/ rfc7432/.

[4]Draft-ietf-bess-evpn-overlay-04,2016[EB/OL].(2016-05-01) [2016-06-22].http://ietf.10.n7.nabble.com/bess-Comments-ondraft-ietf-bess-evpn-overlay-04-wrt-Inter-AS-Option-B-td500222. htmldraft-ietf-bess-evpn-prefix-advertisement-02.

[5]IP prefix advertisement in EVPN draft-ietf-bess-evpn-prefixadvertisement-02[EB/OL].(2015-04-19)[2016-06-22].https:// tools.ietf.org/html/draft-ietf-bess-evpn-prefix-advertisement-02.

张届新（1975-），女，中国电信股份有限公司上海分公司高级工程师，主要研究方向为信息网络、云数据中心组网等。

吴志明（1965-），男，博士，中国电信股份有限公司上海分公司信息网络部副总经理、教授级高级工程师，主要研究方向为互联网络技术、云计算、数据中心、信息网络等。

Interconnection scheme of VxLAN based cloud datacenter networks

ZHANG Jiexin,WU Zhiming
Shanghai Branch of China Telecom Co.,Ltd.,Shanghai 200120,China

Several interconnection and interworking schemes of cloud datacenter networks based on VxLAN technique were studied in prospective of VxLAN technique and underlay network status.And the respective advantages and disadvantages of these schemes were analyzed.Finally,the applicable scenarios of each scheme were summarized.It is in the hope that the study would provide some useful technique references for the development of carriers’datacenters.

cloud datacenter,MP-BGP EVPN,overlay,VxLAN

TN919.21

A

10.11959/j.issn.1000-0801.2016301

2016-06-22；

2016-12-07