以太网VPN技术在云数据中心互联应用的研究

何晓明，唐 宏，刘志华，樊勇兵

（中国电信股份有限公司广东研究院 广州 510630）

1 引言

VPLS（virtual private LAN service，虚拟专用局域网业务）[1,2]作为一种标准化程度较好、通过试验验证并广泛部署的二层以太网VPN技术，能为企业用户提供多点到多点的广域以太网服务。然而，其也存在冗余备份、多播优化、部署便捷性等局限性。在多归宿环境下，当前VPLS仅支持主、备接入链路模式[3]，不支持灵活的多主接入链路模式。在多播优化的场景下，Aggarwal[4]等提出了基于VPLS的多播LSP，这种解决方案仅限于点到多点的LSP（P2MP LSP），不能适用于多点到多点LSP（MP2MP LSP）的应用场景。在VPLS部署的便捷性方面，当前VPLS提供了基于BGP的自动发现功能[1]，但仍然需要运营商配置复杂的网络参数。

与此同时，新的应用也给VPLS提出了一些新的需求。近年来兴起的云计算数据中心（IDC）互联应用催生出一种新的被称为“VLAN敏感绑定”的业务接口，而且虚拟化应用对设备MAC地址表容量提出了更高的要求，由此产生了网络收敛性能应能独立于PE学习到的MAC地址数量的要求。除此以外，VPLS也存在最小化多播帧、广播帧、未知单播帧的泛洪数量问题以及需要支持灵活的VPN拓扑及策略的问题。

2 以太网VPN需求概述

IETF在以太网VPN需求草案中[5]对当前VPLS中存在的问题和新出现的需求进行了描述，可以概括为以下7个方面。

·冗余备份。在基于流的负载分担方面，需要为多以太网链路捆绑定义基于IEEE 802.1AX的LACP的标准化负载分担算法，以规范设备执行；在基于流的多径负载均衡方面，需要支持一对PE之间多条RSVP-TE LSP或ECMP LSP的负载均衡能力；在PE节点冗余方面，需要提供同局址和地理分割的不同局址间的PE节点冗余备份能力，在断电或出现自然灾害的情况下以保持关键业务的连续性；在多归宿网络方面，需要支持基于VLAN或MAC地址的多链路负载分担。

·多播优化。需要使用MP2MP LSP优化多播流、广播流及未知单播流的高效传送机制。

·部署简易性。在MPLS网络中，对于具有全局唯一性标识（如VLAN ID）的以太网VPN实例，PE在配置VPN时所需要的VPN ID、BGP RT等参数应能从VLAN ID中自动导出而无须另外配置。

·新业务接口。城域以太网论坛 （MEF）及IEEE 802.1Q定义了3种业务接口模式:端口模式、VLAN模式、VLAN绑定模式。在云数据中心互联应用中，产生了可透传的VLAN敏感绑定和可转换的VLAN敏感绑定两种新的业务接口类型。可透传的VLAN敏感绑定接口需要保证客户VLAN端到端的透明传送；可转换的VLAN敏感绑定需要对属于同一VLAN用户在接入网络时采用的不同VLAN ID进行翻译。新的业务接口与之前定义的3种接口的主要区别在于:新的业务接口需要支持每个VPN实例的多桥接域功能，即在同一个VPN实例中，需要为每个客户VLAN分配一个独立的桥接域。

·快速收敛。在客户设备多归宿和网络多归宿接入MPLS网络的环境下，应提供接入电路或PE出现故障时的快速收敛功能，收敛时间应独立于PE学习到的MAC地址及VPN实例数目，这对于虚拟化数据中心互联应用尤其重要。

·泛洪抑制。网络运营商应能基于策略在每个VPN实例的基础上配置未知单播帧的泛洪或丢弃；在数据中心互联的场景下，需要最小化广播帧泛洪；当拓扑发生变化时，需要消除不必要的未知单播流量泛洪。

·支持灵活的VPN拓扑及策略。以太网VPN必须提供“hub and spoke”的拓扑控制以及每个MAC地址粒度的学习和转发策略控制能力。

3 以太网VPN技术

鉴于当前VPLS中存在的问题以及新出现的应用需求，IETF最近提出了两种以太网VPN技术:E-VPN[6]和PBB E-VPN[7]，期望能解决上述存在的问题，并能满足新出现的应用需求。

3.1 E-VPN技术特征

3.1.1 E-VPN概述

在标准的VPLS实现中，运营商网络PE设备间的MAC地址学习基于传统的网桥功能。在E-VPN技术中，PE之间的MAC地址学习则基于控制平面，采用MP-BGP通告MAC地址的可达性信息，其策略控制非常类似于IP VPN。这种基于控制平面的学习能够对MAC地址学习过程提供更强的控制能力，因此具有较好的扩展性，并能维护主机或虚拟机群彼此间的隔离性，解决了设备多归宿或网络多归宿接入时的负载分担问题，改善了网络出现故障时的收敛时间。然而，PE与CE（客户端设备）间的MAC地址学习仍然基于数据平面实现，PE的二层转发表是否装载所有由控制平面学到的目的MAC地址，还是仅注入需要通信的MAC地址，过滤未被使用的MAC地址，完全由PE本地决定。这为PE的转发表所需MAC地址缓存大小的设计提供了很大的灵活性，不再像标准的VPLS技术那样，属于同一VPLS实例的二层转发所需的MAC地址表容量受限于最小地址缓存大小的PE。

在多归宿接入的场景下，如果一个CE多归宿到两个或更多PE，这些连接到PE的以太网链路组便构成了一个以太网段（ES），每个ES都有一个标识符，称为ESI，由一个10 byte的整型数标识，这是E-VPN技术中一个非常重要的概念。E-VPN定义了一种新的BGP NLRI，称为E-VPN NLRI，并定义了5种路由类型:以太网自动发现路由、MAC地址通告路由、包含性多播路由、选择性多播自动发现路由和叶子自动发现路由。

E-VPN提供了3种自动发现机制:E-VPN自动发现、以太网段上特定以太网标签（VLAN ID）自动发现、以太网段自动发现。E-VPN自动发现使用第3种路由类型——包含性多播路由通告来发现同一个VPN实例中的PE成员，PE根据多播路由通告中的P2MP LSP或MP2MP LSP向其他成员发送多播帧、广播帧和未知单播帧。以太网段上具有相同VLAN ID的自动发现使用第1种路由类型——以太网自动发现路由通告来发现同一个VPN实例中具有同一广播域（全局VLAN ID相同）的PE成员，可支持上述以太网VPN需求提出的“VLAN敏感绑定”新业务接口。以太网段自动发现也使用以太网自动发现路由通告来发现同一个或多个VPN实例中具有相同以太网段标识（ESI）的PE成员，这是E-VPN中最重要的功能，可使用在多归宿接入的负载分担、多归宿接入PE的指定转发器（DF）选举及“水平分割”、优化控制平面的收敛及减少MAC地址路由通告数目等各种应用场景。

3.1.2 E-VPN存在的问题

基于BGP MPLS的E-VPN的协议框架基本能满足一般场景下以太网VPN应用中的各种需求，但协议框架及实现机制本身还有许多需要完善和进一步研究的地方，如广播帧的抑制（ARP报文的优化等）、DF选举策略、多播树的构建流程、故障修复、LACP状态同步等，目前仍处于IETF Draft阶段。随着新的应用场景特别是虚拟化数据中心的出现以及下一代以太网技术（如TRILL、IEEE 802.1aq）的发展，E-VPN面临的新问题表现为如下几个方面。

（1）MAC地址路由通告的扩展性

E-VPN为每个客户MAC（C-MAC）地址发送一条BGP MAC地址通告路由，这将对存在上百万虚拟主机（VM）的大规模云数据中心环境产生路由通告的扩展性问题。当虚拟主机在云数据中心之间频繁迁移以及网络出现故障的情况下，需要产生大量BGP MAC地址通告路由更新，使得网络和设备承受沉重的信令协议负荷。

（2）基于MAC地址子网化的C-MAC移动性

对于虚拟机迁移（VMotion）应用，E-VPN虽然可以通过MAC地址子网化的方式通告MAC地址的可达性，但是需要对客户MAC地址进行精细规划。由于客户设备及主机MAC地址的规划不属于运营商的管辖范围，因此当大量虚拟机从一个网段移动到另一个网段时，需要逐条通告每一个具体的C-MAC地址信息。

（3）C-MAC地址学习及限制

当某一个PE发送BGP MAC地址通告路由时，属于同一VPN实例的其他PE都会学习，即使这些C-MAC地址并不会用来进行通信，PE仍然需要在路由信息表（RIB）跟踪记录相关C-MAC地址，这会引起存储资源的浪费，因此需要对学习到的C-MAC地址进行限制，仅允许保留需要通信的C-MAC地址。

（4）与TRILL和IEEE 802.1aq网络的互操作

TRILL[8,9]和IEEE 802.1aq定义了下一代以太网桥技术，借助于IS-IS控制平面优化以太网帧的转发，采用以太网隧道技术实现客户以太网帧的传送以保持C-MAC地址的透明性。当基于TRILL或IEEE 802.1aq的接入网络互联MPLS/IP网络时，需要MPLS网络边缘PE保持C-MAC地址的透明性，PE对TRILL或IEEE 802.1aq报文封装的终结不能满足这种透明性要求，同时还会产生PE所要支持C-MAC地址的扩展性问题。

（5）每站点的策略支持

E-VPN提供每个MAC地址粒度的学习和转发策略控制能力，在许多应用中，运营商更需要基于站点的策略控制，用以提供E-tree、半网状互联等业务，此时基于C-MAC/EVI的策略控制难以满足实际应用需求。

3.2 PBB E-VPN技术

PBB E-VPN把基于IEEE 802.1ah标准的PBB技术及E-VPN技术结合在一起。MPLS网络入口PE设备把从接入电路（AC）接收的IEEE 802.1Q以太网帧封装成PBB报文，通过IP/MPLS网络转发，出口PE弹出MPLS标签后移除PBB头部，解封装成原始以太网IEEE 802.1Q以太网帧，然后交付给CE。基于PBB E-VPN的PE需要执行如下功能:

·基于标准的网桥功能通过AC学习本地C-MAC地址；

·基于IEEE 802.1ah标准的网桥操作，通过数据转发平面从网络侧接收的数据流中学习远端C-MAC地址与B-MAC地址的绑定关系；

·采用MP-BGP向属于同一VPN实例的其他PE通告本地B-MAC地址的可达性信息，注意到每个PE有一套用于标识本地PE设备的B-MAC地址；

·根据接收到的BGP路由通告消息中的远端B-MAC地址、IP地址及关联的MPLS标签构建转发表。

其与E-VPN的最大差异在于:PBB E-VPN不需要通过BGP发布C-MAC地址。每个PE基于标准的网桥操作通过数据平面独立学习C-MAC地址，每个PE有一个或多个与之关联的B-MAC地址，这些B-MAC地址通过BGP MAC地址通告路由向MPLS网络边缘设备发布。这种改变解决了E-VPN存在的上述问题，如MAC地址路由通告的扩展性问题、基于MAC地址子网化的C-MAC移动性问题、C-MAC地址学习及限制问题、每站点的策略支持问题、网络拓扑改变时避免受影响的C-MAC地址清除问题。PBB E-VPN还定义了一个新的TRILL Nickname通告路由，以支持与TRILL及IEEE 802.1aq网络的无缝操作，因此保持了C-MAC地址的透明性。表1给出了VPLS、E-VPN、PBB E-VPN 3种技术对以太网VPN需求的满足程度。

从表1可以看出，PBB E-VPN技术能够充分满足即将兴起的虚拟化数据中心以及下一代以太网技术等新的应用场景需求。由于PBB E-VPN是对E-VPN功能的增强，E-VPN协议框架有待完善的地方在PBB E-VPN上依然存在，其标准化程度也将随着应用验证及广泛部署而日渐成熟。

4 以太网VPN技术在云IDC互联应用

云IDC指以客户为中心、以服务为导向，基于高效、低能耗的IT与网络基础架构，利用云计算技术，自动化地按需提供各类云计算服务的新一代数据中心。由于云IDC具有资源池化、高效智能、面向服务、按需供给、绿色低碳等特点，已率先在Google、Facebook、亚马逊等互联网公司获得成功应用，并成为这些企业的核心竞争力之一。国内一些知名互联网企业（如百度、腾讯等）开始新建或扩展大型云IDC，中国电信为顺应云计算时代到来的趋势，开始在多个省份建设云IDC。云IDC互联是把地理分散的多个独立的云IDC通过大二层网络互联起来，形成一个逻辑上虚拟化的超大型数据中心。云IDC互联能够为企业实现数据中心整合、业务统一运营、异地容灾备份、虚拟机在线迁移、节能减排等各方面提供条件，通过更靠近用户的分布式应用及业务的连续性提升用户感知。一些互联网公司要求电信运营商网络能够为其提供多个10 Gbit/s甚至数百Gbit/s的高速带宽进行云IDC互联。

表1 3种VPN技术对以太网VPN需求的满足程度

云IDC的一个基本特征是虚拟机数目巨大，虚拟机迁移频繁发生，并且要在迁移过程中保持VLAN、IP地址、MAC地址等虚拟机的网络标识不能改变，从而保证业务的灵活部署和连续性，这就决定了云IDC互联必须采用多点到多点的二层VPN技术。由于云IDC互联需要提供足够的带宽保证和较低的时延，同时对互联网络的可靠性和可用性也提出了很高的要求，因此在实现多点互联的以太网VPN技术中，PBB E-VPN是专为云数据中心互联而优化的技术，能够满足云数据中心互联环境下的应用需求。

下面分析PBB E-VPN在云数据中心互联应用中的技术实现。

4.1 云IDC多归宿接入MPLS网络

（1）站点多归宿接入的情形

考虑到某个CE通过多归宿主链路接入MPLS网络中的一组PE节点，这组PE节点形成一个PE冗余组，为实现多归宿接入的负载分担及AC故障的快速收敛，需要为该CE接入的PE冗余组分配一个唯一的B-MAC地址。图1给出了站点多归宿接入核心网络的示例。

图1中，CE1通过Active-Active冗余链路接入 MPLS网络的 PE1、PE2、PE3，为 PE1、PE2、PE3 形成的冗余组分配一个唯一的B-MAC1地址 （对于基于LACP捆绑的链路，PE可从CE的LACP系统ID自动导出MAC地址作为B-MAC 地址），PE1、PE2、PE3 分别向远端 PEr发送属于同一ES的B-MAC1地址的BGP MAC通告路由，远端PEr最终生成RIB和FIB。在远端PEr安装的FIB中具有3个到达 B-MAC1 地址的下一跳 PE1、PE2、PE3，PEr基于散列算法在这3个下一跳实现到达与B-MAC1地址具有绑定关系的目的C-MAC地址以太网帧的负载均衡。当PE1与CE1之间的AC发生故障时，PE1立即撤销B-MAC1地址路由，PEr更新RIB和FIB，到达目的C-MAC地址以太网帧，只在下一跳PE2和PE3之间实现负载均衡。

（2）网络多归宿接入情形

图1 站点多归宿接入核心网络示例

图2 网络多归宿接入核心网络示例

图2给出了以太网络多归宿接入核心网络的示例。以太网络通过Active-Active冗余链路接入MPLS网络的PE1、PE2，为 PE1、PE2形成的冗余组分配一个唯一的B-MAC1地址（PE可通过探测多归宿以太网的BPDU报文并提取根桥ID作为PE的B-MAC地址），正常情况下，假设PE1负责来自多个偶数I-SID以太网帧的数据转发，PE2负责来自多个奇数I-SID以太网帧的数据转发。PE1和PE2分别向远端PEr发送属于同一ES的B-MAC1地址的两条BGP MAC通告路由，对于PE1，其中有一条携带标识偶数I-SID的RT，并具有较高的本地优先级（local pref）属性，另一条携带标识奇数I-SID的RT，并具有较低的本地优先级属性；PE2发送的两条BGP MAC通告路由携带的RT及Local Pref恰好同PE1相反。远端PEr最终生成RIB和FIB，把去往偶数I-SID的以太网帧发送到下一跳PE1，把去往奇数I-SID的以太网帧发送到下一跳PE2，实现对来自/去往以太网络的以太网流量基于I-SID的负载均衡。

4.2 PBB E-VPN在云IDC互联应用中的优势

（1）MAC地址路由通告的扩展性

在PBB E-VPN中，MAC通告路由的数目是站点或以太网段数量的函数关系，而不是主机/服务器数量的函数关系，换句话说，PBB E-VPN通过BGP通告的是B-MAC地址路由而不是C-MAC地址路由。因此，PBB E-VPN发布的MAC通告路由数目比E-VPN减少几个数量级，非常适合于存在上百万虚拟机的大规模云IDC的环境。

（2）C-MAC 地址的移动性

当C-MAC地址从一个以太网段ES迁移到另一个ES时，由于PBB E-VPN发布的BGP MAC通告路由中的B-MAC地址与PE节点保持一种静态的关联，并不需要通告B-MAC地址的变化，C-MAC地址与B-MAC地址的绑定关系通过数据平面的学习自动更新，避免了E-VPN中需要通告大量发生虚拟机迁移时受影响的C-MAC地址路由。

图3 PBB E-VPN与TRILL/IEEE 802.1aq网络的无缝连接示意

（3）C-MAC地址学习及限制

在PBB E-VPN中，C-MAC地址的可达性是通过数据平面的学习获得的，因此PE转发表中仅需保留需要通信的C-MAC地址；C-MAC地址不需要通过BGP通告，因此PE控制平面的路由表不需要维持任何C-MAC地址记录，可节省大量需要记录C-MAC地址的存储资源。

（4）网络出现故障时避免C-MAC地址清除

PBB E-VPN可在接入链路出现故障或网络拓扑发生改变时，避免 C-MAC地址清除。在图1中，PE1、PE2、PE3向远端PEr通告同一ES的B-MAC1地址路由，PEr通过数据平面学习连接到CE1的主机或服务器的C-MAC地址与B-MAC1地址的绑定关系，如果PE1与CE1之间的AC发生故障，PE1只需撤销B-MAC1地址路由，PEr不需要清除所有学习到的C-MAC地址。

（5）每个站点的策略支持

在 PBB E-VPN中，PE可以通过BGP通告的B-MAC地址与客户单归宿或多归宿站点相关联，为E-TREE等业务定义每个站点的转发策略。假设云IDC中，某个企业客户有100台虚拟主机连接到同一个CE站点，当需要把这100台虚拟主机迁移到另一个云IDC时，只需要连接原IDC的PE撤销与该CE站点关联的B-MAC地址路由，然后在连接新迁移的IDC的PE上重新发布一条该CE站点关联的B-MAC地址路由即可，无须逐条撤销或刷新C-MAC地址通告路由。

（6）与TRILL和IEEE 802.1aq网络的无缝连接

传统的二层以太网基于STP实现环路，避免和以太网数据帧转发，导致低的链路利用率和低效的数据流转发效率，同时因STP引起的慢收敛等问题已不能满足虚拟环境下云IDC的高速数据流转发。TRILL和IEEE 802.1aq作为下一代以太网桥技术试图解决传统以太网存在的问题，有望在未来几年充当云IDC内部互联的大型二层网络基础设施。PBB E-VPN与TRILL/IEEE 802.1aq网络的无缝连接的示意如图3所示。

PBB E-VPN能够实现TRILL/IEEE 802.1aq网络与IP/MPLS网络的无缝连接，同时维护各自网络控制平面的独立性。连接TRILL/IEEE 802.1aq网络的PE既充当控制平面的边缘交换机，又充当数据平面的核心交换机。PE并不终结TRILL/IEEE 802.1aq的报文封装，相反，入口PE把TRILL/IEEE 802.1aq报文打上MPLS标签，通过MPLS网络进行标签转发；出口PE移除相应MPLS标签，还原原始的TRILL/IEEE 802.1aq报文封装格式。这就保持了MPLS网络对云IDC中虚拟主机MAC地址的透明性传送，而不需要边缘PE设备维护数量巨大的虚拟主机MAC地址表。

5 结束语

以太网VPN技术能够适应企业多点互联的需求，具有广泛的应用前景，为电信运营商及设备制造商所关注，以太网VPN技术及标准化程度也将随着其在运营商网络的广泛部署而日渐成熟。在实现多点二层互联的以太网VPN技术中，VPLS作为一种标准化程度较好并广泛部署的VPN技术，已被广大用户所接受，同时也存在一些问题。E-VPN和PBB E-VPN实际上是对VPLS的功能增强，更能满足现有业务及新的应用需求以及下一代以太网技术发展的需要。

云IDC利用云计算技术，自动化地按需提供各类云计算服务，将对传统IDC产生巨大的冲击和深远的影响，传统IDC向新一代云IDC的演进是一个必然的过程。云IDC互联能够为企业实现数据中心整合、业务统一运营、异地容灾备份、虚拟机在线迁移、节能减排等各方面提供条件，并能提升用户感知。同时，云IDC互联对承载网络提出了更高的要求。PBB E-VPN是专为云IDC互联而优化的以太网VPN技术，能够满足云IDC互联环境下的应用需求，并随着应用的广泛推进而日趋完善。

1 RFC4761.Virtual Private LAN Service (VPLS)Using BGP for Auto-Discovery and Signaling,2007

2 RFC4762.Virtual Private LAN Service (VPLS)Using Label Distribution Protocol(LDP)Signaling,2007

3 Kothari B,Kompella K,Henderickx W,et al.BGP Based Multi-Homing in Virtual Private LAN Service.IETF Draft,Work in Progress,2011

4 Aggarwal R,Kamite Y,Fang L.Multicast in VPLS.IETF Draft,Work in Progress,2012

5 Sajassi A,Aggarwal R,Nabil Bitar,et al.Requirements for Ethernet VPN(E-VPN).IETF Draft,Work in Progress,2012

6 Aggarwal R,Sajassi A,Henderickx W,et al.BGP MPLS Based Ethernet VPN.IETF Draft,Work in Progress,2012

7 Sajassi A,Salam S,Boutros S,et al.PBB E-VPN.IETF Draft,Work in Progress,2012

8 Touch J,Perlman R.Transparent Interconnection of Lots of Links(TRILL):Problem and Applicability Statement.RFC 5556,2009

9 Perlman R. Routing Bridges (RBridges):Base Protocol Specification.RFC 6325,2011

10 唐宏，陈楠.云数据中心演进思路剖析.电信科学，2011,27(10)