基于EVPN实现云数据中心异地容灾
2021-02-26廖峰
廖峰
（中国联合网络通信有限公司广东省分公司，广东 广州 510360）
1 引言
在广东联通信息化业务规模扩大及IT基础设施云化的大趋势下，相关信息化部门在广州YJ、广州XSK、江门BJ、东莞SSH 等多地建设了云数据中心，并致力于整合所有IT基础设施。随着业务的发展，数据中心内部的东西向流量越来越大。
云平台的业务发展快速，对资源池的稳定和灵活性要求越来越高。应用大二层技术，我们可以为跨数据中心网络的二层连接扩展，提供运营优化型解决方案。而EVPN作为通用技术协议，可以将两个地理域的数据中心站点构建统一的虚拟计算资源群集，以实现两地数据二层的通信，达到云平台虚拟机跨节点在线迁移功能。
2 案例背景分析
随着业务的发展，数据中心内部的东西向流量越来越大。为了不影响IT承载网其他关键应用的稳定性，通常不考虑直接在DCN 网络上承载相关流量，在数据中心比较少的时候，两个数据中心直接采用光纤直连的方式解决数据中心的数据通信问题，但是扩展性较差，而且容易导致网络不稳定，多个数据中心不再能够通过这种方式进行互联，因此需要建设一张能够承载大容量东西向流量的数据中心互联网络。项目一期在广州XSK节点和东莞SSH节点分别新建一对思科NCS 5508 路由器，作为leaf 节点；在广州新建一对思科NCS 5508路由器，作为spine节点，spine和leaf交叉互联，实现XSK节点和SSH节点虚拟机在线双向迁移。
2.1 跨机房云平台网络拓扑
spine和leaf交叉互联。基于当前业界的最佳实践建议，DCI underlay 使用ISIS+SR 技术，overlay 使用BGP+EVPN+vpnv4技术，其中EVPN承载二层MAC表项，vpnv4承载三层路由表项。
跨机房云平台网络拓扑如图1所示。
图1 跨机房云平台网络拓扑
2.2 云平台虚拟网络
目前承载二层MAC表项的overlay 网络主要有OTV 和EVPN两种方案。其中OTV是思科公司私有的协议，邻居的建立依赖于OSPF 等动态路由协议，EVPN 用BGP协议实现双网关不冲突。EVPN通用技术协议，用三层路由携带虚拟机MAC地址完成跨机房寻址；双网关部署在leaf 上或者汇聚交换机如N7K上，网关找不到MAC提供给leaf网络。
云平台采用Vmware虚拟化软件Vsphere,该虚拟化平台采用通用的OpenvSwitch虚拟交换机实现对物理机上不同网络的划分。物理机安装Vsphere 后，系统为该物理机创建一个虚拟网络，该网络在虚拟机上的虚拟网络接口（VIF）与物理机服务器上的网络接口（NIC）所关联的物理网络接口（PIF）之间起桥接的作用。
2.3 跨域VPN技术选择
跨域方式主要有Option A 背靠背（back-to-back）VRF、Option B 单跳多协议MP-EBGP和Option C 多跳多协议MPEBGP三种。Option A的优势在于配置简单，ASBR之间不需要运行标签协议，使用EBGP的路由策略也可以提供很好的安全性；缺点是当大量VRF需要互联时，该方式配置量比较大，同时需要更多的IP 地址，扩展性比较差。本文只涉及3个VRF故选择Option A。
Option A的互联方式如图2所示。
图2 Option A的互联方式
2.4 VPN端口互联
本次互联端口和IP地址（仅含A平面Leaf1）如表2所示。
表2 端口互联与IP地址分配表
3 问题分析和解决方法
要完成迁移，需在IT承载网PE与DCI网的LF之间建立BGP路由协议，不涉及路由调整和流量变动，但修改BGP配置可能导致DCN-PE 的邻居重置，可能引起业务闪断，建议逐个平面操作。
3.1 业务接入通用配置
（1）配置VPN模板
配置设备：DCI所有LF1设备和LF2设备，两种设备具体配置相同
配置vrf BSS以及import和export route-target值
配置vrf OSS以及import和export route-target值
配置router bgp ，启用address-family l2vpn evpn，配置bgp implicit-import
l2vpn evpn 下，配置vrf BSS 以及rd以及redistribute connected
l2vpn evpn 下，配置vrf OSS 以及rd以及redistribute connected
（2）配置接口
配置设备：DCI所有LF1设备和LF2设备，两种设备具体配置相同
配置聚合口Bundle-Ether100
配置子接口Bundle-Ether100.100和Bundle-Ether100.200，设定二层l2transport
配置物理接口TenGigE0/0/0/10和TenGigE0/0/0/11，加入聚合口Bundle-Ether100
配置BVI100，设定vrf BSS以及接口地址
配置BVI200，设定vrf OSS以及接口地址
（3）配置EVPN
配置设备：DCI所有LF1设备和LF2设备，两种设备具体配置相同
在evpn 下，配置evi 100 的bgp，设置import 和export route-target值，并开启广播advertise-mac
在evpn 下，配置evi 200 的bgp，设置import 和export route-target值，并开启广播advertise-mac
（4）配置L2VPN
配置设备：DCI所有LF1设备和LF2设备，两种设备具体配置相同
l2vpn evpn 下，配置bridge group GRP-BSS 和bridge-domain BD-BSS
在Bundle-Ether100.100 下将BVI100 的routed 目的指向evi 100
l2vpn evpn 下，配置bridge group GRP-OSS 和bridge-domain BD-OSS
在Bundle-Ether100.200 下将BVI200 的routed 目的指向evi 200
要完成虚拟机的跨资源池迁移，首先需利用虚拟数据中心VDC 技术，然后需要在主备spine 与各leaf 节点间建立BGP邻居。
RP/0/RP0/CPU0:DCI-C1-GDGZ-N5508-XSK#show bgp l2vpn evpn summary
Sun Oct 31 17:05:44.635 UTC
BGP router identifier 132.127.150.1, local AS number 299---spine1地址
BGP generic scan interval 60 secs
Non-stop routing is enabled
BGP table state:Active
Table ID:0x0 RD version:0
BGP main routing table version 3845
BGP NSR Initial initsync version 10(Reached)
BGP NSR/ISSU Sync-Group versions 3845/0
BGP scan interval 60 secs
BGP is operating in STANDALONE mode.---spine1 上看到7个BGP邻居信息
3.2 OptionA的实现方式
首先需配置IP 地址，根据表2 端口互联与IP 地址分配表，在PE 和leaf 节点配置接口IP 地址。然后需配置BGP 路由策略：
配置设备：XSK-PE1 和XSK-PE2（策略按需调整），两种设备具体配置相同
配置从DCI 网络收取BSS 域路由的策略Route-policy Fr-DCI-BSS
配置向DCI 网络发布BSS 域路由的策略Route-policy To-DCI-BSS
配置从DCI 网络收取OSS 域路由的策略Route-policy Fr-DCI-OSS
配置向DCI 网络发布OSS 域路由的策略Route-policy To-DCI-OSS
配置设备：XSK-LF1 和XSK-LF2（策略按需调整），两种设备具体配置相同
配置从DCN 网络收取BSS 域路由的策略Route-policy Fr-DCN-BSS
配置向DCN 网络发布BSS 域路由的策略Route-policy To-DCN-BSS
配置从DCN 网络收取OSS 域路由的策略Route-policy Fr-DCN-OSS
配置向DCN 网络发布OSS 域路由的策略Route-policy To-DCN-OSS
根据网络设计，在PE和leaf节点配置BGP邻居；两个资源池是先后建立的，由于规划的原因，它们使用的VLAN 是不同的。例如拟定为SSH 节点使用的VLAN112，再使用VLAN112部署在XSK节点，虚拟机部署成功后，网络是不通的，因此，首先需要将测试VLAN导入到EVPN中。同时，虚拟机网络使用内网VLAN112，物理机主机由Bond 聚合网络组成，通过对不同资源池建立相同内网VLAN，由物理主机聚合网络建立传输迁移介质，实现异地迁移从而达到异地容灾的效果。资源池虚拟网络信息如表3所示。
表3 资源池虚拟网络配置详情
3.3 测试VLAN虚拟网关的优化
配置分布式网关：
配置设备：XSK-PE1 和XSK-PE2（策略按需调整），两种设备具体配置相同
配置子接口Bundle-Ether100.112，包含vlan112
配置物理接口FortyGigE0/0/0/12 和FortyGigE0/0/0/13，加入聚合口Bundle-Ether100
配置BVI112，设定vrf BSS以及网关地址130.51.9.x54和mac-address 0.112.1
在evpn 下，配置evi 112 的bgp，设置rd 209:102，import和export route-target 值都为209:112，并开启广播advertisemac
l2vpn evpn下，配置bridge group backup-system和bridgedomain backup-system
在Bundle-Ether100.112 下将BVI112 的routed 目的指向evi 112
为了方便测试，承载网络将测试VLAN112 放通上层交换，同时虚拟机根据其所属资源池通过虚拟网关与外界通信。由于需要将两个资源池同时运行HSRP并设定相同的网关，要求网络实现两边双Active。
实现原理如下：通过在4 台Leaf 设备上配置限制HSRP的VMAC、Hello 报文、ARP 解析，使HSRP 不会在SSH、XSK随VLAN 互相透传而达到隔离效果，最终实现两边双Active。两边资源池（SSH、XSK）对于测试VLAN112，生成同一HSRP：132.121.81.254。
综上所述，经验证可以进行虚拟机迁移测试。
4 虚拟机迁移测试及经验总结
4.1 虚拟机跨资源池迁移
虚拟机原部署在CPU主频较高的物理机向CPU主频较低的物理上迁移，可成功，反向轻易也可成功。虚拟机原部署在CPU主频较低的物理机向CPU主频较高的物理机上迁移，无法实现跨池迁移。
4.2 虚拟机带盘迁移测试
带data 盘（200GB）的虚拟机迁移，用时7 分03 秒；裸机（不带data盘，只有OS盘60GB）迁移虚拟机用时4分44秒。
测试具体结果如表4所示。
表4 迁移测试结果详情
5 结语
通过在两个leaf 节点分别建立两个ID 相同的测试VLAN 和HSRP 默认网关，并部署两台测试虚拟机。在验证网络通讯正常后，SSH和XSK节点虚拟机在线双向迁移测试均获得成功。
本次测试验证了DCI 技术在实现云平台跨节点资源部署、异地迁移容灾的功能，为后续广东联通云平台新业务部署提供了强有力的支撑。
具体体现有如下几点：
（1）解决了东西向的网络流量的业务需求如：数据中心迁移和技术升级、数据中心POD之间的互联、多站点之间的集群、东西向流量的牵引(比如firewall bypass)、新的业务类型如大数据可能带来的不规律的浪涌流量；
（2）云平台网络资源无需考虑分配节点，打破局域网络的现状，网络使用无局限；
（3）云平台硬件资源打破异地的束缚，系统扩容、新增更加自由；
（4）云平台业务系统平台异地化，资源部署节点、服务器可以跨资源池资源域进行，能够更加合理利用可用资源；
（5）较好实现云平台异地容灾的目的，通过此技术，业务系统冗余备份节点多样化使得业务系统能够在资源域中切换主备，大大降低了业务系统由于宕机或者网络问题而影响业务的可能性；多数据中心高可用性和应用冗余(应用级热备份数据中心)。
同时，实践中也发现，虚拟机跨资源池迁移和管理存在一定的弊端，主要体现以下三点：
（1）由于DCI 主要用于跨机房容灾和虚拟机迁移，实现配置自动化对云管平台的兼容性要求较高，还涉及网络控制器和云管平台的对接；
（2）传统资源分配的方式被打破，在业务系统分配资源时，需要考虑各资源池的网络传输，要是物理机之间的网络聚合不一致，可能会影响业务系统虚拟机之间的通讯质量及网络传输速率；
（3）业务系统没有资源域之分，资源信息相对比较紊乱，虚拟机等相关台账管理的难度加大。
下一步工作需推进数据中心网络具备云网融合能力，通过部署云管平台、SDN 控制器等，满足云网络自动开通、灵活部署、智能管控新型业务需求。
