基于大二层技术实现云资源池异地容灾

DOI：10.19850/j.cnki.2096-4706.2021.09.016

摘  要：文章首先全面分析了基于大二层技术实现云平台跨资源池异地容灾的条件。然后阐述了为实现云平台业务异地容灾的目标，如何通过网络和云平台对网络汇聚层交换机进行OTV的部署、调试及配置工作。最后对云平台虚拟机跨资源池迁移进行对比分析，为迁移问题的排查和业务系统的异地容灾提供指导，同时为今后进一步优化提供方向。

关键词：云平台;大二层;异地容灾;OTV;虚拟机迁移

中图分类号：TP393      文献标识码：A 文章编号：2096-4706（2021）09-0057-03

Achieving Remote Disaster-Tolerant of Cloud Resource Pools Based on

the Large-scale Access Layer Technology

LIAO Feng

（China United Network Communications Company Limited Guangdong Branch Office，Guangzhou  510360，China）

Abstract：Firstly，this paper comprehensively analyzes the conditions of achieving remote disaster-tolerant of cloud platform across resource pools based on the large-scale access layer technology. Secondly，in order to achieve the goal of remote disaster-tolerant of cloud platform business，it expounds how to deploy，debug and configure the OTV to the network convergence layer switch through network and cloud platform. Finally，the cross resource pools migration of cloud platform virtual machines are compared and analyzed to provide guidance for the troubleshooting of migration problems and remote disaster-tolerant of business systems，and provide direction for further optimization in the future.

Keywords：cloud platform;large-scale access layer;remote disaster-tolerant;OTV;migration of the virtual machine

0  引  言

云平台的业务发展快速，对资源池的稳定和灵活性要求越来越高。大二层技术可以为跨任意传输网络的二层连接扩展提供运营优化型解决方案。使用OTV技术可以将两个地理域的数据中心站点构建统一的虚拟计算资源群集，以实现两地数据二层的通信，实现云平台虚拟机跨节点在线迁移功能。

1  案例背景分析

此次迁移在KXC节点和IDC节点分别建立两个ID相同的测试VLAN和HSRP默认网关，在两个VLAN内分别部署两台测试用云平台虚拟机，实现KXC节点和IDC节点虚拟机在线双向迁移。

1.1  跨机房云平台网络拓扑

跨机房云平台网络拓扑如图1所示。

1.2  云平台虚拟网络

云平台采用Citrix虚拟化软件XenServer，该虚拟化平台采用通用的OpenvSwitch虚拟交换机实现同物理机上不同网络的划分。

物理机安装XenServer后，系统为该物理机创建一个虚拟网络，该网络在虚拟机上的虚拟网络接口（VIF）与物理机服务器上的网络接口（NIC）所关联的物理网络接口（PIF）之间起桥接的作用。

1.3  云平臺资源池分布详情

云平台目前拥有两个资源节点——KXC和IDC，KXC节点和IDC节点各拥有4个资源池。本次测试涉及2个资源池，IDC_XS_POOL_1和KXC_XCP_POOL_4，与迁移相关部分相关服务器成员详情如表1所示。

1.4  虚拟机服务器配置详情

用于迁移测试的虚拟机有三台：OTV-TEST889IDC、OTV-TEST42IDC和OTV-TEST889KXC，其中位于IDC节点的虚拟机OTV-TEST42IDC带有200 GB的外挂盘。相关配置详情如表2所示。

2  问题分析和解决方法

要完成迁移，需具备以下条件。

2.1  OTV邻居的建立

要完成虚拟机的跨资源池迁移，首先需利用虚拟数据中心VDC技术，分别在2个节点的4台N7K建立专属OTV的VDC，虚拟化后相关VDC分别是：AVIDC-S-N7K-1-otv、AVIDC-S-N7K-2-otv、AVKXC-S-C7010-1-otv和AVKXC-S-C7010-2-otv。

然后需要在4个新增VDC之间建立OTV邻居，在其中1个VDC就能看到3个OTV邻居信息。

2.2  跨资源池VLAN的设定和导入

两个资源池是先后建立的，由于规划的原因，它们使用的VLAN是不同的。例如拟定为IDC节点使用的VLAN889，再使用VLAN889部署在KXC节点，虚拟机部署成功后，但是网络是不通的。因此，首先需要将测试VLAN导入到OTV中。

同时，虚拟机网络使用内网VLAN889，物理机主机由Bond聚合网络组成，通过对不同资源池建立相同内网VLAN，由物理主机聚合网络建立传输迁移介质，实现异地迁移从而达到异地容灾的效果。资源池虚拟网络信息如表3所示。

2.3  测试VLAN虚拟网关的优化

为了方便测试，承载网络将测试VLAN889放通上层交换，同时虚拟机根据其所属资源池通过虚拟网关与外界通信。由于需要将两个资源池同时运行HSRP并设定相同的网关，要求网络实现两边双Active。

实现原理为：通过在四台OTV设备上配置限制HSRP的VMAC、Hello报文、ARP解析，使HSRP不会在KXC、IDC随OTV互相透传而达到隔离效果，最终实现两边双Active。两边资源池（IDC和KXC）对于测试VLAN889，生成同一HSRP：10.xxx.183.33。下文是两地资源池核心交换机同为Active同VIP的输出结果：

AVIDC-S-C7010-1-cloud# show hsrp interface vlan 889

Vlan889 - Group 889 （HSRP-V2） （IPv4）

Local state is Active， priority 105 （Cfged 105）， may preempt

Forwarding threshold（for vPC）， lower： 1 upper： 105

Hellotime 3 sec， holdtime 10 sec

Virtual IP address is 10.xxx.183.33 （Cfged） ---HSRP地址

Active router is local                      ---指定本端为Active

Standby router is 10.xxx.183.35

Authentication text "cisco"

Virtual mac address is 0000.0c9f.f379 （Default MAC）

11 state changes， last state change 1w1d

IP redundancy name is hsrp-Vlan889-889 （default）

AVKXC-S-C7010-1-cloud# show hsrp interface vlan 889

Vlan889 - Group 889 （HSRP-V2） （IPv4）

Local state is Active， priority 105 （Cfged 105）， may preempt

Forwarding threshold（for vPC）， lower： 1 upper： 105

Hellotime 3 sec， holdtime 10 sec

Next hello sent in 2.01000 sec（s）

Virtual IP address is 10.xxx.183.33 （Cfged） ---HSRP地址，與对端同

Active router is local                      ---指定本端为Active，即双主

Standby router is 10.xxx.183.37， priority 100 expires in 8.031000 sec（s）

Authentication text "cisco"

Virtual mac address is 0000.0c9f.f379 （Default MAC）

11 state changes， last state change 1w1d

IP redundancy name is hsrp-Vlan889-889 （default）

综上所述，经验证可以进行虚拟机迁移测试。

3  虚拟机迁移测试及经验总结

3.1  虚拟机跨资源池迁移

虚拟机原部署在CPU主频较高的物理机向CPU主频较低的物理上迁移，可成功，反向迁移也可成功。虚拟机原部署在CPU主频较低的物理机向CPU主频较高的物理机上迁移，无法实现跨池迁移。

3.2  虚拟机带盘迁移测试

带data盘（200 GB）的虚拟机迁移，用时7分30秒;裸机（不带data盘，只有OS盘60 GB）迁移虚拟机用时4分44秒。

测试具体结果如表4所示。

4  结  论

通过在两个节点汇聚交换机N7K上分别建立两个ID相同的测试VLAN和HSRP默认网关，并部署两台测试虚拟机。在验证网络通信正常后，KXC和IDC节点虚拟机在线双向迁移测试均获得成功。本次测试验证了OTV技术在实现云平台跨节点资源部署、异地迁移容灾的功能，为后续广东联通云平台新业务部署提供了强有力的支撑。具体体现为以下几点：（1）云平台网络资源无需考虑分配节点，打破局域网络的现状，网络使用无局限。（2）云平台硬件资源打破异地的束缚，系统扩容、新增更加自由。（3）云平台业务系统平台异地化，资源部署节点、服务器可以跨资源池资源域进行，能够更加合理利用可用资源。（4）很好地实现云平台异地容灾的目的，通过此技术，业务系统冗余备份节点多样化的，使得业务系统能够在资源域中切换主备，大大降低了业务系统由于宕机或者网络问题而影响业务的可能性。

虚拟机跨资源池迁移和管理存在一定的弊端，主要体现在以下两点：（1）传统资源分配的方式被打破，在业务系统分配资源时，需要考虑各资源池的网络传输，要是物理机之间的网络聚合不一致，可能会影响业务系统虚拟机之间的通讯质量及网络传输速率。（2）业务系统没有资源域之分，资源信息相对比较紊乱，虚拟机等相关台账管理的难度加大。

参考文献：

[1] 张晨.云数据中心网络与SDN [M].北京：机械工业出版社，2018.

[2] 雷葆华.SDN核心技术剖析和实战指南 [M].北京：电子工业出版社，2013.

[3] NADEAU T D，GRAY K.软件定义网络：SDN与OpenFlow解析 [M].毕军，单业，张绍宇，等译.北京：人民邮电出版社，2014.

[4] DOYLE J，CARROLL J.TCP/IP路由技术：第1卷 第2版 [M].北京：人民邮电出版社，2007.

[5] Cisco Systems，Inc. Cisco Nexus 7000 Series NX-OS OTV Configuration Guide [EB/OL].[2021-03-11].https：//www.cisco.com/c/en/us/td/docs/switches/datacenter/sw/nx-os/OTV/config_guide/b_Cisco_Nexus_7000_Series_NX-OS_OTV_Configuration_Guide/config-limits-otv.html.

作者简介：廖峰（1983—），男，汉族，江西新余人，高级网络工程师，硕士，研究方向：网络虚拟化及安全。

收稿日期：2021-04-22