基于支撑网双活数据中心 大二层网络架构的研究与实践

邓伟伟 潘家宏 杨阳

摘要：随着BOSS/CRM业务的快速发展以及虚拟化技术的成熟，服务器虚拟化、虚拟机动态迁移、数据库远程RAC等需求也随之诞生，相同业务的不同物理机/虚拟机在不同网络中的部署、迁移以及跨数据中心的数据库集群建设，都使得传统的网络架构已无法满足现有业务需求，新的大二层网络由此应运而生。本文对现有大二层网络的主要技术进行了分析，并结合现网及业务需求的实际情况，将优化后的方案部署到支撑网数据中心的网络中。

关键词：数据中心 ;网络;大二层;OTV;Overlay

一、背景介绍

随着时代不断发展，新技术的不断革新，当前大数据、云计算、分布式集群已经成为运营商和诸多互联网公司建设IT的一个新趋势，而分布式、虚拟化技术在各应用系统中得到了广泛的应用，然而应用需要分部式的部署在不同的网络环境上，使得虚拟机和物理机可以在网络中的任何节点进行随意的迁移，并且要求在迁移前后IP、网关等信息保持不改变，以保障业务的继续性。这就要求虚拟机在迁移的前后必需处在同一个网段，这给传统的数据中心网络架构带来了新的挑战。

本文总结和分析了目前大二层网络涉及的技术和设计方案，并结合现网及业务需求的实际情况，将优化后的方案部署到支撑网数据中心的网络中。

二、传统数据中心网络架构

传统的数据中心网络架构分为三层，第一层为接入层，负责主机、服务器的网络接入;第二层为汇聚层，负责接入层网络的汇聚，它可以实现安全接入、策略管理、地址过滤等功能;第三层为核心层，负责整个骨干网络的路由转发，实现数据交互等功能。

三、新数据中心的网络架构

由于服务器虚拟化之后，随之产生的动态迁移技术给传统的三层网络架构带来了很大的麻烦和挑战，虚拟机的动态迁移，物理机的跨机房搬迁、数据库远程RAC的部署都有分布在不同数据中心的网络需要处于一个二层网络的需求，使得原有的网络架构必须做出改变。

为了满足服务器虚拟化、搬迁和数据库远程RAC等业务的部署要求，数据中心的L2/L3层网络分界应该从汇聚层上移至核心层，核心路由器以下都是L2层网络，这个L2层网络可以包含多个VLAN，跨越多个数据中心。之间的通信通过L3层进行封装和路由。使分散在不同物理位置的设备通过虚拟化或RAC技术实现二层网络的互联，在建立和迁移时不需要對IP地址或者网关进行修改。

四、实现的主要技术和方式

（一）堆叠技术

通过堆叠技术，把不同数据中心里的交换机堆叠成单台逻辑设备，把网络设备虚拟化的范围扩大到所有数据中心。这要求所有涉及的设备都必须通过堆叠线缆和光纤直连，而且受延时影响距离不能太远，最好在15公里内。

（二）L2 over L3（OTV）

L2 over L3，指在三层的路由网络上，通过隧道的方式，将二层数据报文封装在三层报文中，再把不同数据中心内的多个二层网络串联起来，构建一个全局范围的大二层，实现不同数据中心的二层网络互通。OTV是思科私有的一种跨数据中心的二层网络技术。

（三）TRILL技术

TRILL技术是把三层路由的控制算法引入到二层网络中，解决了STP/MSTP存在的缺陷，消除环路，并提多路径的等价特性。

五、大二层网络在支撑网中的应用

现网网络架构为三层架构，接入层负责提供业务服务器的接入服务，采用的设备为华为的C12800系列和CISCO的N7K系列。汇聚层负责数据中心机房所有接入层设备和路由的汇聚，采用的设备为华为的NE40E系列。核心层负责多个数据中心及地市出口的设备互联及路由转发，采用的设备为华为的NE40E系列。

由于现网中，608、五象两个数据中心BOSS/CRM核心业务的接入层设备均有CISCO N7K系列承载，而数据中心间核心层设备由华为NE40E系列组成，在不改变现网主要物理网络架构的前提下，在三层IP网络中实现虚拟大二层的同时，保持原有二层网络域的独立性和容错性，采用了Cisco OTV作为主要技术。

首先，OTV技术与传统的VLPS和GRE Tunnel等技术相比，不需要建立并持续维持终节点间点对点连接，使用MAC路由技术，只需要初始化完成MAC表构建过程后，保证IP可达即可完成大二层的通信。其次，OTV技术提供多宿主支持和内建防环机制，能够良好隔离打通后的二层网络广播域，抑制整合后的跨区及本地环路广播风暴，使管理更加便捷。最后，OTV的网络扩展性更强，收敛速度更快，降低了现网的部署和维护难度。支撑网大二层网络架构如图1所示。

（一）方案采用的主要技术

1.VDC（Virtual Device Context）：设备一虚多技术， 能在一台物理设备上实现多个虚拟化设备的划分，并且实现控制、转发、环境的完全分离。每一个VDC是一个分离的故障域，之间不会相互影响。

2.OTV（Overlay Transport Virtualization）：Cisco OTV是一项"MAC in IP"技术。通过使用MAC地址路由规则，它可以不需要建立和持续维持节点之间的点对点连接，只需要初始化完成MAC表构建过程后，在确保IP路由可达的情况下，即可完成大二层的通信。

（二）建设方案

1.VDC的划分及互连

我们在每个数据中心的N7K交换机上，通过VDC技术，将一台物理N7K交换机虚拟出两台N7K交换机，分别是VDC-1和VDC-2。VDC-1作为传统网络业务接入的核心交换机，上行与汇聚路由器NE40互连走三层协议，下行与服务器互连走二层协议，与另一台N7K虚出的VDC-1通过TRUNK互联，两台VDC之间通过VRRP协议虚拟出服务器的业务网关。VDC-2作为OTV的Edge Device，OTV设备（VDC-2）采用旁挂部署，与VDC-1使用两个聚合口进行互连，其中聚合口AG4使用二层协议与VDC-1互连，透传需要进行大二层扩展的业务VLAN，另外聚合口AG5使用三层协议与VDC-1互连，实现三层路由转发。

2.数据规划

（1）VDC数据规划

在大类相同但子类不相同的业务上（如计费系统、酬金系统、营業系统、CRM系统等都属于BOSS系统），通过在相同的VDC上划分不同的VLAN进行子类业务划分，业务在进行跨中心网络迁移时，无需变更原有IP地址和修改相应的应用程序，只需要把所在接入设备的端口划入之前的同一个VLAN。打破了网络的迁移需要修改IP和修改其它关联业务相应配置的约束，实现了跨地域的动态迁移。在不同大类的业务上，如数据库远程RAC、存储双中心等基础平台业务。可以通过不同的VDC进行划分，与业务的VDC进行区分。防止在同一个VDC下因二层VLAN太多，因某个VLAN产生的广播风暴直接影响到该VDC设备上的性能，导致连带影响其他不同的大类业务。

（2）VRRP规划

在支撑网中由于每个数据中心的网络设备为了确保业务的稳定性和继续性，所有层面的节点均由主备两台以上的设备组成，当大二层网络跨越两个数据中心时，同一个业务VLAN网段则由4台设备组成。由4台设备通过VRRP虚拟出来的VIP网关，在Master状态发生变化时，则可能会发生数据中心之间流量横穿叠加的情况。

当Master状态从一个数据中心飘到另一个数据中心时，原属同一个数据中心的服务器虽然访问VIP不变，但数据流量先通过三层网络绕到另一个数据中心，再通过二层网络返回到原来的数据中心。这样两个数据中心之间会存在不必要的流量横穿叠加的情况，会占两个数据中心之间的带宽，造成带宽浪费。

为了避免这类情况，我们在规划大二层网络的VRRP时，通过两个VIP+负载均衡的方式解决。即同个数据中心的两台主备设备虚拟出一个VIP，另一个数据中心的两台主备设备虚拟出另一个同网段的VIP，两个VIP同时对外提供服务。通过负载均衡进行两个中心的统一入口和负载分担，再通过负载均衡设备上的策略路由实现同一个数据中心的IP网段，优先访问所在中心的VIP。这样即使在VRRP的Master状态发生变化时，也不会发生两个中心的状态飘移，解决了数据中心之间流量横穿叠加的问题。

（3）数据库远程RAC规划

数据库远程RAC这种技术的机制是通过在两个数据中心机房搭建一套逻辑上属于同一个数据库的RAC，两边可以同时运行业务。实现在两个数据中心之间的双活，并达到最高容灾等级。远程RAC方案网络总体架构需要SAN及IP网络，在两个数据中心间进行可靠的同IP段的内网通信。SAN网络通过增加设备和传输延伸来实现，IP网络通过VDC和OTV技术实现。在N7K设备上虚出的专门用于数据库远程RAC的VDC（不同的业务的不同数据库通过不同的VLAN划分二层网段），再通过运行OTV的VDC-2实现大二层封装，在两个数据中心三层IP网络上虚拟出专属RAC的二层网络，实现跨机房的同IP段内二层通信。

3.OTV的配置过程

由于OTV不需要改变现网结构和重新配置现有网络，在三层IP路由可达的前提下，只需要在的运行OTV的VDC-2设备上配置即可。

4.大二层通信过程

首先确保两个数据中心的三层IP网络路由可达以及OTV邻居关系正常。

（1）同一个数据中心同一个站点内通信数据流：

相同网段的两台Server通信时：服务器直接通过所在交换机的Mac进行二层查找转发，不进行路由。

（2）不同数据中心间不同站点内通信数据流：

不同数据中心但相同网段的两台Server进行通信时：1）Server1把数据送至上连的交换机，上连的交换机通过Mac表寻址，把数据送至本端的OTV设备上。2）本端OTV设备收到报文后，会进行大二层封装，并通过查找路由的方式转发到对端数据中心的OTV设备上。3）对端数据中心OTV设备收到报文后，将报文进行解封装，通过Mac表寻址送至Server3服务器上连的交换机。4）Server3服务器上连的交换机通过查找本地Mac地址表，将报文送到Server3服务器上。大二层通信数据流如图2所示。

六、结束语

综上所述，通过在现有支撑网网络架构的基础上，利用OTV/VDC等技术的特性，结合现网中的业务需求和环境进行规划和部署，实现了支撑网异地双活数据中心的大二层网络。为服务器的虚拟化、动态迁移、数据库远程RAC等业务实现跨数据中心集群部署提供了网络解决方案。通过VRRP、负载均衡数据划规和路由分发策略的应用，解决了数据中心之间流量横穿叠加和资源占用的问题，提升了整体网络的稳定性和可靠性，为后继业务的连续性，提供保障。

作者单位：邓伟伟    潘家宏    杨阳    中国移动通信集团广西有限公司

邓伟伟（1983.11-），男，壮族，广西武鸣，本科，工程师，研究方向：网络通信、信息安全。

参  考  文  献

[1]李彬，陈雪莲，胡玲.大二层技术在电力数据中心网络的研究与应用探析[J].信息系统工程， 2019（02）：78，81.

[2]陶凯.大二层网络结构的实践与思考[J].中国金融电脑， 2017（08）：66-68.

[3]韩溥.数据中心大二层扁平化网络架构研究[J]. 中国新通信，2020（06）：63.

[4]刘芹，索凤莲.跨数据中心大二层组网技术探讨与分析[J].互联网天地， 2016（11）：27-32.

[5]姚金玲.企业数据中心二层网络互联技术研究[J].网络安全技术与应用， 2015（5）：86.

[6]祁杰.应用OTV技术实现云计算跨二层网络融合方案浅析[J].移动通信， 2014（9）：52-54，59.