云数据中心大二层网络技术研究

文/宋文文 李莉

新一代数据中心内部的网络逻辑结构的特点是“大二层结构”。所谓“大二层”是指所有VLAN都可以延展到所有汇聚层、接入层交换机的VLAN结构，这与传统数据中心VLAN往往终结在接入层交换机的做法不同。大二层网络结构的需求是由如下原因决定的：

1.服务器虚拟化的要求：所有主流服务器虚拟化技术都能够实现不同程度的虚机在线迁移，而虚机迁移前后其MAC/IP地址等不变，决定了其迁移的源和目的应在同一个VLAN；

2.网络业务整合的需要：新一代数据中心网络要求比传统网络更高的业务承载能力，各种应用（比如Oracle RAC等）等都需要纯二层网络来提供其业务所需的低延迟、高吞吐、MAC层直接交换的网络环境；

3.智能业务整合、集中部署的需求：为面向范围更广的接入层提供智能服务资源池，智能服务被要求集中化部署，这就需要有智能服务要求的VLAN都能延展到智能服务设施所在的汇聚层。

随着应用的数量迅猛增加，二层网络的扩展造成传统二层技术在链路冗余能力、负载均衡能力、可扩展性和网络稳定性上面的诸多问题，下面以某高校为例讨论如何构造一个可扩展的大二层网络。

大二层网络设计技术

跨机箱的端口捆绑（VPC）

由于传统二层网络依靠生成树（或生成树的改进协议，如快速生成树、MSTP等）来实现冗余链路的负载均衡和故障切换，不仅设计复杂、建设维护管理难度大，而且链路负载不均、故障收敛慢且稳定性差。一种摒弃生成树的设计就是跨机箱实现以太网端口捆绑，如图1所示：

这样设计之后，向任何一对冗余的物理机箱的连接都可看成是连向一个逻辑设备，多条冗余的链路可被捆绑为一条逻辑链路，逻辑链路内各物理链路可负载均衡和高效能故障切换。进行跨机箱的端口捆绑要注意如下设计：

双活故障逃生：跨机箱端口捆绑机制的潜在风险是一旦核心机箱间通信故障或软件Bug，则会造成控制平面双活，对不同跨机箱端口捆绑机制，双活造成的影响不同，对于控制平面合并类型的机制，双活会造成所有端口停止转发的崩溃性后果；而对于双机箱控制平面独立的机制，则双活只会造成配置同步的暂时中断，不影响当前的数据转发。因此核心主干和接入交换机都应当选择双控制平面独立的机制。

对外端口捆绑协议兼容性：跨机箱的端口捆绑，捆绑协议本身应采用开放的IEEE 802.3ad，这样使被上连的设备感觉不到正在上连双设备，而是感觉与一个设备进行多链路捆绑连接一样。这样的设计可提供更开放的互连扩展性。

跨机箱数量：跨机箱端口捆绑一般是在两个机箱实现，当对超过两个的多机箱进行端口捆绑时，由于双活甚至多活的几率大增、多机箱间的协议和配置同步难度加大，系统会变得非常不稳定，不适于在数据中心核心主干使用。如果要通过两个以上的机箱的平行扩展提高主干的容量，应采用其他高扩展性技术。

图1 跨机箱的端口捆绑

二层多路径（L2MP）

二层多路径（L2MP）技术是将网络层路由技术的高扩展性、冗余性、负载均衡能力和策略性等优势移植到以太网MAC层实现的技术，好比是为链路层提供了与网络层一样的高级路由能力。由于L2MP技术基于已经成熟的路由协议技术，具备更强的拓扑适应性、更简单的设置和管理（几乎即插即用）、更开放架构（IETF TRILL标准化），因此正在成为跨机箱捆绑机制的替代技术。

表1 跨机箱的端口捆绑技术和二层多路径技术对比

交换机虚拟集群技术

经过柜顶交换机连接的服务器连同机柜已经形成一个完整的接入模块，若干模块可形成一个接入群组“POD”，这种接入方式易于升级、扩展，便于排错管理

部分高端数据中心厂商已经推出了数据中心核心/汇聚交换机与柜顶接入交换机虚拟化集群的技术，通过这种集群技术，所有柜顶交换机完全成为核心/汇聚交换机的远端板卡，整体将被看成一个完整的、高端口密度的交换机。整个数据中心工作起来象一个交换机一样，因此不失为一种精简架构的大二层解决方案。但这种解决方案也有其一些问题，如：

接入层平面化：所有接入完全平面化，没有层次化过载比设计，因而除非整个数据中心POD内和POD之间的交换吞吐量基本没有差异，否则就会导致有的部分效率低、有的部分性能不足的问题；

专有技术扩展受限：交换矩阵扩展是专有技术，在POD内使用不会影响扩展性，而全数据中心用一种专有技术，其扩展性和扩展规模将受限；

存储网络方案无平滑过渡：不仅数据部分平面化，而且存储的设计也随之平面化，现有的矩阵扩展技术还不能解决在柜顶端提供传统SAN接入交换的技术，必须采用FCoE Multi-hop或者另起单独的存储网络来实现存储互连。如果全数据中心都采用这种技术，则存储的设计将只能在最新的FCoE Multi-hop和最传统的单独SAN网络之间选择，没有二者共存、平滑过渡的选择。

因此虚拟集群的模式虽然好，但存在实际部署的问题，因此它可用来在局部POD内部署，或解决数据中心少数规模限度可预测、需极度精简化的POD部署需求。

图2 某高校数据中心大二层设计图

某高校数据中心大二层设计

根据以上分析，各类解决方案都有其适用的范围和独特优势，一个大型的数据中心不可能只使用一种方法完成大二层部署，下面以某高校为例来说明技术选型原则：

网络架构设计

数据中心网络采用核心+接入两层网络架构，核心采用两台高性能交换机，接入层采用支持L2MP数据中心交换机构建的虚拟交换集群作为虚拟化数据中心接入网络。

数据中心网络核心的两台交换机通过两条或多条万兆互联，提高核心网络的可用性；网络核心与以太网通过4条万兆链路进行全网状互联，并利用链路聚合技术将与虚拟交换集群互联的4条万兆链路进行汇聚；将4条万兆链路汇聚后上联至校园网核心，此时4条万兆链路转化成为逻辑上的一条40G的互联链路。

网络拓扑设计

不同的拓扑结构针对不同的应用场景有其特殊的意义。虽然两级网络架构在物理上看是由汇聚层和接入层两级设备构成的，但是在逻辑上却是一张扁平化的大二层网络，在这个扁平化的大二层网络中不会再出现传统以太网中遇到的环路产生的各种问题。

具体部署两台三层交换机构建第一级网络，两台交换机之间通过四条或者八条万兆链路形成横向互联，增强汇聚层网络的可用性。

其重要功能包括：

1. 用于汇聚来自第二级交换机；

2.用于通过多条万兆链路与网络核心设备互联；

3.用于将数据中心虚拟化网络扩展至异地数据中心；

4.用于在一级部署使用万兆接口的服务器及FCoE存储设备；

5.用于将原有光纤通道链路将原有的SAN存储整合进虚拟化网络平台。

第二级网络支持L2MP的接入交换机成，按照架顶式部署，其主要功能为向PC 服务器提供千兆接入或万兆以太网端口接入，每台交换机通过两条万兆链路分别连至两台一级交换机，提高网络的冗余和可用性；其中每台接入交换机可以支持48个线速千兆以太网端口及4个线速万兆以太网端口，主要负责为中低端PC服务器提供接入。

存储网络的设计

通过将现有的FCoE存储接入数据中心，利用多跳的FCoE技术，使FCoE很容易的延伸到校园网的任何地点。传统的FC交换机可以转换成FCoE以满足这种可扩展性，从而可以根据实际的情况灵活部署。

扩展性考虑

数据中心的设计可以支持即插即用的扩展能力，在未来服务器增加的情况下，很容易的做到多设备的接入。

虚拟化环境下，虚机的自动漂移极大的提高了IT资源的动态分配与应用服务的高可用性，当虚机漂移时，虚拟交换集群能够自动感知虚机，并将于该虚机关联的各种属性自动应用到交换机新的物理端口上。

虚拟集群交换技术在满足各项丰富应用特性的同时，逻辑机箱特性大大简化了IT基础设施的管理难度，当应用规模变得越来越大，虚拟交换集群也随之扩大的同时，整个存储网络仍然是作为一台交换机来管理，大大降低了管理成本。

大二层技术应用总结

1.在核心/汇聚到个接入层设备之间采用L2MP：由于L2MP具备极强的扩展性和拓扑适应性，管理又相对简单、即插即用，路由协议为基础的冗余和负载均衡方法是经过考验的稳定方式，因此是用于网络主干技术的最佳选择；

2.边缘采用跨机箱端口捆绑：由于服务器端、外接智能服务设备（防火墙、负载均衡设备等）大部分支持标准化的IEEE 802.3ad端口捆绑，因此对这些设备的接入适于使用跨机箱端口捆绑技术；

3.在POD内使用交换机集群：交换机集群技术缺乏层次化、技术专有性强，不适于全数据中心部署，但其精简化为单一管理节点的方式对层次化要求单一的POD内部署则具备极大的优势，因此在POD内进行集群化部署。该技术也可对需极度精简化、又不需层次化设计的多个POD进行部署，将这些POD的所有交换机集群为单一逻辑交换机。

随着数据中心内虚拟化应用的不断扩张，底层的数据行为也在悄然发生改变，带动了基础架构的演进。云数据中心不仅需要高密度、大容量网络设备，还需要合适的技术才能够满足大数据量行为的变化，并反过来提供经过优化的网络平台，这种从量到质的变化将深刻影响数据中心技术的发展。

数据中心不再需要运行生成树协议（STP），不会阻断链路，从而大大提升了数据中心的横向网络带宽，很好地支持了服务器之间迅猛增加的横向流量，使得二层网络得到平滑扩展。