数据中心网络拓扑探讨

中图分类号：TN915.1文献标志码：A 文章编号：1009-6868 (2012) 04-0007-004

摘要：文章认为数据中心网络的拓扑结构确定其硬件设备的选取标准、设备之间的协同和互联方式、以及数据中心的运行和维护机制。针对各种新的服务需求对数据中心网络提出的更高的结构性要求，业界提出了一些新的数据中心网络拓扑结构。文章介绍并分析了这些拓扑结构，主要有改进树形结构(如Fat-tree、VL2)、递归层次结构(如DCell、FiConn、BCube)、能量比例结构、矩阵结构。

关键词：数据中心网络；拓扑结构；云计算

Abstract: The topology of a data-center network (DCN) determines which device standards are used, how devices cooperate and interconnect, and which OAM mechanisms are used in the data-center. Diverse services require improved topological performance. To this end, we propose improved tree topologies, such as Fat-tree and VL2; recursively hierarchical topologies, such as DCell, FiConn, and BCube; energy percentage topologies; and matrix topologies.

Key words:data center networking; topology; cloud computing

数据中心网络是指数据中心的网络基础设施，它通过高速的链路和交换机连接着大量的服务器[1]。数据中心网络是基于服务器之间及时可靠的通信来发挥作用的，其作用是为数据中心的一切应用和服务提供数据存储、分析、处理和计算的物理平台。数据中心网络是数据中心硬件部分的核心基础构成，它的拓扑结构给出了数据中心中所有交换机和服务器的连接关系，决定数据中心的具体组织形式。

作为数据中心与云计算技术的硬件支撑，数据中心网络已迅速成为学术界研究的热点。近年来，计算机方向的国际顶级学术会议(如OSDI、ISCA、SIGCOMM、SIGMOD、INFOCOM、ICDCS、HPDC、SOSP等)都设立了关于数据中心网络的议题。IEEE和ACM的诸多国际权威期刊(如IEEE Computing in Science and Engineering、IEEE Transactions on Parallel and Distributed Systems、IEEE/ACM Transactions on Networking等)经常刊登数据中心网络的相关学术文章。麻省理工大学、斯坦福大学、加州大学伯克利分校、俄亥俄州立大学、麦吉尔大学、清华大学、微软研究院等全球著名大学及研究机构成立了专门的研究组，开展对数据中心网络的研究。同时，谷歌、亚马逊、微软等公司也从未停止对数据中心网络的研究工作[2-3]。

1 研究数据中心网络拓扑

结构的意义

数据中心网络拓扑结构确定组成数据中心的硬件设备的选取标准，以及这些设备之间的协同和互联方式，进一步确定数据中心本身的运行和维护。研究数据中心网络拓扑结构的意义主要体现在上层应用的运行质量、数据中心的建设成本和运行能耗两个方面。

(1)拓扑结构设计决定上层应用的运行质量

数据中心网络拓扑结构设计给出数据中心各服务器之间的连接关系，即任意两个服务器之间所有链路和中间节点的连接顺序，从而确定服务器间通信的路由方式。数据中心网络拓扑结构还直接影响着服务器间通信的容错和整个网络的拥塞控制。因为无论采取冗余、自适应路由、窗口速率控制或其他容错和拥塞控制方法，都需要根据网络拓扑结构所确定的节点连接关系传递控制信息。数据中心的上层应用，如GFS[4]、HDFS[5]、Bigtable[6]、Dynamo[7]、Dryad[8]等等，都以并行和分布式的形式在数据中心网络上通过大量服务器间的协同通信来实现。这些服务器之间通信的路由、容错和拥塞控制则决定上层应用的运行质量，包括服务时间、处理数据的吞吐量等。而这些又决定网络服务运营商能否在单位时间内为更多的用户提供满意的服务，获取更大的利润。

(2)拓扑结构设计决定数据中心的建设成本和运行能耗

数据中心网络作为数据中心的主体硬件部分，其结构设计给出组成数据中心的三大主要硬件设备(服务器、交换机和链路)的数量和选取标准，如服务器或交换机的型号、网络接口数量、额定功率等。具有不同网络拓扑结构的数据中心可容纳的最大服务器数量是不同的，并且容纳同样数量的服务器所需要的交换机数量也是不同的。虽然现在的数据中心只需采用价格低廉的商务计算机作为服务器，但不同的网络拓扑结构对交换机的数量和性能要求都不相同，当数据中心的服务器数量达到几万台或更多时，不同的网络拓扑结构会使得数据中心的建设成本和运行能耗[9]产生巨大的差异。

2 数据中心网络拓扑结构

新的设计要求

由于普通计算机性能的快速提高以及对服务器数量需求的飞速增长，新的数据中心网络都不再使用专门设计的高端服务器和链路，只采用大量价格低廉的普通商务计算机作为服务器[10]。

近年来，随着云计算技术在各个应用领域的不断发展以及对个人普通用户的开放，层出不穷的各种在线云服务项目对数据中心网络拓扑结构提出了新的设计要求，主要包括以下3点：

?要具备较强的可拓展性，不仅要能够容纳大量的服务器，还要支持服务器数量的持续增长。

?要具备较高的可靠性，以应对各种各样的服务器故障和链路故障。

?要具备较好的网络性能，以支持带宽需求量大的服务。

3 数据中心网络拓扑结构

目前已经建成并投入使用的数据中心网络结构一般都是由两层或三层的路由器和交换机组成的树形结构[11-12]构成，如图1所示。三层结构设计为：结构树的叶子是边缘层，放置各服务器(普通计算机)；中部是集合层，放置集合交换机；根部是核心层，放置核心交换机。集合层的每台交换机向下一般连接着几十或上百台服务器，向上则都连接着核心交换机。如果服务器数量较多，则集合层内部会分出更多的层次放置集合交换机，即集合交换机的父节点依然会是集合交换机。两层结构的设计则只包括核心层和边缘层。

随着数据中心的不断发展，传统的数据中心网络结构，即树形结构，逐渐暴露出越来越多的缺陷和不足。采用树形结构的数据中心网络虽然建造起来比较简单方便，但不便于拓展和升级。这种结构中的服务器全部都集中在叶子层，而且服务器仅与各自的交换机相连，这样核心交换机和集合交换机成为带宽的“瓶颈”，一个核心交换机故障可能会导致上千台服务器失效。为了满足数据中心网络新的设计要求，提高数据中心网络的可扩展性、可靠性等拓扑性能，研究者们提出了一些新的数据中心网络结构。

3.1 改进树形结构

Fat-tree是对传统树形结构的一种改进结构。Fat-tree结构树中的一个中间节点可以有多个父节点，即增加了上下层集合交换机之间以及集合交换机与核心交换机之间的链路数量。图2给出了Fat-tree的节点连接方式。由于增大了网络的连通性，Fat-tree从一定程度上提高了数据中心网络的可靠性。但Fat-tree还不能从根本上解决数据中心网络拓展和升级的问题。原因在于它继承了传统树形结构的诸多设计缺陷：第一，同传统树形结构一样，Fat-tree需要采用专门设计的高层集合交换机以及核心交换机，随着服务器数量的增加，对集合交换机和核心交换机的性能要求会越来越高，价格也会更加昂贵；第二，当交换机数量增加到一定程度时，需要改变原有数据中心网络的结构，增加集合交换机的层次数量；第三核心交换机依然是带宽和性能的“瓶颈”。

为了改进传统树形结构的拓展性，实现服务资源的动态分配，Albert Greenberg[13]等人基于传统树形结构，提出了一种可拓展的灵活的数据中心网络结构——VL2。该结构利用虚拟机技术将传统树形结构的集合层虚拟化为统一的域，使得所有服务器仿佛连接到同一个局域网，并且可以根据服务需求动态分配服务器的IP地址，有效提高了网络性能和服务效率。由于基本沿袭了传统树形结构的节点连接方式，并且对节点的选取标准也没有太大的变化，因此VL2是目前最易用于对现有数据中心网络改造的结构，但网络的可靠性并没有得到较大的改善。

3.2 递归层次结构

递归层次结构[14]是解决数据中心网络可拓展性问题的一种较好选择。设计递归层次结构的数据中心网络，主要是设计好最小递归单元的结构和确定好递归规律。在递归层次结构中，每一个高层的网络拓扑都由多个低一层的递归单元按照递归规律相互连接构成，同时也构成了组建更高层级网络拓扑的一个递归单元。当需要增加服务器数量时就提高总的递归层次，此时整个数据中心网络的规模可增长数倍。该结构中的服务器都处于平行或并列的位置。采用这种结构，能够为数据中心网络灵活地添加大量的服务器，而不用改变已经存在的拓扑结构。而且递归层次结构对交换机的性能要求很低，通常只需采用标准统一且价格低廉的普通商务交换机即可，大大节省了数据中心网络的建造成本。

DCell、FiConn[15]、BCube[16]是几种比较典型的递归层次结构。其相同点是最小递归单元的结构完全一样，即用一个交换机连接着多个服务器，区别在于采用了不同的递归规律。

DCell利用完全图的节点连接关系作为递归规律，同层次的任意两个递归单元之间都有一对服务器直接相连。因而DCell也具备了完全图的优点和缺点。其递归单元之间的全连通性极大地提高了网络的可靠性，但使得每个服务器连有多条链路，这就要求每个服务器都装有多个端口。图3显示了DCell结构的节点连接方式。

FiConn与DCell类似，是在DCell的基础上牺牲连通性得到的拓扑结构。递归单元仅使用一半的服务器空闲端口相互连接构成。FiConn使得数据中心网络的构建变得相对简单，成本更加低廉。图4显示了FiConn的节点连接方式。

BCube利用超立方体(Hypercube)[17]的节点连接关系作为递归规律，同层次不同递归单元中相同位置上的所有服务器都通过一个交换机相互连接。BCube也要求每个服务器都装有多个端口，但具备了超立方体连通性高、直径小、可靠性好的优点。图5和图6显示了BCube结构的节点连接方式。

中国对数据中心网络的研究起步较晚，但已有学者在DCell和BCube的基础上提出了新的数据中心网络结构，被称为雪花结构[18]。雪花结构也以递归方式构建，并且采用了与DCell、FiConn和BCube相同的最小递归单元。

3.3 其他结构

在成本控制、运营效率和资源利用率等因素的驱动下，工业界也一直在研究适应市场需求的数据中心网络。如博科公司于2007年发布的数据中心架构(DCF)，通过整合存储网络与服务器来构建服务器集群，成为单一融合的数据中心基础设施，简化了数据中心的连接并降低了成本[19]。考虑到通常情况下数据中心的服务器资源并非被完全利用，谷歌公司的研究人员设计出了一种能量比例结构，按照扁平化蝴蝶拓扑的节点连接方式连接各服务器，以保证数据中心网络的电能消耗与服务器的利用率相匹配，即网络能耗与网络数据流量成比例，从而最大限度地降低数据中心的运行成本[20]。此外，矩阵结构也是工业部门正在研究的数据中心网络结构之一，即通过交换矩阵的方式构建超高速、低延迟和超额配置程度低的服务器集群，以便为优化服务器集群的运行提供多种服务[21]。

4 结束语

本文对目前学术界和工业界在数据中心网络拓扑结构方面的研究情况做了介绍。阐述了数据中心网络拓扑结构的研究意义，概述了数据中心网络拓扑结构的新设计要求，介绍了传统树形结构的基本构成和存在的缺陷，分别介绍了改进树形结构、递归层次结构以及其他结构的拓扑构造和优缺点。

5 参考文献

[1] GUO C, WU H, TAN K, et al. DCell: A scalable and fault-tolerant network structure for data centers [C]//Proceedings of the Conference on Applications, Technologies, Architectures, and Protocols for Computer Communications (SIGCOMM08), Aug 17-22, 2008, Seattle, WA, USA. New York, NY,USA:ACM, 2008: 75-86.

[2] Amazon Web Services. Amazon elastic compute cloud (Amazon EC2) [EB/OL]. [2012-05-15]. http://aws.amazon.com/ec2/.

[3] Windows azure: Microsofts cloud platform [EB/OL]. [2012-05-15]. http://www.windowsazure.com/.

[4] GHEMAWAT S, GOBIOFF H, LEUNG S. The Google file system [C]//Proceedings of the 19th ACM SIGOPS Symposium on Operating Systems Principles (SOSP03), Oct 19-22, 2003, Bolton Landing, NY, USA. New York, NY, USA: ACM, 2003: 29-43.

[5] BORTHAKUR D. The hadoop distributed file system: Architecture and design [EB/OL]. [2012-05-15]. http://hadoop.apache.org/core/docs/current/hdfsdesign.pdf.

[6] CHANG F, DEAN J, GHEMAWAT S, et al. Bigtable: A distributed storage system for structured data [C]//Proceedings of the 7th USENIX Symposium on Operating Systems Design and Implementation (OSDI06),Nov 6-8,2006, Seattle, WA, USA. Berkeley, CA, USA: USENIX Association, 2006.

[7] BALA V, DUESTERWALD E, BANERJIA S. Dynamo: A transparent dynamic optimization system [J]. ACM SIGPLAN Notices, 2011, 46 (4): 41-52.

[8] ISARD M, BUDIU M, YU Y, et al. Dryad: Distributed data-parallel programs from sequential building blocks [C]//Proceedings of the 2nd ACM SIGOPS/EuroSys European Conference on Computer Systems, Mar 31-Apr 4,2007, Lisbon, Portugal. New York, USA: ACM. 2007.

[9] HUANG L, JIA Q, WANG X, et al. PCube: Improving power efficiency in data center networks [C]//Proceedings of the IEEE 4th International Conference on Cloud Computing (Cloud11), Jul 4-9,2011,Washington,DC, USA. Washington, DC, USA: IEEE Computer Society, 2011:65-72.

[10] BARROSO L A, DEAN J, H?OLZLE U. Web search for a planet: The Google cluster architecture [J]. IEEE Micro, 2003, 23(2):22-28.

[11] DEAN J, GHEMAWAT S. MapReduce: Simplified data processing on large clusters [C]//Proceedings of the 6th USENIX Symposium on Operating System Design and Implementation (OSDI04),Dec 6-8,2004,San Francisco, CA,USA. Berkeley, CA, USA: USENIX Association, 2004.

[12] AL-FARES M, LOUKISSAS A, VAHDAT A. A scalable, commodity data center network architecture [C]//Proceedings of the Conference on Applications, Technologies, Architectures, and Protocols for Computer Communications (SIGCOMM08), Aug 17-22, 2008, Seattle, WA, USA. New York, NY, USA: ACM, 2008. 63-74.

[13] GREENBERG A, HAMILTON J R, JAIN N, et al. VL2: A scalable and flexible data center network [C]//Proceedings of the Conference on Applications, Technologies, Architectures, and Protocols for Computer Communications (SIGCOMM09), Aug 17-21, 2009, Barcelona, Spain. New York, NY, USA: ACM, 2009:51-62.

[14] GUO D, CHEN T, LI D, et al. BCN: Expansible network structures for data centers using hierarchical compound graphs [C]//Proceedings of the 30th Annual Joint Conference of the IEEE Computer and Communications (INFOCOM11), Apr 10-15, 2011, Shanghai, China. Piscataway, NJ, USA: IEEE, 2011: 61-65.

[15] LI D, GUO C, WU H, et al. FiConn: Using backup port for server interconnection in data centers [C]//Proceedings of the 28th Annual Joint Conference of the IEEE Computer and Communications(INFOCOM09), Apr 19-25, 2009, Rio de Janeiro, Brazil. Piscataway, NJ, USA: IEEE, 2009: 2276-2285.

[16] GUO C, LU G, LI D, et al. BCube: A high performance, server-centric network architecture for modular data centers [C]//Proceedings of the Conference on Applications, Technologies, Architectures, and Protocols for Computer Communications (SIGCOMM09), Aug 17-21, 2009, Barcelona, Spain. New York, NY, USA: ACM, 2009:63-74.

[17] HSU L, LIN C. Graph theory and interconnection networks [M]. New York,NY, USA: CRC Press of Taylor and Francis Group, 2009.

[18] 刘晓茜, 杨寿保, 郭良敏, 等．雪花结构：一种新型数据中心网络结构 [J]. 计算机学报, 2011, 34 (1):76-86.

[19] WatchStor. 博科推出下一代数据中心服务器整合和网络集合理念 [J]. 中国金融电脑, 2009(5):94.

[20] ABTS D, MARTY M R, WELLS P M, et al. Energy proportional datacenter networks [C]//Proceedings of the 37th Annual International Symposium on Computer Architecture(ISCA10), Jun 19 - 23, 2010, Saint-Malo, France. New York, NY, USA: ACM, 2010:338-347.

[21] ARREGOCES M. 不断发展的数据中心专题报告: 新趋势影响数据中心网络架构 [J]. 微型电脑应用, 2008,24 (3):61-64.

收稿日期：2012-04-26

作者简介

丁泽柳，国防科技大学信息系统工程国家重点实验室在读博士研究生；主要研究方向为复杂信息系统。