数据中心网络中的无线通信技术

魏炜 魏中 陈贵海

中图分类号：TN915.1文献标志码：A 文章编号：1009-6868 (2012) 04-0001-006

摘要：文章认为将无线通信引入数据中心网络(DCN)是构建DCN的一种新选择，可以免除布线烦扰，从而方便维护无线节点；可以便捷地在服务器间建立链接，从而避免多跳传输额外代价；还可以动态改变DCN中的拓扑结构，有效减少“瓶颈”节点的流量。文章介绍了一种将无线通信与有线通信相结合来构建数据中心网络的新颖方法，并从物理构建和全局优化两个方面对相关新技术进行了分析。这些技术包括60 GHz无线频段通信技术、3D波束成形、节点布置方法、基于遗传算法的信道分配等。通过这些技术的研究成果，可看出无线通信技术可大幅度提高数据中心网络性能，具有广阔的应用前景与理论研究价值。

关键词：数据中心网络；60 GHz无线通信技术；波束成形；信道分配；有向天线

Abstract: Wireless technology is a good option for data center networks (DCNs) because there is no complex cabling, and wireless nodes are relatively easy to maintain. Wireless links can also be easily established between servers in different racks to avoid the cost of multihop transmission. With wireless technology, the topology of a DCN can be dynamically changed so that congestion at hot nodes is reduced. In this paper, we introduce hybrid DCN architecture in which a wireless network supplements the Ethernet infrastructure. We discuss 60 GHz communications, 3D beamforming, node arrangement methodology, and channel allocation based on Genetic Algorithm for hybrid DCN architecture. Research on this architecture shows that wireless transmission improves overall DCN performance.

Key words:data center network; 60 GHz communication; beamforming; channel allocation; directional antenna

随着“云技术”的日益发展，诸如云储存、云计算、云平台等云应用服务得到了各界的广泛关注。近年来，世界各大公司竞相构建大型数据中心来为云服务提供硬件支持。数据中心网络(DCN)是构建数据中心的一个重要部分，它需要能联结百万台服务器，同时亦能为云技术提供合适的带宽。

数据中心网络通常基于3层拓扑结构：核心层、聚集层、边缘层。常见数据中心内部网络拓扑图如图1所示。在图1中，位于机架内的服务器通过架顶式交换机互联，同时，它们与汇聚层和核心层的交换机组成了一个多根树。由于核心层的根节点数量有限，当数据中心负载较大时，这些节点容易成为整个数据中心网络的“瓶颈”。故而在网络实际通信中，服务器之间数据传输所能达到的吞吐量可能比实际可用带宽低许多。

为了解决网络中部分节点过热问题，人们开始研究数据中心网络的拓扑结构和路由协议等优化问题，这些研究大多采用添加新路径的方法(尤其是互不相交的路径)以便增加端到端吞吐量。这些方法取得了一定成效，然而在以太网中，人们仍然难以应对大量的高突发流量，这是因为以太网中的静态链路和有限网络接口会引起部分服务器堵塞，从而对其他服务器产生副作用。另外，数据中心网络通常需要大量服务器合作完成一项任务，此时，高负载的服务器可能会进一步降低数据中心网络性能。

通常人们尝试借助有线链接以外的其他媒介来解决数据中心网络中节点过热、服务器拥塞等问题，无线数据中心网络(WDCN)就是其中之一。本文将综述近年来无线通信技术在数据中心领域的发展现状与关键问题，并从设计构造与性能优化两个方面具体展示当前学术界对无线数据中心网络的研究成果。

1 无线数据中心发展现状

与存在的问题

由于无线通信在数据中心网络应用中的特殊性，无线数据中心网络和基于有线的传统数据中心网络存在很大区别。随着极高频(EHF)技术(特别是60 GHz无线通信技术)的引入，用高速率的无线通信传输数据成为了现实(吞吐量可达4G bit/s)，从而使在数据中心中应用无线通信技术成为可能。于是，2008年出现了首篇讨论在数据中心网络中应用60 GHz无线通信技术的论文[1]，文章提出用无线链接替换部分有线链接，可以降低布线复杂度，降低冷却开销，减少大量的成本，从而大幅提高数据中心网络的性能。此外，60 GHz无线通信技术在数据中心网络中的应用还有其他几大优势：

(1)7 GHz的可用频谱(57～64 GHz)使得采用60 GHz无线通信技术能够提供达到吉比特每秒量级速度的多条链接。

(2)60 GHz频段在减少无线信号干扰的同时也减少了被监听的机会。

(3)无线网络更益于数据中心网络的扩容和提升。

(4)无线网络可以按需建立，它能动态改变数据中心网络的拓扑结构，使其更适合当前网络环境。

2009年，美国微软研究院的Kandula等人[2]指出可以增加新的“飞路”(Flyways)来缓解部分“热节点”(Hot Node)的拥塞状况。之后，另有数十篇学术论文从设计构建和性能优化两个方面讨论无线通信技术在数据中心网络的应用。

在设计构建的方面，当前研究主要借助波束成形技术和特殊物理环境[3]使60 GHz无线通信技术能够有效部署在数据中心中。该方向的研究目标是证实无线通信技术应用在数据中心网络中的可行性和优越性。人们提出各种新颖的机架摆放形式并尝试利用天花板反射[4]等方法来更好地把无线通信技术应用到数据中心网络中。

在性能优化方面，除了前文提到的“飞路”策略以外，目前研究方向主要集中于无线通信在数据中心网络中的调度问题，即无线网络中的信道分配问题。目前的研究[5-7]多尝试应用启发式算法通过分流解决部分节点过热问题，从而使得数据中心网络整体吞吐量最大化，以及整体利用率最大化。

图2展示了当前将无线通信技术应用于数据中心网络的相关研究方向、分支结构、及最新发展现状。其中左分支为设计构建，包含了波束成形、空间排布、以及完全无线等构建技术，而右分支主要介绍了无线数据中心网络中的优化问题，如无线链接调度问题。其中对应的年份表示该技术的发表年份。

尽管上述研究提出了一些解决方案，但离构建性能优越的数据中心网络仍存在一定差距，要将60 GHz无线通信技术很好地应用在数据中心网络中，至少还需要面对以下挑战：

(1)如何克服传输范围限制。尽管60 GHz无线通信技术可以达到很高的数据传输速率，也具有很宽的频谱，但是传输范围极其有限；另一个问题就是因为氧原子吸收这个频段，信号衰减非常迅速。因此60 GHz无线通信技术的有效传输范围大约只有10 m。

(2)如何摆放物理设备。机柜的摆放结构需要经过细致考虑，无论是星型结构抑或方阵结构，都要设计好配套的路由和中继机制。

(3)如何设计精确的无线调度机制。为了缓解热节点的拥塞，建立无线链接后，需要使用正确的信道分配算法保证各信道互不干扰。现有的研究成果针对信道问题建模，利用遗传算法等启发式算法来解决干扰问题，但无法保证算法优劣性，也无法准确求出算法近似比，在性能表现上存在较大不确定性。

(4)如何保证全局性能最优。保证全局性能最优即指无线传输的性能(通常由吞吐量衡量)应该考虑全局工作完成时间。

接下来的内容将针对无线网络设计构建与无线通信优化问题两个方面进行论述。我们将从技术发展历程入手分析无线网络设计与构建技术，而根据不同优化方案的讨论着眼于无线通信优化问题。

2 无线数据中心网络的

设计与构建

为了在数据中心网络中使用无线通信，我们首先从物理层面上考虑在数据中心网络中使用60 GHz无线通信技术的可行性以及实用性，并通过合理的机柜摆放及无线节点空间排布，形成有效整体系统结构，使得数据中心网络性能得到大幅提高。

2.1 60 GHz无线通信技术

在之前提到的对“飞路”系统[8]的研究中，Kandula等人使用了HXI公司制造的设备，它能提供双工60 GHz的链接。研究结果显示，无线信号强度随着距离的增加而迅速减小，即无线覆盖范围有限。另外，多路效应有可能使得在距离较远时，信号变化会较大。但是通过有向天线可以让信号浮动大幅减小，在25 m处的浮动也不超过5 db，并保证超过1 m距离的高吞吐量(4 m内吞吐量可达2 Gbit/s)。图3(左上)是有向天线示例，图3(左中)是该天线的号角(Horn)局部示意。有向天线同时可以隔离链接并实现空间重用。在一个典型的数据中心中，在机架上直线排列的60 GHz链接能够保证无线链接的稳定性。除了“飞路”系统外，几乎所有的数据中心无线通信设计方案中都使用了有向天线技术[3, 9]。

另一方面，除了有向天线技术，数据中心中的无线通信还使用了波束成形技术和波束转向技术。这些技术的使用可以提高链接传输速率并借频谱复用技术来增大数据传输带宽。

2.2 空间排布技术

空间排布问题中首先考虑的是广播半径问题。前面提到过60 GHz无线通信技术的天线覆盖范围极其有限，广播半径只有10 m左右。

图3(左下)示意了有向天线在数据中心的广播范围。其中每一个小格表示1个24×48英寸的机柜，10个机柜排成一排，排与排之间横向距离10英尺，纵向距离6英尺。图中的圆形代表在某个机柜顶端60 GHz无线通信设备的10 m广播范围。由图中可以看出，即使10 m的广播半径也足以覆盖17排服务器，对于大多数据中心来说可满足其传输要求。

假设一个数据中心中有N个机柜。当采用传统有线排布方法时，我们可以采用集中式交换机架结构，这样做的好处是线的数量与N同一个数量级，而后果就是布线会很长；也可以采用分布式交换机结构，这样做的好处是布线长度大幅缩短，但是布线长度会随N的增大急剧上升，与N 2同数量级。如果我们采用有线与无线相结合的方式，就可以减少机柜排之间的布线成本。图3(右上)展示了用无线代替有线链接时可大幅降低布线需求，图3(右下)从三维角度更好地展现了结合型数据中心网络的布局。

2.3 全无线构架技术

无线技术的日益成熟使得完全使用无线传输技术来构建数据中心网络成为可能[10]。美国康奈尔大学和微软亚洲研究院的研究者们应用60 GHz射频技术设计了一个非常新颖的数据中心。图4(左)为这种圆形数据中心的结构示意图。

研究者设计了新型机柜和服务器，采用如图4(右上、右下)所示的结构，这些设备会让延时更短，总带宽更大；他们设计了全新的拓扑结构，为端到端的链接提供了多条冗余通路；他们也设计了全新的路由协议，可以让服务器用少量内存短时间内计算路由，并保证路由的有效性和较少跳数。实验结果显示，全无线技术会让数据中心网络的平均网络延迟更短，容错能力更强，资金投入大幅减少。在理想化的情况下，全无线构架会带来更低的造价，更低的能源消耗，以及更低的维护费用。

总体来说，应用60 GHz无线通信技术在数据中心网络中建立新的链路是可行且高效的。通过多维空间利用，数据中心网络的整体性能可大幅提高，甚至理论上有可能搭建出全无线数据中心。然而上述研究多侧重于无线通信技术的可行性与如何提高无线传输速率，对于无线链接调度问题以及新的链接和原有数据中心网络的拓扑结构影响方面的研究较少。

3 无线数据中心网络的

通信优化

3.1 “飞路”设计

“飞路”是利用无线通信技术解决数据中网络中部分过热点的著名设计方案。此种方案用于解决前文提及的数据中心部分节点过热的问题。图5是数据中心网络节点过热的一个示例。它表现了基于1 500台服务器间的架顶式交换机产生的应用需求矩阵，其中横坐标为源架顶式交换机(即发送端)，纵坐标为汇架顶式交换机(即接收端)，坐标点的颜色深浅表示其需求大小。不难发现，仅有部分交换机对出现较高的需求量，且这些需求量的分布都相对稀疏，但正是这些较热甚至是过热的交换机对严重影响了整个数据中心网络的性能。

“飞路”策略的主要思想在于，通过在原有数据中心网络拓扑结构中添加一些新的链接(即“飞路”)分流上述过热的交换机对的数据流，从而突破传输“瓶颈”，提高数据中心的整体表现。60 GHz无线链接的带宽及动态拓扑结构特性，使得采用无线链接作为“飞路”成为了可行方案。

针对降低过热交换机的通信量这一问题，文章中将优化目标定位为最小化“最大通信时间”，同时需要满足每条链接的传输速率不能高于该链接的容量，并使用贪婪算法每次在最热节点对间添加“飞路”，但这种算法并不能保证结果的最优性，仅对无线通信技术在数据中心网络中的使用提出了一个基本构想和一个简单直接的解决方案。

3.2 “飞路”的实现与评估

2011年，Halperin等人提出了一个更加有效可行的“飞路”系统，不仅从硬件上提出可行方案，同时通过模拟仿真验证了该方案很大程度提高了无线数据中心网络的流量，缓解了部分节点过热的问题。在文中作者用需求完成时间(CTD)，即最后一条信息流的完成时间来衡量数据中心网络的性能，尽可能降低CTD。这需要算法能够衡量当前网络流量大小，准确地放置“飞路”，并改变路由机制使得“飞路”得以利用。考虑到除了直接在热交换机对间添加“飞路”，还可以采取间接方式，即经由别的服务器转发这一想法，该文提出了不同的贪心算法，使得每次添加的“飞路”能够尽可能减小CTD。Halperin等人在提出“飞路”后，又利用相关物理模型如信号与干扰噪声比(SINR)模型对链接的干扰与实际效果做一定的分析，以验证“飞路”的可行性，并通过调整无线设备天线的位置来增强系统稳定性。总的来说，“飞路”系统多数情况下可使数据中心网络流量提速45%。但是，由于数据中心网络中某些流量的不可预计性或不可跟踪性，“飞路”算法有可能失效。该算法也并未优先考虑链路可行性，忽视了无线网络信道分配问题，系统还有一定的提升空间。

3.3 无线通信的信道分配

鉴于之前研究忽视的信道分配问题，崔勇等人在建立的模型时对无线传输中互相干扰的情况进行了讨论。文献中，作者将一个无线传输的效用定义为一段时间内传输的流量与传输跳数的乘积。无线传输流量越大，传输距离越远，无线链接效用就越大，建立它的收益也相应越高。因此，作者设定的目标函数是将所有无线链接效用之和最大化，并且满足以下约束：对于一个起始节点至多分配一个信道且所有分配信道的总和不得超过天线数量。第一个约束条件保证了信道分配方法不会引入干扰，第二个约束条件保证了一个节点所拥有的活动传输数量应小于该节点的所拥有的天线数量。

所有信道分配状态只有两种，且约束条件也是线性的，所以这个问题实际上可以规约为非多项式(NP)完全问题，作者随后基于匈牙利算法设计了一种启发式算法来解决该问题。仿真结果显示，运用此算法后热节点的负载大幅减小，但由于没有与其他调度算法进行比较，无法获知此算法是否有较出色的表现。

3.4 调度算法的改进

2011年，崔勇等人又提出了一种改进调度算法。该算法的目标是最小化最大剩余节点的效用(即一段时间内传输的流量与传输跳数的乘积)，实现按需分配无线链接的效果。该算法仍需满足前面提到的约束。作者设计了贪心算法并分析了算法复杂度。根据仿真效果，此种算法同样可大幅减少热点负荷。

3.5 数据中心网络全局优化

崔勇等人后来的工作所建模型更为全面：不仅考虑了无线传输互相干扰的情况，同时也考虑了自适应传输速率。与之前的研究不同，文献[7]将数据中心网络看作一个整体，不仅尝试最大化无线链接的吞吐量，更着眼于全局工作完成时间。如前文所述，数据中心网络的“瓶颈”通常在于最后完成任务的节点，因而，我们可将将全局工作完成时间作为网络性能衡量指标。文章优化目标为最大化网络总加权吞吐量，从而保证新建立的无线链接确实有效缓解部分过热节点的热度。这里总加权吞吐量是所有传输的网络时延与传输速率的乘积之和。目标函数需要满足3个约束条件，一是节点所拥有的活动传输数量应小于该节点所拥有的天线数量；二是被分配的信道必须在可用信道集合中；三是对于每一个活动的传输，它的信噪比必须大于某一阈值以保证正常通信需求。

作者采用遗传算法(GA)来解决该问题，并定义了DNA、代、个体、选择、杂交、变异等重要概念。根据作者的仿真数据，GA算法在解此问题时十分高效；采用继承搜索时提速更为明显(即将上一轮GA的输出作为本时段GA的输入)。

通过对上述方案的分析讨论，我们发现对于无线数据中心网络信道优化问题的研究方法彼此相似：首先根据实际问题进行数学建模，并通过设计合适的算法对目标函数进行求解，最后进行性能分析。具体过程如图6的所示。

总体来看，通过有效的无线链接调度算法能够准确添加无线链接并降低新增无线链接间的干扰，从而极大改善数据中心网络的整体性能。然而，上述研究未能很好地将无线调度算法与实际无线空间排布综合考虑，同时也未能保证无线链接添加的及时性，以上这些问题尚有待于进一步研究。

4 结束语

60 GHz无线通信技术的快速发展使得无线通信在数据中心网络中的应用成为了可能。本文综述了无线通信技术在数据中心网络中的可行性、优越性、研究现状以及尚未解决的问题。无线技术存在许多优势：它可以有效动态地改变数据中心网络的拓扑结构，能缓解数据中心网络部分节点过热问题，能减少布线复杂度。上述介绍的工作与构建皆展示了无线技术应用于数据中心网络的优越性与高效性。当然，由于在数据中心中使用无线通信技术的研究时间并不长，它仍然存在着诸如如何调度无线通信信道，如何合理应用空间进行排布，如何弥补60 GHz无线信号范围小穿越障碍物能力差等问题，值得我们继续深入研究。

从无线通信技术的角度上看，它在数据中心中的使用同样可以促进高速、大容量无线通信技术的蓬勃发展。随着工业界对能匹配云计算的高速可扩展数据中心日趋迫切的需求，相信无线通信技术在不久的未来将为提升数据中心整体性能做出卓越贡献。

5 参考文献

[1] RAMACHANDRAN K, KOKKU R, MAHINDRA R, et al. 60 GHz data-center networking: Wireless=>Worry less? [R]. Princeton, NJ,USA: NEC Laboratories America, 2008.

[2] KANDULA S, PADHYE J, BAHL P. Flyways to de-congest data center networks [C]// Proceedings of the 8th ACM Workshop on Hot Topics in Networks (HotNets09), Oct 22-23, 2009, New York, NY,USA. New York, NY,USA: ACM, 2009.

[3] VARDHAN H, THOMAS N, RYU S, et al. Wireless data center with millimeter wave network [C]//Proceedings of the IEEE Global Telecommunications Conference (GLOBECOM'10), Dec 6-10,2010,Miami, FL, USA. Piscataway, NJ,USA: IEEE, 2010:6p.

[4] ZHANG W, ZHOU X, YANG L, et al. 3D beamforming for wireless data centers [C]//Proceedings of the 10th ACM Workshop on Hot Topics in Networks (HotNets11), Nov 14-15, 2011, Cambridge, MA, USA.

[5] CUI Y, WANG H, CHENG X. Channel allocation in wireless data center networks [C]//Proceedings of the 30th Annual Joint Conference of the IEEE Computer and Communications (INFOCOM11), Apr 10-15, 2011, Shanghai, China. Piscataway, NJ, USA: IEEE, 2011: 1395-1403.

[6] CUI Y, WANG H, CHENG X, et al. Wireless data center networking [J]. IEEE Wireless Communications, 2011,18(6):46-53.

[7] CUI Y, WANG H, CHENG X. Wireless link scheduling for data center networks [C]//Proceedings of the 5th International Conference on Ubiquitous Information Management and Communication (ICUIMC11), Feb 21-23, 2011, Republic of Korea. New York, NY, USA: ACM, 2011:44/1-9.

[8] HALPERIN D, KANDULA S, PADHYE J, et al. Augmenting data center networks with multi-Gigabit wireless links [C]//Proceedings of the Special Interest Group on Data Communication Conference (SIGCOMM11), Aug 15-19,2011, Toronto, Canada. New York, NY,USA: ACM, 2011:38-49.

[9] KATAYAMA Y, TAKANO K, KOHDA Y, et al. Wireless data center networking with steered-beam mm wave links [C]//Proceedings of the Wireless Communications and Networking Conference(WCNC'11), Mar 28-31, 2011, Cancun, Mexico. Piscataway, NJ, USA: IEEE, 2011: 2179-2184.

[10] SHIN J, SIRE E, WEATHERSPOON H, et al. On the feasibility of completely wireless data centers [R]. Ithaca, NY, USA: Cornell University, 2011.

收稿日期：2012-05-04

作者简介

魏炜，上海交通大学计算机科学与工程系CS-α全英试点班本科生在读，CCF学生会员，上海交通大学可扩展计算与系统重点实验室ANL先进网络研究组成员；主要研究方向为数据中心网络。

魏中，上海交通大学计算机科学与工程系CS-α全英试点班本科生在读，CCF学生会员，上海交通大学可扩展计算与系统重点实验室ANL先进网络研究组成员；主要研究方向为数据中心网络、下一代无线网络。

陈贵海，香港大学博士毕业，上海交通大学计算机科学与工程系特聘教授，CCF高级会员，曾任教于日本九州工业大学、澳洲昆士兰大学和美国韦恩州立大学；主要研究方向包括无线网络、对等计算、高性能计算机系统结构、海量数据处理、组合数学、网络与通信、物联网、并行与分布式处理等；已发表学术论文200余篇。