浅谈云计算数据中心对布线系统的影响

文｜罗森伯格亚太电子有限公司 孙慧永

在谈云计算数据中心之前，我们要先了解一下，什么是云计算？云计算是指IT基础设施的交付和使用模式，指通过网络以按需、易扩展的方式获得所需的资源，提供资源的网络被称为“云”。“云”是IT的资源池，可以随时获取，按需使用，随时扩展，按使用付费。云计算数据中心就是为云计算服务提供所需要的整体IT物理设备与基础设施。

提供云服务的数据中心能给用户提供强大的计算能力，其中有一个特点就是“超大规模”。如Google、Facebook、腾讯等公司建设的云计算数据中心往往超过几十万甚至上百万台服务器的规模。从美国Cisco公司的预测报告中显示，全球云通信量将以66%的年复合增长率发展，两年内，在云数据中心处理的工作量将首次超过在传统数据中心中的量，占比51%。到2015年预计将达到57%，云计算数据中心数据通信量的快速上升，预示着云数据中心的基础设施建设需求将会同步增长，而数据中心的布线系统作为基础设施之一，随着云计算数据中心应用发展对布线系统的规模上、技术层面、产业层面都受到相应的影响。

本文将主要围绕云计算数据中心的网络带宽方面、端口能耗方面、布线架构及数据中心产业化发展、适应云计算数据中心的新一代布线系统构架等方面做一个探讨。

1 云计算数据中心对网络端口带宽的影响

云计算数据中心普遍采用虚拟化的技术，基于云计算的数据中心可以支持比传统数据中心更多的虚拟机以及每台服务器的工作负荷，云计算数据中心数据量除了终端用户访问的数据流外，云计算服务器之间应用程序动态切换产生大量数据流，使数据中心数据通信更加繁忙，如图1所示。

图1

相比较传统的数据中心，云计算数据中心的单台物理主机数据流量可能是传统的数据中心服务器的4倍、8倍甚至10倍以上。如此大的数据流量需要基础数据中心布线系统具有更低的延时性能，更高的可靠性，同时需要有更高带宽的支持。基于这样的思考，对于云计算数据中心服务器端10G的端口布署将能更好的满足与支持云计算数据吞吐流量。关于服务器10G端口应用的趋势，根据Intel有关服务器端口的预测报告中可以了解到，从2012年开始，10G服务器端口将开始大量的部署。而根据美国Infonetics第三方咨询机构关于网络设备的端口应用的预测报告中可以看到，到2015年超过50%左右的网络设备端口采用10G端口，而约25%左右的端口将采用40G/100G，如图2所示。

图2

从上述提到的相关预测中，我们可以看出云计算数据中心的网络演进的方向。为了减少网络的延时，提高数据中心网络响应速度，云计算数据中心将更为普遍地采用核心+接入层两层网络构架替代传统核心+汇聚+接入的三层方式。核心网络采用40G/100G网络端口，接入层网络与服务器采用10G端口。网络带宽的提升将对布线系统提出更高的要求，当服务器端采用10G的端口形式时，铜缆的布线至少需要采用Cat.6A级别的线缆，具体应用可参考IEEE 802.3an标准的10GBase-T传输协议。如果10G采用光纤布线，优先采用多模OM3级别及以上的光纤系统来支持服务器端口的应用，参考IEEE 802.3ae标准的10GBase-SR。而对于数据中心主干40G/100G的应用，可以采用IEEE 802.3ba中规定的MTP/MPO光纤并行多通道复用的传输方式：40GBase-SR4与100GBase-SR10，布线系统将需要采用MTP/MPO预连接系统进行支持，如图3所示。有关铜缆布线系统Class F与Class FA支持40G/100G的应用目前还没有正式标准的支持。 2011年10月，ISO/IEC 11801标准化组织工作小组ISO/IEC JTC 1/SC 25WG3启动了一项新的提议，研究在平衡双绞线上支持40G数据传输，如果研究一切顺利，预测2014年将完成草案标准。

图3

2 云计算数据中心端口选择与对能耗的影响

云计算数据中心通常规模比较大，服务器端口上升到万兆以后，主干将需要考虑采用40G/100G的方案，对于40G以上的方案目前能规模应用的主要还是基于QSFP端口模式与MTP预连接光纤布线相结合的方案。但对于服务器端10G的端口来说就不同了，10G的应用除了采用传统的RJ45铜网口外，也可以考虑选择SFP+光网口，还可以考虑SFP+ DAC（Direct Attach Copper Cable）有源双轴平行电缆等几种方式可进行比较。10G端口规模化应用除了需要思考可靠性外，另外还需要思考端口能耗方面的问题，用户对于端口的选择除了要评估不同端口方式的价格因素外，端口能耗与端口的网络延迟也是一个需要评估的重要指标。云计算数据中心规模大，端口能耗将直接影响整体云计算数据中心建设完成后的长期运维成本。对于10G端口应用，上述提到的三种主流方式接口对应的网卡成本比率与网卡功耗状况可以做一下对比，如表1所示。

表1

表1中的数据主要来源于Intel的网卡及Solarflare网卡的数据，从整体成本来看，10GBase-T采用双绞线铜缆的方案有较大的价格优势，但从功耗上来看相对较大，以上功耗数据主要基于10GBase-T最大长度可以支持100m的距离，如果基于数据中心30m以下的长度，功耗可以大幅下降。10GBase-T铜缆分为屏蔽与非屏蔽两种结构，相比较非屏蔽，采用STP屏蔽线缆具有良好的NEXT与ANEXT的性能，将会大幅减少网卡DSP芯片的实际功率，采用STP的电缆相比较UTP非屏蔽系统可以节约1.5W左右的功耗。针对数据中心解决方案，IEEE 802.3az标准化组织正在开发新一代节能型的10GBase-T方案，功耗将会进一步降低。而10GBase-SR采用多模光纤的方式技术成熟，功率较低，但价格相对更高一些，从当前的应用角度来看，10GBase-SR相对可靠性更高一些。10GBase-SFP++DAC的方式相对性价比不错，但由于DAC电缆两端连接器内包含芯片，实际应用中与各交换机厂家会有兼容性的问题；且支持的传输距离很短，典型长度为7m以下，最长长度不超过15m，管理方面相对不够便利。

端口功耗降低，对建设一个节能型的数据中心贡献是相当大的，从数据中心整体能耗来看，只要端口下降1W的电能消耗，整体机房可以减少由于端口1W下降所省去的空调制冷方面的电力损耗，以及配电系统UPS等各个环节的配套能耗。根据美国数据中心绿色节能组织所统计的结果来看，端口下降1W功耗将带动整体数据中心省下2W～2.8W左右的功耗，这对于动辄达到上万台服务器的云计算数据中心来说，电费成本的节约是十分可观的。

云计算数据中心促使端口应用带宽提升，而支持数据传输的速率越高，单位能耗反而越低，如果我们以Power/Gbps的方式来衡量各等级的传输方式，传输同样的数据量，采用10G方式的单位能耗只相当于1G方式传输能耗的1/4。而美国Stanford大学的一个报告同样也从另一方面反映出了这样一个现象，如图4所示。美国Stanford大学在2006年对根据数据中心的市场规模趋势作了耗电量的统计，而实际上从2006年～2011年数据中心的电能消耗量并没有达到预测中的那么高，由于云计算数据中心近年来采用了大量的虚拟化技术，端口带宽与利用率增加，对单位数据量的电能消耗下降起到了比较大的作用。

图4

3 云计算数据中心采用ToR架构对传统布线的影响

云计算数据中心采用更为简洁的二层网络架构，如图5所示。为了提高单位机柜对整体数据中心的基础设施的利用率，服务器机柜的单柜密度越来越高，设备端口的布线密度非常高，部分云计算数据中心采用定制化的服务器，单柜密度达到了80台服务器，高密度的服务器机柜普遍采用ToR交换机置顶的架构。相比较传统的EOR或MOR网络，ToR的方式有独特的优点，同时也有相应的缺点。从优点来看，ToR的机柜内去除了布线系统的配线空间，可以提高服务器安装的密度；布线在机柜内全部采用跳线，平均长度很短，减少了网络的延时，同时也消除了采用EOR方式大量线缆（高密度机柜单柜可达200根线缆）上行HDA对桥架所形成的压力。显然易见的缺点是ToR方式造成了交换机端口较多的闲置，形成交换机资源浪费，在增加数据中心能耗的同时也增加了设备的维护成本；柜内短跳线方式应对后期业务变化、设备连接模式变更等需求变化缺少弹性；另外即便是即将颁布的数据中心相关标准如TIA 942A等均没有将ToR的方式纳入标准范围。但综合以上的特点分析后可以发现，与传统数据中心不同，云计算数据中心设备移动、变更较少且更关注密度与低延时的要求，对于规模化部署的云计算数据中心来说，ToR优点带来的好处远大于缺点所造成的负面影响。

图5

ToR的方式在云计算数据中心的大量应用已经在实质上影响了布线系统，相关国际国内布线标准中所规定的HDA水平配线区实际上在ToR的架构中已经不再存在，水平配线架与水平线缆已经被省去，取而代之的是短距离的机柜内的光纤或铜缆的跳线。由于每个服务器机柜的置顶交换机都需要上行光缆到MDA主配线区域，服务器上升到10G后，势必要求主干具有40G/100G的升级能力，这个趋势会导致主干布线被大量的MTP/MPO小芯数预连接光缆（如12芯，24芯）所替代，使主干路由光缆数量、主干桥架路由的压力大大增加。从这一方面来看，在云计算数据中心采用ToR架构，使得布线系统光纤应用量在增加，而铜缆的应用总量在缩减。

4 云计算数据中心机柜产业化对布线系统的影响

云计算数据中心应对云的服务通常基于通过互连网提供服务，用户需求的快速增长，有时无法进行精确的预测。为应对快速的用户增长的计算需求，要求云计算数据中心的新建具有快速的响应与部署能力，而传统数据中心从规划建设到正式启用的周期至少要用一到两年。基于云服务的数据中心无法忍受如此长的周期，许多云数据中心直接租用第三方建设的数据中心基础设施，而IT设备安装可以实现快速的实施，我们提到云计算数据中心普遍采用ToR的网络架构使得数据中心中的每一个服务器机柜内部的IT设备都具有较为统一的属性，如图6所示，使得对整体数据中心以机柜为单位的产业化有了基础，而快速实施、快速启用是云计算数据中心的一项重要需求，这些方面都促使云计算数据中心向产业化方向发展。我们这里指的云计算数据中心机柜产业化是指数据中心标准机柜含IT设备以工厂生产类似流水线的统一作业方式所完成整体机柜的安装并以机柜为单位交付。也就是说用户现场安装时，只需要快速安装服务器机柜与主配线区域MDA与核心交换机端的主干布线相连接，服务器机柜内包括置顶交换机以及连接机柜内交换机与服务器的布线系统已经在工厂全部预安装完成，这种快速的安装与启用的产业化方案，可以满足云计算数据中心对数据中心建设周期的挑战。

图6

机柜采用产业化的方式部署促使数据中心现场安装周期大大缩短。举个例子：以500个机柜规模的数据中心从IT设备的安装与调试、布线系统的安装与标识及管理文档资料的提交等工作可以在两周的时间完成全部内容，这是传统数据中心建设所不可能完成的任务。

另一方面，由于数据中心产业化后采用机柜为单位，机柜内的设备之间连接的布线系统将由数据中心机柜提供方在工厂内统一组装，这样导致部分布线产品供应链产生一定的变化，由原先直接工程招投标的性质变成产业化机柜代工厂制订标准进行工厂化采购，这种方式将导致品牌布线厂家在机柜内的布线系统中发挥越来越少的作用，而机柜间的主干布线系统的安装将更多的依赖于预连接光缆系统，这是因为预连接系统同样可以发挥快速安装的能力且支持40G/100G的扩容，符合整体机房快速启用的整体目标。当然云计算数据中心的建设并不会全部采用机柜产业化的方式，这是云数据中心为满足快速建设要求的其中一个发展方向，目前还未达到主流。

5 云计算数据中心采用新布线架构的应用思考

综合布线系统标准产生最初功能是基于两方面的思考：一方面充当IT设备间的高速数据传输的介质；另外一方面是具有对整体系统起到物理管理的作用。当ToR的方式成为云计算数据中心高密度布线的主流方案时，在实际的应用中，布线的管理功能已经被弱化，不能很好地体现布线系统标准中规定的管理要求。在实际云计算数据中心的布线方案中，基于ToR的布线系统也可以进行适当的升级变化，以满足新的IT环境的需要。布线系统结构变化是建立在保证方便管理+充当高效传输介质的基本功能的基础上。布线模型基于ToR的架构上采用新的布线方案，我们可以称为ToR+EOR的融合方案，如图7所示。

布线采用新的ToR+EOR的融合方案相比较单纯的ToR架构，每一列增加了HDA+EDA的区域，此区域的设置将大大增加布线方案的灵活性。从MDA到HDA的主干可以设计大芯数的预连接光缆如48芯、72芯或144芯，一方面有利于提高安装效率，同时大芯数高密度预连接光缆能减少主干桥架压力，可以使单位主干桥架截面承载更高密度与更大范围的数据中心规模。另一方面HDA+EDA区域可以对主干预连接端口设置一部分冗余，后续各个服务器机柜可以采用LC跳线或MTP跳线到各个置顶交换机上行端口，这样的好处是后续如任何服务器机柜有扩容或故障替换，可以对每列进行维护与管理，无需从MDA开始进行长距离替换主干或主干扩容，不仅管理便利，且无需经常打扰主干链路，维护管理相对安全。图8将单纯采用ToR的方案与ToR+EOR融合新布线方案的总体比较，可以参考。

可以看出ToR+EOR的融合方案产生的优势远大于普通ToR的布线结构，且成本的变化很小，对于整体数据中心建设来看，用户基本可以忽略这一部分成本上的变化，因为融合方案所带来的长期价值远大于初期非常小的支出。

图7

图8

6 结束语

近年来云计算受到行业的大量关注并促使了云计算应用的快速发展，基于云的服务与应用模式有了新的创新。而支持云业务快速增长的背后是云计算数据中心的大量启用。云计算数据中心采用虚拟化技术后，大大促进了数据中心的资源利用率，大流量稳定可靠的数据通信也是基于设备端口带宽的不断提升10G应用到服务器端口，40G/100G部署到主干的应用的网络发展脉络已经十分清晰，同时也促进布线系统以MTP预连接光纤系统的需求大幅度增长。而端口采用更高以太网协议的另一个好处是使单位数据传输能耗下降，符合建设绿色节能型数据中心发展的大趋势。云计算数据中心大量采用ToR的架构有利于数据中心产业化方向的发展，同时也改变部分布线系统结构与产业供应链，产业化的数据中心模式大幅缩短数据中心建设周期，与云计算数据中心业务快速增长的需求相协调。针对于云计算数据中心的布线技术标准相对滞后，EOR+ToR的新布线架构的产生与应用，在具备数据中心产业化的同时完善了单纯采用ToR架构相对布线系统管理功能的不足，使其与布线标准中所倡导的结构化布线要求更加吻合。总之云计算数据中心的快速发展与应用从各个方面来看，已经对布线行业产生了影响，同时也导致布线行业分工的进一步细化。