数据中心ToR架构下布线系统的应用

文｜莫氏商贸（上海）有限公司 周 炜

数据中心ToR架构是近年来新出现的网络架构。在云计算、虚拟化等技术的大规模应用下，ToR架构的高密度、易管理等特性充分的发挥出来，已经被越来越多的数据中心所采用。过去传统架构下，服务器通过水平线缆连接到列头柜，通过列头柜配线接入到接入层交换机。ToR架构则是在每个机柜或每几个机柜内部署接入层交换机，服务器就近采用跳线连接接入层交换机。随着网络架构的变化导致布线的类型和密度都发生了很大的变化，因此采用ToR架构以后，布线系统也需要采用不同的解决方案。如图1所示。

图1

过去传统的数据中心因为受到单机柜配电、散热等因素的影响，所以在单个机柜内安装的服务器数量受到限制，如果采用ToR架构，则会浪费大量交换机端口。现在一些加强风冷散热的解决方案，甚至是水冷都已经被应用在数据中心中。目前在国内有一些新建的金融行业数据中心就采用了水冷机柜的解决方案。采用水冷可以将机柜的容量提高到30kW甚至更高，所以在单机柜内容纳更多的服务器。如果在单机柜内存在30个以上的服务器节点，可以想象若采用传统的EDA-HDA连接方式，单个EDA至少会有90～120根线缆需要连接到HDA列头柜，如果1个列头柜管理8台EDA，列头柜会有800～1000根左右的线缆连接，这种方式超过了单个机柜的配线容纳能力，但非常的不经济。所以在高密度服务器节点的应用下，采用ToR架构就比较经济，管理起来也方便。ToR架构下相比EDA-HDA方式，布线系统的应用也发生了相应的变化，主要体现在服务器节点到接入交换机的连接采用跳线直连。当然视应用情况，接入交换机到核心网络间也可能采用不同的解决方案。如图2所示。

图2

同样的ToR架构，布线系统也有不同的解决方案。我们举例来说，在ToR架构下，从服务器节点到接入交换机之间都是采用跳线来解决，所以不管哪种解决方案，这里总是采用跳线连接；不同的解决方案，主要变化在于接入交换机上行到核心的链路。

方案一，光纤跳线直连

在一些对于成本控制要求比较高，但是单个机柜节点数又比较多的数据中心中，可以采用这样的方案。从接入交换机到核心交换机之间，采用光跳线直接连接，该方案的优点是：成本最低。但是缺点也很明显：管理麻烦，因为所有的连接都是光跳线，所以管理起来会比较零乱；另外这种方案一般只适用于核心与接入交换机在同一个机房内的情况，因为光跳线对于光纤的保护比较弱，所以如果需要跨机房连接，甚至是跨楼层连接，那这样的方式可靠性不高，反而影响数据中心网络连接的安全性。数据中心的布线系统需要使用10年甚至更长的时间，或者存在多个机房的连接，一般不推荐采用这种解决方案。

方案二，光纤跳线+汇聚干线光缆

有些数据中心存在多个机房，甚至机房分布在多个楼层里。在这样的情况下，可以采用光纤跳线+汇聚干线光缆的解决方案。在每列机柜或每几列机柜设置汇聚节点，部署高密度光纤配线架，接入层交换机采用跳线连接到配线架，通过配线架配接到大芯数的干线光缆上，通过大芯数光缆连接到MDA的高密度光纤配线架，再跳接到核心交换机上。采用这种方式的连接，成本比跳线直连的方式要高一些，安全性提高了很多，跳线仅用于列内或不是很长的跨列连接。相比第一种方案，风险要低了很多，同时配线管理也方便，可以在汇聚节点或MDA上进行管理。但是汇聚节点——接入交换机之间仍然采用光纤跳线，所以仍有一定的风险。所以这样的方案一般推荐应用于对网络连接可靠性要求不是特别高的应用。

方案三，小芯数光缆连接

对于网络连接可靠性要求比较高的场合。可以采用从接入交换机到核心交换机均采用光缆连接的解决方案。在每组接入交换机上方安装光纤配线架，接入交换机通过光纤跳线在柜内连接光纤配线架，通过光纤配线架，转接到小芯数（一般12芯居多）光缆上；通过光缆连接到MDA的高密度光纤配线架，再通过光纤跳线连接到核心交换机。采用这种解决方案比方案二更可靠、安全，但是成本也要高一些，此方案一般适用于机柜数量不是很多的数据中心。如果机柜数量较多，会有大量的光缆需要铺设，占用桥架和管线的空间都比较多，所以这种方案一般推荐在机柜数量不多，但是安全性要求又比较高的数据中心中应用。

方案四，小芯数光缆+汇聚大芯数干线光缆

如果对于安全性要求较高，但是机柜数量又很多，如果全部采用小芯数光缆连接对于桥架空间要求太大，可以采用小芯数光缆+汇聚大芯数干线光缆的解决方案。在每组接入交换机上方安装光纤配线架，接入交换机通过光纤跳线在柜内连接光纤配线架，通过光纤配线架转接到小芯数（一般12芯居多）光缆上；在每列或者每几列设置汇聚点，汇聚点部署高密度光纤配线架，小芯数的光缆在汇聚点通过配线架转接到大芯数的干线光缆。干线光缆连接到MDA高密度光纤配线架，再通过光纤跳线连接到核心交换机。采用这种方式，干线光缆的直径很小，一根144芯的光缆直径也只有15mm，所以对于桥架和跨楼层走线的压力就小了很多。所以在比较大型的数据中心中，机柜数量多、服务器密度大的场合，可以推荐采用这种方式，但是这种方案的缺点是成本比较高。如图3所示。

图3

当然，具体采用哪种解决方案需要根据实际情况来选择，并且综合多种因素来考虑。虽然在ToR方式下，接入交换机到核心交换机的连接都是通过跳线完成的，但是可以采用不同的解决方案。在千兆网络下，目前比较普遍的连接都是采用RJ45-RJ45的双绞线跳线来实现。目前1000Base-T 的端口成本和功耗都已经控制的比较好，成本低，功耗也不高，所以应用非常广泛。但是对于10GBase-T的网络，目前端口类型的选择就比较多。在ToR架构下，常用 的 有 10GBase-CX4、10GBase-SR、10GBase-T等多种类型的标准，也有RJ45、SFP+ 等不同类型的接口。目前根据Intel的统计，采用10GBase-CX4标准的DAC（Direct Attach Cables）方式比较多。DAC采用SFP+至SFP+ 铜缆连接组件的方式，具有成本低、功耗低、安全可靠的优点。从成本上看，相比10GBase-SR光纤连接，DAC不需要光电转换，相比10GBase-T不需要高性能的DSP芯片（用于NEXT、FEXT、RL、ILI等干扰的抑制处理），所以成本只有10GBase-SR的一半甚至更低，比10GBase-T便宜约20%～30%。从功耗上看DAC与10GBase-SR基本持平，只有10GBase-T的一半左右，因为10GBase-T的DSP芯片的功耗是比较高的。DAC的缺点是标准只支持7m以下的连接，但是在ToR的架构下，7m的长度已经足够，所以DAC的连接方式会有比较广泛的应用。当然，随着10GBase-T 芯片成本和功耗的逐步降低，10GBase-T的方式也将会成为主流的应用方式。根据Intel的预测，2013年以后10GBase-T与DAC的应用数量将基本持平。

综合来看，ToR架构于传统的EDA-HDAMDA发生了不小的变化，也使得综合布线的产品、应用及解决方案都发生了一定的变化。但是具体使用哪种方案，需要结合实际情况、预算、使用的习惯等综合因素来决定。