整机柜定制化服务器应用实践研究

梁焱瑞，雷 鸣，刘 玲，曹原铭，刘 芹

（中国移动通信集团设计院有限公司，北京 100080）

0 引 言

5G时代的到来加速了云计算、大数据、物联网及人工智能等新技术的发展，各类业务对数据中心计算能力的需求随之增长。针对服务器定制优化方案一直备受互联网和电信行业的关注。整机柜定制化服务器在机柜层面统一了服务器的硬件设计方案，具有更高的集成度和更低的平均能耗，近年来已经广泛应用部署在互联网和电信行业。

1 整机柜定制化服务器现状

服务器定制化的目标是降低单位计算能力的TCO（总体拥有成本），缩短项目建设周期，提升后期运维效率。从定制化深度看，它主要分为配置定制和设计定制两大类别。配置定制提出定制的一般技术要求包括CPU类型、内存和硬盘容量、网络端口以及预留插槽等。设计定制对服务器的硬件设计和关键器件选型方案提出了定制要求，包括机箱尺寸和结构、节点配置、布局和接口、风扇电源等。

1.1 整机柜服务器概念

整机柜定制化服务器是在面向应用的配置定制基础上，对服务器硬件进行优化设计，以进一步促进节能、提高密度、提升部署和运维效率。机柜中通常包括服务器节点、集中的供电和散热系统、架顶网络交换机（TOR）和网络连接以及集中的管理系统乃至预先部署好的软件系统等。

整机柜服务器通常由机柜系统、供电系统和散热系统组成[1]。机柜系统模块是整机柜服务器的结构载体，通过标准化设计能够兼容各类服务器或交换机节点；供电系统采用集中Busbar供电方式，采用标准的接口和总线设计，具备节点形态的兼容性，提高电源的供电效率；散热系统采取风扇墙的方式对服务器进行集中散热，从而提高服务器的散热效率。

1.2 天蝎计划

整机柜服务器有多种不同的具体方案，目前在国内市场应用最广的是ODCC（开放数据中心委员会）的“天蝎计划”整机柜服务器方案。“天蝎计划”由BAT发起，中国电信、中国移动联合参与定制，采用集中供电、集中散热、集中管理、高密度设计思路。相对于普通机架式服务器，它的部署效率最高可提升10倍，降低能耗10%以上，有效降低了采购和运维的TCO。

2 整机柜服务器应用部署分析

2.1 整机柜优势分析

该工程为整机柜试点应用部署的项目。在整个工程实施过程中，整机柜服务器体现出了高密度、快速部署、工程设计便捷和部署整洁美观等优势。

（1）单台服务器功耗：整机柜服务器单台运行功耗为199 W，普通服务器单位运营功耗为234 W，整机柜服务器较普通服务器单台功耗低15%；

（2）机房空间利用率：IDC1机房110个整机柜内共部署1 760台虚拟化服务器和440台分布式服务器，IDC2机房设计方案为单机架内安装18台虚拟化服务器或15台分布式服务器，如部署相同数量服务器需要123个机柜，机房空间利用率整机柜服务器较普通服务器节约11%；

（3）机架用电利用率：IDC1机房单机架实际运行功耗3.9 kW，IDC2机房单机架实际运行功耗3.1 kW，IDC1机房较IDC2机房的单机架用电利用率提升约25%。

由分析可知，整机柜服务器在空间密度、能耗利用率、部署效率以及设计便捷性上，相对于传统服务器均表现出明显优势。

2.2 整机柜部署实施相关问题

整机柜的交付模式与传统服务器、交换机等IT设备与机柜完全解耦的交付方式不同，决定了其相对特殊的技术要求和部署实施环境要求。本项目机房基础设施及相关配套前期已按普通机架服务器建设，导致整机柜服务器部署时遇到一些问题。本工程机房环境原针对普通数据中心机房采用“下送风+冷通道封闭”制冷方式，机房采用架空地板，无法满足整机柜承重要求。为了防止地板因承重损坏，需要将工厂内组装好节点的整机柜机房外拆除节点后，机柜、节点分别搬运至安装位置再进行组装。同时，机房入口有3 m的13.5°坡道，坡道搬运时即使仅剩空机架，仍需要多人才能推动。机柜就位后，还需要增加散力承重底座。由于拆除滚轮后整机柜高度变化，带来列头柜高度、ODF高度、机房其他配套设备高度的相应调整。一是为了机房高度保持一致美观，二是冷通道封闭时保证封闭效果。

3 整机柜服务器应用部署优化建议

3.1 方案设计优化建议

3.1.1 服务器节点

建议单机柜仍采用20节点/柜的配置方案，有利于后期数据中心网络接入与规划。针对虚拟化等计算密集型整机柜，可考虑采用1U2节点提高服务器密度至30～40节点/柜，但需同步考虑机房的供电、承重、制冷以及架内线缆过多带来的布线解决方案[2]。

3.1.2 接入交换机

基于天蝎项目的整机柜设备包含提供网络模块（接入层交换机TOR），但由于目前数据中心网络方案多采用SDN组网方式，接入交换机通常跟随SDN网络方案进行另行采购，因此常出现接入交换机需要现场单独安装、布线的问题。建议后续在确保SDN方案兼容性的前提下，由整机柜服务器提供商统一提供接入交换机。需要另行采购的，可以提前在机柜出厂前提前进行电源、业务线缆预布放，机柜到场后仅进行设备上架连接。

3.2 机房配套优化建议

整机柜定制化服务器对于机房配套条件要求较高，结合本次部署经验，机房配套建议如下。

3.2.1 承重要求

整机柜交付方案中，服务器已经在架内安装完毕。由于服务器事先装架，整个机柜重量较大（720～1 000 kg），搬运过程中搬运通道、坡度、地板等均需考虑承重要求。从此次实际部署情况看，建议后续相关机房搬运通道无坡道、无门槛。建议直接采用防静电胶地面，通过地面保护后，可直接将整机柜运输至指定机架位。对于不满足搬运条件的机房，可以采取柜体与模块化部件拆分，然后在机房现场安装部署的方式进行服务器上架。

3.2.2 机柜固定

建议参考互联网公司机柜固定的方式，采用机房L型底座前部固定方式进行整机柜固定。这种固定方式不用拆卸滚轮和水平支撑件，可以自由移动，直接推入固定，部署实施方便，安装简单易行。

4 结 论

本文通过梳理总结实际工程中整机柜定制化服务器的安装部署情况，对比分析了整机柜定制化服务器与传统服务器的优势，进一步针对工程的实施情况总结了整机柜定制化服务器在部署实施方面的相关问题。