模块化集装箱式数据中心应用浅析

文｜戴尔（中国）有限公司 陈延钧

1 发展背景

随着经济的长期高速发展，信息化程度越来越高，各行业对数据中心的需求量越来越大。20世纪80、90年代以来，各行业经历了不同程度的信息化，开始积累数据中心的规划建设、管理运营经验。进入21世纪，随着经济的更快发展，数据中心进入了扩容、更新的阶段，一批中大规模，甚至超大规模的数据中心开始规划和兴建。特别是随着云计算技术和商务模式的成熟和推广，物联网技术逐步深入应用，数据应用和处理呈爆炸式增长，因而对数据处理的后台——有了更多、更大、更全面的要求，数据中心同时也面临巨大的发展机会和挑战。业界在原数据中心规划建设、运营管理的经验基础上，对规划建设新数据中心和扩容提高原有数据中心，有了更低成本、更高可用性、更快速和灵活部署等要求。业内对数据中心的规划、建设、运营、管理的关注也越来越集中。

图1显示了业务（或数据）需求的增长对数据中心空间、IT设备、制冷设备、供电设备等基础资源要素的增长变化。

由于服务器、交换机等IT设备的物理尺寸小、单体容量小，供电、制冷接口简单，因而其对应业务需求的增长幅度小、频度高，其发展曲线与业务发展曲线最接近。

图1 数据中心业务发展与基础资源要素增长关系

数据中心机房空间增长涉及建筑空间的规划和利用，在业务发展空间需求突破现有机房空间后，需投入新的机房空间以适应业务增长需求，故其对应业务需求的增长幅度大、频度低，其发展曲线比业务发展曲线的裕量大。

数据中心机房电力增长涉及供电电源的申请和相关变压器、高低压设备、线路的敷设，与空间增长类似，在业务发展空间需求突破现有供电容量上限后，需要投入新的供电容量以适应业务增长需求，因而其对应业务需求的增长幅度大、频度低，其发展曲线比业务发展曲线的裕量大。

数据中心机房制冷空调增长涉及与IT设备配套的制冷终端和与数据中心容量对应的制冷主机，在业务发展制冷容量需求突破现有制冷容量后，需要投入新的制冷主机等制冷设备增长需求，而制冷终端可与IT设备同步增长，因而其对应业务需求的增长幅度较大、频度较低，其发展曲线介于空间增长曲线和IT设备增长曲线之间。

由于数据中心基础设施系统投资大，为平衡数据中心的业务快速增长和建设投资的巨大初投资及后期运营成本，有效利用数据中心基础设施资产，数据中心的规划建设开始采用了模块化建设思路。即将数据中心各个功能子系统按前述的与业务发展对应增长，分成若干模块，可根据业务的增长需要，采购和建设相应的模块，避免不必要的浪费，同时方便后期的运营和管理。

2 模块化数据中心发展与应用

模块化数据中心首先根据数据中心功能区对其建筑物理空间进行划分，如IT机房区（包括服务器区、存储区、网络交换区、测试区、机房空调区等）、供电设备区（包括高低压配电区、UPS区、电池区、备用发电机区等）、制冷设备区（包括制冷机组区、水泵区、室外机组区等）、辅助区（办公区、监控区、消防设备区）等。每个功能区都根据业务的扩展计划，分成若干模块，每个模块对应配置相应容量的IT机房区、供电设备区、制冷设备区和辅助区等。根据业务发展，按模块增加和部署相应设备，使之适应数据业务的发展和变化。对数据中心进行模块化规划、建设、运营、管理，进而简化数据中心规划、建设、采购工作，随业务增长而增加投资，降低初投资和运营成本，优化资金利用率。

数据中心中每个模块可根据业务可用性要求，按相应可靠性、可用性等级建设，如TIA 942的TIER1、TIER2、TIER3和TIER4或国标GB 50174-2008的C、B、A级。并且同一数据中心内，不同模块可根据支持的业务属性不同，采用不同可靠性、可用性的配置支持其业务。

如某数据中心根据其业务发展，以800台服务器以及网络设备构成的IT系统为一个模块，每个模块需要大约500kW电力和制冷容量。每个模块需要大约400m2，IT机房区放置100台机柜和机房空调终端；大约100m2供电设备区放置2N冗余配置的供电设备；大约100m2的制冷设备区放置机房空调室外机组。数据中心共有4个模块，分三期建设完成，第一期部署2个模块，第二、三期各部署1个模块。

为便于集中管理，不同模块的供电设备区和制冷设备区，或者IT的网络接入部分，往往靠近布置，减少模块间的互联和简化数据中心内外的接口。如HP公司提出的“蝴蝶”型数据中心，采用标准化、模块化的数据中心设计与建造方式，在按需扩展的同时节省资源。它采用“蝴蝶”型设计，从中央支持区延伸出四个预制模块。中央支持区是网络和安全核心模块，四周围绕四个IT模块，制冷模块则位于每个IT模块的后方，供电模块被安排在IT模块旁边的设施中，每个IT模块需要800kW的供电和制冷容量，一个四模块组成的“蝴蝶”数据中心配置共可提供3.2MW总容量，如图2、3所示。

这种“蝴蝶”型的模块化数据中心的灵活性具有更多的选择余地，可根据应用现场条件包括四种不同的制冷技术、五种不同的UPS配置等，使建设投资与其业务相适应。其能源最优化的设计使数据中心的电源使用效率（PUE）达到了1.18，降低了运营成本。可根据用户的现场实际和业务、运营管理需求来选择适合的配置，实现低TCO。

图2 外形像“蝴蝶”的数据中心图

图3 “蝴蝶”型数据中心分布图

如华南某超级计算中心则是以供电、制冷模块为中央区域。其共分三个模块，所有模块的供电设备和制冷机组设备都布置在一层和地下一层。而机房的2～4层的每一层为一个模块的IT机房区，每个模块可支持一套超级计算机系统即IT模块，且维护、更换和升级在每个模块内进行，互不影响。可保持该超级计算中心在超级计算机行业保持硬件的领先优势，而计算中心的业务不受硬件更替的影响。也可实现根据业务的发展，按需投资。

随着数据中心的快速发展，业务的快速发展对数据中心的快速部署、低成本运行提出了更高的要求。如互联网企业常常面临业务的爆炸式增长，需要其数据中心后台能够适应突增的要求。因而业界对数据中心的模块进一步细分，根据支持的业务单元的最小容量的数据中心基础设施，包括服务器等IT设备、制冷设备、供电设备、监控管理设备等为基本单元或模块，基于最基本模块来简单复制数据中心的基础设施，从而快速灵活部署数据中心或IT网络，以适应业务发展的各种需求。

简单的基本模块有几台或数十台服务器构成的系统为最基本单元，在一个或一列机柜内布置服务器、存储、网络等设备和相应的供电、制冷、监控管理等设备。以一套机柜设备为基本单元对应基本的业务需求，对机柜运行环境要求简单，方便网络部署。广泛应用在办公室、分支机构、生产车间、科研机构等网络应用的终端。

规模基本模块对应较大的基本业务需求，如在大型的数据中心中，以一定数量机柜为最基本单元，承载满足基本业务需求的服务器、交换机等IT设备。每个基本模块中配置几百到数千台服务器构成的IT系统。模块内IT设备运行所需环境制冷、供电和监控管理设备都部署在基本模块内。基本模块对外只有简单的网络、供电、制冷接口，易于在数据中心内部署。由于基本模块对应基本业务单元，可根据业务的发展和变化，以基本模块为硬件单元对数据中心部署和调整。基本模块的容量、设备规模由基本业务单元决定，从而最大程度降低了数据中心基础设施容量的颗粒度。模块中设备基本为工厂预装调试，因而现场工程少，采购界面简单，部署速度快，适应业务快速发展和变化的要求，同时方便数据中心减少Capex和Opex，降低TCO。适用于中大型数据中心，特别是业务发展和变化迅速的数据中心。

3 集装箱式数据中心发展与应用

借鉴在物流行业广泛使用的集装箱，许多厂商、研究者将集装箱和模块化数据中心结合。将设备部署在集装箱内，按集装箱部署数据中心，绝大部分设备都在工厂预装完成，简化数据中心现场工程，同时大大方便物流，加快部署速度。集装箱式数据中心开始部署于军事、科学和高性能计算等领域的应用。可以在自然条件严酷地区，例如沙漠、高原等地区，以及一些难以到达的地方，如石油和天然气的勘探地点、远洋考察船等场合。

将模块化数据中心的基本模块的设备部署在集装箱内，按标准尺寸集装箱（即基本模块）部署数据中心，形成集装箱式模块化数据中心。其绝大部分设备都在工厂预装完成，极大地简化了数据中心现场工程，同时大大方便物流，加快部署速度，降低成本。

集装箱式模块化数据中心在集装箱内部署一定数量机柜，承载满足基本业务需求的服务器、交换机等IT设备。设备运行所需环境制冷、供电、监控管理和消防等设备都部署在集装箱内。集装箱式模块化数据中心对外只有简单的网络、供电及制冷接口。集装箱式模块化数据中心设备基本为工厂预装调试，现场工程少，采购界面简单，物流简单快捷，部署速度快，适应业务快速发展和变化的要求，同时方便数据中心减少Capex和Opex，降低TCO。适用于中大型数据中心或经常移动的数据中心。

集装箱式模块化数据中心常采用物流行业常用集装箱的标准尺寸40尺和20尺。模块中IT设备较少时，可将服务器、交换机等IT设备与供电、制冷设备布置在同一集装箱内，方便中小型数据中心的部署应用。也有将IT设备以及相应机柜、供电、制冷设备布置在同一集装箱内，构成IT集装箱。而将供电设备（不间断供电电源、低压配电设备、备用发电机等）、制冷设备（机房精密空调、制冷机组、水泵等）单独布置在集装箱内，构成供电集装箱、制冷集装箱。根据业务需要部署相应IT集装箱和配套的供电、制冷集装箱，并可根据需要灵活组合，方便中大型数据中心的部署应用。

SUN公司在2006年推出其集装箱式模块化数据中心BlackBox后，引起了行业对集装箱式模块化数据中心的广泛关注，各公司相继推出了自己的产品，同时在行业内得到不少应用。如SGI公司的ICE Cube可在40尺或20尺的集装箱内，部署1万～4万余计算内核以及相应的260kW～1200kW的供电和制冷设备，同时也部署监控管理和消防等设备。每台集装箱式数据中心即可作为一个中型数据中心使用，也可多个集装箱式数据中心共同组成大型数据中心使用。微软芝加哥数据中心放置了50余个集装箱来部署IT设备，每个集装箱内放置了1000～2000台服务器（如图4所示）。谷歌俄勒冈的数据中心采用集装箱模块部署IT设备（如图5所示），每个集装箱拥有1160台服务器，功耗为250kW。

图 4 微软芝加哥数据中心

图 5 谷歌俄勒冈的数据中心

此外，IBM、HP、DELL、Cisco、富士康、浪潮、世纪互联等公司都相继推出了自己的集装箱式模块化数据中心产品；艾默生、施耐德、Active Power等电源、制冷设备厂家也推出了其供电集装箱、制冷集装箱适应市场需求。

在传统的集装箱式数据中心应用的场合，如野外勘探、军事等，集装箱式模块化数据中心由于其现场工程少、物流方便、快捷灵活部署，同样广受欢迎。

集装箱式模块化数据中心设计应用特点：

由于标准集装箱的宽度大约为3.4m，集装箱式模块化数据中心的IT集装箱，通常采用单列机柜或双列机柜的排布方式。因为目前标准机架式服务器深度大约为700mm左右，相应的服务器机柜深度需要1.1～1.2m。考虑到维护空间等，如采用标准机架式服务器，集装箱内只能排布一列服务器机柜。如采用业内适用高密度服务器布置的半深机架式服务器，服务器深度大约为300mm左右，相应的服务器机柜深度只需要0.4～0.6m。考虑到维护空间等，如采用半深机架式服务器，集装箱内可以排布两列机柜。有的产品和应用，需要采用标准机架式服务器和半深式机架式服务器，因而需要在集装箱内单列、双列混合布置。因而集装箱式数据中心的机柜布置形式通常有双列机柜、单列机柜和双列、单列混合三种方式。

集装箱式模块化数据中心内的IT设备根据其功率密度、现场应用条件、能效要求等，可选用水冷、风冷等不同制冷方式。如采用水冷方式，通常集装箱内冷冻水管道和电缆分层布置，冷冻水管在下。由于集装箱内空间较小，通常IT、制冷、供电等设备排列将集装箱内的冷、热空气隔离，提高制冷效率，确保高热密度设备制冷效果。同时集装箱内的保温隔热，避免冷量损失。提高制冷效率，降低数据中心能耗，降低PUE值。

集装箱式模块化数据中心内的IT设备根据其设备特性、功率密度、能效要求等，可选用交流供电、直流供电等不同供电方式。近年来随着高压直流技术的发展和成熟，越来越多的集装箱式模块化数据中心开始采用高压直流方式供电，提高供电效率，降低数据中心能耗，降低PUE值。

集装箱式模块化数据中心为独立的封闭系统，需配置消防灭火系统。需根据其设备特点、现场应用条件等，选用气体灭火、高压水雾，无管网、有管网等不同消防灭火方式。

4 结束语

由于数据中心投资大，为平衡数据中心的业务快速增长和建设、运营的巨大投资成本，有效利用数据中心基础设施资产，适应数据中心快速灵活发展、低成本建设和运营的要求，模块化数据中心开始广为业界接受。而集装箱式模块化数据中心采用数据中心新技术的高效节能，降低PUE，降低运营成本，并进一步简化了数据中心现场工程，同时大大方便物流，极大加快部署速度，降低成本，迅速吸引了业界的注意。

但作为新生事物，模块化数据中心、集装箱式模块化数据中心应用较少，缺乏行业标准，各个厂家和应用的标准不同，限制了产品的大量应用。因而在积累应用、设计、生产经验的基础上，统一应用标准，抓住数据中心市场应用特点变化和需求量大的时机，形成行业应用习惯和标准，实现大量应用，推动模块化数据中心、集装箱式模块化数据中心技术和应用的推广与成熟。

1 钟景华，朱利伟，曹播等.《新一代绿色数据中心的规划与设计》[M]，北京，电子工业出版社，2010.08

2 datacenterknowledge，HP Unveils‘Butterfly’Data Center Design[EB]，2010 年 07月 27日 更 新，http∶//www.datacenterknowledge.com/archives/2010/07/27/hp-unveilsbutterfly-data-center-design/

3 维基百科，Sun Modular Datacenter[EB]，en.wikipedia.org/wiki/Sun_Modular_Datacenter

4 www.sgi.com，ICE Cube[EB]，http∶//www.sgi.com/products/data_center/ice_cube/index.html

5 CSDN，直击全球最大的微软数据中心[EB]，http∶//cloud.csdn.net/a/20110510/297514.html

6 ZOL，揭秘谷歌集装箱数据中心[EB]，http∶//server.zol.com.cn/189/1897363.html