校园绿色数据中心的建设与实践

支 琴 尹惠镜 姚仁忠 上海交通大学

据IDC发布的研究报告显示[1]，2012年中国数据中心数量己达到510 530个，约占全球数据中心的13%，2012至2017年的复合增长率（CAGR）为9.8%，并预测未来5年仍将保持接近两位数的增长。绿色和平的一份报告也预测，到2020年，全球主要IT营运商云计算的能耗将近2万亿kWh，超过德国、法国、加拿大和巴西等4国的能耗总和。而按我国现有数据中心规模统计，其用电量已经占到我国全社会总量的1.5%左右。

随着学校信息化建设的不断深入，校园网建设日趋完善，应用系统也随之日益增多，校园数据中心的数据和规模都持续增长[2]，以上海交通大学闵行校区网络信息中心为例：168个机柜，600多台服务器、网络设备等，配置9台空调，每年总耗电量200万kWh左右；超级计算中心415个节点（其中双路高密度计算节点332个），每节点2*8核IntelXeonE5-2670处理器，DDN存储阵列720TB，水冷空调，每年电费130万kWh左右。

在建设“数字大学”的信息化蓝图的历史进程中，学校的信息化支撑条件和服务水平得到了持续改善提高，然而如何从节能环保的角度，构建科学规划、创新实施和有效管理的现代大学绿色数据中心，对深化落实节约型校园建设具有重要意义，也是学校信息化建设的重要课题。本文从绿色数据中心的构建内涵、技术应用和运营管理等方面阐述了适用于学校校园的绿色数据中心的建设实践，期望对其他学校在绿色数据中心建设方面有所借鉴。

1 校园数据中心的特点

1.1 数据中心概念

数据中心从广义上[3]说是以外包方式让许多网上公司存放它们设备（主要是网站）或数据的地方，是场地出租概念在因特网领域的延伸。数据中心是一整套复杂的设施。它不仅包括计算机系统和其它与之配套的设备（例如通信和存储系统）还包含冗余的数据通信连接、环境控制设备、监控设备以及各种安全装置。

数据中心主要提供主机托管、服务器租用、虚拟主机、云服务器（虚拟机租用）、CDN加速等服务。从功能上数据中心分为部门级、企业级、互联网级、主机托管和云计算数据中心等，从规模上数据中心分为微型（面积小于200㎡）、小型（200～500㎡）、中型（500～2000㎡）和大型（大于2000㎡）。

1.2 校园数据中心的构成

校园数据中心是数字校园的神经中枢，它存放着服务于学校信息化的各类服务器系统，是保证数字校园的各个应用系统稳定、高效运行的基础。普遍意义上来讲校园数据中心主要由机房环境、网络环境、计算资源、集中存储、数据运行环境、安全体系、容灾中心等部分组成。

（1）机房环境。主要指提供防尘防静电的环境、充足持续的电力系统、恒温恒湿的制冷系统、气体灭火消防系统、电子门禁系统、环境监控报警系统；综合布线及机柜系统。

（2）网络环境。主要指在数据中心内部建立冗余的网络链接，当校园网的某一部分出现故障时，数据中心内部的所有数据交换不会因此而中断，保证网络的畅通无阻，并配备及时发现问题的网络监控系统。

（3）计算资源环境。主要指服务器架构的设计必须从整体上进行容量规划，根据应用的需求合理布局，使系统易于扩展性，实现资源共享，避免经费浪费。

（4）集中存储。集中存储是实现数据共享、建立高可用运行环境的关键环节，根据数据访问方式及重要程度采用不同的技术，实现数据集中存储。

（5）数据运行环境，主要涉及数据库管理系统、数据仓库管理系统和数据共享与交换。

（6）安全体系主要分物理安全、审计系统、安全监控系统。校园数据中心要保证各应用系统的安全运行，同时还要保证数据的安全性，因此在系统架构上要充分考虑网络安全和数据安全。

（7）容灾中心建设需要根据学校的实际情况分步进行。数据的丢失可以有很多因素，误操作、磁盘等设备出问题等，都可以导致数据丢失。因此数据备份应是数据中心提供的基本服务。从校园数据中心的角度来讲，不仅要考虑到数据的快速备份、恢复等问题，还要提供应付灾难性的后备与恢复措施。

1.3 校园数据中心的能耗特点

通过对校园数据中心的现场排摸，结合其承担的工作内容，数据中心总能耗主要是用电消耗，其耗电包括IT设备、电源系统、制冷系统和照明等其他设施（如图1）。

图1 校园数据中心的能耗构成

根据校园节能监管体系建设对重点用能建筑分项计量的具体要求以及数据中心设计规范，以上海交通大学闵行校区数据中心为典型案例，采集其分项用电消耗如图2：

从校园数据中心的能耗占比来看，主要消耗来源于对外服务的主体，即IT设备，以及数据中心环境建设的主要内容，即制冷系统。

图2 校园数据中心的能耗占比

2 校园绿色数据中心的建设应用

2.1 技术路线

校园绿色数据中心[2]的概念，主要是指数据机房中的IT系统、机械、照明和电气等能取得最大化的能源效率和最小化的环境影响。其建设需要紧跟学校信息化建设进程，在保证各应用系统稳定、安全、持续运行的前提下，实现各系统的绿色高效运行。这不仅是技术层面的项目改造，对绿色运营也提出了新的要求。因此校园绿色数据中心的建设主要从两方面入手：

1）技术环境建设

根据数据中心能耗结构情况，技术环境的建设可以从防尘防静电、电力系统保障、恒温恒湿制冷系统、综合布局等方面实施。而一般情况下，数据中心的设计均需按照数据中心建设的相关标准进行，如《电子信息系统机房设计规范》（GB50174－2008）、《电子信息系统机房施工及验收规范》（GB50462－2008）、《数据中心通信设施标准》（TIA/EIA-942）等，对防尘、电力系统保障等方面在数据中心规划建设初即需进行整体性的顶层设计，且后期改造空间不大。因此，对于己投入使用的及即将规划建设的校园绿色数据中心，恒温恒湿制冷系统和综合布局设计调整成为改善优化技术环境和建设校园绿色数据中心的突破口。

2）绿色运营管理

随着各项节能技术的广泛应用，数据中心的技术环境建设其实并不难，关键是后期的完善和管理，这也是目前大部分学校在数据中心方面做的不足的地方，因此，实施高效的绿色运营管理对构建绿色数据中心能够起到事半功倍的作用。这也进一步确立了校园绿色数据中心建设的另一有效途径，即在高可用的校园数据中心硬件设施完善的基础上，建立绿色数据中心运行、协调和监管的相应机制，应用科学的、标准化的制度、职能和结构设计，架构并实施一套完整、合理的管理工作规范体系。

以下将以上海交通大学绿色数据中心建设为例介绍校园绿色数据中心的建设应用。

2.2 技术应用

学校数据中心存在热负荷大、湿负荷小的特点，其热点主要在设备端的发热、结构型散热、机房照明等，对不同密度布置的数据中心需采用不同的制冷系统和综合布局设计。

2.2.1 低密度设备布置的节能设计改造

（1）冷热通道隔离

对机柜前导入下送风冷通道和机柜后顶部热通道进行隔离，在机柜未装设备的地方安装盲板，防止冷空气从空隙中流过，从而让冷空气只能通过服务器等IT设备，这样避免发生冷热混风和废热倒灌现象，改变机房环境气流组织和减低冷通道的温度梯度，使冷量的利用率提高,从而改良机柜内的有效制冷效果,最大限度地提高能效。

（2）自然风制冷系统设计

对原下送风精密空调加装乙二醇+水间接自由制冷循环系统，充分利用自然界存在的丰富冷源，降低原空调系统的能耗。 当室内外温度差高于室内设定温度5℃时（此值可以自由设定2～5℃），压缩机制冷；当室外温度低于室内设定温度值大于5℃时，压缩机制冷进入热备份状态，水-乙二醇被室外干冷器冷凝后通过水+乙二醇换热器冷却室内空气，利用室外的低温空气，对设备冷却降温，减少空调压缩机的工作时间，从而达到机房节能降耗的目的。根据机房温度控制标准点24摄氏度的要求，本系统在19℃以下开始进入工作状态。该温度范围贯穿上海市气温环境秋、冬、春三个季节，节能效益明显。

综上所述两项技术的实施，经测算原有的数据中心节能率为13%。

2.2.2 中密度设备布置的节能设计改造

（1）水平送风系统

采用列间精密空调水平前送风后回风方式。缩短了风流路径可减少冷热气流混合的机会，借以提高气流分配的可预测性。预测针对 IT 设备的气流分配可更精确地控制不断变化的气流速度，实现自动调节，以满足就近 IT 负载的需求。可变速风扇只以 IT 负载所需的速度旋转，不会像恒速风扇那样浪费能源。平衡了机柜上下之间的温差，冷量损耗得到降低，提高了单元机柜的载荷密度，同面积同功耗却极大提升了机房的承载力。

（2）热通道隔离

机柜摆放采用背靠背方式。对后顶部热通道进行隔离，在机柜没装设备的地方装上盲板，防止热空气从空隙中流过，从而让空调捕获IT 负载刚刚释放出的热空气，减少其与周围空气混合的机会，这样既避免发生冷热混风和废热倒灌现象，也极大地提高了空调工作效率。

（3）空调外机冷冻水制冷机组和自然冷却单元

冷冻水制冷方式，极大地减少了二氧化碳的排放，还可实现市电停电一段时间内仍有冷量连续输出。方便加载自然冷却单元，在室外温度低于12℃以下时可停止压缩机工作，仅靠大自然提供冷却水对IT负载提供冷量。

当前学校的灾备机房，面积120㎡，设计最大负载能力200kW。当前配备21台IT设备机柜，30kw制冷量列间空调5台。采用上述3项改造技术，相对原传统机房设计节能在20%左右。

2.2.3 高密度设备布置的节能设计

采用液冷密闭机柜系统，即密闭机柜与冷水机组组成的制冷系统，加之自然冷却模块和冗余的变频水泵的使用，其节能效果将更加明显，单柜负载极大地得到提升，也大大降低了IT设备高速运转产生的噪音。据测算，机柜级的制冷方式相对列间的制冷方式节能在40%左右。

当前学校超算中心机房选用了威图的液冷密闭机柜系统,已在正式运行。

2.3 绿色运营管理

绿色数据中心的运营管理需充分建立在“管控结合”的基础上。

（1）加强组织建设、提高专业技术人员配备

对于学校信息中枢的数据中心，必须建立一支强有力的业务与技术兼备的管理团队实施管理，以实现数据中心的高可靠运行。管理团队除了对机房数据、运行配套等非常熟悉之外，还需对数据技术的应用比较精通。同时，在人员配备上要考虑用不同层次的人员，完成不同的任务，明确每个角色的职责，在建设初期、正式运行及交付运行的全生命周期建立各类工作规范，并严格执行。

（2）统筹规划设计、严把设备采购关口

绿色数据中心规划时要考虑综合使用、管理、运维，按照学校数据中心增长预测和技术情况对数据中心进行统一规划，采用模块化设计，根据运维情况分步启用相应模块以及配置相应设备。同时，IT产品的采购，能耗作为其中一个重要指标，设备按需采购，根据业务增长和安全管理要求设置和一定冗余量。

（3）优化数据资源、加强设备管理

采用数据技术对庞大数据资源的优化配置是实现运营的有效手段。如当前比较流行的虚拟化技术和云技术，可以大大提升能效。另一方面，须对耗能设备实施高效的设备管理。如对服务器可采用自动休眠技术，降低待机能耗；对IT设备实行定期评估，对低能效设备实行下线或迁移；对UPS及电池定期维护、定期放电，延长电池寿命的同时提高电源效率；对制冷系统实行定期维护、定期冲洗。

（4）实施机房能耗监测、提高管理能效

数据机房能耗是数据中心绿色化首要考量的指标，因此，数据机房的能耗监测势在必行。对数据中心包含的各个方面须单独计量，如制冷系统、照明系统、IT设备等的分项计量，测算数据中心相关能耗评价值。目前用的较多有：PUE值（数据中心消耗的能源与负载能耗的能源之比）和CLF值（制冷与供电负载系数）是否在有效控制范围内。除了能耗评价外，对能耗的监测也是实现管理的自动化，降低人力投入成本的同时，提高了管理的质量和效率。

3 结语

如今中国是目前唯一一个拥有最多超大型数据中心项目的国家，同时也是增长最快的数据中心市场，学校信息化的进程已经进入高速发展阶段，这不仅得益于信息技术创新应用，而且也是教育事业发展的必然结果。上海交通大学网络信息中心承担着中国教育和科研计算机网络（Cernet）华东南地区网、上海教育与科研计算机网（Shernet）和上海交通大学校园网（SJTUnet）的建设、学校各类信息系统建设。对不同规模及配置的数据机房实行相应的技术环境探索应用，并建立了相应的绿色运营管理体系，在保障数据中心安全、持续、稳定运行的同时，有效降低成本，提高了能效，建立并实施校园绿色数据中心建设的示范。

[1]IDC：http://www.idc.com.cn/about/press.jsp?id=NzU0. 2013；

[2] 谷立静，周伏秋，孟辉.我国数据中心能耗及能效水平研究.中国能源[J]，2010（11）：42-45；

[3] 陈希楠.高校绿色数据中心的建设与管理.软件导刊[J]，2012（8）：138-140。