面向绿色数据中心的储能系统：体系结构和管理方法

叶 冉 李 超 梁晓峣

（上海交通大学计算机科学与工程系 上海 200240）（lichao＠cs．sjtu．edu．cn）

面向绿色数据中心的储能系统：体系结构和管理方法

叶 冉 李 超 梁晓峣

（上海交通大学计算机科学与工程系 上海 200240）（lichao＠cs．sjtu．edu．cn）

如今的数据中心严重受限于其功耗预算和碳排放配额．面对与日俱增的能耗开支和节能减排压力，学术界和工业界不约而同地开始关注非传统的绿色数据中心设计．最近，能源存储设备（energy storage system，ESS）逐渐成为数据中心中一种新兴的关键使能元件，它能够极大提升数据中心的能效和可持续性．一方面，ESS使得数据中心可以通过削减由不规则负载带来的短暂峰值功耗来降低运营成本；另一方面，它还能够方便新能源在数据中心中的融合，从而极大降低对环境的不良影响．介绍ESS在新型数据中心设计中的系统结构，并重点分析了ESS在管理功耗尖峰和供电波动两大方面发挥的重要作用．对比多项前沿研究并探讨ESS的关键设计点如成本、能效、可靠性等，同时分析了ESS未来发展所面临的其他机遇和挑战．

储能设备；绿色数据中心；新能源；峰值负载；功耗管理

云计算服务和大数据应用的推广促进了数据中心的快速发展．一方面，数据中心服务器的各项配置不断纵向提升（scale－up），使其单个节点的计算性能得以提高；另一方面，数据中心服务器的装机容量呈现横向扩张（scale－out）态势，大规模服务器集群不断涌现．然而，由于当今服务器的能效提升速度显著低于期望值，强大运算能力的背后是快速攀升的电力需求［1］．在美国，2011年数据中心消耗的能源占其电网总量的2%［2］；同年，我国数据中心总耗电量达到700亿千瓦时，占全国总耗电量的5%［3］．根据美国环境保护署的报告显示，全球服务器的能源消耗预计每5年翻一番．到2020年，数据中心消耗的电力或将达到世界发电功率总和的8%［4］．

高能耗问题首先影响着数据中心的整体拥有成本（total cost of ownership，TCO）．数据中心的整体拥有成本包括初期资本投入（capital expenditure，CapEx）和后期运营费用（operating expenditure，OpEx）．传统数据中心为满足极端情况下峰值负载的需要，通常会以远高于平均功耗需求的标准来配置供电传输设备，即“过供给”（over－provisioning）．由于数据中心通常情况下很少运行在峰值负荷［5］，过供给事实上造成了供电设备资源的浪费．考虑到供电设备成本大约在10～25美元每瓦特容量［6］，过供给会极大地增加数据中心的初期资本投入．在随后的运营过程中，数据中心面临的高额电费也不容忽视，据知名研究机构Gartner指出，数据中心电费可达到数据中心整体拥有成本的12%～19%［7－8］，仅次于服务器和供电制冷设备的资本投入．以上海超算中心为例，其一年的电费成本可超400万元［9］．除去电能费用，大型工业用电客户还面临一项功耗需求费（demand charge）．以美国东南部为例，该费用一般在10～20美元每千瓦不等．对于一个平均利用率仅30%左右的兆瓦级数据中心而言，运营商不得不每年额外支付数十万美元．

此外，数据中心庞大的能耗需求所引发的间接污染也开始为人诟病．公用电网发电主要依赖化石燃料，如煤．伴随化石燃料的燃烧是大量温室气体的排放．因此，基于传统电网供电的数据中心设计不可避免地导致了碳排放增加．据知名研究机构Gartner调查，IT行业目前的二氧化碳排放量约为3 500万吨，占全球总排放量的2%［10］．数据中心是IT行业碳排放的大户，仅美国数据中心的二氧化碳年排放量就超过了荷兰全国的二氧化碳年排放量［11］．伴随着数据中心的扩张，其对生态环境的压力与日俱增．

面对全球对发展经济环保型信息技术的迫切需求，“绿色数据中心”作为一种新型数据中心设计模式开始受到人们的关注．一方面，该模式注重提升基础设施（主要包括IT设备和供电设备）的利用率以最大化经济效益；另一方面，绿色数据中心强调通过融合计算机系统和新能源系统（如风能、太阳能、生物质能等）来缓解能源危机和实现绿色低碳．近年来，许多知名公司如微软、IBM、Google和Apple等都开始把探索绿色数据中心作为企业的一项长期战略目标，并积极尝试把相关技术用于实践．

在设计绿色数据中心过程中，储能系统（energy storage system，ESS）的重要性不容忽视．在过去几十年中，储能系统一般以中央式非间断电源（uninterruptible power supply，UPS）的形式存在于数据中心中．它们一般仅在供电异常时作为应急电源使用，为备用柴油发电机的预热提供短暂的缓冲时间．然而近几年储能系统的结构和管理方式发生了较大的变化，它们不但由应急供电设备（极少使用）转变为主动参与到功耗管理的能源缓存设备（较频繁使用），还开始以分布式、小容量、大规模的形式集成到服务器周边来［12－14］．

具体来说，储能系统在新型数据中心设计中发挥着两方面关键作用：1）储能设备可以用来管理数据中心中偶尔发生的峰值负载．面对峰值负载带来的功耗尖峰，ESS作为能源缓存可以提供削峰的功能，从而减轻数据中心对过供给的依赖；这有助于数据中心设计者达到削减建设成本的目的．2）储能设备可以管理电源波动．ESS能够改善可再生能源输出的不稳定性，从而极大地方便数据中心利用输出功率随环境变化的风能和太阳能．对于以本地绿色能源为主要电源的数据中心，ESS能适时地吸收多余的可再生能源发电，并在可再生能源间歇性不足的时候放电以弥补供电缺口．这样一来，绿色数据中心可以保护敏感的服务器负载不因供电不稳而停机．

储能设备作为联系供电系统和信息系统的纽带将变得尤其重要．随着ESS在未来绿色数据中心中集成规模的增长和使用频率的增加，其体系结构和管理机制将在一定程度上影响数据中心整体设计能够达到的高度．举例来说，面对大数据应用和智能电网技术的快速发展，数据中心必须能够应对新兴负载和新能源电力的复杂性与多变性，从而既能满足服务器供电需要，还能在频繁随机的充放电下保持较高储能设备的可用性和使用寿命．总之，在未来跳过ESS来谈功耗管理将愈发难以满足数据中心对效能的需求．若不加以足够重视，储能设备将会成为绿色数据中心设计中的性能瓶颈乃至“阿喀琉斯之踵”，极大地影响到数据中心的运营安全和经济效益．

本文综合整理了近年来具有代表性的绿色数据中心功耗管理技术和设计方法，并着重对储能系统这一关键使能模块进行了探讨．本文从负载管理和电源管理两方面分析了储能设备的重要作用，旨在加深对其体系结构和管理方法的理解．

1 数据中心供电系统背景

数据中心对电源供给的可靠性和可用性有较高的要求．即便几分钟的服务器停机也可能造成上千万美元的业务损失．具统计，美国电网断电时间在5min以上的可达50%以上［15］．一个高可用性的数据中心为避免供电异常造成的经济损失，往往不惜配置冗余的供电设备．目前数据中心多采用分层冗余式供电系统，以保证数据中心各级供电设备的可靠性．数据中心的分层冗余式供电系统一般从电源供给、储能备份、电力分配3个方面进行设计和优化．

在电源供给方面，采用多个主电源是较常用的设计方法．如图1所示，一些高可用性的商业数据中心能够同时从两个市电供电站取电．此外，它们还会同时配备大容量的本地柴油发电机组以应对偶尔的长时间断电．当公用电网电力异常时，基于机械电子装置（一般是大型继电器）的自动电力切换单元（automatic transfer switch，ATS）能够在较短时间内把数据中心电源由电网切换至本地柴油发电机组；当主电网恢复正常时，ATS又可自动切换至电网供电．

Fig．1 Hierarchical power delivery system in data centers．图1 数据中心层次化供电系统

储能元件位于主电源设备的下游，在数据中心中同样发挥着关键的作用．由于设备需要一定的启动时间（往往需要几分钟），柴油发电机组并不能应对突发性的电网断电．在发电机预热过程中，数据中心需要借助能够快速放电的储能元件来提供短时间的电能供给．这类储能元件一般以不间断电源UPS的形式安装在电力切换装置ATS和电力分配单元（power distribution unit，PDU）之间．一旦主电源设备出现异常，UPS可以提供应急电力．考虑到UPS也存在失效的风险，一些数据中心同时预备了冗余的UPS系统．在图1中，STS（statistic transfer switch）是借助电力电子元件进行静态电力切换的装置，具有速度快、功率大、可靠性高等优点，因此适用于储能元件间的切换．借助STS数据中心可以实现冗余UPS系统的集成．

电力由主电源经过数据中心储能设备后将主要由PDU实施各个服务器间用电的分配．PDU内一般配置变压器，可以对电力进行降压．在北美，数据中心PDU可以把480?277V三相电转换为208?120V的单相电．PDU的电力输出可以直接供电给服务器机柜，也可以经过远程供电板（remote power panel，RPP）将电力进一步输送到服务器．RPP和PDU作用类似，只不过体积小且不具备内部变压器．在数据中心中，PDU往往会按照额定功率的1．5～3倍配置，以预留额外的供电容量．通过改进PDU与服务器间的拓扑连接，数据中心可以在PDU层面实现较高的可靠性．举例来说，当某服务器机柜连接的PDU出现故障，其余PDU单元由于具备额外容量可以为该机柜备用电力．Power Routing技术能够借助不同的拓扑结构实现对PDU预留容量的动态调度［16］．

最后，当电力经由PDU输送至各个服务器机架时，数据中心还可以通过更细粒度的分配来提升可靠性．一个典型的例子就是双电缆（dual－corded）服务器的应用．这种服务器具有2个供电单元（power supply unit，PSU），可以同时从2个电缆汲取同样的电力．这样，即使在服务器端有一个供电单元出现故障，服务器依然可以平稳地过渡到另一个供电单元而不至于停机．但是，PSU的能效随着负载降低而变差［17］．由于双电缆供电模式下每个PSU平均承担负载，服务器可能会面对一定程度的能效降低．

Fig．2 Comparison of energy storage system topologies．图2 储能系统拓扑结构对比

2 数据中心中的储能系统架构

储能设备长久以来是数据中心供电系统当中重要的组成部分．储能设备在传统数据中心的主要存在形式是非间断电源UPS．大多数UPS采用铅酸电池（lead－acid battery）作为储能元件．据估计，工业上铅酸电池的份额可达到97%［18］．

当代数据中心采用铅酸电池是因为它具有技术成熟、价格低廉、维护方便的特点．此外，许多供应商还提供标准化的电池柜模块，电池柜模块可以被串并联架设从而实现方便的配置和更换．当前大多供应商还提供鼓励性举措包括电池回收（100%可回收），前提是数据中心购买其UPS设备．

在传统设计中，储能设备多采取中央式集成的方式存在于数据中心当中．近年来随着数据中心的发展和特殊电源管理模式的需要，分布式储能设备逐渐兴起．图2对比了2种储能系统的设计架构：

2．1 中央式储能设备

中央集中式的储能设备从系统结构角度来看主要有2个缺点：1）扩展性差．中央储能一般在建设初期采取一次到位的设计方法，不便于扩展．此外这种设计初期资本投入也较高．2）可靠性差．中央式UPS系统对于数据中心整体来说会造成单点故障（single point of failure，SPOF）．一旦发生异常，其影响的范围将波及整个数据中心的服务器．

从电源管理的角度来看，中央式储能设备同样有2个问题：1）能效低．传统UPS系统内部的储能元件一般以双重转换（double－conversion）的模式集成在数据中心供电通路上．在这种情况下，来自电网的交流电先转换为直流电为电池供电，然后电池的直流电输出再被转换为交流电提供给下级负载．这种设计虽然有利于提升供电质量（power quality），但反复的转换会带来大约10%的电能损失．2）灵活度差．UPS电池采取一种非0即1的二元运行模式：UPS全部待机备用（即完全不放电）或者承担整个数据中心的负载（即最大电流放电）．这种运行模式是作为整体备用电源而存在的，并不能用来动态管理和协调数据中心中某一部分负载的功耗．

2．2 分布式储能设备

分布式储能设备的主要思想和初衷是降低传统中央式UPS在双重转换过程中面临的低能耗问题．在微软最近针对本地能源模块（local energy storage，LES）的设计中表明，分布式储能设备有望提升15%的数据中心能效量值PUE（power usage effectiveness），并降低设计成本．在一项日立公司的研究中，研究人员对比了不同的服务器供电模式，并探讨了服务器直流供电的优势［19］．这项研究分析了中央式的电池系统和分布式的电池系统，中央式系统采用了铅酸电池，而服务器级的细粒度集成则采用了锂电池．研究显示，分布式的电池系统可以将整体能效提升至92%．

分布式储能设备的应用最先由工业界发起．Google的硬件工程师早在2009年就尝试在每个服务器上安装12V的电池来应对服务器级的电力故障和提升供电能效［20］．该分布式储能系统的设计主要通过自主定制的主板完成，每个服务器都配备有本地的小容量铅酸电池单元和电源管理模块．

得益于开源硬件项目Open Compute，分布式储能设备逐渐受到业界关注．该项目是社交网络巨头Facebook为提升互联网数据中心的能效而推出的．文献［21］介绍了Facebook自主定制的服务器机柜和分布式电池组的初始设计标准．图3描绘了2种设计方法：粗粒度集成V1和细粒度集成V2．具体来说，在V1系统架构下，数据中心每个服务器机柜三元组（triplet）都将连接一个本地备用电池柜，该电池柜输出24V直流电并直接连接到服务器机架内的直流供电导轨上．每台服务器的供电单元PSU都是自主定制的，可以同时连接直流电导轨和来自市电的交流电导轨．在V2系统架构下，数据中心每个机柜的电源架上安装了嵌入式的电池备份单元（battery backup unit），每个电池备份单元由高密度的锂电池组成．虽然这种细粒度的电池集成方案比较昂贵，但对于节省数据中心有限的空间是有一定益处的．在V1和V2两种架构下，电池组能为服务器满负载提供大约45s的备份时间．

Fig．3 Two typical distributed ESS architectures．图3 两类典型的分布式储能系统

2．3 储能设备架构选择

随着服务器能耗的不断攀升，数据中心开始需要借助储能设备来降低整体电力成本和碳排放足迹．具体途径主要有2点：借助储能设备来削除峰值用电，以及借助储能设备来集成本地新能源．在这2个应用场景中，分布式储能设备因为其比较好的扩展性而备受关注．这是因为数据中心能够根据服务器的用电需要而阶梯式地扩展其储能单元容量．此外，分布式储能设备还提供更细粒度的电源管理能力，因而能够用来削除数据中心的短小功耗尖峰或者为数据中心在服务器机架层面引入小规模新能源供电．

事实上，分布式储能架构也有其缺点．在分布式储能架构中，系统需要获取所有的储能设备的状态以及设备功耗需求情况，因此增加了数据中心内部的通信负担．此外，数据中心的空间资源很宝贵，分布式储能单元占据了本可以放置服务器设备的空间．在中央式设备设计中，数据中心可将储能设备集中放置在数据中心外部（如地下室），从而可以一定程度上降低建造成本．因此，具体采用何种类型的储能设备架构应当因地制宜，根据数据中心的规模、土地价格、市电价格、能源类型等情况做出合适的选择．

3 储能设备动态应用：负载削峰

3．1 应用背景

峰值功耗是指数据中心的最大功耗需求值．峰值功耗对于数据中心的建造成本和运营成本有着较大的影响．设计和建造数据中心的资本投入（CapEx）被数据中心的峰值功耗直接影响．数据中心不间断供电设备的规模、备用发电机的发电能力、电力转换设备的配置都受到峰值功耗的影响．峰值功耗越大，这些设备的额定容量也越大，其购买费用就越高，会加大数据中心的初期资本投入．

传统数据中心对基础设施（包括服务器和供电设备）的利用率较低．这是因为数据中心的负载是随时间动态变化的，真正达到峰值功耗的概率很低．据统计，Google数据中心总功耗需求超过峰值功耗的90%的时间不超过其运行总时间的1%［22］．但为了应对极端条件下的峰值负载，多数数据中心还是按照峰值负载和额定功率来配置供电设备，即便多数情况下这些设备处于闲置状态，这造成了极大的浪费．

尽管数据中心在建造初期对供电设备采取了“过供给”，在经过一段时间的服务器扩张后，服务器的峰值负载还是会超过其设计的供电容量．这是因为云时代许多数据中心开始增加其所有的服务器数目以提升计算能力．然而事实上此时的数据中心并没有达到饱和，而仅仅是峰值负载超出预期，其平均负载依然很低（比如60%）．从最大化利用已有供电设施角度来看，数据中心依然有增加服务器数目的潜力．但是峰值情况下的超载阻碍了数据中心的进一步扩张．通常使用的功耗限制技术（power capping）如性能牵制（performance throttling）并不能有效抑制服务器超载，反而会降低用户使用体验．升级数据中心的供电设备极其昂贵，且需要的建设时间也较长，因此是数据中心设计中的下策．

另一方面，峰值功耗还直接影响数据中心的运营成本．具体来说，电网公司会监控数据中心的瞬时功耗需求，对于峰值功耗会按照高度收费．根据关于美国电网公司对于峰值功耗的不同收费标准的对比发现，数据中心能耗费用一般在4～11美分每千瓦时，而功耗费用则在7～13美元每千瓦变化［12］．假使一个兆瓦级的数据中心每个月中99．9%时间运行在30%的负载，而仅仅0．1%遭遇100%的峰值负载，它依然会因为峰值功耗而不得不额外支出数万美元的费用．

在此情况下，学术界开始研究借助储能设备这一一度被忽视的电力系统来提升数据中心的经济效益．其基本思想是继续增加数据中心的服务器数目以提升数据中心利用率，并利用储能设备来应对偶尔发生的峰值负载超载现象，如图4所示．当数据中心负载较重、对功耗需求较大时，UPS可以临时释放部分储能，从而降低对于电网的功耗需求；当数据中心负载较轻、对功耗需求较小时，可以利用电网或者新能源对储能设备充电，以备下次使用．这种方法完全是基于数据中心已有的UPS基础上的，因此不会带来额外成本，也不需要长时间的改造建设．通过对数据中心计算负载进行移峰填谷，数据中心得以持续增加其服务器拥有量，实现云计算时代数据中心服务器的横向扩展，进一步提升经济效益．

Fig．4 Using ESS to lower peak power．图4 利用储能设备对功耗需求削峰

3．2 管理方式

表1中列举了近几年来具有代表性的针对数据中心负载削峰的储能设备管理技术．这些研究都主要关注互联网数据中心（IDC）中的负载调度，有少部分研究是针对高性能计算数据中心（HPC）的负载调度［23］．另外，目前并不是所有的研究都指明其储能系统的设计结构．虽然中央式设计还居主流，但分布式储能系统已占据一席之地并逐渐得到广泛应用．

Table 1 Representative Energy Storage Studies on Peak Power Management表1 具有代表性的面向峰值负载管理的储能研究

对比电源供给方案，大多数研究主要集中于单一市电的供电模式，即单纯对传统数据中心进行峰值负载削除．有少部分研究是针对新能源驱动的绿色数据中心进行储能设备调度和管理．俄亥俄州立大学［25］和佛罗里达大学［23］在混合能源环境下的负载调度方面进行了相关研究，主要设计挑战在于需要考虑新能源的波动对储能设备充放电的影响．

具体到负载削峰本身，目前的研究关注点各有特色．Kontorinis等人率先研究了分布式UPS对于负载削峰的优势［28］，主要目标是降低供电成本．这项研究分析了分布式UPS的整体拥有成本，并考虑了不同电池技术的性能．该文还指出，通过结合UPS负载削峰和服务器DVFS（dynamic voltage frequency scaling）有望进一步提升分布式储能系统的削峰能力．在此基础上，Aksanli等人对分布式储能系统做了进一步的优化［24］．区别于文献［28］，文献［24］更实际地考虑了电池放电的非线性问题，并且提出了一种新型的储能系统结构．这种储能系统借助电力开关和并网逆变器来管理储能系统的放电电流．虽然这项技术中的电池单元是集中式管理的，但其控制方式使得电池具有分布式储能设备的特征，且放电电流可控，其技术可以进一步提升电池的使用寿命和经济性．Govindan等人则分析了服务器供电饱和的数据中心［22］，并研究如何使用储能设备帮助数据中心度过功耗峰值的难关．借助原型系统验证，文献［22］说明有机地结合电池放电和负载迁移可以有效管理短时电源异常并降低长时间断电造成的系统开销．

在系统建模和优化方面，Deng等人［25］和Urgaonkar等人［26］借助Lyapunov优化对储能设备的使用进行了在线优化，其特点是不需要复杂的系统统计数据，因而运行开销更小、更易在实际系统上实现．Deng等人的方法不同于Urgaonkar，它们更着眼于一种长时间的系统优化，并且同时考虑到多电源环境下新能源供电和计算机负载的波动性．

以上工作主要是考虑单一的储能技术．与之不同的是，Zheng等人［27］和Liu等人［23］分别研究了混合式储能技术．Zheng等人提出结合传统UPS系统和新型热储能技术（thermal energy storage，TES）来共同管理数据中心功耗．TES主要是利用物质相变（如水?冰）原理对热能进行存储，并在需要的时候释放能量供数据中心使用．TES的主要缺点是体积大、难集成，且其响应速度较化学电池慢很多，因此仅被用来管理数据中心制冷设备的功耗．在文献［23］中，Liu等人提出结合传统铅酸电池和新型的超级电容（SC）系统来提供更有效的负载削峰．铅酸电池具有技术成熟、价格低廉、维护简单、回收方便等特点；但其缺点也较明显，比如无法承受大电流放电、在高强度使用下寿命大幅缩短，以及存在较高充放电能源损失等（根据IEEE 1562－2007号标准介绍，一般在15%～30%间）．与之相比，超级电容作为一种新型储能元件价格相对较高；但其优点是非常好的瞬时放电能力、极佳的使用寿命，以及可忽略不计的充放电损失．通过结合铅酸电池和超级电容，并动态管理分配给二者的服务器数目，数据中心能够削除更大更宽的峰值负载，并且实现较为理想的电池寿命和整体能效．

4 储能设备动态应用：新能源集成

4．1 应用背景

新能源因其产能丰富、碳排放量低、成本低等优势吸引着数据中心建设者．诸如太阳能、风能、燃料电池等新能源的装机成本随着技术的成熟逐年降低［3031］，而且风能和太阳能在装机后就可以投入使用，不需要过多的额外成本．另一方面，为了应对全球变暖，各国通过征收碳排放税引导企业减少二氧化碳的排放．降低电网电力的使用、减少碳排放能够有效降低数据中心的运营成本．

新能源可有效缓解数据中心的能源危机问题．目前很多公司已经将太阳能和风能应用于数据中心．苹果公司与NV Energy公司合作建设一个新的太阳能发电厂，为数据中心供应电力［32］．Google能源部从2010年7月30日开始向NextEra的爱荷华工厂采购风能［33］．此外，Google购买了德州阿里马洛附近的一家风能发电站，于2014年为其数据中心提供240MW的电能［34］．另一方面，各类新能源相对于传统的化石燃料，碳排放也降低很多，能够有效缓解全球变暖问题．表2列举了常见的各能源的碳排放因子［18］．可以看出太阳能、风能等新能源的碳排放因子远远低于化石燃料的碳排放因子；而氢氧燃料电池基本无碳排放．新能源驱动的绿色数据中心因此能有效减缓全球变暖过程，降低对环境的压力．

Table 2 Carbon Emission Factor of Different Energies表2 各能源的碳排放因子

新能源种类众多、优势巨大，但出于技术、环境限制等原因，并不是所有的新能源都广泛地应用于数据中心．根据新能源的特性可以将它们分为间断性不可控的新能源和稳定可控的新能源．

1）间歇性不可控的新能源．间断性是指能源产生的电力随着时间而动态变化，低谷时期有可能为零．不可控则意味着其发电量的多少不可人为控制．太阳能和风能是最具潜力的2种间断性不可控绿色能源，它们有两大优点：①它们在全球广泛存在；②蕴能丰富．但是太阳能和风能受环境影响较大，太阳能与日照强度和温度关联，风能则与风速密切相关．所以太阳能和风能的产电量随着环境、时间的变化而变化，具有较大的不稳定性与不可控性．

2）稳定可控的新能源．除了风能和太阳能，一些新型的稳定可控新能源也日益得到人们的关注．这类新能源的发电量是稳定的，并且可以人为控制发电量的多少．燃料电池、基于生物质能等新能源是利用较为广泛的稳定可控的新能源．燃料电池是一种高效的电化学能量转换装置，它直接将燃料的化学能转化为电能，具有清洁、噪声低、能量密度高、启动快、连续供电时间长等优点［31］．已经有许多燃料电池公司如Bloom Energy推出一系列应用于数据中心的燃料电池模块（energy server）．

图5统计了自2010—2015年学术界发表的关于绿色数据中心的几十篇论文中使用的新能源的分布情况［36－73］．可以看出太阳能和风能是主流趋势．风能和太阳能是应用最广泛的新能源，一方面是因为风能和太阳能资源没有枯竭危险，资源分布广泛，受地域限制小；另一方面则是由于它们的技术相对成熟，可以有效投入工业使用．工业界中，Google、苹果、IBM等IT巨头广泛采用风能和太阳能．

Fig．5 The distribution of green energies used in green datacenters from 2010to 2015．图5 2010—2015年绿色数据中心使用新能源分布

然而，在数据中心中应用太阳能和风能存在着诸多挑战，其中最主要的问题是能源供给和能源需求不匹配．数据中心的负载动态变化，对于功耗的需求随时间而变．而风能和太阳能的发电量随着时间变化，两相结合，数据中心利用新能源的供给不匹配问题尤为突出．图6利用真实的数据中心的负载数据以及风能和太阳能发电数据绘制出了数据中心的功耗需求和供给情况，充分展示了数据中心功耗供给和需求的不匹配情况．当新能源供给充足时，数据中心负载可能很低，需要的功耗少，从而导致能源的浪费；而当新能源供给很少的时候，数据中心负载可能很高，新能源不足以驱动数据中心，如果没有调节机制，数据中心只能从电网获取电力甚至于关机．

Fig．6 Power mismatch between demand and supply．图6 负载功耗需求和新能源供电的不匹配现象

储能设备应用于数据中心可以保证数据中心的可靠性，提高新能源利用率，降低负载峰值功耗，从而降低数据中心建设和运营成本．储能设备利用其储能功能可以帮助数据中心在空间维度上有效地调度新能源．当太阳能和风能充足时，可以将多余的能源储存在储能设备中，提高能源利用率；当能源供给不足时，可以利用储能设备对数据中心供电，不降低数据中心性能．目前，如何高效地使用储能设备从而提高储能设备寿命、降低成本、充分提高新能源利用率是学术圈和工业界共同关注和研究的问题．图7统计了自2010—2015年绿色数据中心中与储能设备相关的研究论文［36－73］．从图7中可以看出，储能设备作为新能源缓存或移峰的作用日益得到重视，在绿色数据中心的地位逐渐提高．

Fig．7 Survey for the roles of ESS in green datacenters．图7 储能设备于绿色数据中心的研究趋势调查

4．2 能源缓存在绿色数据中心中的应用

我们根据电源管理机制把目前的新能源绿色数据中心大致归为2大类：电源跟踪式设计和负载追随式设计，并具体探讨其中储能设备发挥或者有可能发挥的关键作用．

4．2．1 电源跟踪式设计

在表3中我们对比了一系列典型的绿色数据中心电源管理技术．表3包含了处理器级别、服务器级别、集群级别及数据中心级别的能源管理研究．

Table 3 Comparison of Existing Green Data Center Power Management and Optimization Frameworks表3 目前的绿色数据中心电源管理与优化框架对比

在电源跟踪式设计方法下，数据中心主动控制负载功耗的需求以匹配可再生能源的波动性．从负载控制的方式出发，目前的技术又可以大致归为3个类型：负载限制技术（load scaling）、负载推迟（load deferring）、负载迁移（load migration）技术．负载限制技术主要是借助服务器开关机和动态频率调节（DVFS）来升高或者降低数据中心的功耗需求；负载推迟技术则通过调整负载调度方式，在时间维度上对一些较低优先级的实时性不强的负载进行推迟处理；负载迁移技术则直接在可再生能源不足时把负载迁移到其他的服务器机群上面．

负载限制技术主要依赖处理器电压频率调节，其代表之一是SolarCore［39］．SolarCore通过改变多核处理器每个核的电压和频率，服务器可以将处理器的功耗和太阳能板的最佳功率输出点匹配．但在SolarCore里，研究人员并没有采取储能设备，而是直接利用可变的太阳能．结果表明直接使用太阳能能够达到和基于高效率电池的设计一样的整体计算吞吐量，但其缺点是无法满足实时的负载性能．若借助分布式储能设备，SolarCore就有可能在太阳能不足的情况下依旧满足用户的需求．

负载推迟技术的一项代表性研究是GreenSlot［40］．这项技术通过历史数据和天气预报预测出太阳能的发电量，将不需要即刻完成的任务推迟至太阳能丰富的时候执行．GreenSlot主要使用市电接入的太阳能系统．储能设备（电池）的作用主要是用来稳定太阳能板的输出和跟踪太阳能的最大输出点．电池的输出进一步被逆变为交流电，然后通过Grid－tie逆变器和市电电网相连．数据中心负载则直接通过Grid－tie逆变器取电．结果显示，GreenSlot可以增加117%的绿色能源利用率，降低39%的电力开销．进一步地，GreenHadoop［48］技术把GreenSlot的思想延伸到了目前流行的Hadoop计算框架中来，但仅仅是把电池作为稳定可再生能源的一个中间能源缓冲．

与以上2种设计不同，负载迁移技术往往需要混合式发电策略，即一部分服务器设备由新能源驱动，另一部分服务器由稳定的市电驱动．当新能源驱动的服务器面临供电波动时，系统可以动态地把负载迁移到市电驱动的服务器集群上来．iSwitch［49］技术针对这种混合式发电研究了一种启发式的优化方法．其基本思想是尽可能多地把负载保留在新能源驱动的服务器集群，并且减少不必要的负载迁移，从而实现提升绿色能源利用率和降低性能开销的目的．其具体技术是根据风能的波动情况来采取一种具有惰性的跟踪方法：当风能波动激烈时避免跟踪风能（这一过程会浪费一部分风力资源），当风能较为平缓时对负载波动进行削除（利用模拟退火算法的优化有可能无法实现最佳平滑效果）．由于iSwitch仅仅把储能设备当作电源备份，其实际上失去了进一步优化系统性能的机会．通过合理利用储能设备，iSwitch可以把频繁波动的风能存储起来以备之后使用，它还可以进一步实现更好的负载平滑效果．

无论采取何种负载管理手段，电源跟踪式设计的核心思想都是调节数据中心的能耗需求以适应绿色能源的功耗供给，储能设备只发挥备份作用．然而，被动适应新能源供给有如下3个劣势：1）通过动态调节或者推迟机制，会影响数据中心性能，降低服务质量；2）当绿色能源供给高于数据中心需求时，多余电量输送给公用电网，但是电压转换会带来能量损失；3）市电公司收购数据中心提供电力的价格低于数据中心购买电力的价格，当新能源供给不足时，通过电网供电，此时数据中心不得不支付高昂的电费用以支持数据中心的运行，这对于数据中心来说这不明智．如果将储能设备纳入以上新能源数据中心中来，则可以有效地克服上述劣势，提高新能源利用率，降低运营成本，避免不必要的控制开销和性能降低．

4．2．2 负载追随式设计

不同于电源跟踪式设计，负载追随式设计的思想是通过调节场上新型供电设备的输出来匹配计算机负载的时变功耗需求．这类供电设备一般都是稳定可控的，如燃料电池、涡轮机、新型内燃机等．然而由于燃料电池内部电化学反应需要时间，内燃机达到一定转速也需要时间，因此这些供电设备并不能达到理想的跟踪效果．对于高度波动的数据中心负载，必须借助储能设备才能够实现负载追随．Power Demand Shaping（PDS）［56］技术的主要思想是对数据中心的负载进行轻微的修整，从而去除高频波动的功率尖峰，实现一种近似于方波的负载功耗波形．这样，场上供电设备可以较好地实现对数据中心的跟踪，并且不需要过分依赖储能设备．在不使用PDS的情况下，电池的使用寿命最多会降低25%；在使用PDS的情况下，储能设备的寿命降低被控制在3%以下．

当数据中心中同时集成了间歇性新能源（如太阳能）和可控新能源（如燃料电池）时，数据中心依旧可以采取负载追随式的设计．但在这一过程中，由于太阳能和计算机负载都具有波动性，因此燃料电池面对着的电力供需差异更大．为了不对储能设备造成过度使用，绿色数据中心应当在控制供电设备输出的同时适当地调节计算机负载．

同样是基于负载追随式设计，GreenWorks［64］电源管理框架采用了一种协同管理模式，同时借助3个管理模块来优化数据中心：基础电力管理模块、储能管理模块以及负载管理模块．基础电力模块控制稳定可靠能源的输出功率，它每隔一段时间（例如15min）综合风能和太阳能的供给状况、数据中心负载、储能设备状况调节输出功率，如果风能和太阳能不足、数据中心负载较大，或者储能设备储能不足那么提高基础电力功率输出，相反就会降低基础电力功耗输出．储能模块管理储能设备，能在能源供给不匹配的时候，根据储能设备的状况决定储能设备的充放电，缓解能源供需不匹配问题．负载模块可以根据系统状况，通过调节CPU频率或者电压来调节系统性能，缓解能源供需不匹配．

在面对本地供电预算和服务器功耗需求不匹配时，GreenWorks会根据负载任务的性能来决定究竟是优先使用储能元件来提供更多能源还是优先使用服务器电压频率调节来降低负载功耗．当新能源供给很足（太阳能和风能充足）时，储能设备进行充电，并提高CPU频率或者电压提高数据中心性能，如果还有多余能源，则卖给电网；当能源供给不足时，如果储能设备的储备能源还在警戒线内（储能设备作为电力备份，需要保证一定量的能源储备），那么会根据储能设备可提供能源的量动态调节服务器的工作频率，尽可能保证数据中心高性能运行．如果储能设备的储备能源低于警戒线，选取部分服务器降低性能节约功耗．如果能源供给严重不足，GreenWorks将不得不最小化数据中心的功耗需求．为了使绿色数据中心运行的各任务能够按时完成，GreenWorks会根据以往的间断性能源的供给情况和天气预报预测未来一段时间内的能源供给情况，借此预计任务的最大延迟时间，从而最大限度地运行这些任务的服务器的频率，节省功耗．如果依旧供需不能平衡，那么会从储能设备处继续汲取能源供给数据中心的运行，直到低于储能设备储能的预设危险系数．

4．3 原型系统设计对比

表4列举了目前具有一定代表性的绿色数据中心原型系统．这些系统都借助负载管理来应对可再生能源的波动性，但并不都对储能设备进行优化．

Blink［42］是麻省大学研发的一个面向互联网数据中心的中间件系统．Blink采取的供电方法是本地小型风能和太阳能发电设备与电池组相结合，实验借助了两块可供深度放电的1 320Wh的可充电电池．虽然该电池足够为实验用到的服务器集群连续供电14h，Blink仅将其作为5min的短时间能源缓存．在这项研究中，服务器负载能够快速调节其开关状态，从而改变整体集群的供电功耗．Blink的目的是尽量满足具有高优先级的任务在Memcached系统中的命中率，因此并没有优化电池的使用寿命和能效．

Parasol［57］是美国罗格斯大学团队开发的一套绿色数据中心系统，其着眼点主要在于计算机负载的调度和对能源系统行为的预测．这套系统采用低功耗凌动（Atom）处理器配置虚拟化环境，采取集装箱式管理，可以借助自由通风实现制冷．其一个关键特征是能够动态在市电和绿色能源间实现切换，并且利用电池提供能源缓存．为了提升电池使用寿命，Parasol采取的方法是限制对电池的深度放电．

Oasis［59］是美国佛罗里达大学团队开发的一套绿色数据中心解决方案，其着眼点主要在于数据中心的系统硬件实施和控制．具体来说，Oasis的目标是实现绿色数据中心经济环保的拓展．为此，Oasis借助分布式储能设备和模块化的太阳能板，将绿色能源直接接入到服务器机柜层面．Oasis为每个服务器机柜配备了电源控制模块，该模块能够实现服务期在绿色能源和市电间的自主切换．Oasis对储能设备的优化方法较为深入，其主要思想是根据电池的额定使用周期来限制其一段时间内的充放电电量．

此外，惠普实验室的研究人员也设计了净碳排放为零的系统Net－Zero［47］．这套系统由太阳能板供电，同时还和市电相连接，因此市电可以弥补太阳能的不足．Net－Zero主要着眼于服务器系统的负载调度，目标是使得一段时间内服务器对市电的使用可以太阳能向市电的反馈相互抵消，从而实现对市电电力的零使用．该系统并没有依赖储能设备进行管理．

Table 4 Comparison of Current Green Data Center Prototypes表4 目前绿色数据中心原型系统对比

5 机遇与挑战

储能设备对于数据中心的改变有可能是革命性的．比如，储能设备允许数据中心在极低供电预算条件下实现服务器的横向扩展；又比如，目前的集装箱式模块化数据中心可以通过集成有效的储能设备和绿色能源系统实现移动式的计算．此外，储能设备还大大方便了数据中心和未来智能电网的融合等．从储能系统本身的发展来讲，数据中心未来还可以利用不同类型不同规模的储能设备，比如研究混合式的储能系统或者异构式储能系统等．

然而随着储能设备在未来数据中心中规模的增长和重要性的增加，挑战应运而生．数据中心会因储能设备和服务器的融合而遇到一系列新的设计问题．概括起来主要涉及3点：近距离、小容量、大规模．

首先，随着储能单元和服务器设备距离的拉近，计算机系统和储能设备间需要一种合理的接口．该接口一方面允许计算机系统对本地储能系统进行主动访问，还能够方便储能系统主动对服务器功耗进行干预．在协调储能单元和服务器功耗的时候，要避免和现有的数据中心计算机功耗管理发生冲突．此外，由于储能设备和服务器设备距离的拉近，服务器的散热对电池电化学反应和能效的影响也应考虑在内．

其次，由于分布式的储能单元大多容量较小，其充放电的管理必须更加严格，否则会极易造成无电可用的局面．一旦这种情况发生，数据中心应当研发相应的全局电源管理机制，使得本地服务器能够从邻近的储能系统进行能源借调．

另外，数据中心目前还缺乏对大规模储能设备的有效管理方法．随着储能单元在更细粒度层面的集成，数据中心亟需一种层次化的监控和控制手段来管理大量的分布式储能单元；否则，数据中心不但会增加对电池单元的通讯和能效开销，还可能造成电池单元间的不均衡使用和快速老化．

6 结束语

高能耗、高污染、高成本制约着数据中心的发展．绿色数据中心可以降低对市电的需求，抑制数据中心的碳排放，节约运行成本．储能设备在构建新型绿色数据中心过程中发挥着重要作用，但其系统结构和管理方式还处于初期探索阶段．随着大数据应用和智能电网技术的快速发展，高效能的分布式储能设备作为联系负载和供电的纽带将无疑受到更多的关注．本文通过调研绿色数据中心研究，整理了目前面向数据中心的储能设备设计技术，并指出了最大限度发挥储能设备在绿色数据中心中的效能所面临着的严峻挑战．研究智能的储能技术能够为数据中心与大数据负载及智能电网的交叉研究打下一定的基础，有助于促进信息技术与能源技术的有机结合，对于构建科学合理的产业格局具有一定意义．

［1］Bill K．The economic meltdown of Moore s law and the green data center［R］．Seattle，WA：The Uptime Institute，2007

［2］Lv Tianwen．A deep analysis of data center energy efficiency in 2013［J］．The World of Power Supply，2013，（6）：7 8（in Chinese）（吕天文．2013年数据中心能效现状深度分析［J］．电源世界，2013，（6）：7 8

［3］China IDC．Data center power will double in the next five years［EB?OL］．（2012－03－29）［2015－01－31］．http：??tech．idcquan．com?pro?34910．shtml（in Chinese）（中国IDC圈．未来五年国内数据中心能耗将翻一番［EB? OL］．（2012－03－29）［2015－01－31］．http：??tech．idcquan．com? pro?34910．shtml）

［4］Parker H．Energy efficient data centers［EB?OL］．（2013－02－19）［2015－01－31］．http：??www．alliancetrustinvestments．com?sri－hub?posts?Energy－efficient－data－centres

［5］Fan X，Weber W，Barroso L．Power provisioning for a warehouse－sized computer［C］??Proc of the Int Symp on Computer Architecture．New York：ACM，2007：13 23

［6］Turner W，Brill K．Cost Model：Dollars per kW plus dollars per square foot of computer floor［R］．Seattle，WA：The Uptime Institute，2008

［7］Robbins J．Data center power efficiency［EB?OL］．（2008－11－29）［2015－01－31］．http：??radar．oreilly．com?2008?11?datacenter－power－efficiency．html

［8］Christy P．Gartner says energy－related costs account for approximately 12percent of overall data center expenditures［EB?OL］．（2010－09－29）［2015－01－31］．http：??www．gartner．com?newsroom?id?1442113

［9］Chinastor．High energy cost hurts data centers［EB?OL］．（2011－09－22）［2015－01－31］．http：??www．chinastor．com?a? datacenter?0922303R011．html（in Chinese）（中国储能网．高额电费数据中心伤不起的痛［EB?OL］．（2011－09－22）［2015－01－31］．http：??www．chinastor．com?a? datacenter?0922303R011．html）

［10］Christy P．Gartner estimates ICT industry accounts for 2 percent of global CO2emissions［EB?OL］．（2007－04－26）［2015－01－31］．http：??www．gartner．com?newsroom?id? 503867

［11］CO2emissions from US datacenters greater than all CO2emissions from Netherlands or Argentina［EB?OL］．（2010－07－15）［2015－01－31］．http：??green－broadband．blogspot．com?2010?07?co2－emissions－from－us－datacenters．html

［12］Govindan S，Sivasubramaniam A，Urgaonkar B．Benefits and limitations of tapping into stored energy for datacenters［C］??Proc of the Int Symp on Computer Architecture．New York：ACM，2011：341 351

［13］Wang D，Ren C，Sivasubramaniam A，et al．Energy storage in datacenters：What，where，and how much［J］．ACM SIGMETRICS Performance Evaluation Review，2012，40（1）：187 198

［14］Wang D，Ren C，Sivasubramaniam A．Virtualizing power distribution in datacenters［C］??Proc of the Int Symp on Computer Architecture．New York：ACM，2013：595 606

［15］Pelley S，Meisner D，Zandevakili P，et al．Power routing：Dynamic power provisioning in the data center［C］??Proc of the Int Conf on Architectural Support for Programming Languages and Operating Systems．New York：ACM，2010：231 242

［16］David M，Gold B，Wenisch T．PowerNap：Eliminating server idle power［J］．ACM SIGPLAN Notices，2009，44（3）：205 216

［17］Ponemon Institute．Study on data center outages［R］．Traverse City，MI：Ponemon Institute，2013

［18］Lizotte R．Data center VRLA battery end－of－life recycling procedures，White Paper＃36［R］．West Kingston，RI：APC，2011

［19］Kuroda Y，Akai A，Kato T，et al．High－efficiency power supply system for server machines in data center［C］??Proc of the Int Conf on High Performance Computing and Simulation．Piscataway，NJ：IEEE，2013：172 177

［20］Shankland S．Google uncloaks once－secret server［EB?OL］．（2009－12－11）［2015－01－31］．http：??www．cnet．com?news? google－uncloaks－once－secret－server－10209580

［21］Sarti P．Battery Cabinet Hardware v1．0，Open Compute Project［R］．Menlo Park，CA：Facebook，2012

［22］Govindan S，Wang D，Sivasubramaniam A，et al．Leveraging stored energy for handling power emergencies in aggressively provisioned datacenters［J］．ACM SIGPLAN Notices，2012，47（4）：75 86

［23］Liu L，Li C，Sun H，et al．Leveraging heterogeneous power for improving datacenter efficiency and resiliency［J］．IEEE Computer Architecture Letters，2015，14（1）：41 45

［24］Aksanli B，Eddie P，Tajana R．Architecting efficient peak power shaving using batteries in data centers［C］??Proc of the IEEE Int Symp on Modelling，Analysis ＆Simulation of Computer and Telecommunication Systems．Piscataway，NJ：IEEE，2013：242 253

［25］Deng W，Liu F，Jin H，et al．Online control of datacenter power supply under uncertain demand and renewable energy［C］??Proc of the IEEE Int Conf on Communications．Piscataway，NJ：IEEE，2013：4228 4232

［26］Urgaonkar R，Urgaonkar B，Neely M，et al．Optimal power cost management using stored energy in data centers［C］?? Proc of SIGMETRICS Joint Int Conf on Measurement and Modeling of Computer Systems．New York：ACM，2012：221 232

［27］Zheng W，Ma K，Wang X．TE－Shave：Reducing data center capital and operating expenses with thermal energy storage［J］．IEEE Trans on Computers，2015，64（11）：3278 3292

［28］Kontorinis V，Zhang L，Aksanli B，et al．Managing distributed UPS energy for effective power capping in data centers［C］??Proc of the Int Symp on Computer Architecture（ISCA）．New York：ACM，2012：488 499

［29］Li S，Hu S，Wang S，et al．WattValet：Heterogeneous energy storage management in data centers for improved power capping［C］??Proc of the 11th Int Conf on Autonomic Computing．Berkeley，CA：USENIX Association，2014：273 239

［30］Patel M．Wind and Solar Power Systems［M］．Boca Raton，FL：CRC Press，1999

［31］Gou B，Na W，Diong B．Fuel Cells Modeling，Control and Applications［M］．Boca Raton，FL：CRC，2010

［32］Kee E．Apple plans 20MW solar array for Reno data center support［EB?OL］．（2013－07－01）［2015－01－31］．http：?? www．ubergizmo．com?2013?07?apple－plans－20mw－solar－arrayfor－reno－data－center－support〗

［33］Electric Light ＆Power．Google buying wind power from NextEra Energy to run data centers［EB?OL］．（2010－07－20）［2015－01－31］．http：??www．elp．com?articles?2010?07?googlebuying－wind－power－from－nextera－energy－to－run－data－centers．html

［34］Renewable Energy Focus．Google buys texas wind farm［EB?OL］．（2013－09－18）［2015－01－31］．http：??www．renewableenergyfocus．com?view?34606?google－buys－texas－windfarm?

［35］Deng Wei，Liu Fangming，Jin Hai，et al．Leveraging renewable energy in cloud computing datacenters：State of the art and future research［J］．Chinese Journal of Computers，2013，36（3）：582 598（in Chinese）（邓维，刘方明，金海，等．云计算数据中心的新能源应用，研究现状与趋势［J］．计算机学报，2013，36（3）：582 598）

［36］Gmach D，Rolia J，Bash C，et al．Capacity planning and power management to exploit sustainable energy［C］??Proc of the 2010Int Conf on Network and Service Management．Piscataway，NJ：IEEE，2010：96 103

［37］Stewart C，Shen K．Some joules are more precious than others：Managing renewable energy in the datacenter［EB?OL］．2009［2015－01－31］．http：??www．sigops．org? sosp?sosp09?papers?hotpower＿5＿stewart．pdf

［38］Murugesan S．Harnessing green IT：Principles and practices［J］．IT Professional，2008，10（1）：24 33

［39］Li C，Zhang W，Cho C，et al．SolarCore：Solar energy driven multi－core architecture power management［C］??Proc of the 17th IEEE Int Symp on High Performance Computer Architecture．Piscataway，NJ：IEEE，2011：205 216

［40］Goirií，Le K，Haque M E，et al．GreenSlot：Scheduling energy consumption in green datacenters［C］??Proc of the 2011Int Conf for High Performance Computing，Networking，Storage and Analysis．New York：ACM，2011：20

［41］Krioukov A，Goebel C，Alspaugh S，et al．Integrating renewable energy using data analytics systems：Challenges and opportunities［J］．IEEE Data Engineering Bullein，2011，34（1）：3 11

［42］Sharma N，Barker S，Irwin D，et al．Blink：Managing server clusters on intermittent power［J］．ACM SIGPLAN Notices，2011，47（4）：185 198

［43］Deng N，Stewart C，Li J．Concentrating renewable energy in grid－tied datacenters［C］??Proc of the IEEE Int Symp on Sustainable Systems and Technology（ISSST）．Piscataway，NJ：IEEE，2011：1 6

［44］Li C，Qouneh A，Li T．Characterizing and analyzing renewable energy driven data centers［J］．ACM SIGMETRICS Performance Evaluation Review，2011，39（1）：323 324

［45］Brown M，Renau J．Rerack：Power simulation for data centers with renewable energy generation［J］．ACM SIGMETRICS Performance Evaluation Review，2011，39（3）：77 81

［46］Aksanli B，Venkatesh J，Zhang L，et al．Utilizing Green energy prediction to schedule mixed batch and service jobs in data centers［J］．ACM SIGOPS Operating Systems Review，2012，45（3）：53 57

［47］Arlitt M，Bash C，Blagodurov S，et al．Towards the design and operation of net－zero energy data centers［C］??Proc of the 13th IEEE Int Conf on Thermal and Thermomechanical Phenomena in Electronic Systems．Piscataway，NJ：IEEE，2012：552 561

［48］Goirií，Le K，Nguyen T D，et al．GreenHadoop：Leveraging green energy in data－processing frameworks［C］??Proc of the 7th European Conf on Computer Systems．New York：ACM，2012：57 70

［49］Li C，Qouneh A，Li T．iSwitch：Coordinating and optimizing renewable energy powered server clusters［C］??Proc of the 39th Int Symp on Computer Architecture．Piscataway，NJ：IEEE，2012：512 523

［50］Liu Z，Chen Y，Bash C，et al．Renewable and cooling aware workload management for sustainable data centers［J］．ACM SIGMETRICS Performance Evaluation Review，2012，40（1）：175 186

［51］Ren C，Wang D，Urgaonkar B，et al．Carbon－aware energy capacity planning for datacenters［C］??Proc of the 20th Int Symp on Modeling，Analysis ＆Simulation of Computer and Telecommunication Systems．Piscataway，NJ：IEEE，2012：391 400

［52］Murugan M，Kant K，Du D．Energy adaptation for multitiered datacenter applications［J］．Intel Technology Journal，2012，16（3）：152 171

［53］Krioukov A，Alspaugh S，Mohan P，et al．Design and evaluation of an energy agile computing cluster，UCB?EECS－2012－13［R］．Berkeley，CA：University of California，Berkeley，2012

［54］Bianchini R．Leveraging renewable energy in data centers：Present and future［C］??Proc of the 21st Int Symp on High－Performance Parallel and Distributed Computing．New York：ACM，2012：135 136

［55］Gao P，Curtis A，Wong B，et al．It s not easy being green［J］．ACM SIGCOMM Computer Communication Review，2012，42（4）：211 222

［56］Li C，Zhou R，Li T．Enabling distributed generation powered sustainable high－performance data center［C］??Proc of the 19th IEEE Int Symp on High Performance Computer Architecture．Piscataway，NJ：IEEE，2013：35 46

［57］Goirií，Katsak W，Le K，et al．Parasol and greenswitch：Managing datacenters powered by renewable energy［J］．ACM SIGARCH Computer Architecture News，2013，41（1）：51 64

［58］Singh R，Irwin D，Shenoy P，et al．Yank：Enabling green data centers to pull the plug［C］??Proc of Networked System Design and Implementation．Berkeley，CA：USENIX Association，2013：143 155

［59］Li C，Hu Y，Zhou R，et al．Enabling datacenter servers to scale out economically and sustainably［C］??Proc of the 46th Int Symp on Microarchitecture．New York：ACM，2013：322 333

［60］Li C，Wang R，Goswami N，et al．Chameleon：Adapting throughput server to time－varying green power budget using online learning［C］??Proc of the Int Symp on Low Power Electronics and Design．Piscataway，NJ：IEEE，2013：100 105

［61］Deng W，Liu F，Jin H，et al．Multigreen：Cost－minimizing multi－source datacenter power supply with online control［C］??Proc of the 4th Int Conf on Future Energy Systems．New York：ACM，2013：149 160

［62］Zheng W，Ma K，Wang X．Exploiting thermal energy storage to reduce data center capital and operating expenses［C］??Proc of the 20th IEEE Int Symp on High Performance Computer Architecture．Piscataway，NJ：IEEE，2014：132 141

［63］Li C，Wang R，Hu Y，et al．Towards automated provisioning and emergency handling in renewable energy powered datacenters［J］．Journal of Computer Science and Technology，2014，29（4）：618 630

［64］Li C，Wang R，Li T，et al．Managing green datacenters powered by hybrid renewable energy systems［C］??Proc of the 11th Int Conf on Autonomic Computing．Berkeley，CA：USENIX Association，2014：261 272

［65］Patil T，Duttagupta S．Hybrid self－sustainable green power generation system for powering green data center［C］??Proc of the Int Conf on Control，Instrumentation，Energy and Communication．Piscataway，NJ：IEEE，2014：331 334

［66］Guo Y，Gong Y，Fang Y，et al．Energy and network aware workload management for sustainable data centers with thermal storage［J］．IEEE Trans on Parallel and Distributed Systems，2014，25（8）：2030 2042

［67］Kong F，Liu X，Rao L．Optimal energy source selection and capacity planning for green data centers［C］??Proc of the SIGMETRICS Int Joint Conf on Measurement and Modeling of Computer Systems．New York：ACM，2014：575 576

［68］Riekstin A，James S，Kansal A，et al．No more electrical infrastructure：Towards fuel cell powered data centers［J］．ACM SIGOPS Operating Systems Review，2014，48（1）：39 43

［69］Liu L，Li C，Sun H，et al．HEB：Deploying and managing hybrid energy buffers for improving datacenter efficiency and economy［C］??Proc of the 42nd Annual Int Symp on Computer Architecture．New York：ACM，2015：463 475

［70］Zhou X，Cao Q，Jiang H，et al．Underprovisioning the grid power infrastructure for green datacenters［C］??Proc of the 29th Int Conf on Supercomputing．New York：ACM，2015：229 240

［71］Hua Y，Li C，Tang W，et al．Building fuel powered supercomputing data center at low cost［C］??Proc of the 29th ACM Int Conf on Supercomputing．New York：ACM，2015：241 250

［72］Li C，Hu Y，Liu L，et al．Towards sustainable in－situ server systems in the big data era［C］??Proc of the 42nd Annual Int Symp on Computer Architecture．New York：ACM，2015：14 26

［73］Haque M，Goiri I，Bianchini R，et al．GreenPar：Scheduling parallel high performance applications in green datacenters［C］??Proc of the 29th ACM Int Conf on Supercomputing．New York：ACM，2015：217 227

Ye Ran，born in 1990．MSc candidate at Shanghai Jiao Tong University．His research interests include computer architecture and cloud computing．

Li Chao，born in 1986．Tenure－Track assistant professor and PhD supervisor at Shanghai Jiao Tong University．His research interests include computer architecture and systems．

Liang Xiaoyao，born in 1978．Professor and PhD supervisor at Shanghai Jiao Tong University．His research interests include computer architecture，GPGPU，and high performance computing．

Energy Storage System in Green Data Centers：Architecture and Management

Ye Ran，Li Chao，and Liang Xiaoyao
（Department of Computer Science and Engineering，Shanghai Jiao Tong University，Shanghai 200240）

Modern data centers are heavily constrained by their power budget and carbon footprint．Faced with a growing concern about the skyrocketing IT energy expenditure and the looming environmental crisis，academia and industry alike are now focusing more attention than ever on nonconventional data center power provisioning and management strategies．Recently，energy storage system（ESS）has emerged as a key enabler that allows modern data centers to greatly improve energy efficiency and system sustainability．It can help reduce data center operating expenditure（OpEx）through limiting the temporary power demand spikes caused by irregular workloads．On the other hand，it also facilitates the integration of clean and renewable energy sources（i．e．solar energy and wind energy）into the energy portfolio of green data centers．Given the growth in scale and importance of energy storage system in future data center design，this study aims to give a fairly comprehensive view of its architecture design and power management strategies．This paper surveys existing research works in two primary ESS application scenarios：power demand shaving and power supply smoothing．We compare a variety of state－of－the－art proposals and discuss major design considerations（e．g．cost，efficiency，and reliability）of ESS．We conclude today and tomorrow by discussing the opportunity and challenges created by energy storage systems in data centers．

energy buffer；green datacenter；renewable energy；power provisioning；power management

TP303

2015－04－15；

2015－10－19

国家自然科学基金项目（61502302）

This work was supported by the National Natural Science Foundation of China（61502302）．