计及负载特征及响应特性的多数据中心双层优化模型

祁 兵，曹望璋，李 彬，王京菊，杜亚彬，陈宋宋

（1. 华北电力大学电气与电子工程学院，北京市 102206；2. 需求侧多能互补优化与供需互动技术北京市重点实验室（中国电力科学研究院有限公司），北京市 100085）

0 引言

能耗双控的背景下，数据中心被中国地方政府纳入重点监测名单。据不完全统计，2019 年中国的数据中心数量就达到了7.4 万，能耗在全社会总用电量中占比0.8%～1%［1］。部分运行效率低下的高能耗数据中心严重制约着“双碳”目标的发展进程。对此，部分省市推动了数据中心部署可再生能源的建设，促使数据中心通过微网内可再生能源的消纳来提升能效。如何提高数据中心微网内可再生能源的利用已成为当下的研究热点。

数据中心通常可借助负载的调节来实现微网资源的利用，具体方式有2 种：一种是借助通信网络和虚拟机等技术对多个数据中心的负载（即IT 用户的计算需求）进行迁移，从而改变负载量在空间上的分布；另一种是将待处理的负载进行时间上的转移。由于数据中心处理的负载量与能耗具有直接的关联关系，因此用能需求出现了时空上的变化［2］。基于负载的调节，数据中心运营商可根据不同地区电价差异降低用能成本［3］，并充分利用不同地域的微网资源［4-5］。以文献［3］为例，该文献通过负载在时间上的转移，实现了数据中心在微网环境下的整体用能成本最小。文献［6］分析数据中心负载在时间上的可转移特征，优化微网运行成本的同时充分利用了数据中心所产生的余热。文献［7］利用负载的时间转移能力，支撑数据中心跟踪并消纳微网内部不同时段的可再生能源。文献［8-11］通过数据中心负载的空间转移，利用各地域微网的可再生能源，分别降低了多个数据中心的碳排放和用能成本。文献［12-13］则基于负载的时空转移特征，对微网环境下的多个数据中心运行成本进行优化。现有研究从不同角度论述了负载调节的优势以及数据中心在微网环境下的经济运行能力。

然而，上述研究多默认数据中心负载可以主动响应，部分文献设定可准确地知悉负载处理需求（如负载量和处理时长等），能根据微网或者电网的运行进行调节。这些成果大多忽视了一个因素，即IT 用户（定制计算服务的互联网公司或者企业）的影响。IT 用户在定制服务的时候基本会遵循稳定可靠的原则。为了保证时效，部分负载会在特定的数据中心节点或地域以既定的流程进行处理。虽然数据中心在时空上调节负载可以适应微网或者电网的运行需求，从中获利并降低成本，但数据中心运营商为达到用能成本的优化和微网资源的匹配，需要多次、跨地域、大批量地调节负载。调节负载这种行为对于IT 用户而言并非是必须的，存在风险和信任问题，即便数据中心运营商承诺调节不会对服务质量产生影响。负载是否可调、可调大小以及对IT 用户的影响有待明确，特别是在日前优化这一场景下。而且，负载数量种类繁多，IT 用户需求也存在一定的随机性和差异性，不利于参数统一的建模与调节。因此，数据中心优化时可适当考虑IT 用户这一层面［14］，协同数据中心规避上述部分问题。例如在日前模式下，通过IT 用户提供负载调节能力的准确信息，按照类型对海量负载进行归类，配合数据中心运营商统一负载的差异化处理需求并制定优化方案。此时IT 用户的响应和负载的调节可归纳至需求侧管理的范畴，主要原因在于响应和调节的最终目的是提高数据中心在微网环境下的能源使用效率并降低用能成本。而早期需求侧管理提出的目标有2 个：一是提高设备运行效率实现用户节能；二是以合理的价格或者激励手段引导用户改变用电行为，进而实现负荷整形，提高能源使用效率［15］。因此，为实现数据中心所在微网资源的配置和利用，基于需求侧管理的思想，选择合适的激励引导IT 用户协同参与数据中心的优化，明确可调节的负载。通过IT 用户提供负载调节能力的准确信息，按照类型对海量负载进行归类，配合数据中心运营商统一负载的差异化处理需求，并制定优化方案，从而改变数据中心负荷曲线。

基于上述背景，本文按照IT 用户的响应意愿将数据中心处理的负载分成可调节和不可调节。首先，IT 用户向数据中心发布可调节的负载，负载具有可转移和可削减两种特征，需要给予激励来定制。其次，建立基于主从博弈的双层优化模型，分别包括计及IT 用户响应特性的效益模型和数据中心的成本模型。最后，将模型线性化之后利用启发式算法和线性规划求解得到数据中心的运行方案。

1 数据中心IT 用户的负载分析

数据中心负载在某种程度上可视为一种广义的需求响应资源，因为负载量能影响数据中心的用电量。现有研究对数据中心负载的划分比较简单，主要分为交互式（IN）负载和批处理式（BA）负载。本文则根据需求响应的思路，将数据中心处理的负载分为可调节和不可调节负载。其中可调节的负载的特征能细化为可转移和可削减。

表1 显示，IN 类负载分为2 类：不可调节（IN-0）和可调节（IN-1）。不可调节的IN-0 类负载主要表现为高度时延敏感且IT 用户不愿意参与响应；IN-1类负载时延敏感，无法对计算时间进行调节。但是，考虑到IN-1 类负载服务质量比较有弹性，因此可依托网络传输的低时延，在多个不同地理位置的数据中心之间转移。此时IN-1类负载具有空间转移的特征。

表1 按照微网运行需求分类的数据中心负载Table 1 Classification of data center workload based on operation demands of microgrids

同理，BA 类负载分为不可调节（BA-0）和可调节（BA-1～BA-3）。BA 类负载单体的计算数据量大，完成时间多在分钟、小时或者一天以上，其本身对时延的要求有一定的容忍度。因此BA 负载不仅具有空间转移特征，而且还有灵活的时间转移能力［16］。时间转移反映为负载可以从当前时段转移到其他时段内完成。在某种程度上，具备时间转移特征的负载相当于电力需求响应的可转移负荷［17］。BA-0 类负载由于IT 用户不愿意响应等原因，暂不具有调节潜力。BA-1 类具有时空转移特征，仅需在指定时间窗口内完成数据处理即可，以往研究多关注此类负载。此外，本文额外探讨了BA-2 和BA-3类负载。在时间转移特性上，BA-2 类负载相比BA-1 类负载更为灵活，其计算请求发起的时间可由数据中心自行确定，可在不同时段进行碎片化的分段处理，例如用电低谷或电价较低时段。而且，适当激励可引导BA-2 类负载调节计算需求，呈现可削减特征。类似地，BA-3 类负载拥有时空转移和可削减特征。可削减特征表现如下：对处理的请求进行裁剪、确定非核心数据的容灾备份次数或者发起的时间，降低数据同传的频度［18］。

基于上述负载，在日前模式下通过激励引导IT用户，为负载制定调节计划，能实现微网资源的利用并降低数据中心的整体成本。具体示例可参考图1。图1 中，数据中心1 和数据中心2 同属一个数据中心运营商管理。为了实现微网内部资源的利用，可给予激励，令原隶属于数据中心1 这一区域的IT 用户同意部分负载被调节。在此基础上，将调节的负载跨域迁移给数据中心2，用能需求跨空间地转移到了数据中心2，此时可对数据中心2 所在微网的资源进行配置。为进一步说明负载如何调节，以下进行详细建模。

图1 IT 用户以及数据中心的协同优化Fig.1 Co-optimization of IT users and data centers

2 多数据中心IT 用户的负载优化(下层)

本文假定IT 用户发布灵活的可调节负载信息，数据中心运营商或电网通过激励来定制IT 用户这些负载并调节，从而改变数据中心用能需求。

2.1 IT 用户负载约束条件

1）IT 用户的负载量与响应量

2）IT 用户响应的演进过程和疲劳现象

图2 IT 用户的响应特性曲线Fig.2 Response characteristic curve of IT user

2.2 IT 用户负载优化目标

制度经济学主张谁创造效益谁获益。如果要实现多区域微网资源的利用，数据中心运营商或电网需要付出相应的激励，引导IT 用户主动响应并获益。这种激励的形式可以是给予补贴抑或是优惠。IT 用户的总效益Cuser可表示为：

式中：Cui为IT 用户参与响应时收到的激励；Cudis为IT 用户参与响应时的损失成本。

1）给予IT 用户的激励

3 数据中心微网环境下的经济运行(上层)

在激励的引导下将有部分负载响应并调节，数据中心用能需求出现削减或者转移。此时可实现不同微网资源的利用。

3.1 数据中心约束条件

3.1.1 负载的调节模型

1）BA-1 类负载。该类负载具有时空转移特征，模型定义如下：

2）BA-2 类负载。该类负载具有可削减特征和时间转移特征，调节模型定义如下：

3）BA-3 类负载。该类负载具有可削减和时空转移特征，调节模型定义如下：

负载调节前，数据中心i在t时段处理的BA 负载和IN 负载组成如图3（a）所示，调节后变为图3（b）。

图3 数据中心i 的负载组成Fig.3 Workload composition of data center i

3.1.2 负载服务等级协议约束

为避免数据中心内部资源抢占，本文设定BA类负载和IN 类负载分别分配给指定的服务器群，不进行混合处理。因此，根据以往文献［22-23］的队列模型和服务等级协议要求，可得每个时段下处理的负载时延约束：

3.2 微网资源约束条件

借助数据中心的负载调节，可以实现各时段用能需求的调整，从而达到微网资源利用的目的。

1）微网的功率平衡

微网之间将进行协同优化并充分利用其内部的资源，满足数据中心用能需求。

3.3 微网环境下的优化目标

IT 用户负载调节之后，数据中心用能需求将得到优化，微网内的资源得到配置和利用，从而最小化数据中心整体成本Ctotal。考虑到调节负载的最终受益者为数据中心运营商，数据中心运营商有一定动力承担起相应的激励费用Cui，不妨设定数据中心整体成本Ctotal包含Cui。Ctotal的定义如下：

4 模型简化与求解流程

1）计算激励价格的区间

2）非线性项线性化

式（2）和式（3）的中存在非线性项。式（2）可重构如下：

3）启发式与线性规划相结合的求解方法

通过粒子群优化（particle swarm optimization，PSO）启发式算法与线性规划相结合，求解上下层问题。启发式算法的适应度函数选取为式（19）。流程参考附录C 图C1。

5 仿真结果分析

5.1 仿真参数设定

算例1 是每个数据中心所在微网均具有丰富的可再生能源、储能、燃气轮机。以上微网资源的参数参 考 附 录D 图D1 和 表D1［31-32］。图D1 中 的DC 表 示数据中心。

算例2 是数据中心1 所在微网拥有可再生能源、储能、燃气轮机，数据中心2 所在微网拥有可再生能源、储能，数据中心3 所在微网仅拥有可再生能源。资源参数同样参考附录D 图D1 和表D1。仿真时可将相关参数设置为零，使原文对应约束成为无效约束。

5.2 算例1 的仿真结果分析

1）数据中心的运行成本和激励

首先，分析现有文献与IT 用户协同所需成本与运行情况，对比和本文模型的区别。以文献［3］为例，该文献仅考虑负载的时间转移特征，未考虑负载的其他特征，如空间转移特征和可削减特征。而且忽略了IT 用户的作用与影响，在制定日前优化方案和仿真算例时，其默认可提前获取到IT 用户多个负载的处理需求和信息。实际应用中，海量负载是否可调、负载调节量的大小、调节潜力等信息是否能够在日前级精确获取还有待商榷。换而言之，该文献未考虑负载的空间转移特征、可削减特征和IT 用户，未以合适的激励引导IT 用户参与协同。为保证对比的公平性，仿真时设定该文献可进行负载空间转移。此外，规定文献［3］数据中心优化时，按照式（21）、第2 章的模型和实际调节的负载量对IT 用户进行激励的等额补偿，并以激励来统一被调节负载的需求。因此，文献［3］在对比时将考虑负载时空转移特征，但不考虑可削减特征和IT 用户的响应特性。而本文则是考虑了负载时空转移特征、可削减特征和IT 用户的响应特性，以合适的激励引导IT用户参与协同。文献［3］与本文的对比结果如表2所示。

表2 文献[3]与本文的对比Table 2 Comparison between reference [3] and this paper

由表2 可得到如下2 个结论：

（1）文献［3］的数据中心整体成本Ctotal明显高于本文。本文的Ctotal仅147.34 万元，而文献［3］超出了8.07 万元。出现该现象的原因是文献［3］未考虑负载的可削减特征和IT 用户响应特性，如果令文献［3］考虑负载的可削减特征，其数据中心整体成本Ctotal将会变成146.72 万元，优于本文模型；

为了证明表2 的第2 个结论，此处提供了文献［3］和本文在每个时段下所有数据中心调节的负载量，具体参考图4。图4 显示：文献［3］在每个时段下调节的IN 类、BA 类负载量平均为132 070 和45 281，而本文仅为71 102 和13 382。显然，文献［3］调节的负载量大于本文，因此付出的激励也会超过本文的激励。该现象间接说明并不是调节的负载量越多越好。优化数据中心实际仅需少量的负载即可，如果片面地追求数据中心的运行成本Cfd最优化，则会导致大量负载被调节，并产生高昂的激励费用Cui。图4 结果与表2 的第2 个论述一致。结合表2 和图4 的结果可得到一个结论：本文的优势在于，仅需要支付少量的激励Cui就能使得Cfd得到大幅优化。并且本文规避了文献［3］的极端情况，即本文能减少调节的负载量。文献［3］是调节所有可调节的负载量，而本文仅是调节响应量。由于调节的负载量变少，本文降低了IT 用户激励的费用。

图4 数据中心优化所调节的负载量Fig.4 Adjusted workload in data center optimization

2）数据中心的运行方案

然后，分析数据中心优化之后的整体运行方案。同样，以文献［3］和本文进行比对。附录E 图E1 为所有数据中心小时级的运行方案。观察图E1可以发现：

（1）本文数据中心的运行方案和文献［3］的运行方案没有太大的区别。这再次证明了表2 和图4 的结论，即本文的优势在于，仅需要支付少量的激励Cui就能使得数据中心运行成本Cfd得到大幅优化，且优化之后的数据中心运行方案与文献［3］相似；

（2）本文模型中，数据中心整体能耗水平低于文献［3］，具体可观察附录E 图E1 中的红色辅助线。尤其是在00：00—06：00 这个区间内，文献［3］的数据中心总功率维持在160 MW 以上。而本文在05：00—06：00 的 时候，功率 出现明显降幅，低于160 MW。本文能耗水平出现下降的原因是本文考虑负载的可削减特征，优化时对负载量进行了削减。自然的，用能需求也出现了下降。为证实上述论述，统计图E1（a）和（b）的结果可知，文献［3］数据中心总能耗为3 573.84 MW·h，而本文总能耗为3 417.34 MW·h。

5.3 算例2 的仿真结果分析

观察附录E 表E1 可以分析算例2 的经济性，本文模型的经济性仍占优。相比文献［3］，本文数据中心运营商的整体成本Ctotal仅为148.96 万元。而文献［3］则需要157.14 万元。文献［3］的Ctotal之所以高出本文是因为优化时未考虑负载的可削减特征和IT 用户响应特性，调节时对所有的负载进行了调节。此时，文献［3］负载调节的量大于本文，具体细节可参考附录E 图E2。

为分析数据中心具体运行方案，本文于附录E图E3 提供了相关仿真结果，图E3 可以得到类似算例1 图E1 的结论：1）首先是本文模型运行方案与对比文献［3］相似，这说明本文模型在保证Ctotal经济性的同时，能优化得到文献［3］类似的优化效果；2）根据图中的红色辅助线，分析可知本文的整体能耗偏低。统计图E3 的结果可知，文献［3］的数据中心总能耗为3 573.87 MW·h，而本文仅为3 490.74 MW·h。

5.4 数据中心和微网资源的互补特性分析

数据中心负载的调节使得微网之间具有互补特性。换言之，若数据中心负载不能进行调节，微网之间的互补特性会受到影响。而且微网的资源要有明显差距才能体现出互补特性，如果资源都十分充足或者都匮乏，则微网无法实现对另外一个微网资源的互补。为说明互补特性，此处以算例2 展开仿真。在附录D 图D2 的基础上随机调增数据中心3 所在微网各时段的可再生能源，使得微网之间出现明显的可再生能源出力差异，调增后可再生能源参考附录D 图D3。然后观察数据中心负载调节前后的功耗变化以及实际消纳的可再生能源量。通过功耗变化以及可再生能源消纳来分析微网之间的互补。

附录E 图E4 为数据中心3 功耗及消纳的可再生能源。结果表明调节后消纳的可再生能源相比调节前的多，尤其是在05：00—09：00 期间。出现该情况是因为负载得到了调节，数据中心功耗发生变化，数据中心1、2 的用能需求转移到了数据中心3（参考附录E 图E5），数据中心3 可消纳更多的可再生能源。该结果反映了多个微网之间的互补特性，即数据中心3 拥有更多富足的可再生能源时，负载调节能实现数据中心1 和2 的用能需求转移，从而达到数据中心3 可再生能源对数据中心1 和2 的微网资源补充。分析调节前后的储能放电情况也可以观察微网之间的互补特性。统计附录E 表E2 的结果可以发现，调节前储能总放电量为46.8 MW·h，调节后的放电量为49.2 MW·h，调节前储能的使用少于调节后。主要原因是算例2 中的数据中心3 没有储能资源，数据中心1 和2 有储能资源，调节后的数据中心1 和2 的储能对数据中心3 的微网资源进行了补充。

5.5 负载特征和IT 用户响应特性对数据中心的影响

首先，分析负载时间转移特征对数据中心的经济性影响。对所有BA 类负载的时间窗口长度tba1和tba3进行统一的调整，调整依据参考文献［33］。根据该文献可知，时间窗口最大可达到11～24 h。基于此，本文选取个别典型值将tba1和tba3设定为2、4、20、40，以上设定值对应的时间窗口分别为30 min、1 h、5 h 和10 h。根据现有研究可知，时间窗口长度tba1和tba3越大，负载的时间转移能力越强。部分结果如表3 所示（仿真迭代过程和负载时间转移后的分布情况可参考附录E 图E6 和图E7），可发现整体成本Ctotal开始下降。例如tba1和tba3取值为2（时间窗口为30 min）时，Ctotal数值为147.32 万元；tba1和tba3取值达到40（时间窗口为10 h）时，负载时间转移能力提升，Ctotal降至145.22 万元。相比起30 min，时间窗口10 h 的整体成本Ctotal降低了2.1 万元，降幅达到1.43%。

表3 不同时间转移特性的数据中心运行情况Table 3 Operation of data centers with different temporally transfer characteristics

然后，解析负载空间转移特征对数据中心的经济性影响。由于具备空间转移特征的负载为IN 类负载和部分BA 类负载，为便于探讨，此处仅对IN类负载的空间转移进行分析。分析的内容是IN 类负载进行空间转移以及不进行空间转移的影响，结果见表4（仿真结果的迭代过程和负载时间转移后的分布情况可参考附录E 图E6 和图E7）。IN 类负载转移时的总成本Ctotal和微网运行成本Cfd相比IN类负载不转移时低了11.32 万元和13.01 万元，整体降幅分别为7.14%和8.44%。显然，负载空间转移与否对数据中心经济运行有着显著影响。负载空间转移能力越大，数据中心的总成本和运行成本越经济。主要原因在于，负载空间转移在一定程度上能辅助数据中心利用不同地域的优质微网资源，而且对不同地域的电价价差进行套利。

表4 不同空间转移特性的数据中心运行情况Table 4 Operation of data centers with different spatially transfer characteristics

负载可削减特征以kba2和kba3这2 个可削减系数表征，系数越小，表明负载具有越强的可削减能力。令kba2和kba3以0.1 为 间 隔，从0.6 增 长 到1。表5 显示，kba2和kba3的增长能导致数据中心的运行成本Cfd和整体成本Ctotal提高，激励Cui降低。显然，可削减系数kba2和kba3变小才能保证经济性。综上，kba2和kba3越小，可削减能力越强，整体经济性越优，此时数据中心的运行成本Cfd和整体成本Ctotal会下降。

表5 不同可削减系数下的数据中心运行情况Table 5 Operation of data centers with different curtailment factors

IT 用户响应特性包括了演进过程和疲劳现象。演进过程和疲劳现象与演进增长系数ϑ和疲劳增长系数θ有关。令ϑ以0.05 为间隔，从0.05 增长到0.2。观察表6 可发现，ϑ增大，整体成本Ctotal呈现下降趋势。原先ϑ取值为0.05的时候，Ctotal等于147.58万元。取值0.2 的时候，Ctotal降至147.06 万元。ϑ越大，演进过程发展越快，整体经济性越优，此时数据中心的整体成本Ctotal会下降。

表6 不同ϑ 下的数据中心运行情况Table 6 Operation of data centers with different ϑ

令θ以0.005 为间隔，从0.005 增长到0.02。观察表7 可以发现，θ增大，整体成本Ctotal呈现上升趋 势。 原 先θ取 值 为0.005 的 时 候，Ctotal等 于147.32 万元。取值为0.02 的时候，Ctotal上升到147.83 万元。θ越大，整体经济性越劣，疲劳现象越明显，此时数据中心的整体成本Ctotal会上升。

表7 不同θ 下的数据中心运行情况Table 7 Operation of data centers with different θ

6 结语

本文基于负载特征和IT 用户响应特性分析了数据中心的运行方案，建立了双目标优化模型。仿真结果表明，本文在考虑IT 用户响应特性和负载特征的情况下，仅需要支付少量的激励就能使得数据中心的运行成本得到大幅优化，规避调节大量负载的情况。负载的可削减特征在一定程度上能降低数据中心能耗水平并提高数据中心运行的经济性。而IT 用户演进过程的快慢和响应疲劳的出现，可影响数据中心经济性和调节的负载量。

值得说明的是，本文主要基于日前模式探讨响应负载的统一调节方式，对部分未响应负载的实际调节能力仍未进行充分挖掘。未参与响应和调节的负载不代表其不具备时空调节能力，在实时优化的角度下，数据中心可对其潜力进一步挖掘，然而此研究不在本文的范畴。未来，可借助激励的手段引导IT 用户签订灵活的服务等级协议，实现负载调节和响应的常态化，具体可借鉴GreenSLA（green service level agreement）的模式。

本文研究受到需求侧多能互补优化与供需互动技术北京市重点实验室开放基金项目(YD80-21-001)资助，特此感谢！

附录见本刊网络版（http：//www.aeps-info.com/aeps/ch/index.aspx），扫英文摘要后二维码可以阅读网络全文。