“双碳”目标下数据中心企业跨区域负荷调度策略

陈冬林，马一帆，李 冰

(1.武汉理工大学 经济学院，湖北 武汉 430070;2.湖北省电子商务大数据工程技术研究中心，湖北 武汉 430070)

自2020年以来，习近平总书记19次重要讲话强调“力争2060年前实现碳中和”[1]。从整体来看，碳中和路径大致可以分为3个阶段：①2021—2030年实现碳排放达峰；②2031—2045年快速降低碳排放；③2046—2060年深度脱碳，实现碳中和。与大多高耗能行业将在2025年前后达峰不同，数字基础设施领域在2030年“碳达峰”后仍处于规模高速扩张之中。数据中心行业能耗和碳排放严重：2018年全中国数据中心消耗电量1608.89亿千瓦时，超过整个上海市用电，总碳排放量达9855万吨。据预测到2023年，中国数据中心总碳排放将达到1.63亿吨[2]；2030年全球大数据中心消耗30%电力[3]。在“碳中和”以及数据中心高污染现状的背景下，高速扩张需求和高能效管理需求使数据中心企业面临着更大的挑战，激励着数据中心行业探索脱碳途径。

学界很早便开始关注数据中心的能耗问题，关于降低能源消耗的研究和技术已日趋成熟，有效方式主要包括：①数据中心层面上，通过动态调节服务器工作状态缩减数据中心规模[4]；②服务器层面上，通过虚拟机迁移[5]或动态调节CPU运行频率[6]降低能耗。但降低能耗只是碳减排的第一步，提高数据中心使用可再生能源电力比例更为重要。可再生能源极大的依赖于地理环境，“Follow The Renewable”概念[7]鼓励将数据中心建立在可再生能源丰富的地区。此外数据中心数量的高速增长也对数据中心所建地的土地供应、能源保障、气候条件提出更高的要求。以可再生能源为导向布局跨区域数据中心的建设也成为我国实现“碳达峰”、“碳中和”目标的重要技术和政策手段：2021年5月《关于加快构建全国一体化大数据中心协同创新体系的指导意见》启动实施“东数西算”工程，在贵州、内蒙古、甘肃、宁夏建设全国算力网络国家枢纽节点。跨域数据中心的布局和运营将成为企业的重要工作，如何抉择负荷调度策略来兼顾政府、用户、企业3方在不同时期的利益是重中之重。

近年跨域数据中心负荷调度相关文献的比较结果如表1所示，大部分的研究为降低运营成本，未考虑碳减排目标。杨亚南等[8]设计了一种基于能源价格时空差异性的跨域数据中心负荷调度方法，以运营成本为优化目标验证了该方法在成本节约上的有效性，并未涉及碳排放量模型。YUAN等[9]设计了一种跨域数据中心利润最大化方法，在利润计算模型中加入数据中心绿色能源(太阳能)可获得性模型；同样地，HOGADE等[10]的跨域数据中心管理研究中详细考虑了电价波动性和时空差异性等成本影响因素，结果证明在跨域数据中心管理的决策过程中包括这些额外的信息可以有效降低成本；TRIPATHI等[11-12]跨域数据中心管理研究中构建的绿色能源模型用于核算能源使用成本，这些研究中的绿色能源可获得性模型用于降低电力成本而非碳排放量，同样忽视了碳减排的需求。关于跨域数据中心管理研究中较少同时管理运营成本和碳排放问题，周知[13]在跨域数据中心管理的研究中提出将能效管理从传统的“能耗―性能”二维范畴扩展到“能耗―碳排放―性能”的三维范畴，构建的碳排放量模型中加入了电力成分模型，但是未将碳减排作为优化目标。KHOSRAVI等[14-15]的跨域数据中心管理研究中以最小化总能源成本和最大化可再生能源使用为优化目标，发现考虑动态PUE和可再生能源可得性优化方法能更高效的降低能源和碳的总成本，但是没有区分可再生能源使用量和碳排放量的区别，导致了成本和碳减排优化目标的次优结果。XU等[16]以碳排放量和服务性能作为跨域数据中心管理优化目标，提出了4种调度策略，但在优化过程中并未将运营成本考虑在内，此外在服务性能保障方面，默认优先将服务请求分配到最近的数据中心，导致了次优结果。该部分文献大多针对国外的跨域数据中心环境，与我国的数据中心环境差异较大。跨域数据中心管理的关键在于对利用数据中心具有时空差异性的属性[13]。目前的跨域数据中心管理研究中考虑到的时空差异因素涉及：实时电价、能源价格、能耗/PUE、地理距离、碳强度、绿色能源发电量，而我国数据中心的运营环境在电价、能源供应方式、气候环境等方面与国外有很大的不同。

表1 相关研究比较

综上，数据中心的碳污染相关研究主要集中在数据中心内部的能耗方面，鲜少涉及到通过跨域数据中心的负荷调度降低碳排放，且多以企业成本最小化为目标，缺乏对碳减排的考量。笔者利用跨域数据中心时空差异性来管理多目标，提出了“双碳”目标3个阶段下兼顾政府、用户、企业3方利益的负荷调度策略。由于可再生能源具有不稳定性，我国数据中心的能源消耗主要来源于直接购买的可再生能源电力或市电[17]。因此，以“碳排放”为唯一的环保指标，不单独考虑跨区域数据中心间“绿色能源的使用”的相关内容。

1 问题描述

数据中心跨区域的调度系统原理如图1所示，分数据中心由采用不同能源结构发电的电力供应商提供电力，由工作负荷调度中心统一规划，协同提供同一时段所需的服务资源。服务需求用户来源于不同的地区，向工作负荷调度中心请求云服务；工作负荷调度中心通过循环实时监控跨域数据中心的属性，根据决策目标进一步分析决策影响因素，最后根据优决策计划通过向跨域数据中心分配工作负荷完成执行工作；跨域数据中心根据负荷调度计划提供服务资源。

图1 数据中心跨区域的调度系统原理图

(1)用户请求。来自不同地区的用户向跨数据中心发起服务请求，服务请求被汇集到“工作负荷调度中心”。为便于根据决策因子进行调度分析，将用户的服务请求按照地区和时间进行划分并“打包”给“工作负荷调度中心”，打包结果为需要以最大利用率工作单位时间t的服务器S*台数D(t)。

(2)分数据中心。分数据中心分布于不同地理和经济环境的地区，记为集合D={d1,d2,…,dn}。每个数据中心有不同的服务器个数，记为Sd，数据中心的服务器集合记为S={s1,s2,…,sm} 。此外，由于不同数据中心的可再生电力资源供应商不同，其电力的发电能源碳强度也有差别，碳强度集合记为int={int1,int2,…,intn}。为便于计算，假设每个数据中心服务器为同规格的服务器S*。

(3)工作负荷调度结构。工作负荷调度中心连接跨域数据中心的物理资源和用户提交的请求，根据相应的决策信息输入以及决策因子进行决策，以实现优化的目标。该工作负荷调度结构可根据优化目标扩展：通过改变决策因子和相应的决策信息实现。

2 模型构建

基于对碳排放量、运营成本、时延的考量，构建了3种数据中心企业跨区域负荷调度的策略模型。根据数据中心时空差异性的研究结果[10,14]：在运营成本和碳排放量方面考虑了动态电价、能耗、碳交易价格等具有时空差异性。模型中相关符号的解释如表2所示。

2.1 数据中心碳排放的度量

单位电的碳强度会因发电时使用的能源种类及比例不同而有很大差别。理论上可根据电力成分的种类和比例，核算单位电的碳强度[13]。但在实际发电中，由于可再生能源的不稳定性，即使同一电力供应商发电所使用的能源成分和比例在时间上也会也波动，给精确核算电力碳强度的工作带来巨大的挑战。给定数据中心 在时间段t的单位电力碳强度 ，时间段T内跨域数据中心的总碳排放量 核算公式如式(1)所示：

Cf=∑t∈T∑d∈DEd(t)·Cfd (1)

2.2 数据中心运营成本的度量

2020年北京已明确将数据中心纳入碳排放管理重要行业，2021年7月我国开通全国碳交易市场。在我国“双碳”目标以及碳交易市场蓬勃发展的背景下，核算的数据中心运营成本包括现行的电力成本和政府通过市场手段调控碳排放下的碳排放成本。电力成本受能耗和电价影响，数据中心的能耗主要包括服务器能耗、冷却能耗、设备能耗等，主要考虑占数据中心总能耗的60%的服务器能耗和冷却能耗[18]。

服务器功率通常与服务器的利用率呈线性关系[19]，工作负荷调度不考虑数据中心内部的服务器负荷调度，在核算数据中心的服务器能耗时默认开启的服务器均以最大功率Pmax运行。单位时间t内冷却能耗Pcool,d(t)为维持服务器工作温度能耗，气温为影响最大的因素[20]。由服务器能耗和PUE可得总能耗，如式(2)所示。PUE受数据中心负荷和气温因素的影响[14]，如式(3)所示。依据我国数据中心与美国数据中心PUE的平均差距[21]，以及对开启的服务器100%利用率的设定，调度管理模型中PUE的计算如式(4)所示；分数据中心d在时间段t内的能耗Ed(t)的计算如式(5)所示；数据中心的运营成本的计算如式(6)所示。

(2)

(3)

PUEd(t)=1+0.2+0.01+0.01Hd(t)+0.3

(4)

Ed(t)=∑s∈dPs(t)·PUEd(t)

(5)

Cost=∑d∈DEd(t)·Pd.c(t)+Cfd·Pd.f(t)

(6)

式中：Hd(t)为数据中心d在时段的平均温度，为分数据中心d在时段t的服务器平均利用率。

2.3 数据中心时延的度量

《全国一体化大数据中心协同创新体系算力枢纽实施方案》提出布局建设全国一体化算力网络国家枢纽节点，数据中心端到端单向网络时延原则上在20 ms范围内。大规模数据中心内部的时延与端到端往返时延通常在200 μs，因此用户感受到的时延主要是网络传输时延。网络传输时延主要与端到端的距离disd有关，每km的网络传播时延约为0.02 ms[22]，称其为网络传输时延参数，表示为c。时间段t内跨域数据中心的平均响应时间Lt如式(7)所示，由各数据中心时延根据所处理的请求数量Rd(t)进行加权获得。

(7)

2.4 建立模型

“双碳”目标的实现是一个循序渐进的过程，将其大致分为3个阶段：“碳达峰”、“碳达峰”和“碳中和”交汇、“碳中和”，根据不同阶段下跨域数据中心和政府的诉求提出了3种跨域数据中心考虑碳排放因素的负荷策略。

(1)策略1：“‘碳达峰’阶段企业运营成本最小策略”是未来“碳达峰”阶段政府采取市场手段对数据中心碳排放量进行约束时，跨域数据中心综合考虑用电成本和碳排成本的运营成本最小策略，简称C1C2-Q，具体描述如式(8)～式(11)所示。分数据中心负荷能力约束如式(9)所示，数据中心的调度计划满足用户需求量如式(10)所示，数据中心的平均时延小于最大忍受时延如式(11)所示。

max(Cost)

(8)

s.t.0≤Sd(t)≤Sd,max

(9)

∑d∈DSd(t)≥D(t)

(10)

(11)

(3)策略3：“‘碳中和’阶段政府视角下企业碳排放最小策略”是“碳中和”阶段政府通过更严格的碳排放量管控政策所希望跨域数据中心采取的负荷调度策略：将碳减排作为唯一的优化目标，简称F-Q策略。该策略目标函数为min(Cf)，约束条件等同C1C2-Q策略。

3 数据中心跨区域负荷调度遗传算法

遗传算法(genetic algorithm, GA)是通过模拟自然选择和生物进化过程搜索最优解的有效方法，被广泛应用于多目标优化、机器学习、人工智能等领域。同时，诸多国内外学者已经通过深入研究证明遗传算法在提高闲置云资源使用效率[23]、节约供应商成本[24]、满足用户效用期望[25]等方面具有显著优势。相较于其他优化搜索算法，遗传算法具有良好的全局搜索、收敛能力，能够在种群不断进化过程中快速寻找到最优解集，通过同时评估多个解的方式降低了陷入局部最优的风险，提高算法效率和准确性。笔者基于改进遗传算法进行实验仿真和模型求解，旨在验证上述基于运营成本和碳排放优化的跨域数据中心工作负荷调度模型的可行性和有效性，以及对比所提出的3种策略降低运营成本和碳排放的效果。

结合对跨域数据中心协同工作的场景分析，设计求解跨域数据中心工作负荷调度模型的遗传算法，流程如图2所示。

图2 工作负荷调度算法流程图

3.1 算子设置

(2)选择算子：目的是将优质的个体基因直接遗传到下一代或通过配对交叉产生新的个体再遗传到下一代。对个体的优胜度评估是建立在适应度评估基础上的，选择方法通常有轮盘赌选择法、随机抽样法、局部选择法。选择在种群适应度排序中前60%范围内进行轮盘赌选择法。

(4)变异算子：变异操作是为了在运算过程中能改变某些个体的基因，以避免失去一些有用的基因。对种群中的个体进行随机选择，并根据变异概率对个体的基因在限制范围内进行随机改变。

3.2 参数设置

数据中心跨区域负荷调度遗传算法的参数设置包括两部分：种群初始化和基因迭代相关的遗传算法。为确保遗传算法更好的运行和收敛，对相关参数个体数量、交叉概率、变异概率、进化代数等进行反复实践和对比，最终取值如表3所示。

表3 数据中心跨区域负荷调度遗传算法的参数取值

4 数值实验

4.1 背景设定

实验设定某大型企业的服务需求量是D，为避免实验结果受季节干扰的气温变化的影响，将服务需求量D设置为常量300 000。

水利信息化是水利现代化的重要标志。水利信息系统的建立可以大大提高雨情、水情、工情、旱情和灾情信息采集的准确性及传输的时效性，提高预测和预报的及时性和准确性，为制定防洪抗旱调度方案、提高决策水平提供科学依据，最终达到充分发挥已建水利工程设施的效能。水利中的地理水纹记号作为传递信息、描述信息的媒介，是水利信息化建设的一个重要部分。

(1)跨域数据中心。基于我国“加快构建全国一体化大数据中心协同创新体系”等政策的背景，跨域数据中心设定在武汉和4个全国算力网络国家枢纽节点，即贵州、宁夏、内蒙古、甘肃。每个数据中心的服务器上限设为200 000台。

(2)数据中心电力碳强度。结合我国生态环境部公布的2019年“区域电网基准线排放因子”数据以及“2020年度全国可再生能源电力发展监测评价报告”来设定数据中心所购电力的碳强度，具体如表3所示。

(3)数据中心时延。根据网络传输时延参数[22]，各数据中心与服务需求地的地理距离，设定时延数据如图4所示，其中武汉数据中心的时延设置为10 ms，具体如表4所示。

表4 分数据中心碳排放因子、时延设定

(4)数据中心所处地区碳价。根据近两年地方试点的加权平均碳价以及目前全国碳交易市场中各地区的碳交易价格变化规律，模拟5个数据中心所在地区一年内的碳交易价格，如图3所示。

图3 数据中心年度月均碳交易价格图

(5)数据中心温度。数据中心的温度影响电力消耗，跨域数据中心年度月均气温变化如图4所示。

图4 分数据中心年度月均气温变化图

4.2 实验结果分析

为评估所提出的3种考虑碳排放因素的负荷调度策略的综合表现，另设基准模型“现阶段企业运营成本最小策略”模型，该模型与“‘碳达峰’阶段企业运营成本最小策略”模型的区别在于不核算碳排放成本，简称为C1-Q。对每种策略下的8次实验结果进行比较，结果如图5所示。可知在“‘碳达峰’阶段企业运营成本最小策略”模型中，运营成本重要性系数为0.7，碳排放量重要性系数为0.3时，运营成本曲线和碳排放量曲线均出现拐点，因此选择该系数组合该策略典型进行分析。

图5 C1C2F-Q策略中不同权重分配策略的对比

由于3种策略都有性能约束(20 ms)，且实验设置中的5个数据中心距离服务请求地的地理直线距离较近，时延介于10～22.8 ms之间，因此各管理策略下的时延差距不大，在此不做另外展示。4种策略下分数据中心负荷的情况如图6所示。

图6 不同策略下分数据中心负荷情况

由图6可知，随着碳减排目标重要性的增加，武汉数据中心负荷量逐渐增大。《2020年度全国可再生能源电力发展监测评价报告》显示，武汉和甘肃的电力中清洁能源比例最高，武汉的电价最高，符合图中变化趋势。分别以可视化形式和数据形式展示4种策略下跨域数据中心运营成本和碳排放量的比较，如图7和表5所示。

图7 不同策略下跨域数据中心运营成本和碳排放量比较

表5 不同策略下跨域数据中心运营成本和碳排放量数据比较

由图7可知，C1-Q策略代表了传统的以当下成本最小化为管理目标的跨域数据中心管理方式，为基准策略。由表4可知，C1C2-Q策略与基准策略相比碳排放降低11.08%，运营成本仅提高0.85%。说明政府在碳排放管控初期通过市场手段对数据中心的碳排放进行约束迫使跨域数据中心改变负荷调度策略的碳减排效果明显，且具有很强的可接受性。F-Q策略与基准策略相比碳排放降低30.21%，说明市场手段下数据中心的碳排放量仍有很大的降低空间，此时运营成本也有较明显的提高，为14.45%，但相比碳排放量的降低仍是可行的。C1C2F-Q策略与基准策略相比碳排放降低25.46%，运营成本提高7.74%，相较于其他两个阶段下的策略，该策略在运营成本和碳排放量的综合管控方面效果最优。

提出的3种策略从调度管理的视角出发，分别实现减排11.08%、25.46%、30.21%的效果，结合从能耗技术、可再生能源、大数据中心布局的视角，可进一步降低碳排放量。数据中心作为高价值行业，以单位国内生产总值二氧化碳排放降低18%为对照，表明3种策略在降低碳排放方面有较好的表现。

5 结论

(1)结合我国数据中心向跨域数据中心发展的趋势、碳中和背景下数据中心巨大的碳排放量以及全国碳交易方面的现状，构建了以我国数据中心运营现状为背景的跨域数据中心负荷调度模型；根据“双碳”的3个阶段下跨域数据中心和政府的目标提出3种负荷调度策略，充分发掘了具有时空差异性的属性在降低运营成本和碳排放量的潜力。

(2)贡献：①在我国数据中心“东数西算”、跨区域化、绿色化的背景下，提出了跨区域的负荷调度策略；②提出的负荷调度策略考虑到碳减排的需求，为通过管理手段降低数据中心的碳排放提供了示范。

(3)缺陷：①对数据中心跨域调度研究集中于“中游”，对于“调度”前的服务请求未进行进一步划分，例如是否是对时延要求低的容忍型请求；②对分数据中心的初始设置稍显理想化，例如各数据中心硬件设备一致、以最大利用率运行等。

(4)未来的研究方向可分为3方面：①精细化数据，如数据中心的所使用的电力能源的碳强度；②细化数据中心能源供应的结构，如构建可再生能源的供应模型，利用绿色能源的时空差异性实现更优的负荷调度策略；③用户端和分数据中心内部端延伸，例如对服务请求进行预测与划分、对数据中心内部负荷进行二阶段调度。