计及PUE的数据中心短期电力负荷预测方法

吴劲松 张少峰 徐向民 李舒涛 黄湧 廖霄

摘 要：为了准确预测数据中心短期电力负荷，提出了基于长短期记忆神经网络的短期负荷预测模型，有效地弥补前馈型神经网络不能处理序列间关联信息与传统循环神经网络无法记忆久远关键信息的缺陷。通过分析得出电源利用效率（power usage effectiveness ， PUE）值与负荷具有相关性，因此在预测模型中考虑了PUE的影响，并使用自适应矩估计算法进行深度学习。并通过对广州某电力设计院数据中心机房的实际电力负荷进行预测，表明在模型中引入PUE值可以有效提高数据中心短期负荷预测的精度。

关键词：负荷预测;数据中心;深度学习;电源利用效率;长短期记忆

DOI：10.15938/j.jhust.2021.06.001

中图分类号： TP183

文献标志码： A

文章编号： 1007-2683（2021）06-0001-09

Short-term Power Load Forecasting Method of Data Center Considering PUE

WU Jin-song1，2， ZHANG Shao-feng2， XU Xiang-min1， LI Shu-tao1，2， HUANG Yong2， LIAO Xiao2

（1.South China University of Technology， Guangzhou 510640， China;

2.China Energy Engineering Group Guangdong Electric Power Design Institute Co.， Ltd.， Guangzhou 510663， China）

Abstract：In order to accurately predict the short-term power load of data centers， a short-term load forecasting model based on long- and short-term memory neural networks is proposed， which effectively compensates for the shortcomings of feed forward neural networks that cannot process the correlation information between sequences and traditional recurrent neural networks cannot remember long-term key information. Through analysis， it is concluded that the power usage effectiveness （PUE） value is correlated with the load. Therefore， the influence of PUE is considered in the prediction model， and the adaptive moment estimation algorithm is used for deep learning. Finally， by predicting the actual power load of the data center computer room of a certain electric power design institute in Guangzhou， introducing the PUE value into the model can effectively improve the accuracy of the short-term load forecast of the data center.

Keywords：load forecasting; data center; deep learning; power usage effectiveness; long and short-term memory

0 引 言

當今社会的各行各业对计算、存储和数据管理的需求日益增加，全球数据中心（data center，DC）的建设规模也随之增长。运营这些数据中心所需的服务器和支持基础设施会消耗大量能源[1-3]。2017年，全球数据中心消耗了全球约7%的电力，预计到2030年这一比例将上升至13%[4]。美国自然资源保护委员会预计到 2020 年，美国数据中心的电力消耗将增加到每年约1400亿kWh，每年将耗资约130亿美元，并导致每年排放近1.5亿公吨的碳污染[5]。研究表明，我国数据中心也发展迅速，其总数已达到40万个，年耗电量已超过 500亿kWh，占全国总耗电量的1.5%[6]。因此，如何降低数据中心能耗是一个亟需解决的问题[7]。

随着我国数据中心的大量建设，数据中心数量将日益增长，从而造成快速攀升的电力资源需求[8-10]。在电能资源难以大量高效存储以及负荷需求时刻发生变化的背景下，对数据中心进行电力负荷预测是实现发电系统与负荷需求之间动态平衡的一种有效方法。

短期负荷预测（short-term load forecasting，STLF）在改革下的能源市场规划和运营中提出已久[11]。目前短期负荷预测的场景主要是住宅、工业和商业等[12]。但这些技术成熟的模型不适用于数据中心负荷预测，因为数据中心的负荷具有较高的可变性和差异性。准确地预测数据中心负荷不仅可以降低其用电成本，同时还可以进一步优化能耗指标。文[13]分析了数据中心能耗和天气参数之间的相关性，开发了基于人工神经网络（artificial neural network， ANN）的模型来预测数据中心负荷，所提出的预测模型准确率达到了87.2%。文[14]首先收集了50，000多个数据样本，其中包含144个与能耗相关的变量。然后设计了基于门控循环单元（gated recurrent unit， GRU）的神经网络模型训练数据预测数据中心的电源使用效率。文[15]介绍了基于深度学习的方法，旨在对各种数据中心能源/功耗相关的关键性能指标进行建模。使用在莱布尼茨超级计算中心获得的多年运行数据进行验证。文[16]提出了一种基于均值平滑和长短期记忆网络的负荷预测框架，实验结果表明使用该模型来预测数据中心未来30 s的负荷优于其他模型。文[17-19]简单地使用计算流体动力学和深度学习构建了一个功耗模拟器来预测可以具有任何设备配置的数据中心的总负荷，该方法构建的预测模型误差最多为8%。

上述文献考虑了天气、制冷量、温湿度、数据中心内外部设备等相关特征，但是却忽视了数据中心关键性能指标。为此，本文基于长短期记忆（long short-term memory， LSTM）网络[20]提出了一种新的数据中心机房的负荷预测方法。具体而言，通过分析得出电源利用效率（power usage effectiveness ， PUE）与电力负荷具有极强相关性，提出了基于PUE值的短期负荷预测模型，并对是否计及PUE 值的负荷预测模型进行了对比分析。最后，在广州某电力设计院数据中心机房，用实际的电力负荷数据对本方法进行了验证。

1 电源利用效率分析

PUE是一种常用的行业度量标准，用于对数据中心电源使用的有效性进行评估[21]。数据中心的能耗大致可以分为IT设备、制冷系统和电能传输设备三个部分，图1更详细地描述了DC的能耗分布和PUE值的计算方法。如图1 所示，在数据中心基础支撑中，冷却装置承担了很大一部分功耗，高达40%的数据中心负荷被冷却消耗;另外45%的数据中心负荷则被IT设备消耗。因此IT设备负荷和冷却系统负荷对 PUE 有显着影响。

PUE值是数据中心总负荷与提供给计算设备负荷之比，如式（1）所示。假设PUE=2，将意味着 IT设备每消耗1 W功率来执行所需的计算，数据中心的支持性电气和冷却基础设施就会产生1 W的额外成本，因此该指标的理想值为1。

PUE=Total Power to DCPower of IT Equipment（1）

通过对数据中心机房的负荷数据进行相关性分析，发现PUE值与电力负荷存在一定的相关性。数据中心的IT设备与制冷系统的负荷波动会影响PUE值的变化，在影响的过程中达到平衡。本文直接分析达到稳态后的负荷与相同时间节点PUE值的相关性。图2为数据中心机房总电度、机房IT电度和机房PUE的相关性热图分析。

表1给出了以数据中心机房2019年6月～12月的负荷和PUE值为样本进行皮尔逊和斯皮尔曼相关性分析。其中，负荷与PUE值的皮尔逊相关分析、斯皮尔曼相关分析的相关系数分别为0.896和0.793，说明负荷与PUE有着极强的相关程度;显著性均为0.000，说明负荷与PUE值存在相关性。因此，在数据中心短期电力负荷预测中，应考虑在输入变量中加入PUE值这一影响因素。

2 基于LSTM的数据中心负荷预测模型

2.1 神经网络输入输出变量选择

因为负荷数据是时序的，所以输入量应包括预测日期之前连续几个小时前的历史负荷数据，本文提出的网络模型输入输出变量选择如表2所示。该网络模型通过在训练集上不断迭代，优化以预测误差为目标函数的最小值为目标，便可以实现LSTM网络中权重的更新。由于LSTM为时间序列上的神经网络，具有代表长期记忆的信息流，通过对权重的调整，就可以使得关键信息得到保留。因此，也说明在处理时间序列数据上LSTM比循环神经网络有着更大的优势。

2.2 数据预处理

训练神经网络时，模型对训练集的大小和质量非常敏感，会直接影响到预测的效果。由于在负荷数据采集过程中存在人为因素、设备故障和采样精度等情况，可能会得到离群值或空数据。因此对数据进行离群值辨别和离群值修正两步处理，可以在一定程度上提高预测精度。

数据中心机房的用电行为主要发生在工作日，因此可将负荷样本数据大致分为工作日和休息日两类。这两类日期类型同一时刻的负荷根据横向相似法对离群值或缺失值修正[22]。因而先采用3σ原理实现离群值辨别，再用横向法对异常值其进行修正，最后再对数据进行归一化处理。

1） 离群值辨别

n，i=1N∑Nn=1xn，i（2）

σ2i=1N∑Nn=1（xn，i-n，i）2，i=1，2，3…（3）

|xn，i-n，i|>3σiε（4）

式中：xn，i为第n天第i时刻的负荷值;n，i、σ2i分别是该电力负荷值均值和方差;ε为设置的阈值，一般取值为1～1.5。

2） 离群值修正

x*n，1=α2∑xn±1，i+β2∑x1，2n，1+γx-n，i

α+β+γ=1（5）

式中：x*n，1為第n天的i时刻的负荷修正值;xn±1，i为同类日第n+1和n-1天的i时刻的负荷值;x1，2n，1为相似日第n+1和n-1天的i时刻的负荷值。

3） 数据归一化

就本文数据而言，样本的原始特征分别是电力负荷值和PUE值，这两个特征取值的分布范围差异很大。其中电力负荷的取值在[30，75]之间，而PUE值的取值在[1，3]之间。当计算负荷值和PUE值之间的欧氏距离时，取值范围大的电力负荷特征会起到主导作用。所以对于基于相似度比较的机器学习方法来说，必须先对样本进行归一化处理，将各个维度的特征归一化到同一个取值区间。虽然神经网络可以通过参数的调整来适应不同特征的取值范围，但训练时初始损失函数值较大，从而会导致训练效率比较低。

本文使用缩放法归一化，通过该方法将数据每个特征的值缩放到区间[0，1]或[-1，1]之间。假设有N个样本{x（n）}，对于每一维特征x。

i=xi-xminxmax-xmin（6）

式中：xi为特征x第i个值;xmin、xmax分别为特征x的最小值、最大值。

2.3 LSTM网络结构设计

LSTM网络是循环神经网络（recurrent neural network， RNN）的改进版本，LSTM模型的创新点在于将输入门，输出门和遗忘门添加到RNN中，具有“记忆”的网络结构可以有效地解决梯度爆炸或消失问题，因此LSTM网络解决长期依赖问题具有一定的优势[23]。

LSTM的存储单元本质上是状态信息累加器，主要工作对当前时刻和之前时刻的输入信息进行筛选。如LSTM的内部结构如图3所示，在隐藏层的结构中构造了“遗忘门ft”、“输入门it”和“输出门ot”，有关于LSTM门结构的计算公式如下：

ft=σ（Wf[ht-1，xt]+bf）（7）

it=σ（Wf[ht-1，xt]+bi）（8）

t=tanh（Wc[ht-1，xt]+bc）（9）

ct=ftct-1+itt（10）

oi=σ（Wo[ht-1，xt]+bo）（11）

ht=ottanh（ct）（12）

式中：Wi、Wf、Wc、Wo均表示适当的权值矩阵系数;向量bi、bf、bc、bo表示相应的偏置向量。

本文提出了计及PUE值的LSTM负荷预测方法，训练过程的输入包括预测日t-1、t-2、t-3、t-4时刻的负荷和PUE值。该模型的框架如图4所示。为了可以灵活地调整输入输出序列的长度，方便预测不同的时间尺度负载，我们建立了基于LSTM的架构，称为序列到序列（S2S）。显然，该体系结构由两部分组成：编码器和解码器。编码器的目的是预测我们已经知道的负载，y[M-1]和f[M]分别表示了前一小时的历史负荷和这一小时的特征，f[M]可以表示为该小时的PUE值。

下一步的关键是对网络结构进行设计，本文设计的LSTM模型含3个隐含层，每层神经元个数分别为200，100，50;以及1个输出层。因为预测未来24h的每小时负荷数据，因此选取LSTM的时间步长为24，即连续24h负荷的序列输出作为一个样本。具体的输入数据格式以及网络模型如图5所示。选取均方差作为损失函数;采用小批量梯度下降技术，保证了训练速度与梯度下降方向的准确性，选取batchsize=75，即75个样本作为一个整体去计算损失函数，并根据损失函数利用Adam算法对LSTM的权重系数进行更新学习。

模型网络训练流程如图6所示， 具体的训练过程大致可以分为5個步骤：

步骤1：先对输入数据进行归一化，假设训练样本的总个数为n，对于每个时刻的预测输入量为8维，且Timesteps为24，即连续预测未来24h负荷，所以输入数据的shape为n×24×8的3D张量[Samples，Timesteps，Features]。

步骤2：将训练集的输入数据x_train输入到LSTM模型中，得出预测值y_train。

步骤3：根据预测值和真实值计算误差。

步骤4：根据误差再利用反向传播算法，其中，优化算法为Adam，对LSTM 进行权重更新，实现LSTM 的监督学习。

步骤5：将测试集输入数据x_test输入到训练好的LSTM神经网络，得出预测值y_test。

2.4 模型训练方法

1） 均方误差

均方误差（mean squared error，MSE），将不断优化以MSE作为本网络的目标损失函数，不断减小预测值与真实值之间的差异程度。

MSE=1n∑ni=1（i-yi）2（13）

式中：i为参数的预测值;yi为参数的实际值。

2） Adam算法

选用Adam算法替代传统随机梯度下降过程，先初始化Adam算法各参数初始值，计算出目标函数的梯度。训练过程采用学习速度（learning rate，Ir）呈指数规律下降的方式，实现训练后期最优解的确定。经过多epoch训练后，选取最佳优化结果。

2.5 预测评价指标

本文采用百分误差（percentage error，PE）、和平均绝对值百分误差（mean absolute percentage error，MAPE） 作为预测结果的评价指标，MAPE常被作为衡量预测准确性的指标。其中PE和MAPE的表达式如下：

PE=xj-jxj（14）

MAPE=1m∑mj=1xj-jxj（15）

式中：j为预测值;xj为真实值;m为数据样本总数。

3 算例分析

3.1 算例设置

本文主要研究是LSTM模型计及PUE值对负荷预测精度的影响，因此在输入变量中未计及天气因素对负荷的影响。为了在不输入天气特征的条件下，验证本文所提方法的科学性和可靠性，实验使用广州某电力设计院2019年06月至2019年12月每小时电力负荷数据作为数据集。在该时间段内广州天气状况较为稳定，因此在不考虑气象特征的条件下，也不会影响PUE值对数据中心短期负荷预测的效果。

本文所研究的负荷日期为一般日负荷预测，对于节假日、工作日等特殊日的负荷预测未做特殊区分处理，因此本文方法不适合直接去预测节假日等特殊日负荷。如果直接预测节假日的负荷，其预测结果可能会不理想，需要对数据集日期类型进行聚类处理，用处理后的数据集重新对模型训练。

3.2 数据修正

通过式（2）和（3）分别计算出数据的均值和方差，再利用式（4）基于3σ原理可以对离群值进行辨别。若数据不满足3σ原理则为正常值，保留;反之，则为离群值，进行修正。如图7所示，未处理的原始数据负荷主要分布在30kW～75kW之间，在电力负荷异常值分布图中出现的棱形方块为数据离群值。

修复过的数据如图8所示，负荷依然分布在30kW～75kW之间，在电力负荷异常值分布图中未出现棱形方块异常值。

3.3 算例结果

为了验证本方法的预测精度，在同一个数据集下用反向传播（back propagation， BP）、RNN和LSTM神经网络分别进行不计PUE值和计及PUE值的负荷预测，如表3所示的是最大、最小和平均百分误差。

從表3可以看出，6种模型预测结果都取得了良好的表现，BP和RNN神经网络未计PUE值的预测精度表现得更好，但是本文提出的LSTM神经网络计及PUE值的预测精度表现得最好。说明LSTM更适合处理短期电力负荷预测问题，且在考虑PUE情况下，加入这一影响因素有利于提高预测的准确性。

如图9（a）所示，本文绘制出真实值以及6种方法在连续24h每小时的负荷预测结果。同时图9（b）和图9（c）分别展示了真实值与计及PUE值和不计PUE值的3种方法的负荷预测对比结果，可以看出，基于LSTM网络的预测结果相较于实际值有一定滞后，但总体波动趋势与实际值相似。基于LSTM神经网络的拟合程度比BP和RNN神经网络的更好。

图10是6种方法的24h预测百分误差棒图，本文提出的方法在个别时刻误差较大，但是其他时刻误差均小于其他方法，说明该本文提出的算法在短期预测中有更出色的表现。

4 结 论

本文针对考虑PUE值情况下的数据中心机房短期电力负荷预测问题进行了研究，通过对每小时的负荷与PUE值的相关性分析，发现两者具有很大的相关性。因此，在进行负荷预测时引入PUE值作为输入量。此外，BP模型的不足之处是不能处理序列间关联信息;RNN模型的缺陷是无法关联长久关键信息。为解决上述问题本文采用了LSTM进行负荷预测，算例结果表明：在考虑PUE的情况下， LSTM的预测结果更加精确。

参 考 文 献：

[1] 王继业， 周碧玉， 张法， 等. 数据中心能耗模型及能效算法综述[J]. 计算机研究与发展， 2019， 56（8）： 1587.

WANG Jiye， ZHOU Biyu， ZHANG Fa， et al. Data Center Energy Consumption Models and Energy Efficient Algorithms[J]. Journal of Computer Research and Development， 2019， 56（8）： 1587.

[2] 宋杰， 孙宗哲， 刘慧， 等. 混合供电数据中心能耗优化研究进展[J]. 计算机学报， 2018， 41（12）： 2670.

SONG Jie， SUN Zongzhe， LIU Hui， et al. Research Advance on Energy Consumption Optimization of Hyper-powered Data Center[J]. Chinese Journal of Computers， 2018， 41（12）： 2670.

[3] SMPOKOS G， ELSHATSHAT M A， LIOUMPAS A， et al. On the Energy Consumption Forecasting of Data Centers Based on Weather Conditions： Remote Sensing and Machine Learning Approach[C]// 2018 11th International Symposium on Communication Systems， Networks & Digital Signal Processing （CSNDSP）， Budapest， Hungary： IEEE， 2018： 1.

[4] AVGERINOU M， BERTOLDI P， CASTELLAZZI L.Trends in Data Centreenergy Consumption under the European Code of Conduct for Data Centre Energy Efficiency[J]. Energies， 2017，10（10）：1470.

[5] WHITNEY J， DELFORGE P. Data Center Efficiency Assessment[ED/OL]. The Natural Resource Defense Council， Tech. Rep.， 2014.

[6] 周舟， 袁余俊明， 李方敏. 云数据中心服务器能耗建模及量化计算[J]. 湖南大学学报（自然科学版）， 2021， 48（4）： 36.

ZHOU Zhou， YUAN Yu Junming， LI Fangmin. Energy Consumption Modeling and Quantitative Calculation of Cloud Data Center Server[J]. Journal of Hunan University （Natural Science Edition）， 2021， 48（4）： 36.

[7] NI Jiacheng， BAI Xuelian， A Review of Air Conditioning Energy Performance in Data Centers[J]. Renewable and Sustainable Energy Reviews， 2017，67： 625.

[8] 王继业， 曾楠， 俞俊， 等. 数据中心能源效率与资产价值之间关系的研究[J]. 电力信息与通信技术， 2021， 19（4）： 1.

WANG Jiye， ZENG Nan， YU Jun， et al. Research on the Relationship Between Data Center Energy Efficiency and Asset Value [J]. Electric Power Information and Communication Technology， 2021， 19（4）： 1.

[9] 王继业， 周碧玉， 刘万涛， 等. 数据中心跨层效优化研究进展和发展趋势[J]. 中国科学： 信息科学， 2020， 50（1）： 1.

WANG Jiye， ZHOU Biyu， LIU Wantao， et al. Research Progress and Development Trend of Data Center Cross-layer Efficiency Optimization[J]. Science in China： Information Science， 2020， 50（1）： 1.

[10]吕佳炜， 张沈习， 程浩忠， 等. 集成数据中心的综合能源系统能量流–数据流协同规划综述及展望[J]. 中国电机工程学报， 2021， 41（16）： 5500.

LV Jiawei， ZHANG Shenxi， CHENG Haozhong， et al. Overview and Prospects of Energy Flow-data Flow Collaborative Planning for Integrated Energy Systems in Integrated Data Centers[J]. Proceedings of the Chinese Society of Electrical Engineering， 2021， 41（16）： 5500.

[11]PANDEY A S， SINGH D， SINHA S K. Intelligent Hybrid Wavelet Models for Short-term Load Forecasting[J]. IEEE Transactions on Power Systems， 2010， 25（3）： 1266.

[12]李智勇， 蘇寅生， 李斌， 等. 基于MT-BSGP的电力负荷预测方法[J]. 哈尔滨理工大学学报， 2021， 26（4）： 46.

LI Zhiyong， SU Yinsheng， LI Bin， et al. Power Load Forecasting Method Based on MT-BSGP[J]. Harbin University of Science and Technology， 2021， 26（4）： 46.

[13]TAHERI S， GOUDARZI M， YOSHIE O. Learning-based Power Prediction for Geo-distributed Data Centers： Weather Parameter Analysis[J]. Journal of Big Data， 2020， 7（1）： 8.

[14]ZHAO Peng， YANG Lina， KANG Zong， et al. On Predicting the PUE with Gated Recurrent Unit in Data Centers[C]// 2019 IEEE 5th International Conference on Computer and Communications （ICCC），Chengdu，China：IEEE， 2019： 1664.

[15]SHOUKOURIAN H， KRANZLMLLER D. Forecasting Powerefficiency Related Key Performance Indicators for Modern Data Centers Using LSTMs[J].Future Generation Computer Systems， 2020， 112： 362.

[16]SHEN Ziyu， ZHANG Xusheng， LIU Binghui，et al.PCP-2LSTM： Two Stacked LSTM-based Prediction Model for Power Consumption in Data Centers[C]// 2019 Seventh International Conference on Advanced Cloud and Big Data （CBD）， Suzhou， China： IEEE， 2019： 13.

[17]KUWAHARA H，HSU Y F，MATSUDA K，et al.Dynamic Power Consumption Prediction and Optimization of Data Center by Using Deep Learning and Computational Fluid Dynamics[C]// 2018 IEEE 7th International Conference on Cloud Networking （CloudNet）， Tokyo， Japan： IEEE，2018： 1.

[18]郭大亮，沈峰，于楚凡，等.基于数据挖掘的电力负荷预测系统设计[J].电子设计工程，2021，29（23）：60.

GUO Daliang，SHEN Feng，YU Chufan，et al.Design of Power Load Forecasting System Based on Data Mining[J].Electronic Design Engineering，2021，29（23）：60.

[19]王天安，董雷，马锐峰，等.基于智能优化的电力负荷预测方法研究[J].电子设计工程，2021，29（2）：129.

WANG Tianan，DONG Lei，MA Ruifeng，et al.Research on Power Load Forecasting Method Based on Intelligent Optimization[J].Electronic Design Engineering，2021，29（2）：129.

[20]满春涛， 康丹青. 考虑上下游的LSTM短时交通流量预测[J]. 哈尔滨理工大学学报， 2019， 24（5）： 101.

MAN Chuntao， KANG Danqing. LSTM Short-term Traffic Flow Prediction Considering Upstream and Downstream[J]. Journal of Harbin University of Science and Technology， 2019， 24（5）： 101.

[21]SHI Y， XU B， WANG D. Leveraging Energy Storage to Optimize Data Center Electricity Cost in Emerging Power Markets[C]// 7th International Conference on Future Energy Systems， 2016.

[22]熊中敏， 郭懷宇， 吴月欣. 缺失数据处理方法研究综述[J]. 计算机工程与应用， 2021， 57（14）： 27.

XIONG Zhongmin， GUO Huaiyu， WU Yuexin. Summary of Research on Missing Data Processing Methods[J]. Computer Engineering and Applications， 2021， 57（14）： 27.

[23]SHERSTINSKY A. Fundamentals of Recurrent Neural Network （RNN） and Long Short-term Memory （LSTM） Network[J]. Physica D： Nonlinear Phenomena， 2020， 404： 132306.

（编辑：温泽宇）

收稿日期： 2021-11-12

基金项目： 国家自然科学基金（61673142）;黑龙江省杰出青年基金（61305001）;广东省重点领域研发计划项目（2020B010166004）.

作者简介：

张少峰（1994—），男，硕士，工程师;

徐向民（1972—），男，教授.

通信作者：

吴劲松 （1980—） ，男，博士，正高级工程师，E-mail： wujinsong@gedi.com.cn.