小数据场景下基于迁移学习与BiLSTM的建筑能耗预测方法

田晨璐 刘业春 杨爱新 韩春雪 王璠 梁丽华

摘  要： 针对由新建建筑或建筑节能改造能耗数据不足引起的深度学习网络预测精度低的问题，提出一种基于迁移学习与BiLSTM（双向长短期记忆网络）的新建建筑能耗预测方法。首先采用MMD（最大均值差异）对源域建筑与目标域建筑的历史数据进行相似度分析；然后利用相似建筑的历史数据对BiLSTM进行预训练；最后微调BiLSTM对目标域建筑进行预测。使用真实的建筑能耗数据进行实验，结果表明，与其他预测模型相比，所提出方法显著提高了能耗预测精度。

关键词： 建筑能耗预测； 迁移学习； 相似度分析； 深度学习； BiLSTM

中图分类号：TU111.195          文献标识码：A     文章编号：1006-8228（2023）04-62-05

Abstract： Aiming at the problem of low prediction accuracy of deep learning network caused by insufficient energy consumption data of new buildings or building energy conservation renovation， in this paper， a new building energy consumption prediction method based on transfer learning and BiLSTM （bi-directional long short-term memory network） is proposed. Firstly， MMD （maximum mean difference） is used to analyze the similarity between the historical data of buildings in the source domain and the target domain. Secondly， the BiLSTM is pre-trained using the historical data of similar buildings. Finally， BiLSTM is fine-tuned to predict the buildings in the target domain. Experiments with real building energy consumption data show that the proposed method significantly improves the prediction accuracy of energy consumption compared with other prediction models.

Key words： building energy consumption prediction; transfer learning; similarity analysis; deep learning; BiLSTM

0 引言

建筑用能占全球用能的40%以上[1，2]，也是主要的碳排放来源。建筑物节能管控是实现国家“碳达峰、碳中和”战略的主要措施之一，而建筑用能预测建筑节能管控中发挥着关键的作用。精准的能耗预测对于保证节能措施有效性、降低建筑运维费用等具有重要的意义[3]。为了实现精准的能耗预测，相关研究人员提出了多种基于深度学习的预测方法，例如Jing[4]等人通过灰狼优化算法（GWO）对BP神经网络的权值等参数进行优化来得到更优的BP神经网络，从而对办公建筑的能耗進行了更加精准的预测。Zhang[5]设计了一种以LSTM（长短期记忆网络）为生成器、卷积式神经网络的判断器，对建筑能耗的历史数据进行多步预测，从而达到降低预测误差的目的。Yu[6]等人采用树种算法（TSA）优化的径向基函数（RBF）与LSTM分别对建筑物能耗数据的低频分量和高频分量进行预测，从而达到较高的预测结果。Dou[7]等人针对建筑能耗中单一预测模型预测精度低的问题，提出了多种预测模型相结合的方法。但是这些方法的有效性依赖于充足、高质量的历史能耗数据，在新建建筑、建筑节能改造等小数据场景下，可用建筑能耗数据较少，上述模型准确率难以保证。

据研究发现，迁移学习[8]在处理小样本数据预测方面有显著优势，已在发电预测、能耗预测、空气质量预测等领域有了初步的应用。例如文献[9]针对发电风电场数据不稳定、训练时间长等问题，提出一种DNN-MRT（深度学习的元回归器）与迁移学习相结合的方法对风电场的功率进行准确预测。文献[10]提出聚类特征提取与迁移学习相结合的方法，来解决由于用户耗能的强随机性、强波动性造成的预测精度地的问题。文献[11]为了解决由于水力发电数据频发导致发电预测精度的问题，提出一种基于样本数据迁移学习下的CNN（卷积神经网络）与LSTM（长短期记忆网络）混合卷积时空网络。文献[12]采用ELM（极限学习机）与DQR（直接分位数回归）结合迁移学习的思想，提出一种区间预测的太阳能发电训练那模型。文献[13]采用BiLSTM与迁移学习结合的方法，将现有的空气监测站的知识迁移到新建空气监测站中，以解决预测精度低的问题。文献[14]采用迁移学习与BiRNN相结合的方法，将ICE/HEV的知识通过BiRNN载具模型迁移学习到EV上，进而解决由于EV充电数据少带来的预测精度低的问题。

为了解决小数据场景下基于深度学习的建筑能耗预测精度低的问题，本文提出了一种基于迁移学习与BiLSTM 的建筑能耗预测方法。该方法利用相似建筑丰富的能耗数据对BiLSTM模型进行预训练，再利用目标建筑数据集微调模型参数，最终达到提升预测精度的目的。为验证所提方法的有效性，本文基于SVR（支持向量机）、ELM（极限学习机）、LSTM（长短期记忆网络）、BiLSTM（双向长短期记忆网络）多种模型，建立了建筑用能预测对比方法，并应用到真实的建筑能耗预测中，采用R（皮尔相关系数）、SMAPE（对称平均绝对百分比误差）、RMSE（均方根误差）、MAE（平均绝对误差）四个评价指标进行精确度分析与验证。

1 方法介绍

1.1 迁移学习与Fine-tuning（微调）

迁移学习根据学习方式，可分成以下四类[15]：基于样本、基于特征、基于模型以及基于关系的迁移学习。本文采用基于模型的迁移的方式，基于模型迁移最常见的方法为Fine-tuning（微调），Finetuning体现在源域预测模型到目标域预测模型的调整上。源域数据内包含充足的数据样本，目标域数据内包含少量的数据样本。源域数据集在模型 A的基础上进行预训练，完成训练任务A；而后经过Fine-tuning后得到模型B，新的模型 B再针对目标域进行训练，完成训练任务B。Fine-tuning的优势点在于：经过源域充足数据量训练后的模型，广义上相当于扩充了目标域的数据量，使得目标域预测模型仍有较好的拟合能力，基于模型的迁移示意如图1所示。

1.2 最大平均差异MMD

迁移学习的核心为：分析源领域与目标领域的相似性[15]；当源域与目标域之间相似性较低时，迁移之后会产生负面情况的情况，因此有必要对源域、目标域数据进行相似度分析。本文采用最大平均差异MMD作为相似度分析算法。MMD通常被用于测量两个分布间的差异，MMD是通过将两分布映射同一空间内，进而计算两分布的距离。MMD的核心特性就是再生核希尔伯特空间（RKHS），即RKHS具备再生性，标准公式如下：

综上本文采用MMD，可以作为分析源域、目标域的相似度算法。MMD最终求得的为量分布之间的距离，因此MMD结果越小，相似度越高；反之亦然。

1.3 双向长短期記忆网络BiLSTM

LSTM是为了解决循环神经网络（RNN）形成的梯度爆炸问题。LSTM结构主要包括：输入门，遗忘门，输出门，内部记忆单元。其中，遗忘门根据特定的机会监控有无遗忘上一级的隐藏细胞状况；而输入门则一般负责管理对当前序列情况的输入；内部记忆模块一般由两部分形成：前一细胞状态与当前遗忘门输出的乘积、输入门的乘积；输出门一般由两部分形成：前一序列状态和当前顺序的隐含态与sigmoid激活函数、隐含态与tanh激活函数。

其中[ft、it、Ct、ht]分别代表遗忘门、输入门、内部记忆单元、输出门；[Wf、Wi、Wo、Uf、Ui、Uo、bf、bi、bo]表示线性关系的系数与偏移，[σ]为sigmoid激活函数、[⊙]为Hadamard积。BiLSTM在LSTM的基础上，通过两个单独的隐藏层对序列信息进行了正向和反向处理，把两个连接结合在同一个输出层，将节点之前的信息和节点之后的信息作为时间序列数据的当前时间基础。BiLSTM的优势在于能够结合前向数据与后向数据的共同知识，从而获取更为精确的模型知识。

2 数据集与实验设置

2.1 数据集

从https：//trynthink.github.io/buildingsdatasets下载源域建筑能耗数据，数据包含美国100个匿名商业和工业站点2012年到2013年的能耗数据，每五分钟采集一次建筑能耗。从其中选择部分商业建筑、工业建筑作为实验数据集，并分别建立商业建筑、工业建筑的迁移学习实验。

2.2 参数设置

⑴ 相似度分析设置

相似度分析算法采用MMD，为了减少计算成本，降低运算时间，设计随机抽取器对源域建筑能耗数据进行抽取，抽取的步长由目标域新建建筑能耗数据的数量长度决定，初设定抽取三次，将每次抽取的源域子集与目标域进行MMD运算，最后取3次MMD均值作为相似度结果输出。

⑵ 方法设置

针对所提出的方法中BiLSTM的参数设置如下：BiLSTM的层数为十一层，其中包含一个序列的输入层用于调整不同输入数据的大小，四个BiLSTM层，四个Dropout层，一个全连接层以及一个回归层。各个层级BiLSTM有四十八个隐藏单元，同时在各个层级BiLSTM后面接一层丢失率为0.5的Dropout层，以防止模型训练过拟合；针对源于数据进行训练时，采用冻结后两层BiLSTM，预训练后解冻后两层BiLSTM，同时更新全连接层。进一步来说，参加源域数据训练的有两层BiLSTM，而后经过微调后有四层BiLSTM参与目标域数据预测。

⑶ 评价指标

采用四个指标来度量模型预测精度，分别为平均绝对误差（MAE）、均方根误差（RMSE）、 对称平均绝对百分比误差（SMAPE）、皮尔逊相关系数（R），其中MAE、RMSE、SMAPE越低，表明预测精度越高，R越高，表明预测精度越高。标准公式如下：

2.3 微调策略

微调策略采用冻结部分BiLSTM预测模型的BiLSTM层，让其针对源域数据进行模型预测，经过一定训练Epoch后，验证源域拟合效果。而后对BiLSTM模型已冻结层数进行解冻处理，同时设计新的全连接层与解冻后的BiLSTM进行拼接，进而得到新的BiLSTM，新的BiLSTM既包含源域预训练BiLSTM层，又包含解冻后无权重的BiLSTM层，微调策略示意图如图2所示。

3 实验结果与讨论

3.1 相似度分析

根据设计相似度分析算法，分别选取六个商业建筑、六个工业建筑作为备选源域数据，再分别选取另外一商业建筑、工业建筑的一个月的能耗数据作为目标域数据，来模拟出新建建筑的场景。由图3可得商业建筑备用源域数据中源域5的MMD结果最小，即源域5与目标域最为相似；工业建筑备用源域中源域3的MMD结果最小，即源域3与目标域最为相似。因此商业建筑备用源域选择源域5作为最终源域训练数据，工业建筑备用源域选择源域3作为最终源域训练数据。

3.2 模型对比及评价指标

表1、表2分别展示了商业建筑、工业建筑BiLSTM-TF以及对比模型的各个评价指标，由表可知所提方法在四个评价指标方面都有较优越的表现。在商业建筑预测模型中R指标至少提高了1.3%，SMAPE指标至少降低了34.45%，MAE指标至少降低了41.23%，RMSE至少降低了27.89%；在工业建筑预测模型中，R指标至少提高了0.6%，SMAPE指标至少降低了22.42%，MAE指标至少降低了12.21%，RMSE至少降低了11.36%。而且对比LSTM与BiLSTM模型预测指标发现，BiLSTM模型的预测性能较为优越，这表明BiLSTM通过结合双向传播的信息，达到了更精确的预测精度；再对比BiLSTM与BiLSTM-TF模型预测指标发现，BiLSTM-TF四个指标均有一定的优化，这表明迁移学习在预测中起到了积极的作用。

4 结束语

丰富的历史能耗数据是实现高预测精度的必要前提，面对新建建筑或建筑节能改造能耗数据不足的问题，本文提出一种基于迁移学习与BiLSTM的新建建筑能耗预测方法。采用对相似源域建筑进行模型预训练，而后经过微调，再对目标域建筑进行预测，该方法广义上扩充了目标域建筑的能耗数据量。为了验证所提方法的优越性，在美国真实的商业建筑、工业建筑上建立对比实验，实验结果表明，该方法至少优化了22.42%。

在未来的工作中，我们希望通过消融实验，确定BiLSTM模型结构以及微调策略的最优解，并在现有目标域建筑能耗数据量的基础上，建立周期性迁移预测模型，进一步讨论所提方法的优越性。

参考文献（References）：

[1] Gao Yuan， Ruan Yingjun， Fang Chengkuan， Yin Shuai. Deep learning and transfer learning models of energy consumption forecasting for a building with poor information data. Energy and Buildings，2020，223：110156

[2] Zhang Yan， He Chen-Qi， Tang Bao-Jun， Wei Yi-Ming. China's energy consumption in the building sector： A life cycle approach， Energy and Buildings，2015，94：240-251

[3] Zhang Jinping， Deng Xiaoping， Li Chengdong， Su Guanqun， Yu Yulong. Cloud-edge collaboration based transferring prediction of building energy consumptio.Journal of Intelligent & Fuzzy Systems，2021，41：7563-7575

[4] 井文强，关宏洁，罗薇等.基于改进GWO-BP的办公建筑能耗预测模型[J].建筑节能（中英文），2022，50（8）：125-129

[5] 张卓渊.一种基于生成对抗网络的建筑能耗多步预测方法[J].电脑知识与技术，2022，18（23）：92-94

[6] 于军琪，杨思远，赵安军，等.基于神经网络的建筑能耗混合预测模型[J].浙江大学学报（工学版），2022，56（6）：1220-1231

[7] 竇嘉铭，马鸿雁.基于多神经网络组合的建筑能耗预测研究[J].计算机仿真，2022，39（5）：438-443

[8] Karl Weiss， Taghi M. Khoshgoftaar， DingDing Wang. A survey of transfer learning， J Big Data （2016）3：9，https：//doi.org/10.1186/s40537-016-0043-6

[9] Qureshi AqsaSaeed， Khan Asifullah， Zameer Aneela，Usman Anila . Wind power prediction using deep neural network based meta regression and transfer learning， Applied Soft Computing Journal，2017，58

[10] 孙晓燕，李家钊，曾博，等.基于特征迁移学习的综合能源系统小样本日前电力负荷预测[J].控制理论与应用，2021，38（1）：63-72

[11] 魏泽涛，刘友波，沈晓东，等.基于样本数据迁移学习的贫资料地区小水电超短期出力建模及发电预测[J].中国电机工程学报，2022（11）：1-17

[12] Runhao Geng， Huan Long，Wei Gu， Small-Sample Interval Prediction Model based on Transfer Learning for Solar Power Prediction，2022 IEEE 5th International Electrical and Energy Conference （CIEEC），2022：4739-4743

[13] Ma Jun， Li Zheng， Cheng Jack C.P.， Ding Yuexiong， Lin Changqing， Xu Zherui. Air quality prediction at new stations using spatially transferred bi-directional long short-term memory network， Science of the Total Environment，2020，705：135771

[14] Yining Hua， Michele Sevegnani， Dewei Yi， Andrew Birnie， Steve McAslan. Fine-Grained RNN With Transfer Learning for Energy Consumption Estimation on EVs， IEEE Transactions on Industrial Informatics， 2022，18：8182-8190

[15] Zhuang Fuzhen， Qi Zhiyuan， Duan Keyu， Xi Dongbo， Zhu Yongchun， Zhu Hengshu，  Xiong Hui， He Qing. A Comprehensive Survey on Transfer Learning， Proceedings of the IEEE，2021，109：43-76

*基金项目：国家自然科学基金资助项目（61903226，52007109）； 山东建筑大学校内博士基金（X22015Z）

作者简介：田晨璐（1991-），女，山东济南人，博士，讲师，主要研究方向：建筑能耗预测。

通讯作者：梁丽华（1991-），女，山东济南人，硕士，实验师，主要研究方向：智能建筑检测技术。