基于知识流和迁移学习的负荷预测

祝文军，王思宁，高晓欣，郑倩

（北京中电普华信息技术有限公司，北京 100192）

0 引言

随着信息化时代的建设，物联网技术与人们的生活息息相关。物联网的发展遍及各地区各行业战略性产业链，这些重要行业领域有能源电力行业、运输交通行业与智能医疗行业和服务行业等[1]。物联网系统可分为感知层、应用层、网络层3 个层次，本文主要面向感知层，由各种具备感知性能的设备组合而成[2]，如传感器设备等，主要负责物理数据接入感知，是实现物联网技术的基本层。感知技术是指利用现有的传感器实现物联网的物物交互与连接[3]。信息感知交互过程中，海量数据信息的采集、大规模信号的处理易出现不准确性，数据冗余、计算量大、成本高、计算实时性差和无特征性的特点，物联信息感知、信息传递、信息存储、信息处理等面临巨大挑战，物联智能化水平亟须提高[4]。目前多种方式正在改善各种形式物联感知系统，能源电力正着手于智能感知平台的开发，协助行业的发展，多家企业正致力于物联感知技术的革新[5]。基于知识流的物联感知为感知技术提供了新的研究思路，将知识流的思想迁移到物联感知的整个过程，实现物联状态全面感知。知识流的过程可实现知识交互、知识挖掘、知识融合以及知识处理分析[6]。目前对于知识流的概念描述大致可以划分为如下3 个类型[7]。

· 知识流类似于信息的传递。

· 知识流过程是信息传递和信息处理的融合。

· 知识流是信息传递和应用的结合体。

本文将基于知识流的物联感知概括为物联感知过程中知识流动过程或知识处理及应用机制，即数据交互传递以及数据分析处理和应用。

对于用电领域的物联感知，如智能电表作为数据采集的基本设备之一，协助物联系统完成负荷数据采集、信息集成、分析优化和信息展现[8]。此外，对用电负荷数据进行分析处理，辅助完成智能电网能源调度、用电耗能预判、用电负荷预测、分析用户用电行为特征和判断影响因子等是能源电力物联感知系统中的重要环节[9]。利用迁移学习方法在计算智能、感知智能和认知智能方面具有的强处理能力[10-11]，改变能源传统利用模式，促进系统进一步智能化[12]。文献[13]提出了一种基于参数迁移的节假日负荷预测方法。将平常日负荷预测模型已学习到的负荷曲线的重要基础特征迁移至节假日预测模型中微调参后完成节假日负荷预测模型的训练，但该方法并不具有适用性，训练量仍然较大，需要反复确定调参的层数。文献[14]提出一种基于特征迁移学习的小样本日前电力负荷预测方法，提取源域用户在各不同用电时段的特征，并将该模型应用于目标域小样本中，此方法仅验证了在小样本电力负荷预测中的有效性。文献[15]提出了迁移学习引导的变源域长短期记忆（long short-term memory，LSTM）网络建筑负荷预测方法，采用新的方法结合相对传统的定源域迁移学习方法，所提变源域LSTM 负荷预测方法可以保持不错的效果，但有待将数据特征有效融合。文献[16]提出了一种基于LSTM、面向光伏发电功率预测的数字孪生模型，通过迁移学习将此模型应用到其他发电功率预测场景，有效弥补了光伏系统发电功率预测中投入运行时间较短、数据不足的缺点。文献[17]面向楼宇用户提出一种基于深度学习和迁移学习的负荷分解模型。该模型将多种神经网络模块化并联连接，并融合网络特征，运用到楼宇负荷分解，进一步为基于迁移学习的发电功率负荷预测提供思路，有利于提高预测精度。文献[18]采用了可以顺利集成深度神经网络中的迁移学习和元学习用于短期电力负荷预测，并展示了如何使用几天内收集的数据形成高性能的个性化模型，但此方法对模型提出了更高的要求，局限性较大。

本文应用知识流体系的概念，实现知识的传递、交互、处理，将迁移学习与信息融合应用到基于知识流的物联感知过程，将感知源领域中学习到的知识应用到新的目标领域，同时融合多种特征信息，结合新的感知方法以提升物联感知的可靠性、准确性、高效性和智能化水平。根据迁移学习从少量学习到的知识可以在新的领域被吸收、扩散、再创造的特点，在从源域提取特征迁移到目标域下用经验模态分解（empirical mode decomposition，EMD）提取特征影响因子，以及根据因子影响程度进行权重的数据融合，以固定地区用电功率部分数据做短期负荷预测的仿真计算，分析用户用电行为影响因子，训练得到影响因子最佳权重分配，做好用电耗率预判，与真实数据相比较和计算评估，分析得到此方法的可行性。

1 迁移学习

大数据信息化时代，对数据分析能力要求越来越高，并且众多机器学习算法都需要对大量数据进行标注保证算法的准确度。在负荷预测应用场景中，监测和标注数据需要耗费大量的时间成本，训练结果常常达不到预期效果。因此，引入迁移学习，从相关领域寻找标注过的数据进行训练，将相关领域的预测知识很快地迁移到负荷预测场景中。相比于传统的机器学习，迁移学习的优势在于允许源域和目标域的样本、任务或者分布可以有较大的差异，从而解决了小数据、个性化等问题，节省了时间成本。

1.1 迁移学习分类

根据源领域和目标领域的相似度，将迁移学习做如下分类[19]。

表1 迁移学习的分类

其中，用DS表示已经学习过的领域——“源域”，用DT表示需要应用的新的领域——“目标域”，TS表示源任务，TT表示目标任务。

在此基础上，根据源领域中是否有标签样本把归纳迁移学习划分成多任务学习、自学习。当DS包含大量标签数据时，归纳式迁移学习相当于多任务学习；当DS没有可用的标签数据时，归纳式迁移学习就相当于自我学习[20]。

迁移学习中的首要步骤是根据源领域和目标领域间的概率分布差异确定域之间是否构成正迁移关系，本文中，迁移学习的目标领域与源领域为包含关系，即目标领域包含于源领域。因此，本文的学习过程构成正迁移学习。

1.2 迁移学习方法

迁移学习是一种学习的思想和模式，想要实现迁移学习还需要一定的方法，以下是迁移学习的常用方法。

（1）基于特征选择方法

基于特征选择的迁移学习方法是识别源领域与目标领域中共有的特征表示，根据这些特征进行知识迁移[21]。

（2）基于特征映射方法

基于特征映射的迁移学习方法是把源领域的数据从原始的高维特征空间映射到低维特征空间，使得在低维空间下，源领域数据与目标领域数据拥有相同的概率分布，从而实现高维数据到低维数据的迁移学习。

（3）基于权重方法

基于权重的方法是判断源域中样本的采样权重[22]。在迁移学习中，有标签的源领域数据的分布与无标签的目标领域数据的分布是不一样的，有标签的样本数据并不一定是全部有用的。因此需要度量有标签的训练样本与无标签的测试样本之间的相似度，重新分配源领域中样本的采样权重。相似度大的样本（即对训练目标模型有利的训练样本）权重被加大，否则权重被削弱。

通过对比负荷预测数据与源域数据的相似程度，本文利用特征选择和权重相结合的方法，首先分析源域特征对其源域数据的影响，然后结合影响程度赋值权重进行信息融合，为能源电力感知系统中数据分析和负荷预测奠定良好的数据基础。

1.3 经验模态分解迁移学习

EMD 是一种信号分析的方法，将非平稳信号按照不同尺度的波动或者趋势依次分解成若干个本征模式函数（intrinsic mode function，IMF），对源信号做平稳化处理，减少了信号间特征信息的干扰。对负荷数据及影响因子数据分别采用EMD 进行分解，可以充分地分解数据，并获得更具物理意义的分量[23]。但是，EMD 方法存在边界效应，信号两端的边界效应影响会向内传播，从而使整个数量序列被“污染”，最后的分解分量失去意义，尤其是低频部分的电力负荷分量比重比较大，这种边界效应所引起的误差更严重，最终直接影响预测结果[24]。

为了减少边界效应带来的影响，本文采用迁移学习补充数据。迁移学习问题中，源任务和目标任务的输入和输出能够通过某些隐含关系关联，所以通过源任务的数据完善目标任务的信息，从而提高预测精度。本文提出的基于迁移学习的EMD 方法，通过迁移源任务中多模型未来预测值，增加未来趋势和未来变化信息，从而使得EMD 方法尽可能减少边界效应。

2 数据信息融合

随着大数据技术的发展，数据特征不再呈现单一形式，数据信息融合受到了广泛的关注，在理论和实际应用中都得到了发展[25]。数据信息融合技术将不同类型的数据进行整合，提高数据输出质量，从合并后的数据中获取更多的信息，而不是单独考虑每个数据集[26]。针对多种来源的信息、多种结构相关的特征以及多种任务相关的决策，首先利用多源异构数据具有信息冗余以及信息互补的特点进行综合分析，然后滤除掉冗余或者错误的信息，提高信息质量，以此进行更加精准的模型训练，提高模型容错性和泛化性[27]。

数据信息融合主要包括数据层面融合、特征层面融合、决策层面融合[28]。数据层面融合是直接在各种传感器采集到的未经预处理的原始数据上进行融合，不一定总是产生最佳推理，而且传感器具有有限的计算能力[29]；特征层面融合对传感器采集到的原始数据进行特征提取，然后对预处理后的数据进行综合分析，得到关键信息，是一种更有效的融合形式[30]；决策层面融合先建立对目标的初步结论，然后通过关联处理进行决策级融合判决，最终获得联合推断结果，是一种全局评估的形式[31]。

常见的数据信息融合方法主要有加权平均法、贝叶斯估计法、产生式规则法、卡尔曼滤波法以及最新的人工神经网络方法[32]。董真杰等[33]利用加权平均法对各种传感器采集到的不同数据分配一定的权重并计算其平均值得到融合处理后的信息。文献[34]基于概率估计的思想提出贝叶斯估计法处理得到融合数据。拉尔曼滤波法主要针对冗余数据进行处理，通过递归迭代得到最优解[35]。近年来，随着人工智能技术的发展，神经网络技术能够以更加自主便捷的方式融合更加复杂的多源异构数据，而且具有更好的融合效果，在各类数据信息融合技术中具有突出优势。

本文采纳的信息融合为中间层级即特征层的数据融合，即先对提取的源域数据进行主成分分析，达到降维效果，然后根据各个影响因子影响程度大小设定影响权重，从而融合各个因子的影响关系。在能源用电感知系统下，分析源域下的影响因子（如月份、季节等）因子设定权重大小。

3 实验与分析

本文采用的用电负荷预测基本流程如图1 所示，首先对相关负荷数据及影响因子进行采集管理，如用电负荷的日期特点、温度的变化、一天内的时间特点；做好尝试数据处理和因素联系的分析，处理包括找寻奇异/特殊数据并舍弃处理、数据标准化处理，并可视化相关数据，估计分析包括影响负荷波动的多元化成分，分析其与负荷相关性。通过量化后的相关性和影响因子的共同作用训练得到预测模型；经由输入特征和预测模型得到目标时间段的短期负荷值；最后用评估参数评估此方法的可行性。

图1 用电负荷预测流程

3.1 数据展示与数据处理

采用某地区2012 年1 月1 日至2013 年12 月31 日的整点负荷及相关影响因子数据，如季节、工作日或节假日、气温作为试验数据，源域样本数据17 544 个。

因为各个影响因子有不同的量测方式和量测单位，需要对数据进行预处理。用电负荷数据以时间为序列数据，一般来说出现短暂负荷突变的情况是不太可能的。设定某天的变化量ΔM_i是指该时刻和前后天的差值的平均值，i=0，1，2，3,…,n为天数，则有：

根据数据处理经验设定阈值，判断ε值是否超过阈值，确定该i点是否为奇异值。

取每一天的最大需求负荷、最小需求负荷、平均需求负荷，用图表示，发现是否有突变值，有则考虑受信号噪声等因素的影响，为了整体数据分析处理而去除。

某地区两年间负荷变动趋势如图2 所示，负荷与日期呈现相关性，且存在信号噪声无规律波动振荡，但仍能看出负荷波动具有规律性，受外在因素影响。分别对负荷、气温等无规律数据进行上述数据归一化处理。负荷数据及气温数据、季节数据如图3～图5 所示，可看出负荷数据具有明显的非平稳性和非线性，同时局部具有一定的周期性，且与气温变化、季节更替、日期性质有较高的相关性。

图2 某地区两年间负荷变动趋势

图5 该地区负荷与气温变化曲线情况

该地区负荷与季节相关性曲线如图3 所示，可以发现，春秋季用电相对平稳，夏季和冬季用电有大幅度波动，除此之外，是否工作日、是否节假日、气温变化等影响因子存在规律性影响，存在相关性，并非仅受日期变动影响，受多方面规律性因素的共同制约。

图3 该地区负荷与季节相关性曲线

图4 一段时间用户负荷与日期性质曲线情况

3.2 实验结果

采用EMD 方法分解一段用电时间负荷影响如图6 所示，图6 中包括了8 个IMF 分量和1 个趋势分量。图6 中，IMF1-3 波形较乱，不规律。IMF4-8可见其规律性，表示信息受规律性影响因子，如时间、天数周期制约较大。IMF 分量影响因子见表2。

表2 IMF 分量影响因子

EMD 处理分解该非线性的用电负荷，通过图6可以看出用电负荷受不同影响因子制约，并且体现其与跟随影响因子的相关性。可分析其处理过程中分解信号的制约因子。通过迁移学习补全信号的前后数据，使数据在之后的处理中更加准确，不会出现边缘效应。

图6 采用EMD 方法分解一段用电时间负荷影响

本文采纳皮尔逊相关系数表述用电负荷影响因素与IMF 分量之间的相关性分析，表示其密切程度和制约关系，该数值与影响程度呈现正相关关系。计算IMF0-10 中时间和幅度，将皮尔逊相关系数归一化处理后再按比例给予赋值权重。

3.3 预测结果

通过特征数据采掘，将多元化制约因子与IMF 分量匹配后，将2012—2013 年的负荷数据迁移学习，以上述方式预测2014 年的负荷数据，用传统回归模型预测方法预测一年后的模型，发现预测准确性较高。2014 年负荷数据引入权重方法后真实值与实际值对比如图7 所示。

图7 2014 年负荷数据引入权重方法后真实值与实际值对比

用平均绝对百分误差（MAPE）和均方根误差（RMSE）指标评估模型性能，评价用电负荷预测效果。

Di为第i天实际负荷数据，iD˙为第i天预测数据，n取采样数8 760 个。引入特征权重前后评估参数对比见表3。

表3 引入特征权重前后评估参数对比

直观发现加上权重的特征融合有改进效果，代表预测比未加权重更准确，性能更好。

4 结束语

对于用电领域的物联感知，本文在从源域提取特征迁移到目标域用EMD 方法分解提取特征影响因子，以及根据因子影响程度进行权重的数据融合，以固定地区用电功率部分数据进行短期负荷预测的仿真计算，分析用户用电行为影响因子，训练得到相关因素的最佳权重分配，做好用电耗率预判。在用电感知层面上，提出一种迁移学习EMD 加上基于权重数值融合的知识流体系方法，并与未加权重前的实验结果进行对比，所提方法预测的准确性和性能都有所提高。

本文所使用的方法在用电感知层面负荷预测的准确率上取得了良好的效果，目前仅仅将训练得到的模型迁移到了短时间相同区域问题，尚未对其他区域做出准确判断。因此，后续的工作是将该方法应用到其他感知领域中，更深入了解知识流在物联感知其他方面的深层次应用。