基于Q学习算法的区域综合能源负荷预测方法

任晓俊,颜红,江熙,王婷婷

(哈尔滨普华电力设计有限公司,哈尔滨 150001)

区域综合能源的规划与初期负荷预测是一项十分重要且关键的工作,涉及到较多的可控环节,一般会使用模拟软件、智能化平台进行辅助处理,以此来获取最终的负荷预测结果。区域综合能源的负荷预测实际上也是范围之内需求分析预测、规划的先决条件,初始的能源负荷预测形式一般设定为单向的。文献[1]在考虑综合能源系统下提出多元负荷特性的预测方法,在构建综合能源负荷预测模型后,选取某示范区的负荷进行分析和预测,预测的准确度在90%以上,MAPE指标分布比较集中,但是缺乏针对性与稳定性,在不同的背景环境难以进行异常负荷位置的标定,致使最终得出的负荷预测结果出现误差。文献[2]利用神经网络方法针对母线负荷建立预测模型,以此达到优化母线负荷预测准确率的目的。这种方法从整体提升母线负荷预测的准确率,结合小波分解的方法,为电网的安全性能营造良好的技术监督手段,但该方法对于母线负荷预测准确率的影响较大。此外,由于区域综合能源负荷预测多为单向,整体的预测范围受限制,整体的效率较低,这也是导致预测结果不精准、不可靠的重要原因之一[3-4]。为此提出对基于Q学习算法的区域综合能源负荷预测方法的设计与验证分析,所谓Q学习算法(Q-Learning),主要指的是一种基于值迭代(Value Iteration)的强化学习(Reinforcement Learning)算法,将其与区域综合能源负荷预测工作相融合,进一步扩大实际的预测范围,逐步形成更为灵活、多变的负荷预测结构,通过对区域的划分与监测,强化预测的效率及质量,多方向对当前能源进行控制,形成循环性的预测处理框架,为后续相关技术的发展以及行业支撑结构的完善奠定坚实基础[5]。

1 设计Q学习测算区域综合能源负荷预测方法

1.1 负荷预测特征提取

一般来说,区域综合能源的控制以及负荷预测需要通过多层级的程序进行控制,但是当前的预测方式较为单一,再加上外部环境及特定因素的影响,导致最终得出的负荷预测结果出现误差,因此,结合实际的预测要求,需要进行负荷预测特征的提取[6]。首先需要明确当前的综合能源预测区域,并依据自身的需求,将其划分多个模块,内部设置一定数量的监测节点,便于后续数据以及信息的采集[7]。接着通过Q学习算法进行基础值函数的计算,具体如公式(1)所示[9]：

(1)

式中：G(x)表示Q学习算法回归函数,M和m表示函数的条件,z表示单元负荷偏差,I表示负荷均值,(x∈Rm)表示函数的回归过程。

结合当前的测定,完成对值函数的计算。针对区域能源存在的长期负荷预测、中期负荷预测、短期负荷预测以及超短期负荷预测四种情况,结合计算得出的值函数,来限制反应对应的预测负荷波动情况[8]。这部分可以设置一组测定周期,周期之内负荷的变动状态为其自身的特征值。与此同时,还可以从日负荷值和月负荷值中提取出对应的特征,测定出后续负荷预测的灵活度,为后续的预测处理奠定基础条件。

1.2 部署多目标预测节点

与传统的区域综合能源负荷预测节点部署方式相比,此次由于区域能源覆盖范围较大,当前的节点预测应用效率较低,所以需要采用多目标的方式部署预测节点,强化最终的负荷预测效果。先测定出当前区域能源负荷的预测边缘位置,再依据时段的不同,计算出边缘预测差值,具体如公式(2)所示[9]：

(2)

式中：i表示预测节点的切分特征空间,ki表示特征值的取值范围,f(x)表示目标函数。

结合当前的测定,通过边缘预测差值,调整模块边缘节点的位置,促使负荷预测区域发生变化。以此为基础,设定多个区域的负荷预测任务,协同控制、集中处理,将同类型的负荷预测目标归纳在一起,与周围设置的预测节点进行搭接关联,形成循环的预测结构,为后续预测任务的处理提供便利条件。

但是这部分需要注意的是,预测节点所覆盖的目标并不是固定的,而是随着实际的需求作出对应调整,以此来强化预测结构,灵活预测程序。

1.3 构建Q学习测算区域综合能源负荷预测模型

依据设置的多目标负荷预测节点,结合Q学习算法,设计区域综合能源负荷交叉预测模型。建立负荷预测的输入序列和输出序列,制定基础的预测目标,并进行基础预测指标及参数的设置,具体如表1所示。

表1 Q学习测算区域综合能源负荷预测模型指标表

根据表1,完成对Q学习测算区域综合能源负荷预测模型指标的设定及调整。接着基于Q学习算法,测定出多层级交叉预测的标准,并构建对应的预测模型结构,如图1所示。

图1 Q学习测算区域综合能源负荷预测模型流程图示

根据图1,完成对Q学习测算区域综合能源负荷预测模型结构的设计与分析。当前,将制定的预测目标导入模型之中,通过上述的程序进行目标协同串联,以此来进一步提升预测的效率及质量,并对区域能源的辅助变动状态进行捕捉,完善优化模型的预测效果,增加预测的精准度。

1.4 栈式集成修正实现负荷预测处理

所谓栈式集成修正,主要指的是通过集合式的关联栈,与部署的节点建立协同预测结构,结合设计的负荷预测模型,对导入的目标进行整合修正,最终得出对应的预测结果。使用XGBoost、GBRT、Sequence三种形式建立定向集成结构,通过Q学习算法,测算出此时栈式集成负荷预测允许出现的最大限值,一般控制在3.25～4.11之间为最佳。

接着通过协同预测结构,依据各个时段负荷的变动情况,调整对应的负荷栈式预测标准,形成多个阶段的负荷预测层级,与设定的栈式集成阶层建立联系,进一步扩大当前的预测范围,维持预测环境的真实稳定。与此同时,采用交叉处理的形式,加强对预测误差的控制,并按照预设的标准,进行负荷预测结果的多维修正,以此获取更加精准、可靠的负荷预测结果,为后续区域性负荷预测技术的完善及优化提供参考依据。

2 方法测试

此次主要是对基于Q学习算法的区域综合能源负荷预测方法的实际应用效果进行分析与验证研究,考虑到最终测试结果的真实性与可靠性,采用对比的方式展开分析,选定G区域进行能源负荷处理,设定传统多元负荷特性区域综合能源负荷预测小组、传统计及区域综合能源负荷预测小组以及此次所设计的Q学习测算区域综合能源负荷预测小组。根据当前的测定要求及标准,对最终得出的测试结果比照研究,接下来,结合Q学习算法,进行初始测试环境的搭建。

2.1 测试准备

结合Q学习算法,对选定的G区域能源负荷进行预测与研究。该区域为复合式的管理控制区域,一般需要多层级的能源供应方式展开控制。将当前的区域划分为5个位置,并在范围之内设置一定数量的监测节点,节点之间互相关联,形成一个循环、具体的负荷预测框架。该区域的建筑91.5%为居民住宅楼,对于能源负荷的需求量是相对较大的,且不同的时间段,对应的能源应用量也存在较大的差异。此时,将该区域划分为6个时段,分别为8∶00～12∶00、12∶00～14∶00、14∶00～16∶00、16∶00～20∶00、20∶00～22∶00、22∶00～24∶00。基于上述搭建的区域综合能源随机模型,进行基础测试指标及参数的设置,具体如表2所示。

表2 区域综合能源随机模型基础测试指标及参数表

根据表2,完成对区域综合能源随机模型基础测试指标及参数的设置。接着,结合当前的负荷预测需求,进行负荷均值的计算,具体如公式(3)所示[10]：

Qh=∑KhQw/3600T

(3)

式中：Qh表示负荷值,Kh表示小时变化系数,Qw表示最高耗热量,T表示负荷时间。结合当前的设置,完成对基础测试环境的搭建,并依据Q学习算法,进行具体的测定和实践研究。

2.2 测试过程及结果分析

在上述搭建的测试环境之中,结合Q学习算法,对G区域的能源负荷预测方法进行比对测试。利用部署的监测节点进行基础预测数据与信息的采集,汇总整合之后以待后续使用。测定出此时随机区域的峰值冷负荷均值为23.05 MW,标准差控制在2.05～3.75 MW之间。分时段标定出当前区域的负荷情况,具体如图2所示。

图2 随机区域负荷情况及峰值标定图示

根据图2,完成对随机区域负荷情况及峰值的标定。接下来,综合峰值的负荷情况,计算出随机区域负荷的正态负荷预测差值,具体如公式(4)所示[11]：

(4)

式中：下标4、5表示时段,JNZ表示随机区域负荷的预测模型常数值,o表示可控预测范围,U、E、A表示第一阶段与第二阶段负荷的变化过程,T表示转换预测频次。结合当前的测定,依据正态负荷预测差值的波动,对随机选定的5个区域的负荷情况进行等效预测,结合Q学习算法,并计算出负荷预测差值,具体如公式(5)所示[12]：

(5)

图3 测试结果对比分析图示

根据图3,完成对测试结果的分析：对比于传统多元负荷特性区域综合能源负荷预测小组、传统计及区域综合能源负荷预测小组,所设计的Q学习测算区域综合能源负荷预测小组最终得出的负荷预测差值被较好地控制在3.5 MW以下。结合Q学习算法,降低预测误差,强化预测的精准度,具有实际的应用价值。

3 结语

综合上述分析,通过对基于Q学习算法的区域综合能源负荷预测方法的设计与验证分析,与初始的区域综合能源负荷预测结构相对比,此次融合Q学习算法,所设计的区域综合能源负荷预测结构更为灵活、多变,自身具有较强的综合性和安全性。此外,在Q学习算法的辅助与支持下,当前能源负荷预测的范围得到了进一步扩大,在MATLAB工具与电负荷处理方法融合下,标定出实际的负荷预测区域,获取异常数据及信息,平衡区域能源负荷标准,为能源系统的开展以及电力设备运行营造更加稳定的环境。