基于强化学习的电采暖负荷类型识别研究

2021-11-04杨安云孙宏彬

现代信息科技 2021年9期

杨安云孙宏彬

DOI：10.19850/j.cnki.2096-4706.2021.09.003

摘要：随着新能源技术以及智能电网的发展，电采暖技术也得到了广泛的应用。若要促进该技术快速健康发展，电采暖负荷类型的有效识别尤为关键。因此，文章提出了基于强化学习的电采暖识别方法。文章首先介绍了结合K-Means和最大期望（EM）方法对实际功率数据进行聚类的方式，然后建立针对电采暖识别的强化学习的框架，最后对处理后的电采暖数据进行识别验证，分析验证了该方法的可行性。

关键词：电采暖;强化学习;分类识别

中图分类号：TP391.4 文献标识码：A 文章编号：2096-4706（2021）09-0010-04

Research on Electric Heating Load Type Identification Based on Reinforcement Learning

YANG Anyun，SUN Hongbin

（Changchun Institute of Technology，Changchun 130012，China）

Abstract：With the development of new energy technology and smart grid，electric heating technology has also been widely used. In order to promote the rapid and healthy development of this technology，the effective identification of electric heating load type is particularly important. Therefore，this paper proposes an electric heating identification method based on reinforcement learning. It first introduces the way of clustering the actual power data by combining K-means and expectation maximum（EM）method，and then establishes a reinforcement learning framework for electric heating identification. Finally，the processed electric heating data is identified and verified，and the feasibility of this method is analyzed and verified.

Keywords：electric heating;reinforcement learning;classification and identification

0 引言

我国以北京、天津为代表的北方城市以及长江一带冬季无集中供热地区的电采暖发展较好，特别是近几年受冬季天然气供应紧张，燃煤供暖污染的累积^[1]以及雾霾日趋频发的影响，河北、吉林、内蒙古、新疆等省和自治区电采暖增长速度明显加快。随着电采暖技术被广泛应用，采暖数据也累计得越来越庞大，这阻碍了能源的调度管理，在处理大量数据时需要灵活快速的方法，特别是人为参与较少的方法。而强化学习成为解决该问题的一个有效方法。因此本文以电采暖负荷类型识别为研究方向，验证该方法的有效性。

本文首先论述了电采暖设备的类型，然后对电采暖负荷数据进行聚类分析，并提出基于强化学习的电采暖识别方法，最后进行算例验证和分析。

1 电采暖识别方案

1.1 数据预处理

目前应用的电采暖设备^[2，3]主要可分为电锅炉、地源/水源/空气源热泵系统、分散电采暖设备。电锅炉根据蓄热与否分为直热式和蓄热式。直热式电锅炉即传统直热电极式电锅炉，其直接将电能转化为热能，无蓄热装置。蓄热式电锅炉是电加热装置结合蓄热载体形成的供热系统，根据蓄热介质的不同又分为水蓄热电锅炉、固体蓄热电锅炉、相变储能蓄热电锅炉。分散式电采暖设备主要有发热电缆、电热膜、电暖器、发热地板等。

而电采暖技术经过长期的应用，使得电采暖设备与电采暖负荷形成了一定的对应规律。企事业单位多采用集中式的电锅炉进行采暖，而居住在偏僻地方的居民更多的选择分散式采暖设备。另外电采暖用户的采暖习惯也有所不同。学校用户属于间断用热类型用户，且对室内温度的要求不高（不低于18摄氏度即可）。日内，学校用户的电采暖主要在低谷时段进行用电蓄热，在其他时段根据室温情况补充加热;在整个采暖期内，日用电量与学校作息时间相关性较高，在工作日用电量较大、在节假日用电量较小。而医院用户属于24小时连续用热类型用户，且对室内温度的要求较高。日内，虽然医院用户的电采暖也主要在低谷时段进行用电蓄热，并在其他时段根据室溫要求灵活加热;但在整个采暖期内，日用电量与室外气温相关性较高，温度较低时日用电量较大、温度较高时日用电量较小。对于企事业单位，因为其对用电成本十分关注，该类型用户在电价低谷时段用大量的电蓄热，白天工作时段仅在较冷时进行补充加热。在工作日用电量较大，与温度具有负相关性，在节假日用电量较小。因此，通过分析电采暖数据就可以识别出用户类型，以及该用户采用的采暖设备。

本文采用的数据来自供暖单位，主要为电采暖用户在采暖季每天96个采集点的负荷功率数据。而基于强化学习的电采暖识别方法在训练时用到的电采暖负荷数据需要标签。因此本文首先完善电采暖负荷功率数据，主要基于用户的采暖设备型号以及行业信息，利用数据清洗排除异常数据，对缺失数据采用引入临近数据均值的方式进行补充、重构为相对完整的电采暖数据集，然后对负荷功率进行归一化处理，使其映射到0到1之间。该数据被构建成“供热日期”×“归一化功率”×“日供热时刻”的数据矩阵。以采用蓄热式电采暖的某医院为例，其部分数据如图1所示。根据图1可知，该电采暖负荷运行特性规律性极强，日内，从06：00到20：00负荷的归一化数值都低于0.5，而在其他时间处于较高水平，因此该用户主要在夜间蓄热。供暖期内，1月30日整体的数值较高，3月21日最低，这说明用户受气温变化影响较大，另外，归一化的负荷功率能够在0到1之间变化，这说明该医院的电采暖设备有较强的灵活调整和运行能力。

对于一个用户的数据矩阵，本文采用了K-Means方法^[4]对所有的功率数据分段，并指定分段为5段（最低、较低、中等、较高、最高），将数据矩阵离散化。在离散化的基础上分别基于供热日期、供热时段，对处于每一个分段的数据量进行计数，在计数基础上对所有数量进行归一化。

通过最大期望（EM）方法^[5]对所有数据进行无监督聚类，获得较多数量相近的电采暖用户数据团块，形成分层次的聚类。在团块基础上引入分层次合并聚类的方式，迭代的过程中将相近的团块进行合并，最终获得三级分类。实现2个一级分类，4个二级分类负荷以及12个三级分类，并根据类目中代表的典型用户或典型供热设备对类目进行人工命名，获得的聚类结果如图2所示。

1.2 识别网络

强化学习是通过反复迭代来修正人工神经网络（简称网络）的参数，从而得到具有特定输出的网络。训练好的网络能够在无人为干预的情况下完成一定的工作。这成为处理大数据的一个有效方法，而由上一节可知，电采暖负荷所产生的采暖功率数据特性与负荷本身有着一一对应的关系。这使得利用强化学习来识别电采暖负荷成为可能。

由于训练样本已经被预处理成归一化的数据，所以在构建神经网络时，只需要考虑网络结构与更新方式，因此，根据96个采样点设置输入层网络为96个神经元，激活函数采用Sigmoid函数，中间隐含层设置成两层，神经元个数分别为960和12。激活函數采用ReLU，Softmax函数。网络结构如图3所示，层与层之间的连接方式为全连接方式。而网络参数通过迭代更新，该过程中损失函数使用交叉熵的方式计算。

网络训练迭代步骤为：

（1）初始化网络模型参数，将网络的权重和偏执都设置为0。

（2）初始化训练集E。

（3）初始化学习率m。

（4）循环（从1到E）执行。

（5）随机抓取一批训练数据送入网络模型。

（6）计算网络模型的预测值。

（7）将预测值与真实值进行比较，通过损失函数计算损失值。

（8）以最小化损失值更新网络模型参数。

（9）保存网络参数。

2 算例分析

本文的强化学习训练与算例验证是以Intel（R） Core（TM） i7-9700CPU，主频3.00 GHz，RAM 16.0 GB的计算机为平台，基于Tensorflow3.2构建强化框架并利用Python 3.8编程完成。

在训练网络的超参数设置中，训练集（E）为20 000，学习率（m）为0.001。训练的损失结果如图4所示。损失值在开始时具有较高的收敛性。随着训练次数的增加，训练的损失值在3 000次处开始平缓，并持续到结束。

训练好的网络在测试集上的部分表现如表1所示。不同的采暖负荷拥有特定的数值，在一定范围内变化的数值被归类到对应的类目中。网络对每个输入2×96的矩阵数进行运算，得到网络识别数值，该数值对应网络识别的电采暖类型。网络识别数值越接近预测数值代表网络的识别性能越准确。从表1的结果中可以看出，在允许的范围内网络能够准确识别出以本文方式分类的电采暖类型。识别的结果中不仅包含了采暖方式而且还包含了负荷类型。从识别数值4.819 576中就可以得出该数值对应的采暖方式是蓄热式，负荷类型为学校;而13.921 049就对应蓄热方式下的医院类型。

然而序号9和序号7所对应的识别数值分别为40.087 814和38.276 728。这两个数值与预测值有较大的偏差，但却相近。通过对测试集进行分析可知，对应测试的数据集本身就具有很高的相似性，变化的范围在0.4到0.5之间，变化的规律也都是升降交替，这导致两个测试集的识别数值相近，如图5所示。这解释了本文设计网络主要依据数据的变化范围以及具体时刻的变化方向对电采暖负荷进行识别，而不注重数据整体幅值以及局部变化。从图5的整体来看，数据集的主要区别在于数据的边界是否统一以及整体的数值范围。这为改进网络提供了一定的指导方向。可以通过改变网络的连接方式以及激活函数来提高网络对数据整体幅值以及局部变化的捕捉能力。

3 结论

电采暖数据的急剧增长对能源的调度管理有了一定的限制，而电采暖负荷的识别是解决问题的首要步骤之一。本文通过对电采暖数据进行补充和重构以及对其进行归一化处理后，采用无监督聚类的方法把电采暖负荷进行了分类，并提出了基于强化学习的电采暖识别方法，然后通过算例验证和分析得到了以下结论：

（1）电采暖的负荷功率数据具有很高的辨识性，能够进行分类识别。

（2）基于强化学习的识别方法能够对电采暖数据进行识别，并具有很高的适用性。

本文提出的电采暖识别方法能够在一定程度上对电采暖负荷进行识别，但识别数值具有波动，需要进一步的提高网络的结构与更新方式。

参考文献：

[1] 陈强，孙丰凯，徐艳娴.冬季供暖导致雾霾？来自华北城市面板的证据 [J].南开经济研究，2017（4）：25-40.

[2] 李伟，张帆，张磊，等.计及电采暖类型差异的“煤改电”工程谐波分析与评估 [J].电网与清洁能源，2016，32（10）：34-41.

[3] 毕正军，高长征.吉林省电采暖发展应用情况及推广策略研究 [J].中国市场，2017（28）：85-87.

[4] 王千，王成，冯振元，等.K-means聚类算法研究综述 [J].电子设计工程，2012，20（7）：21-24.

[5] 王爱平，张功营，刘方.EM算法研究与应用 [J].计算机技术与发展，2009（9）：108-110.

作者简介：杨安云（1995—），男，汉族，安徽宿州人，硕士研究生在读，研究方向：综合能源优化;通讯作者：孙宏彬（1969—），男，汉族，吉林长春人，教授，博士，研究方向：智能电网、综合能源优化。