一种基于强化学习的商业建筑能量管理方法

杨雯婷，郁进明

（东华大学 信息科学与技术学院，上海 201620）

0 引 言

作为智能电网的大型消费者，商业建筑物可能会消耗超过35%的电力，其中40%～50%的耗能归结于供暖、通风和空调系统[1]，导致建筑运营商要承受较大的经济负担。在保障整个商业建筑内的人群能够享受舒适环境的前提下，暖通空调可以灵活地调整功耗，进而降低建筑经济成本。

目前，已经有一些关于商业建筑中与暖通空调系统相关的功耗和人群热舒适度管理的研究。Mantovani 等[2]利用模型预测控制（Model Predictive Control, MPC）来实现商业建筑中暖通空调的功耗最小化；Yu 等[3]提出了一种基于DDPG（Deep Deterministic Policy Gradient）的能量管理算法来联合调度电池储能系统和暖通空调系统；Li 等[4]提出了一种基于信任区域策略优化的需求响应策略，用于优化家用电器的调度。然而，由于建筑系统的复杂性（如传感器的数量和位置、人体热效应的影响），基于传感的任务环境控制系统大多无法捕捉到居住者的“真实舒适度”[5]。为了量化人类的热舒适度，Fanger 开发了预测平均票数指数，用经验法拟合感觉来建立热平衡模型，并被标准化[6]。PMV 指数的范围从-3 ～3，分别对应于人类从冷到热的感觉，其中PMV指数为0 时表示中性。图1 显示了PMV 值及相应的舒适度。

图1 ASHRAE 标度

基于上述内容，本文的主要贡献如下：（1）提出了一种基于A3C（Asynchronous Advantage Actor-critic）强化学习的商业建筑能源控制算法；（2）在解决能源最小化问题时，考虑到了建筑的水力平衡和人群热舒适度。

1 暖通空调的商业建筑能量管理模型

本文考虑一个配备有光伏发电、电池储能系统、不可转移的用户负荷和暖通空调的商业建筑，如图2 所示。一个典型的商业暖通空调系统包括3 个子系统：加热系统、通风系统和空调系统。电热锅炉被广泛用于建筑采暖系统，它利用热水与风机盘管单元（FCU）进行热交换，以保持室内温度。通风系统和空调系统包括一个空气处理单元（AHU）和一组可变风量（VAV）箱。AHU 是由一个冷却/加热盘管和一个变频驱动（VFD）风扇组成。冷却/加热盘管对混合空气进行冷却/加热，而VFD 风扇可以将混合空气输送到VAV 箱。因此室内温度可以由AHU 系统的加热系统和加热盘管来调节。

图2 商业建筑系统模型

能量供给模型：假设建筑物的电力供应由3 部分组成，即电网光伏发电和电池储能系统。可再生能源发电单元与环境条件密切相关，具有高度的不确定性；电池储能系统受容量和充放电功率限制，约束如下：

热舒适模型：PMV（Predicted Mean Vote）被广泛地用作热舒适指数，它表示一群人在标准范围内的平均热感觉投票[6]。PMV 由与室内空气和人体状况相关的6 个热变量定义，包括空气温度、空气湿度、空气流速、平均辐射温度、衣服保温能力和人体活动量，表达式为：

然而，平均辐射温度、衣物保温能力和人体活动量通常不适合在建筑物内进行控制。因此，暖通空调可以通过温度、湿度和空气流速来确定热舒适指数，而室内空气的温度、湿度和风速可以由供暖系统和空气处理单元来调节，即调节供暖管道的阀门和暖通空调的设定点温度（本文假设足够大的空间内空气流速不变）。室内温度受建筑与外界的热量交换[7]和HAVC 系统影响。故温度的动态变化可表示为：

水力平衡系统：在建筑暖通空调水系统中，通过增加泵的扬程，并使用调节阀来相应地调整系统的流量分布。定压差技术是变流量系统的核心技术，可以实现动态水力平衡[9]。水力不平衡度是指建筑物热力入口处的实际循环流量与设计循环流量之比（流量比），可表示为：

实际流量可由压差平衡阀的阀口开度控制，表示为：

式中：δt为压差平衡阀的阀口开度；f为阀口开度与流量的相关函数[10]。

暖通空调功率模型：暖通空调功率消耗主要为3 个部分，分别为管道系统的驱动电机功率、电锅炉功率、供气扇的功率，可以表示为：

式中：PSF和PEM为AHU中的变频驱动风扇（Variable Frequency Drive, VFD）和风机盘管的电机功率；和[11]分别为电锅炉和空气处理单元t时隙所消耗的功率。

功率平衡模型：系统的功率平衡模型为由电网、可再生能源发电和电池储能系统提供的电力总和等于不可转移负载和暖通空调消耗的功率，即：

优化问题：本文将最小化商业建筑经济成本作为优化目标，表达式为：

2 基于A3C 的商业建筑能量管理算法

本章提出了基于A3C 的商业建筑能量管理算法[12-13]，将深度强化学习算法用于商业建筑能量管理系统。暖通空调和电池储能系统根据当前室内外温度、湿度、电价等信息调整空调设定温度、压差平衡阀开度及电池充放电功率，从而在满足人群热舒适度和管道水力平衡的条件下，最小化建筑的经济成本。

2.1 算法框架

建筑能量管理系统（Building Energy Management System, BEMS）观测到当前时隙t的环境状态为：

BEMS 根据当前状态，调整暖通空调设定温度、压差平衡阀开度及电池充放电功率来控制热舒适度和经济成本，即BEMS 动作表示为：

BEMS 执行动作后环境状态st转为st+1，并获得奖励rt。由于我们的目标是在保持热舒适指数PMV 和水力不平衡度的情况下，使建筑的能源成本最小化，所以BEMS 的奖励函数与3 个部分有关，即成本惩罚、温度偏差惩罚和水力不平衡惩罚。其中，成本惩罚表达为：

温度偏差惩罚表达为：

水力不平衡惩罚表达为：

最终得出奖励函数：

下面建立商业建筑经济成本优化的A3C 学习模型。基于AC（Actor-Critic）模型，利用优势函数A将Critic 评估点发展为A2C（Advantage Actor Critic）。在A2C 的基础上，A3C 算法在训练时分为主线程和多个子线程，每个子线程都可看作一个A2C，分别与各自环境交互学习，然后将各自学习到的参数更新到主线程，并从主线程拉取最新参数进入下一次学习。A2C 的优势函数可表示为：

动作值函数由Critic 网络学习得到，并使用梯度上升更新策略参数。

2.2 算法实现流程

由于实际建筑系统中的不确定性、时空耦合、非凸目标函数和非凸约束，解决上述成本最小化问题极具挑战性。本文引入A3C 算法学习建筑的能量管理，BEMS 通过调控空调设定温度、压差平衡阀阀口开度来保证人群热舒适度和建筑的水力平衡，通过调节电池储能系统的充放电功率来使建筑的经济成本最低。A3C 算法子线程学习的伪代码见表1所列。

表1 A3C 子线程能量管理算法伪代码

3 仿真结果与分析

在本章的仿真实验中，对比基于A3C 的能量管理算法和两种基算法的性能指标。基线1 为ON/OFF 策略[13]，当满足热舒适度的条件时关闭暖通空调，否则开启；基线2 为基于A3C 的不带电池储能系统的能量管理算法。

3.1 仿真参数

本仿真实验使用Python 编译器，通过TensorFlow 模块编写算法。模拟了真实的实时电价、可再生能源发电、不可转移负载、户外温度、太阳辐射量等数据。该算法在主线程训练5 000 个回合，子线程每个回合运行240 个时间步。表2 给出了仿真需要的参数[14-15]。

表2 仿真参数

3.2 仿真结果

本文评估了基于A3C 的能量管理算法的收敛性。在图3中，主线程中每一次学习的累积折扣奖励是逐渐增加的。同时由于Actor网络和Critic网络的学习率分别被设定为0.000 1和0.001，故累积折扣奖励有一定的波动性，但主线程的累积折扣奖励整体呈现出一条先增加后平稳的曲线，这就是所提算法的收敛过程。

图3 累计奖励与回合数变化关系

图4 所示结果表明了本文所提算法的有效性。图4（a）为本文所提算法和两基线的平均经济成本，可以得到所提算法相比于基线1、基线2 在经济成本上分别降低了9.15%和4.21%。图4（b）中数据为某个子线程热舒适指标PMV的变化，可以看出前期所提算法和两种基线算法都能有效控制PMV，但在后期基于A3C 的本文所提算法和基线2 能比基线1 更好地控制热舒适度。

图4 三种策略的比较

4 结 语

本文提出了一种基于A3C 的商业建筑能量管理系统，该系统由电网、可再生能源、电池储能、用户负载和暖通空调组成。本文的目标是在满足热舒适度和水力失衡度的约束下，最小化商业建筑的经济成本。为了解决这一问题，本文提出了一种基于A3C 的深度强化学习能量管理算法。通过灵活控制HVAC 系统和BESS，在满足建筑中水力平衡和人群的热舒适度的同时最小化经济成本。基于真实世界数据的模拟结果证明了所提算法的有效性。在未来的工作中，将考虑更合理的热舒适度模型、更多类型的可控负荷（如电热水器）和更合理的建筑热源（如地源热泵、水源热泵）。