马尔科夫决策过程下含可再生能源的实时电价策略

许志宏， 高 岩， 程潘红

（1. 上海理工大学 管理学院，上海 200093；2. 日照职业技术学院 公共教学部，日照 276826）

智能电网是基于高度集成的双向通信网络和信息系统的智能化电网系统，是未来电网发展的必然趋势[1-5]。与传统电网相比，智能电网具有结构灵活、系统性能优良、质量高、可靠、经济及环保等优点，可以促进社会不断发展。为了最大限度地减少输配电过程中造成的电力损耗和温室气体的排放，可再生能源技术得到不断发展，越来越多的用户配备可再生能源（如太阳能、风能等）设备。这样，用户能源调度变得越来越重要，成为最近几年研究的热点[6-8]。

基于实时定价的需求侧管理机制能够有效地激励电力用户调整其固有的用电模式，并通过跟踪变化的电价信号参与到智能电网系统的活动中去[9-11]。例如，用户可以根据实时电价系统，在不同的时间段调整空调温度，改变家电的启停时间，这样就降低了需求侧的峰值负荷，缓解了供电商的供电压力。已有大量文献研究基于智能家电的用户最优调度策略[12-18]，用户可以根据自己的需求来配置和调度这些设备和智能家电。Carli等[12]提出了一种分散控制策略，允许用户交换剩余的可再生能源，优化规划用户的可控负荷，目的是减少电网的总能量供应。Tushar等[13]在家电分类基础上采用博弈方法研究了可再生能源和电动汽车对用户日常电费的影响。Zhu等[14]考虑到智能家电的分类和用户间的能耗相关性，提出了一种基于马尔科夫决策过程的社会福利最大化模型。Liu等[15]针对网络化的智能电网系统，对未来的发电量进行合理准确的预测，利用马尔科夫决策过程模型对消费者的行为进行规划，优化消费者的净收益。但这些研究只考虑了用户用电行为的不确定性，并没有考虑可再生能源发电量的不确定性。

在一些研究中，最优模型是以用户端的成本最小化为目标而提出的[19-21]。Chen等[20]设计了一种包含能耗适应变量的随机调度算法，该算法考虑了家电运行时间和可再生能源发电量的不确定性，对各种家电的随机能耗模式进行建模，使用户的货币支出最小化。针对如何灵活调度家电的运行时间，Chang[21]运用马尔科夫决策过程（MDP）提出了家庭能源管理设计问题。

然而，上述文献并没有综合考虑用户侧的整体利益。显然，考虑用户效用函数（表示用电满意度的函数）最大化与支付成本函数最小化能够很好地代表用户的整体利益。在用户福利最大化模型中引入各类家电的用电活动，通过给定的用电策略来引导用户的合理消费，不但有利于减少用户用电成本，而且还照顾到用户用电的满意度，从而保证用户福利的最大化。同时，这也有助于削峰填谷、缓解电网供电压力、提高能源利用效率。

结合实时电价和倾斜阻塞率电价，应用马尔科夫决策过程考虑用户用电行为和可再生能源发电量的不确定性，探索一种新的用户最优能源调度方案，使得用户总福利值最大化，指导用户配备和调度各类家电和能源，保证了用户侧总体利益最大化。本文的创新点主要有如下几点：

a. 结合不同类型家电，考虑用户用电行为的不确定性，将家电分为必须运行、弹性和半弹性三类；引入权重因子作为未知变量来平衡用户效用和支付成本之间的关系，建立期望用户福利最大化模型。

b. 运用马尔科夫决策过程表示可再生能源发电量的不确定性，研究可再生能源对用户使用各类家电的影响，指导用户进行能源优化配置和调度各类家电。

c. 根据用户用电行为特点和可再生能源发电量的不确定性，将问题离散为若干子问题，提出了一种用户侧模拟退火算法，解决了该优化问题，实现了最优调度策略。

1 问题阐述

本文系统讨论一个供电商和多个住宅用户的微电网。假设供电商和所有住宅用户通过信息通信基础设施相互连接。每个用户的能源枢纽包括一个小型风力发电机、一些智能家电和一个带智能电表的电量控制器系统。这些设备与智能电表相连，智能电表不仅具有信息传输功能，还具有调节和控制家庭用电信息的功能，它将家庭用电设备的用电信息传递给用户，以便用户更好地控制用电量和成本，并将相关信息传递给供电商，实现负荷控制。电价由供电商给出，用户可以调整智能电表的用电方式，实现自己的效益最大化。该模型假定用户不能向电网或其他用户出售多余的电能，从而丢弃可再生能源生产的多余电能。在模型范围内，没有考虑设备的成本和无功功率，并且保证了电力系统频率和电压的稳定性[12]。此外，马尔科夫决策过程将用于体现用户用电行为和可再生能源发电的不确定性。最后给出了用户的一般效用函数和支付成本函数，以期对用户的福利期望值作出合理的估计。