分布式能源接入后的电动汽车实时电价响应控制策略

牛亚琳李华玥李松岭杨涌文

1.上海电力大学能源与机械工程学院

2.上海电力大学计算机科学与技术学院

0 引言

绿色发展是建设生态文明、构建高质量现代化经济体系的必然要求，核心是节约资源和保护生态环境。近年来，为了解决环境污染问题，政府加大了对分布式能源的支持，提高可再生能源的占比，对电动汽车既具备移动负荷又具有储能特性的设备提出了一系列的政策支持和目标规划。但大量电动汽车和分布式能源直接入网会造成电网原有的功率平衡破坏，使电网负荷的峰谷变大。因此，如何将电动汽车与分布式能源有机结合，充分发挥分布式能源和大电网之间的协同作用，帮助电网实现削峰填谷成为众多研究关注的热点。

如今，针对分布式能源接入后电动汽车实时电价响应控制策略的研究主要集中在分布式能源与大电网的协同优化运行方面。文献[1]提出了一种发电侧与供电侧的分时电价联动模型，并结合实际数据对不同的电动汽车入网方式和放电电价模式进行仿真，验证了模型的有效性，但其提出的峰谷电价响应度是一个固定值，尚未考虑车主充放电行为受价格信号等因素的影响。文献[2]根据计及网内可再生能源出力与负荷情况不平衡率所发布的实时电价，通过对比有序充电和无序放电情况下微电网运行情况，验证了其策略在微网运行优化方面的有效性，但尚未提出当微电网储能不够供应汽车充电时应如何进行处理的方案。文献[3]提出了考虑可再生能源利用率和投资运行成本的多目标优化配置数学模型，通过算例求解，得到不同光伏利用率下的充电站各单元最优容量配置。文献[4-6]虽考虑了微网内RES出力不确定性，但电价形式较为单一，在反映系统动态供需关系方面有失灵活。文献[7]提出了一种批量强化学习（RL）算法，从一批转换样本中学习最优的降低成本计费策略，并在新情况下进行成本降低的计费决策，使用实际定价数据的模拟结果表明，在使用建议的充电方法时，PEV所有者可节省10%～50%的成本。

综上所述，随着分布式能源的规模化应用，分布式能源与大电网协同作用的研究日益增多，但在考虑当电动汽车接入后，如何有效运用分布式能源与电网之间的作用，并在微网储能系统不够供应汽车充电时应如何进行处理等方面研究甚少。针对以上问题，本文将分布式能源和电动汽车相结合，实现可再生能源就地消纳，并提出了一种基于强化学习的电网实时电价控制策略制定科学的实时电价，进一步通过实时电价调控机制，引导用户有序充电，使分布式能源和大电网之间的协同作用得到充分发挥，从而达到能源的绿色使用。

1 分布式能源接入后电动汽车的充电策略

1.1 风光储充电站

含有风光储的充电站微电网如图1所示。微网内有风力和光伏发电两种分布式电源，当可再生能源出力小于电动汽车群负荷时，考虑充电站储能系统和电网两种电源协同供电。电动汽车负荷通过充电站内充电桩进行充电。充电站管理系统监测各部分的运行情况，合理发布电价，充分调动网内电能。

图1 风光储充电站微电网示意图

1.2 电动汽车负荷模型

为便于研究，引入电动汽车群的概念。电动汽车群是指一定数量的电动汽车聚集体，其起始充电时刻服从于式（1）的充电分布规律。

式中：μs，σs为对应的期望和标准差，x为起始充电时刻。

1.3 能量协同策略

微电网内不平衡功率可以表示为：

1.4 风光储充电站储能系统的电价模型

根据调查研究，制定充电站的储能系统SOC与电价的关系[8]如图2所示：

图2 充电站储能系统SOC与电价的关系

电价随储能的减少而线性增加。当SOC=1时，充电站储能系统电价为0.8元/kWh，与仅靠风光出力时的电价相等；当SOC＜1且Pgap＜0时，此时电网介入协同供电，电费按照储能系统与电网供电比例综合收取；当SOC接近0时，此时几乎完全由电网供电，电价也基本与电网电价一致。

在传统充电方式中，电动汽车先由风光储充电站先行供电，当SOC降为0时，再接入电网继续供电。此类由储能系统供电直接切换至电网供电方法会导致电网瞬时功率不平衡，影响电网的稳定运行。并且，该充电方式并未考虑到随着SOC的降低，储能系统供电的电价将不断上升，由此将降低总体的经济性。因此，我们考虑储能系统和电网协同给电动汽车供电，从而有效地解决了以上问题。

2 基于强化学习的实时电价调控策略

当微网储能系统不足以供电动汽车充电而接入电网时，本文提出了一种基于强化学习的电网实时电价控制策略。通过实时电价调控机制，鼓励用户在谷时段充电。

强化学习是智能体以“试错”的方式进行学习，通过与环境进行交互获得的奖赏指导行为，目标是使智能体获得最大的奖赏，强化学习不同于连接主义学习中的监督学习，主要表现在教师信号上，强化学习中由环境提供的强化信号是对产生动作的好坏作一种评价(通常为标量信号)，而不是告诉强化学习系统RLS如何去产生正确的动作。由于外部环境提供的信息很少，RLS必须靠自身的经历进行学习。通过这种方式，RLS在行动-评价的环境中获得知识，改进行动方案以适应环境。

2.1 模型的建立

在强化学习中，我们定义算法的状态空间

我们希望电网负荷能稳定在一个可控范围内，因此制定一个基准负荷l，并将回报函数定义如下：

其中，ta为初始时刻。

遗憾的是，由于电价的不确定性，我们很难对其进行有效的预测。因此，采用Q-learning算法，其中，Q函数可以定义为：

由上式，我们可以得到一个最优策略：

即为在系统状态g下，能够最大化Q函数的策略。

2.2 算法流程

算法流程见表1。

表1 基于强化学习电网实时电价算法流程

3 算例分析

以某地区的微网为例，该微网分布式能源由800个光伏阵列和50台风力发电机组成。光伏阵列由4×5光伏电池板组成，其额定功率为4kW，光电转化效率为20%。风机的容量为6MW，切入风速、切出风速和额定风速分别为3.5m/s,25m/s,15 m/s。该地区使用充电服务的电动汽车数量为2 000辆，其电池容量为20 kWh，充电功率为6kW，充电效率为85%。

为验证分布式充电站与电网联合运行策略的有效性，我们对联合运行和无联合运行时电网负荷分别做了仿真模拟如图3所示。

图3 联合运行和无联合运行时电网的负荷情况

从图3中可以看出，当无联合运行时，由于在开始仅使用储能供电，在凌晨5∶00时，当充电站储能被消耗完，此时如果将充电汽车直接接入电网，会造成电网负荷的迅速上升，给电网造成极大冲击。同理，虽然白天用户较少，且光伏为储能充电，但由于中午充电需求较大，依然会在短时间造成较大的峰谷差。在使用分布式充电站与电网联合运行并利用强化学习算法实时调整电价后，当充电站储能较少时，由电网提前介入分担部分充电压力，防止储能消耗殆尽，使电动汽车充电负荷对电网冲击相对平缓；同时，因在储能充足时电价较为经济，使充电站储能得到及时高效的利用。

4 结论

本文基于风光储的微电网系统与大电网的交互，提出一种不同于电动汽车分时电价的动态响应控制策略。首先考虑了分布式能源接入后，通过计算微网不平衡功率，提出了一种储能系统与电网协同运行的策略，既实现了可再生能源的就地消纳，又有效地防止了电网瞬间接入可能造成的电网负荷迅速上升，造成峰谷差过大的问题。针对电动汽车接入电网充电部分，通过强化学习算法，得到了电价控制模型。综合考虑了可再生能源出力及负荷的波动，根据微电网的实时运行情况进行调整，适用性较强，并得出以下结论：

(1)本文所提及的动态电价调整策略相比分时电价策略能更好地发挥电动汽车的储能特性，且提高了新能源利用率，实现了微电网中分布式电源和电动汽车的协调控制。

(2)电动汽车有序的充放电使日用电负荷曲线变得平缓，更利于微电网与大电网的稳定运行。

(3)电动汽车的有序充放电可以减少微电网中储能的配置，相比无序充电可以配置更少的储能装置，提高资源利用率，使微电网运行更经济。