基于多代理决策模型的电力市场月度集中竞价博弈分析

李知远， 张翼飞， 张政， 李天然

(1.南京师范大学 电气与自动化工程学院，江苏 南京 210042；2.东南大学 电气工程学院，江苏 南京 210096； 3.南瑞集团有限公司，江苏 南京 211100)

0 引 言

随着我国新一轮电力市场改革的推进和省级电力交易的逐步推行，在现货市场体系完全建立之前，我国电力市场交易将长期表现为合同电量的中长期交易[1-2]。随着用电量的激增和电价的降低，将会有更多的市场主体参与中长期市场，形成市场化竞争格局[3]，使售电侧与发电侧共同作用还原电能的基本商品属性。在当前我国中长期电力市场的建设中，对于出清机制有着广泛的研讨[4]，但却少有定量的分析。集中竞价交易出清方式主要有统一出清电价(uniform clearing price,UCP)和按报价支付(pay-as-bid,PAB)两种。广泛应用的UCP机制下，一般边际机组报价就是整个市场出清价格。PAB市场机制始于发电侧单边市场，按照发电商和购电商各自报价分别结算。边际机组价格无法影响其他机组成交价格，能抑制发电商报高价行为[5]。但文献[6]指出在PAB机制下发电商预测边际价格并据此报价，导致电价上涨。电力市场具有相当的复杂性，难以用传统的微观经济学以及博弈论的方法进行有效分析。文献[7-8]将多代理建模和强化学习等方法应用于行为建模，分析不同市场机制下的交易结果。多代理建模能够反映市场参与者交易行为动态变化，以探究不同市场因素变化的影响。本文的仿真试验以我国省级电力市场月度双边集中交易为研究对象，针对UCP和PAB两种出清机制做定量比较。并基于计算机代理设计集中竞价仿真交易试验，对市场博弈过程中各市场主体的交易行为进行分析。

1 基于多代理模型的ε-greedy算法

在考虑多代理交互以提升整体目标时，代理基于成本与收益计算，根据市场交易规则，结合强化学习算法对报价策略学习和修正。

算法流程图如图1所示。

图1 基于多代理模型的算法流程

本文代理报价决策采用改进的ε-greedy强化学习算法，以ε的概率对代理的探索和利用行为进行折中计算。代理每次尝试使用ε的概率在市场价格报价区间内等概率随机选择报价，形成策略集合，即“探索”；以1-ε的概率选择策略集中交易历史数据收益最高的策略，即“利用”。设置计算机代理的报价策略集{A1,A2,A3,…,An}，设置计算机代理的倾向系数集{Q1,Q2,Q3,…,Qn}。报价策略集与倾向系数集对应，策略集中每个报价策略由市场主体可接受价格确定。每次博弈后，代理计算上次博弈选择的报价策略An的收益Rn。

倾向系数Qn+1由Rn计算得到。按照式(1)增量式方法计算倾向系数以提升效率。

(1)

式中：n为选中该策略的历史次数;Rn为该次策略的收益；Qn为策略倾向系数。

引入贪婪系数λ来动态调整计算机代理探索这一行为的概率，定义：

(2)

式中：Qmax(t)为在第t轮次博弈中，倾向系数的最大值。计算机代理选择报价行为的概率的计算如下：

(3)

动态的探索概率ε(t)可以持续地探索，使得系统找到最优动作的概率，利用ε(t)高值和低值的优势可以避免系统收敛到局部最优解。

2 算例仿真分析

2.1 仿真场景设计

本文将机组按照成本等级聚类，代表15个发电商，拥有不同的市场份额，其策略集中最低报价为机组的边际发电成本。设定购电商(用户或者售电公司)20个，并设置较大的竞价空间。通过控制供需比Sr调整市场需求。所有计算机代理的贪婪系数的收敛速度因数k=0.8，探索概率ε(1)=0.3。发电商所占市场份额和边际成本如表1所示。试验首先对当前电力市场交易的两种出清机制分别仿真，以分析出清机制的优劣与代理决策的有效性；随后在UCP机制下设置不同的市场情景探究代理对不同市场情况响应的交易行为。

表1 发电商市场份额和边际成本

2.2 不同出清机制比较

图2为两种出清方式下出清价格动态变化过程。两种市场出清方式均有较长的博弈收敛过程。此时形成了一个买方市场，最终市场出清价格收敛在一个相对低价。

图2 两种出清机制下电价收敛曲线

在前50轮博弈中，代理倾向系数集合变化较大，不断寻找最优报价策略，导致市场出清价格波动较大。同时PAB机制下，不同的申报价格对应不同的出清价格，收敛较为缓慢。结果表明，在均衡情况下，不同出清方式对市场主体的报价以及出清价格的影响并不明显。

图3为两种不同出清方式的社会福利(生产者总剩余和消费者总剩余之和[9])和成交量的变化曲线。较高的申报价格不一定会有较高的出清价，在买方市场的情况下，发电商和购电商的策略会收敛在一个较小的区间，而不是按照UCP出清机制下的报价策略中的最低值，因此UCP机制下会有更小的成交量，但是会产生更大的社会福利。

图3 两种出清机制下社会福利对比

在PAB出清机制下，一次集中竞争交易同时形成了大量的子交易，导致信息公开难度增大，增加了市场主体间的无效博弈。而按照微观经济学基本原理，在自由竞争和信息共享的市场，同一商品的成交价格将趋同，基本稳定在供应曲线和需求曲线交叉点处。因此UCP出清机制符合经济学基本原理和商品市场通行做法，有利于信息公开，保障交易的公平公正。

2.3 不同市场供需比较

经典微观经济学将供给与需求两者结合来说明市场机制以及价格，在相同的条件之下，不同的供需比Sr对市场出清的影响如图4所示。当供需比进一步升高，边际成本低的机组有出力机会，而边际成本高的发电机组如果不选择进一步降低报价就会面临淘汰。结果表明在市场需求弹性较小时，市场出清价格会有明显的提升。

图4 不同供需比下出清价格

图5为不同供需比下，两种不同市场出清方式的平均收敛轮次对比。由于PAB出清方式有多个结算电价，代理提高或降低报价并不一定能提高下次决策的收益，因此收敛速度较慢。在UCP出清方式下，所有市场主体按照相同价格出清，因此在买方市场下，发电商作为价格的接受者，申报相对低的价格会取得较高收益，故收敛较快。

图5 不同供需比下收敛轮次

2.4 市场不同竞争程度下主体比较

在相同的市场条件之下，按照固定的比例提高市场寡头其策略集中的申报价格，市场出清电价和其收益的变化如图6所示。由于此时形成了寡头垄断市场，其所占市场份额大，出清电量多且受其他市场主体申报电价影响不大，因此可通过控制其机组出力来影响市场的供需，其他发电商可提高的机组出力小于市场寡头持留的发电能力。因此在该场景下，市场寡头可以直接提高申报价格来操纵市场价格。

图6 不同市场力作用下出清电价和寡头收益变化

当大型发电商市场份额较大且边际成本较低时，该企业具有一定垄断市场的力量，也就是说该发电商可以通过直接申报高价或者减少出力(降低供需比)来提高电价，即占有较大份额的市场主体可以通过市场力影响整个市场，在不同竞争程度的市场中发挥一定的主导作用。因此，市场监管者在这种场景下就显得尤为重要。当前的电力市场作为公用事业领域的非完全竞争市场，不可能完全脱离政府干预，因此为电力市场竞争设立公平公开的市场准入条件以及报价上下限边界显得尤为重要。

3 结束语

本文基于电力市场交易的多代理仿真试验，对中长期交易的两种出清机制进行定量分析对比，并研究了市场不同的供需和市场主体的主观行为。结果表明，UCP和PAB两种出清机制不存在明显的优劣，但前者更符合经济学基本原理和商品市场通行做法。供需比对市场出清过程影响较大，供需比的提高会提升市场主体间的竞争程度。当市场主体所占有的市场份额较大时，可以利用市场力削弱其余市场主体策略的影响，在实际市场运行中，市场参与者主观的因素会导致统一出清电价可能无法真实反映理论上的市场均衡价格。如何针对市场主体博弈行为制定抑制市场力的市场机制，需要在现有研究基础上进行更深一步的探究。