发电商多输入决策因子竞价的智能代理模拟方法

冯 恒, 杨争林, 郑亚先, 叶 飞， 张 旭, 史 昕

(中国电力科学研究院有限公司(南京), 江苏省南京市 210003)

0 引言

电力市场的建设和运营是一个复杂的系统工程,试错成本巨大,所以需要前瞻性的研究去推演市场运营机理,降低市场模式选择及运营的风险。目前国内外建立了多种电力市场实验环境[1-3],其中不仅需要市场规则和市场模式的设定,更要具备对市场成员决策行为的模拟能力。目前研究市场成员竞价决策行为的模拟方法有很多,但是大部分模拟方法仅限于对市场成员历史申报数据或者人工模拟数据进行实验,无法反映市场成员的决策过程[4]。

近年来兴起的智能代理(agent)是一种能不断地从环境中获取知识,通过提高自身能力来取得最大利益的智能实体[5]。它在一定的环境下能独立自主地运行,通过参数的决策改变自身的行为,从而影响外部的环境,同时也可以根据外部环境、自身收益的变化调整自身的决策行为,并可以利用有限的外部信息做出最优决策,尤其适合在电力市场初期对各个市场成员进行建模仿真[6],促进电力市场机制和规则的快速建立。

目前国内外基于智能代理的发电商竞价模拟算法的研究已经取得了一定成果,但多集中于单一因素分析建模,缺少多因素的分析建模,特别是多因素的动态分析建模。文献[7]开发了基于智能学习算法Q-learning的发电商竞价决策程序模块,并在5节点测试系统上进行模拟。由于目前版本的AMES电力市场仿真平台中市场运营机构(ISO)程序模块的局限,只能处理每天一轮的竞价,决策时也未考虑负荷变化,但市场需求是发电商决策时应考虑的主要外部因素;文献[8]以电力市场仿真系统为基础技术平台,开展了不同供需水平下电力市场成员智能代理算法研究,但是没有考虑供需变化条件下发电商的动态行为特征;在电力市场动态行为方面,文献[9]应用非线性动力学的离散动态理论和经济学的博弈论,建立了3个区域博弈电力市场的古诺模型,求出了该模型的均衡解,分析了均衡解的稳定性,并探讨了Nash均衡点的稳定域及各参数变化对稳定域的影响;文献[10]基于JADE框架的多代理仿真系统,针对多个场景对比仿真国内月度电量集中竞价市场的相关规则,定量分析两种不同的市场出清规则。文献[11]运用多代理技术设计以自身收益最大化为决策目标的市场博弈模型,采用强化学习方法对市场主体的竞价行为进行优化求解。文献[11-13]针对日前电力市场发电商利益最大化问题,利用Q-learning算法构造了发电商竞价策略模型。文献[11]中发电商决策的唯一主目标就是收益,尚未考虑机组利用率等决策从属目标;文献[12]以发电商即时收益和市场相对占有率组合成效用函数,能使发电商收益最大化并同时达到提高市场占有率的目的;文献[13]以发电商即时收益和机组连续使用率为目标,优化发电商竞价决策。

本文模型首先从诸多影响因素中提炼出关键因子分类建模,然后采用基于智能代理的多输入决策因子模型模拟发电商日前市场竞价行为,并且模拟需求变化条件下发电商的动态行为演化过程。

1 考虑多输入决策因子的竞价行为建模

本文所提出的多输入决策因子模型,从影响发电商竞价决策的市场要素和行为要素里提炼出关键影响因子,并从决策依据、决策目标、策略演化模型3个维度对竞价模型进行了分析。但是多输入决策因子竞价模型中并没有单独对市场规则、边际成本、装机容量进行单独建模分析,因为很多现有的文献已经分析了三者对于发电商竞价行为的影响。

1.1 发电商决策依据

电力行业从垄断到竞争,市场成员的决策方式会发生很大的转变。对于发电商而言,传统电厂只需要根据调度指令安排机组出力和机组检修计划,而市场环境下的发电商是基于边际成本,利用市场信息最优化其竞价行为。但是市场初期发电商掌握的外部信息有限,市场环境中存在着影响其竞价的诸多因素;对于发电商自身而言,其竞价决策时有不同的决策目标偏好和风险偏好。以上影响因素均增加了发电商投标行为的不确定性,因此投标时要多维度地考虑其竞价行为。但是电力市场环境下影响其竞价行为的因素有很多,如果用数学模型把所有相关因素统一建模,会造成维数灾难或者不收敛的困难。因此有必要对影响因素进行归类分析,提炼关键影响因子进行研究建模。

在市场因素层面,市场供需和市场规则是发电商竞价时考虑的最基本的外部数据,发电商中标电量和中标价格是由市场出清发布,而市场出清主要是依据各发电商报价、市场出清规则和市场供需关系决定。发电商的报价在本文模型中属于其自身的行为要素层面,所以本文在市场因素中提炼出的关键影响因子是市场供需和市场出清规则。

在自身的行为要素层面,机组边际成本、发电商报价和装机容量是发电商在投标竞价时考虑的主要依据。由于市场供需不断波动,发电商在竞价决策中不可避免地会遇到各种风险规避问题,同时发电商有不同的竞价决策目标偏好,因此本文在行为要素中提炼出的关键影响因子是风险偏好、决策从属目标、机组边际成本、发电商报价及其装机容量。

1.1.1发电商报价

在完全竞争电力市场中,发电商最优报价就是按边际生产成本函数竞价。本文采用文献[14]中的边际成本建模方法,对发电商i的成本函数求一阶导数,即可求得发电商i的边际生产成本CMi:

CMi(Pi)=ai+2biPi

(1)

式中:ai和bi为发电商i成本函数的系数;Pi为发电出力。

而实际的电力市场往往是一个不完全竞争市场,区域内通常只有少数几个发电商提供电力,而各发电商拥有不同程度的市场力,因此可利用一定的竞价策略获得更多的收益。本文的竞价策略是在边际成本的基础上增加一定的利润率作为其报价:

CB=CMi(1+Mi)

(2)

式中:CB为发电商i的报价;Mi为加价系数,可根据发电商i自身的经营状况和决策目标选定。

1.1.2风险偏好

市场环境下如何优化自身的竞价策略使发电利润最大化,是各发电商关心的首要问题。但市场初期发电商掌握的外部信息有限,市场中存在着诸如系统负荷波动、对手报价的策略行为等诸多不确定因素,使得发电商的竞价决策面临很大的风险。本文模型中的发电商皆为理性发电商,即其风险特性不同于一般文献中的风险建模问题,但是不同种类的理性发电商对于风险的态度不同:有的发电商喜好风险,善于利用原有的竞价经验和有限的外部信息探索更好的竞价策略,对于收益的响应比较理性,要经过较长时间的学习和探索才会达到成熟状态;有的发电商抵制风险,不易接受市场外部环境的变化,不会大比例探索新的竞价策略,对于收益的响应比较敏感,经过较短时间的学习和探索就会达到成熟状态。本文模型中发电商的风险特性和收益没有一定的对应关系,风险喜好型发电商的收益不一定优于风险抵制型发电商的收益,风险特性主要体现在对于市场环境变化和收益波动的敏感程度上。

1.2 决策目标

电力市场环境下大部分发电商为了收益最大化,都会利用有限的信息进行最优决策。但是发电商的决策目标可能不单单是即时收益,由于发电商生产经营条件的不同,即时收益只是衡量其决策行为的一个主要目标,其他决策从属目标包括机组相对利用率、机组市场占有率等因素。

发电商在日前市场竞价中将竞价数据提交给交易中心,但是出清后的中标电力不一定满足发电机组最佳运行容量要求,发电商会在收益和机组相对利用率之间取一个折中。本文模型借鉴文献[11]中的方法,在发电商的效用函数中对机组相对利用率赋予一定的权重,以表征其在决策时能兼顾决策从属目标。机组相对利用率R计算公式如下:

(3)

式中:Q为发电商中标电量;G为发电商装机容量;Beq为负荷;Gw为市场总装机容量。

发电商目标函数公式如下:

fprofit=(pmcpQ-C-CGu)Rw

(4)

式中:fprofit为发电商的效用函数;pmcp为市场出清电价;C为机组的变动成本;CGu为固定成本分摊到日前的竞价成本。

w为一个大于0的实数,一般其取值范围为(0,5),w表征决策从属目标在效用函数中所占权重:有些发电商会对机组的利用率有一定的考核指标,竞价过程中会报低价以获得更多的中标电力,达到较高的机组相对利用率;而有些发电商可能会单纯追求收益最大化。w=0时,表明机组的决策目标仅关注即时收益;w>0时,表明在效用函数中机组相对利用率的权重,w越大,表明发电商决策时越关注机组相对利用率。

1.3 策略演化模型

发电商向ISO提交报价数据,ISO根据购电成本最小化原则进行统一边际出清。电力市场每天的重复运营,使发电商根据当天的竞价经验不断动态优化后续的竞价策略成为可能[6]。

策略演化过程如下:①各发电商提交报价给ISO;②ISO收到所有的报价信息后,在满足系统负荷需求的条件下,根据上述的出清规则计算出市场出清价格和各发电商的上网电量,并将这些信息反馈给各发电商;③发电商根据反馈的市场出清电价和上网电量,计算本轮交易的收入和利润;④根据即时收益和竞价经验优化竞价策略,进行下一轮报价。

2 智能代理求解算法

理性的发电商为追求利益最大化,会不断从市场竞价决策经验中学习以提高下一次竞价的收益水平,智能代理能够利用以往的历史经验不断优化后续策略[15-16],表征了发电商的动态学习能力;发电商的竞价行为由计划体制下的集中决策转变为竞争市场下的分散式决策,智能代理能够利用有限的外部信息自主决策,并且与其他智能代理间进行良好的协调互动[17];智能代理能够通过算法中相关因子的设置表征不同种类的发电商。基于上述原因,本文采用基于智能代理的方法模拟发电商竞价行为。

本文提出的智能代理模型采用VRE-learning算法模拟发电商竞价决策行为,该算法由Roth和Erev在1995年提出[18],算法和相应决策模块见文献[7]。该算法首先需建立合理的发电商报价策略集,赋予报价策略空间中每个元素一定的初始概率和倾向系数,然后通过轮盘赌算法不断选择发电商的报价策略,经过ISO出清后产生即时收益,通过即时收益更新各策略被选中的概率和倾向系数,在经历若干轮循环后,发电商将会收敛在能够获得最大收益的策略上。算法流程如附录A图A1所示。

模型中策略空间M的行为分为递增的H等份,M∈[Mmin,Mmax],其中Mmin和Mmax分别为最小和最大的可选系数。若代理选择了第v个行为,其对应的加价系数为:

(5)

VRE算法中倾向系数的更新公式如下:

(6)

式中:qt+1为第t+1轮的倾向系数更新值;fprofit,t为第t轮获得的即时收益;t为竞价轮次;m为策略空间的某个策略;l为当前轮次选中的策略号;Mc为策略空间的策略数目;r为遗忘因子,为减弱先前经验的影响,使新策略对行为倾向的影响增强;e为一个经验参数,其取值范围为(0,1)。

由式(6)可知,e越大,即时收益在倾向系数更新的公式中比重越小,发电商经多次学习和探索才会达到成熟状态;e越小,即时收益在公式中的比重越大,发电商很容易收敛至较好的策略后进入稳定状态。因此,因子e可用来模拟发电商风险特性。

选择概率的更新公式如下:

(7)

式中:pt(m)为策略m第t轮更新的概率;qt(j)为策略j第t轮对应的行为倾向系数;c为冷却系数,决定倾向系数对选择概率的影响程度,参数c的选取根据每轮各策略倾向系数进行如下动态调整,即

(8)

式中:ct为第t轮的冷却系数;k为一个大于0的实数,一般设定k的取值范围为(0,3),在不同系统中其值也会发生变化。k的变化将会改变冷却系数c的取值,影响智能代理的收敛效果,k越大,智能代理收敛得越慢。

3 算例分析

本文算例依托于国家电网有限公司电力市场运营技术实验室建立的电力市场全景实验平台,平台从电力交易运营模拟、市场成员决策行为模拟和电网运行模拟3个维度进行整体设计,在实验平台上搭建了5节点系统来说明智能代理模型及其学习算法在电力市场模拟系统中的运用情况。其网络拓扑如图1所示,该模拟系统有3个独立发电商和6条输电线路。假设每个发电商都采用智能代理的模型竞价决策,且各线路容量不会越限,即系统不会发生阻塞。发电机组的边际成本数据如表1所示,其中Pmax为发电商最大出力水平。由于本文只考虑日前市场报价,固定成本按照平均利用小时数分摊到机组日前竞价成本。

图1 5节点电力系统拓扑Fig.1 Topology of 5-bus electric system

表1 发电商技术经济参数Table 1 Technical and economic parameters of generators

为了简化处理,本文中的3个发电商都采用同一个策略空间,同时发电商的智能决策模块相同,智能算法因子设置为:k=2,r=0.09,H=20。

发电商每天只进行一次报价,市场出清方式为统一边际出清,系统负荷为300 d某一时段负荷,附录A图A2为选取的100 d该时段负荷数据,负荷平均值427 MW,方差14.6 MW2。模型中将这一时段的负荷设置为随机波动,目的是验证在市场供需变化情况下代表发电商的智能代理具有学习特征。

本模块设置4个算例验证智能代理模型的有效性。由于发电商采用了相同的策略空间和智能决策模块,虽然其成本与装机容量不同,但对于风险偏好与决策从属目标的行为特性具有共性,所以以下分析皆以发电商2为参考发电商。虽然做了简化,但不会影响算例的合理性。

算例1:设智能代理决策因子e=0.9,w=0,k=2,r=0.09,即发电商喜好风险,并且仅关注即时收益。

经计算可得发电商300 d平均收益为3 976美元。由图2可以看出,经过一定轮数的学习,发电商的竞价行为达到了一个比较稳定的状态,此后收益处于小范围的波动,这是因为发电商通过对历史竞价经验的学习,寻找到了一个比较成熟的策略,市场达到了一个均衡状态。虽然发电商的竞价策略受供需关系、市场成员份额、自身成本和边际定价机制等因素影响,但从动态演化角度看报价策略会趋于稳定,此时负荷变化会在一定程度上影响出清价格,从而影响市场成员收益。

图2 发电商收益(算例1)Fig.2 Profits of generators (case 1)

附录A图A3显示了发电商在每次竞价过程中选择的竞价策略。可以看出,发电商的竞价行为大概在150轮左右达到了一个比较稳定的状态,发电商的稳定策略集中在比较高的加价因子上,这是因为发电商仅仅关注即时收益。

算例2:智能代理决策因子e=0.9,w=3,k=2,r=0.09,即此发电商喜好风险,同时较大比例地关注决策从属目标。

经计算可得发电商300 d平均收益为2 661美元。由图3和附录A图A4可以看出,经过80轮左右的学习,发电商的竞价行为达到了一个比较稳定的状态。算例1与2对比分析表明,当风险偏好参数e相同时,决策从属因子不同的发电商最终策略也不同,这是因为算例2发电商2的效用函数为即时收益和机组相对使用率,其最终策略稳定在比较低的加价因子策略,以期获得更多的中标电力,达到发电商预期的机组使用率。相对其他策略,虽然发电商即时收益减少,但是机组相对使用率较大,整体的效用函数会优于其他策略。

图3 发电商收益(算例2)Fig.3 Profits of generators (case 2)

算例3:智能代理决策因子:e=0.5,w=0,k=2,r=0.09,即此发电商抵制风险,仅仅关注即时收益。

由图4和附录A图A5可以看出,发电商的竞价收益在20轮左右达到了一个比较稳定的状态。图4与图2对比分析表明:当决策从属目标参数w相同时,风险偏好不同的发电商的学习行为也不同。图4发电商在竞价过程中很快就达到了稳定状态,图3发电商经过较长时间的学习才达到了稳定状态,这是因为风险抵制型发电商不易接受外界条件的变化,对于收益的波动比较敏感,获得了一定的收益后会达到成熟状态,而风险喜好型发电商善于接受外界环境和收益的变化,经过较长时间的学习才会达到成熟状态。

图4 发电商收益(算例3)Fig.4 Profits of generators (case 3)

算例4:智能代理决策因子e=0.5,w=3,k=2,r=0.09,即此发电商抵制风险,同时仅仅较大比例地关注决策从属目标。

由附录A图A7可以看出,发电商的竞价收益在20轮左右达到了一个比较稳定的状态,发电商的平均收益为3 638美元,这是因为发电商抵制风险,学习了一定的竞价经验后就会选择一个次优策略作为自己的最终策略。同时看到其最终策略稳定在比较低的加价因子上,这是因为发电商比较关注决策从属目标。

4个算例对比分析说明,本文的模型可以模拟发电商的动态演化行为。模型中不同特性的发电商,最后都能通过智能代理达到成熟状态。市场初期,理性的发电商竞价经验和有效的历史数据特别少,所以发电商会不断尝试新的报价策略,以在期待更好收益的同时为下一次的报价积累报价学习经验,所以其收益波动比较大。随着探索过程和学习的不断进行,发电商逐渐积累了大量的历史数据和经验,开始逐渐减少探索新竞价的概率,而是更多地研究如何利用原有的竞价数据和经验。其随后的竞价行为不断趋于理性与精确性,这种竞价过程符合动态行为演化的特征。

4 结语

本文提出基于智能代理的发电商多输入决策因子竞价模拟方法,该方法能够有效模拟日前市场发电商竞价行为,有利于电力市场初期机制和规则的快速建立。算例分析表明:①不同风险特性的发电商达到成熟状态所需的学习时间不同,风险喜好型发电商要经过更长的时间学习才会达到最终稳定策略;②关注决策从属目标的发电商竞价时考虑的不仅仅是即时收益,同时要兼顾机组利用率,这种发电商在市场中会报低价以获得更多的中标电力,达到整体效用函数的最大化;③本文模型能够很好地模拟发电商的动态演化行为,通过对历史竞价经验的学习,最终发电商竞价行为都会演化到稳定状态。

理性的发电商决策肯定要考虑很多因素:市场用户电量规模、市场中发电侧装机容量、各发电企业市场交易电量上限、供需比、发电企业成本、燃料价格趋势、各发电企业长协签约比例、边际机组测算、各类型机组边际成本和售电侧竞价预期。只有把更多相关性的因素考虑进去,才能更好地模拟电力市场成员的竞价行为。但是模型中决策因子数量与仿真的收敛效果成反比,在平衡两者的关系前提下,更好地模拟电力市场成员的竞价行为可以作为下一步研究的优先处理项。

在日前电能主市场中,由于没有专门的容量市场、辅助服务市场来回收固定成本及辅助服务成本,日前电能市场的成本分摊方法也是影响发电商竞价行为的重要因素。如何在日前电能市场考虑辅助服务成本及固定成本的分摊,也是下一步需要深入研究的重点。

附录见本刊网络版(http://www.aeps-info.com/aeps/ch/index.aspx)。