面向双碳目标的灵活性资源及其激励机制均衡分析

唐成鹏， 张粒子， 邓 晖， 肖艳炜

(1.华北电力大学 电气与电子工程学院，北京 102206；2.国网浙江省电力有限公司 电力科学研究院，浙江 杭州 310014；3.国网浙江省电力有限公司 电力市场仿真实验室，浙江 杭州 310014；4.国网浙江省电力有限公司，浙江 杭州 310000)

0 引 言

能源转型是实现“碳达峰、碳中和”(简称“双碳”)目标的重要途径[1]。2060年时我国新能源发电量占比可能超过50%，届时新能源的不确定性、波动性和低边际成本等特性对电力系统的影响将显著放大，高比例新能源不仅需要系统提供充足的灵活性，还会对功率平衡及运行控制、市场价格信号和发电容量充裕性等产生一系列深远影响。在未来“以新能源为主体的新型电力系统”建设过程中，如何引导资源的灵活性改造和规划建设，以及如何充分调用和合理激励现有资源提供灵活性，将为电力市场设计带来严峻挑战。

放眼国外，对于高比例水电系统，南美(如智利、巴西)已有相对成熟的电力市场建设经验[2，3]；欧洲和美国也相继提出了碳减排目标，积极探索高比例新能源电力系统下的市场设计[4，5]。我国相关专家深刻剖析了能源转型下电力市场建设面临的挑战[6]，并对促进新能源发展的措施和市场机制进行了深入探讨[7-9]。理论研究方面，文献[10-13]对国内外促进新能源发展的激励政策、交易模式，以及新能源对电力市场的影响、适应高比例可再生能源的电力市场机制设计等方面的研究现状做了比较详细的综述；仿真研究方面，文献[14-16]借助均衡分析方法对以火电为主系统在单一电能量市场机制下的均衡情况进行了仿真模拟。然而，当前对能源转型下多类灵活性资源参与不同电能量或辅助服务市场机制的研究仍有不足，难以推演各类灵活性资源及市场激励机制的作用，进而为面向双碳目标的电力规划和机制设计提供重要参考。

为解决上述问题，本文主要进行了三个方面的研究工作：1)阐述新型电力系统建设过程中重点发展资源的灵活性，对激励灵活性的市场机制进行梳理和总结；2)提出均衡分析方法，包括由各类资源报价决策模型、电能量与灵活爬坡辅助服务联合出清模型构成的双层优化模型，以及基于深度强化学习的模型求解方法；3)构建多种灵活性资源配比、不同灵活性激励机制案例，验证所提方法的有效性，分析各类灵活性资源及市场激励机制的作用。

1 灵活性资源及其激励机制

1.1 面向双碳目标的灵活性资源

电力资源灵活性的主要特征通常包括三个方面：可调节容量范围、输出功率变化速度和电能量持续时间[17]。在最小和最大技术出力之间具有大范围功率调节能力的资源、爬坡速率较快的资源，以及能够在较长时间保持能量水平的资源，可以更好地适应电力系统的供需变化或维持电力系统平衡，都属于灵活性资源。因此，灵活性资源不仅限于电源侧，还包括可调节负荷、储能设备等，不同类型资源的灵活性有很大差异。

下面简单介绍新型电力系统建设过程中重点发展的灵活性资源，而诸如火电、核电、水电等常规电源的特性不再赘述。

(1)新能源。在新能源占比较小的保障性消纳阶段，其出力通常被视为固定的、不可调节的，需要其他资源提供灵活性，以适应新能源的波动性和不确定性。然而，受系统运行特性限制，新能源消纳的严格优先未必是最经济和低碳的，在新能源占比较高的电力系统中可能也难以实现全部新能源发电量的保障性消纳。若将新能源纳入整个系统的经济调度，即允许经济性或可靠性弃能，则新能源自身就能提供很好的灵活性，同时也使得整个系统运行更经济。由此，新能源从灵活性问题的原因转变为解决方案的一部分，降低了系统灵活性对常规电源的依赖性。上述方式在美国电力市场(如PJM、NYISO、MISO)已有实际应用，并取得了大量效益，甚至还有学者研究新能源参与辅助服务市场的可行性[18]。

(2)抽水蓄能。以抽水蓄能为代表的储能设备，在实际运行过程中扮演着发电厂和用户的双重角色，具有工况转换灵活、反应迅速、大幅调节、储存容量大等特点，可以实现秒级启动、分钟级满负荷运行，是优良的灵活性资源。《抽水蓄能中长期发展规划(2021-2035年)》提出，加快发展抽水蓄能，是构建以新能源为主体的新型电力系统的迫切要求；2030年抽水蓄能投产总规模将达到1.2亿千瓦左右。

(3)可调节负荷。可调节负荷参与需求响应，可以通过响应价格信号、激励或调度机构的指令而主动改变其用电行为，使得电力需求成为虚拟的可控资源。可调节负荷与多种电源类型结合，可以有效克服新能源随机性及其与用电时间不匹配对电力系统运行造成的不利影响，通过削峰、填谷、平抑波动等方式为系统提供灵活性。短期来看，可调节负荷参与需求响应有利于稳定电价、约束市场力、提高经济效率，长期来看还可以减少新增发输电容量的投资。

1.2 激励灵活性的市场机制

许多运行特性都会限制灵活性，灵活性的增加可能会增加成本，因此需要在必要时才调用额外灵活性，并为此提供相应激励。随着电力现货市场建设的逐步深化，新型电力系统下市场设计需要重点考虑两个问题：一是市场设计是否为进入市场的新资源提供激励，使其在系统需要的时间和地点新增所需的灵活性，以促进形成合理的电源结构，这是长期容量充裕性问题；二是市场设计是否为现有资源提供激励，实现多种灵活性资源的高效和全面整合，以奖励灵活性和准确预测，这是短期市场设计问题。下面结合国内外实践经验，对激励灵活性的市场机制进行梳理和总结。

(1)灵活性资源整合

为实现资源的全面整合和充分调用，需要将新能源、储能设备、可调节负荷等新兴资源统一纳入市场，通过优化市场交易、出清和价格机制等措施，充分契合各类资源的特性，实现源源互补、源荷互动，以提高系统灵活性。例如，美国PJM在市场出清模型中加入新能源、抽水蓄能机组和需求响应的相关约束[19，20]；大多数欧洲国家(如西班牙、葡萄牙)已经对需求响应的参与开放了市场，并通过日内滚动交易、逼近实时的关闸时间等机制，为新能源提供充足的偏差调整和交易计划修正的机会。我国在此方面也进行了积极探索，如推进源网荷储一体化和多能互补发展、完善风光储价格形成机制、鼓励新型主体参与市场等。相反地，在某些市场中，市场主体可通过提交自调度计划等方式提前锁定资源的运行计划，该机制一定程度上减少了可供系统调度使用的灵活性资源。

(2)现货市场优化调度与精细化结算

优化调度与分时定价。以集中式市场为例，市场运营机构基于市场报价(或发电成本)，在统一的现货交易平台进行集中优化调度。该过程以社会福利最大化(或生产成本最小化)为目标优化发电计划，以满足电力系统安全和机组运行约束条件下的电能量和辅助服务需求，进而给每个市场主体提供有效的调度指令和合理的收益，使得市场主体的出力水平始终反映价格的变化，并避免其在发电成本高于价格的水平上运行。其中，在边际出清机制下，新能源接近零的边际成本特性使其自动获得了优先调度权，而多种资源的统一优化调度实现了新能源的经济消纳；分时定价机制可以较好的反映电力系统在不同时段的供需特性，通过价格信号对发用两侧的引导，可以实现系统调峰。具体而言，在新能源发电能力充沛的时段，市场价格走低，常规电源发电意愿也相应变低，储能设备及可调节负荷的用电需求增加，由此为新能源消纳创造了更大的空间；在新能源发电能力较低的时段，市场价格走高，常规电源发电意愿较高，储能设备及可调节负荷的用电需求减少，由此保证了系统中有充裕的资源提供电能。

较短的调度周期及与之匹配的结算颗粒度。调度周期的缩短可以更精细地确定调度计划和定价，有助于调用灵活性和减少辅助服务需求。美国PJM、NYISO等电力市场在实时阶段均以5分钟为周期进行调度和定价，已取得了比较好的运行效果。然而，并非所有的美国电力市场都以该粒度进行结算。例如，PJM实时市场以6个调度周期的平均价格结算；NYISO和SPP采用与调度周期相同的结算颗粒度。后者保证了灵活性资源获得了与其调度指令相称的奖励，更有利于激励资源提供爬坡能力。

安全和收益保障。除了在出清过程中充分考虑电网安全和机组运行特性外，电力现货市场采用可靠性机组组合机制进一步保障系统安全。基于对新能源及负荷不确定性的预测分析，可靠性机组组合可以对系统次日运行安全进行评估，判断灵活性资源的充裕性，并在灵活性可能不足时优化调整机组启停计划。并且，为了灵活性资源的有效激励，市场运营机构采用全成本补偿(make-whole payment)或凸包定价[21]等机制确保被调用的资源能够得到合理的回报，保证所获收益能完全覆盖其提供电能量和辅助服务的所有成本。

(3)多种辅助服务产品及主辅联合优化

主辅市场联合优化有助于高效地为电能量和辅助服务安排资源，并相应地为两类服务定价。通过对调频、备用等辅助服务的分别调用和定价，有利于激励市场资源提供灵活性。美国CAISO和MISO市场还将爬坡能力作为独立产品进行交易、优化和定价，引入了新的辅助服务产品——灵活爬坡服务(flexible ramping products，FRP；或称爬坡能力产品ramp capability product)[22，23]，致力于解决系统中负荷与新能源带来的不确定性问题，确保有足够的爬坡能力跟随净负荷变化，保障系统实时平衡。FRP的引入在美国电力市场取得了一定的效果[24]，但也发现一些问题需要进一步修正和改进[25，26]。

(4)长期投资引导

随着新能源占比的不断提高，一方面常规机组的发电利用小时数将不断下降，其主要功能及收入来源将由提供电能量向辅助服务转变；另一方面，较高的新能源占比会降低平均能源价格，增加价格波动性和低价格的频率，并抬高辅助服务的价格。常规电源的成本回收和长期激励可能面临风险，在必要时可以建立的长期容量充裕性保障机制(如容量补偿、容量市场、稀缺定价机制)。此外，更大范围的电网互联及市场融合、长期的电力规划(如“十四五”规划)等措施，都有利于灵活性资源的长期投资引导和优化配置。

各种机制协同作用，共同促进新能源和灵活性资源建设同步发展，实现灵活性资源的充分调用、合理激励和充裕性保障。

2 均衡分析方法

本节建立适应于多类灵活性资源参与不同市场机制的通用型均衡分析方法，主要包括双层均衡模型和求解算法两个部分。其中，上层模型为各类资源以利润最大化为目标的报价决策模型，其利润计算方式与市场定价和结算机制相对应；下层模型为与市场交易和出清机制相对应的出清模型，此处重点考虑电能量与FRP辅助服务联合出清模型。对于模型求解算法，为避免繁琐的模型转化、方便各类资源或机制的灵活组合或设置，适合于采用基于深度强化学习的迭代求解法。

2.1 上层：市场主体报价决策模型

首先，分别对风电、光伏、火电机组，以及以抽水蓄能为代表的储能设备进行市场行为建模。其中，新能源机组仅参与电能量市场，谋求电能量市场的收益最大化；火电机组和抽水蓄能同时参与电能量和FRP市场，追求两市场的总利润最大化。由于单个可调节负荷用电量较小，本文考虑可调节负荷以负荷聚合商的形式提供激励型需求响应服务(incentive-based demand response，IDR)，并以实际成本进行报价，暂不考虑其策略行为。需要注意的是：①机组运行特性在下层市场出清中考虑；②抽水蓄能考虑变速机组，其运维成本以抽发效率的形式在运行特性约束中计及；③市场主体只提交电能量市场报价，无需对FRP进行报价，FRP价格由机会成本确定。

1)新能源机组 (i∈Iwind∪Isolar)

(1)

0≤ki≤Kmax

(2)

式(2)为报价约束。其中Kmax表示报价上限。

2)火电机组(i∈Icoal∪Igas)

(3)

其中，

(4)

(5)

(6)

约束条件同式(2)。

3)抽水蓄能电站(j∈J)

(7)

0≤kj≤Kmax

(8)

2.2 下层：电能量与FRP辅助服务联合出清模型

联合出清的安全约束机组组合(Security Constrained Unit Commitment，SCUC)模型以社会福利最大化为目标，约束条件包括系统约束、FRP需求约束、需求响应相关约束，以及各种发电机组和储能设备的运行特性约束。

1)目标函数：

(9)

其中，

(10)

(11)

(12)

(13)

(14)

(15)

2)系统约束：

(16)

3)FRP辅助服务需求约束

(17)

(18)

(19)

其他包括新能源、火电、需求响应、抽水蓄能等各类灵活性资源的运行特性约束，整理于附录A。

上述双层均衡模型是完整的通用型模型，不仅适合于分析多类资源参与电能量及FRP市场的均衡结果，还可通过修改市场出清周期、电费结算参数、机组最小出力参数等方式，灵活考虑调度和结算颗粒度、市场主体提交自调度计划等多种机制设计的影响。

2.3 基于深度强化学习的模型求解

整个模型框架可基于深度强化学习方法进行迭代求解，本文选择深度确定性策略梯度算法(Deep Deterministic Policy Gradient，DDPG)[28]，其中市场出清模型属于混合整数二次规划问题，可借助商用求解器Gurobi进行优化计算。整体求解流程与前述循环迭代优化过程一致，如图1所示。

图1 DDPG求解双层模型框架图

以各主体作为有自主学习能力的智能体(Agent)，而将与之交互的市场出清过程作为环境。其要素包括：

2)动作a：Agent的动作即为报价决策变量ki或kj(∈A=[0,Kmax])。

(20)

式中：ε表示衰减率，通常为极小的正数，TB表示储存器的容量，Ttrain为训练总次数。

4)回报r：以Agent与环境交互所获得的利润(对应式(1)或(3)或(7))作为回报。

5)主Q网络(参数为ω)的训练目标是最小化样本Q值和目标Q值之间的均方差，其误差函数为：

(21)

(22)

ω按下式更新：

(23)

6)主策略网络(参数为θ)的确定性策略梯度公式为：

(24)

θ按下式更新：

(25)

7)目标网络软更新：

(26)

式中：τ为目标网络的学习速率。

整个算法基于PyTorch和Gurobi框架进行编程和计算。

3 算例分析

图B1 负荷及新能源出力曲线图

3.1 灵活性资源的影响分析

以火电与新能源构成的系统作为基础案例，分别添加抽水蓄能机组或IDR，得到各案例下的市场均衡结果如表1所示。

表1 不同灵活性资源整合案例均衡结果

对比各案例的市场均衡结果可以看到，抽水蓄能和IDR等资源都可以增加系统灵活性，多种资源的整合能有效促进新能源消纳。相较而言，抽水蓄能的调节能力更强，在相同调节容量情况下其调用量高于IDR，对系统灵活性贡献更大。在日平衡运行模式下，抽水蓄能和IDR通过响应市场价格优化自身运行曲线，在平抑市场价格波动的同时，提供系统灵活性。

图2以案例4为例，展示了市场价格、抽水蓄能机组出力和分时爬坡需求(按净负荷计算)曲线，可以反映抽水蓄能机组调用与市场价格及爬坡需求的相关性。一方面，抽水蓄能的基本运行模式是“低抽高发”，通过响应价格实现自身利益和综合效益的最大化；另一方面，作为该系统中调节性能最好的资源，抽水蓄能也跟随系统爬坡需求适时提供灵活性。由此也反映出，单一电能量现货市场可以在一定程度上激励资源提供灵活性。

图2 抽水蓄能机组调用与市场价格及爬坡需求的相关性

3.2 灵活性激励机制影响分析

(1)减少市场主体锁定资源的影响

市场主体可通过提交自调度计划等方式，提前确定其启停状态及基础出力曲线，富余容量可参与市场优化。为分析市场主体锁定资源的影响，本文假设机组全天各时段的自调度计划相同，在案例1的基础上，通过改变机组最小出力的方式模拟不同自调度计划场景下的市场出清结果(如图3所示)。

图3 不同自调度计划场景结果

算例设置了从20%gmax到60%gmax的5种自调度计划场景。可以看到，自调度计划比例越高，则可供系统调度的灵活性资源越少，最终消纳的新能源也越少。该结果也一定程度上反映了火电灵活性改造等措施对提高系统灵活性和促进新能源消纳的作用。

(2)增加FRP辅助服务产品的影响

FRP辅助服务产品的引入，不仅考虑了新能源出力和负荷波动造成的系统爬坡需求，还为其不确定性预留容量，以保障系统能提供所需的爬坡能力。算例基于案例4构建了多个不同预测误差σ的场景，各场景的爬坡需求由式(19)计算得到。各场景的市场价格如表2所示。

表2 不同预测误差场景下市场价格情况

由上述结果可以看到，在案例4系统中，引入FRP辅助服务产品对电能量市场的价格影响较小。FRP服务的价格由机会成本确定，随净负荷预测误差的增加而升高。各类灵活性资源的FRP服务中标情况如图4所示。

图4 不同预测误差场景的FRP服务中标情况

通过对比可以看出，调节性能越好的资源中标的FRP服务量越大，即FRP产品有助于激励调节性能优越的资源提供灵活性。下面进一步分析新能源占比更高情况下的市场运行情况。

3.3 电源结构的影响分析

在前述σ=1场景(新能源装机占比47.1%)基础上，本节逐步增加20%新能源装机容量，其出力曲线同比例调整，构建多个场景，市场均衡结果如表3和表4所示。

表3 不同新能源比例场景下市场价格情况

表4 不同新能源比例场景下市场均衡结果

综合上述结果可知：

1)随着新能源占比提高，电能量市场价格逐渐降低、FRP价格逐步上升，但FRP价格仍处于较低水平。

2)新能源占比提高会挤压火电发电量空间，即使在引入FRP辅助服务产品情况下，其收益也大大降低。在新能源装机占比64%场景下，火电FRP市场收益也仅占其总收益的0.12%，表明FRP对火电的激励性不足。

3)在由火电、新能源、抽水蓄能和IDR组成的系统中，新能源装机与△t调节容量(由△t时间的爬坡能力计算)的合理配比大约为3∶1，有助于促进新能源消纳。

4)在高比例新能源电力系统中，新能源报价趋同化、市场价格趋零化现象严重，可能对市场运营造成较大影响，亟需开展适应新型电力系统的市场出清及价格机制等研究工作。

4 结 论

本文对各类灵活性资源及市场激励机制进行了梳理和总结，并通过结合双层优化模型和深度强化学习的市场均衡分析方法，仿真分析了各类灵活性资源及激励机制的作用，结论如下：

(1)相较于传统火电机组，抽水蓄能和需求侧响应的调节性能更优，源荷储等多类资源的全面整合和优化调度，有助于充分提供新型电力系统所需的灵活性；

(2)减少市场主体锁定资源有助于充分调用灵活性；FRP辅助服务产品有助于激励调节性能优越的资源提供灵活性，但其价格可能偏低，是否对灵活性资源形成充分激励还需进一步探讨，有必要进行灵活性激励机制的创新；

(3)在当前的市场价格机制下，随着新能源占比的提高，市场价格逐渐走低，出现零电价的频次增加，需要开展适应新型电力系统的市场出清及价格机制等方面的研究工作；

(4)新能源的发展离不开灵活性资源的支撑，需要通过市场机制引导电力规划，形成合理的能源结构，降低实际运行阶段的市场运行压力和风险，有助于建设新型电力系统和实现双碳目标。

上述提到的研究方向将是后续的研究重点。