多能源形式下商业区微网的方案设计与调度优化
2021-08-19郭文铸王海伟丁亮余佩遥李怡瑾唐昊
郭文铸，王海伟，丁亮，余佩遥，李怡瑾，唐昊
（1.国网安徽省电力有限公司合肥供电公司，安徽省合肥市230000；2.合肥工业大学电气与自动化工程学院，安徽省合肥市230000）
0 引言
随着可再生能源渗透率的提高，微电网作为大电网的有效补充形式以及可再生能源的有效利用形式将越来越普及[1-2]。微电（能）网的概念最早由美国提出，由于有助于实现多种能源形式的高可靠供给，世界各国纷纷对微电（能）网展开研究。微电网建设的规划设计直接影响其投资成本、运行可靠性和经济性，需研究不同类型能量间的优化调度来更准确地描述微网建设中的运行经济性，进而更准确地刻画微网建设经济性。
冷热电联供微网是一种能同时满足用户冷热电综合能源需求的复杂微网系统，针对冷热电微网内部设备种类和容量的规划问题，文献[3]给出了2种方法：一种是将待优化的设备容量统一到一个目标函数下进行一阶段优化；另一种是将优化过程分为2个阶段，第一阶段确定设备类型及容量，第二阶段确定系统的运行策略等。文献[4]提出了包括最大化投资收益率、最大化供电可靠性、最小化污染物排放量等多种评价指标。在实际应用过程中，既可以考虑采用单一目标函数，也可以综合考虑多种目标。文献[5]针对冷热电联供系统容量配置问题，提出基于粒子群算法的三级协同整体优化方法，第一级求解最优设备选型问题，第二级求解设备最优容量问题，第三级求解最优运行参数问题。文献[6]基于以热定电、以电定热、多目标综合效益3种运行模式分析了冷热电三联供系统的优化配置问题。
以上文献虽然针对冷热电三联供系统(combined cooling heating and power system，CCHP)优化容量配置问题进行了研究，但这些研究未充分考虑储能的作用。作为能量的时间转换装置，储能装置在微网系统中可提高能源利用效率和经济性。在针对含电储能的微网系统中，文献[7]针对电池储能系统，将多目标优化问题转换为单目标优化问题，并采用动态规划的方法求解储能最优容量。文献[8]在给定运行策略下，提出了使用遗传算法针对独立风光柴储系统的容量进行优化配置。在针对含热储能的微网系统中，文献[9]提出了含储热的电力系统电热综合调度模型，相比传统模型增加了系统热平衡约束，热电机组的热电耦合约束等，采用了供电及供热总煤耗最低的目标函数。文献[10]将日前调度策略作为上层目标函数，储能配置容量作为下层约束，建立了规划−调度双层模型。以上文献对含储能微网系统的配置优化问题进行了研究，但在调度策略的选择上多采用经验策略，即当供能过剩时储能装置充能，供能出现缺额时储能装置放能，运行策略相对固定，针对电热储能在多能源形式微网下的互补协同运行的调度缺乏根据负荷变化进行动态调整的灵活性，因此，有必要展开含储能的微网在最优调度下的容量配置问题。
此外，目前微网的建设方案主要包括电能替代、水源热泵三联供、综合能源等方案。其中电能替代方案主要倡导“以电代煤、以电代油”的新型能源消费模式[11]；水源热泵三联供方案以冷热电三联供系统为主要供能设备，水源热泵作为辅助能源设备，可满足系统内多元化用能需求，对不同形式的能源进行协同优化，有效提升能源利用效率[12-13]；考虑光伏发电已经发展成为一项重要且成熟的分布式能源技术[14]，因此在综合能源方案中，将光伏发电作为一项新增可再生能源，与水源热泵三联供系统进行配合建设，并配置一定的热储能及电储能是一种可行的方案。除了微网建设方案之外，能源设备是否高效协同运行也至关重要，其与容量配置共同决定系统总体经济性。随着智能电网的普及，人工智能技术成为解决多能源协同调度问题的重点研究方案[15-16]。文献[17]提出可以使用强化学习来解决微网能量调度问题。文献[18]分析了强化学习算法相比于基于模型的传统调度算法的优势，并验证了强化学习在处理微网中储能调度问题能够获得比传统控制更好的效果。文献[19]利用Q学习算法对含光伏及储能的冷热电联供系统进行运行策略的优化，并验证了所得策略的最优性。现阶段在复杂微网容量规划中，由于系统控制变量多，状态变量复杂，导致Q学习方法可能受到维数灾难问题。
针对上述研究的不足，本文采用深度强化学习算法对系统中多类能源装置以及储能的优化策略进行求解，对电能替代、热泵三联供、综合能源3类方案进行比较，通过比较各方案和相应配置下系统经济性指标，给出微网建设建议，为微网建设提供参考。
1 商业建筑的负荷特性描述
商业区域是微网建设的重要对象之一，其对多种类型负荷的需求与其营业时间紧密相关。商业建筑全年营业时间受节假日影响较小，营业时间一般集中在08:00—22:00，日营业时间约为14h。此外，商业建筑占地面积大，人流量密集，为了保证环境的舒适性，通常营业时间内商业建筑的冷负荷较大，且用冷时段集中于下午及傍晚时段，热电负荷变化趋势与冷负荷大致相同；而营业时间外的日冷热电负荷则维持在一个较低水平。由于系统中负荷特性比单一能源形式复杂，会对建设方案的选择与运行策略的优化产生影响，因此本文针对商业区域的负荷特点，提出如下3种微网建设方案。
2 微网建设方案
2.1 电能替代方案
电能替代主要通过将满足冷热负荷需求的设备调整为电制冷、电加热设备，该方案下微网结构如图1所示，其主要能源形式有：
图1 电能替代方案下微网结构Fig.1 Microgrid structure under electric power alternative plan
1）离心式水冷机组。
离心式水冷机组依靠离心式压缩机中高速旋转的叶轮所产生的离心力进行制冷，其制冷功率为
2）电锅炉。
电锅炉采用金属管状电加热器，通过加热水使电能直接转化为热能，其制热功率为
式中：Theb(t)为 电锅炉制热功率；peb(t)为电锅炉输入电功率；为电锅炉制热效率。
电能替代方案下系统能流平衡关系为：
式中：pcool(t)为系统的冷负荷；pth(t)为系统的热负荷；pele(t)为 系统的电负荷；pgrid(t)为系统与大电网的交互功率。
系统从时刻T运行至时刻T+Δt过程中的运行代价为
式 中fgrid(t)为t时刻电价。
2.2 水源热泵三联供方案
本方案以三联供机组实现冷热电联产为主要供能方式，水源热泵作为辅助供冷制热设备，离心式水冷机组作为供冷补充，电锅炉作为供热补充，该方案微网结构如图2所示，其主要能源形式为：
图2 水源热泵三联供方案微网结构Fig.2 Structure of CCHP plan with water source heat pump
1）燃气三联供机组。
燃气三联供的主要优势是可利用燃气轮机组产生废热烟气回收实现冷热电联产，燃气轮机组由多台燃气轮机并联组成，设燃气轮机总数为Nmt，热电比为βmt， 投入运行的燃气台数为nmt；燃气轮机组总共提供电功率为p(t)，有功功率平均分配给每一台燃气轮机，则pmt(t)=p(t)/nmt，同时热功率Thmt(t)=pmt(t)βmt，且pmt(t)应满足：
2）再生水源热泵机组。
再生水源热泵机组通过回收污水厂外排水低温余热，再生水吸取机组冷凝热或向机组蒸发器释放热量，从而实现供冷供热，再生水源热泵机组的输入电功率pwp(t)应满足：
式中：分别表示水源热泵的最小输入电功率和最大输入电功率。
再生水源热泵制冷功率、制热功率为：
水源热泵三联供方案系统下能流平衡关系为：
系统从时刻T运行至时刻T+Δt过程中的运行代价为：
式中：cst为机组启停代价；cpr为机组运行代价，
2.3 综合能源方案
本方案在水源热泵三联供方案的基础上以光伏发电作为新增新能源形式，配置一定的热储能及电储能，其微网结构如图3所示。
图3 综合能源方案微网结构Fig.3 Microgrid structure of integrated energy plan
光伏出力与气象条件密切相关，将光照强度等因素对应为不同的气象系数，光伏出力为光伏装机容量pvbase与气象系数α(t)的乘积，即
电储能装置的充放电功率pes(t)可在其约束范围内进行充放，即
电储能充放电过程中的能量损耗代价ces为
式中：βes为 代价系数；ηes为 电储能效率；表示电储能与其外部的交换功率。
热储能在充放过程中存在能量损耗代价cths，并设热能流失代价cthw，其与cths可表示为：
式中：βths为热储能充放损耗代价系数；ηths为热储能效率；表示热储能装置与其外部的热交换功率； βthw为流失热代价系数。
综合能源方案下系统能流平衡关系为：
式中：Thths(t)为 时刻热储能功率；ppv(t)为时刻光伏出力；pes为时刻电储能功率。
综上所述，系统从时刻T运行至时刻T+Δt过程中的运行代价为
3 调度优化模型及方法
由于本节考虑的是有限时段内的调度优化问题，因此将一天等分为K个决策周期，其中第k个决策周期对应时段为[tk,tk+1)，tk为该周期决策时刻。定义系统状态向量为s。
在电能替代方案下s表示为
在水源热泵三联供方案下s表示为
在综合能源方案下s表示为
系统的行动包括燃气机组的起停，电储能、热储能的充放，定义系统行动集D=Dmt×Des×Dths，a=(amt,aes,aths)∈D表示系统行动向量，其中aes表 示电储能充放电行动；aths表示热储能充放行动；amt表示燃气机组开启台数。
当前决策时刻为tk时，在系统状态sk下选择行动ak，经过一个决策周期T，系统状态转移到sk+1，得到一个状态转移过程为系统运行代价c在第k个决策周期所对应的值。
定义系统在策略π下从初始状态s0开始运行，优化性能准则Vπ(s0)如下：
系统能量调度优化目标是在与环境交互的学习过程中，从策略集Ω中找到最优策略π∗，使系统的平均运行代价最低，即使得优化性能准则最小化。
针对优化策略的求解，深度强化学习（deepQ-network，DQN）算法在处理大规模复杂优化问题上相比传统的优化方法具有显著优势，但在求解目标函数过程中存在过估计问题，因此，本文采用结构如图4所示双网络深度Q学习算法（double deepQ-network，DDQN），通过利用2个结构相同但值函数不同的网络分别实现动作的选择和动作的评估，从而解决过估计问题[20]。
图4 DDQN算法结构Fig.4 Structure of DDQN algorithm
算法的具体流程如下：
步骤1：定义系统运行参数，如决策周期ΔT，经验池容量M，学习步数Sstep等。
步骤2：初始化网络1和网络2层数和每层神经元个数，初始化网络参数θ1和 θ2；设定样本池容量和样本批次容量。
步骤3：初始化系统状态s0，在当前状态下选择行动a，经过一个运行周期获得下一状态s′和运行代价c，将
步骤4：重复以下步骤①到⑥，直到Sstep=Ntrain步。
①从样本池中随机选择一个样本批次的样本，并对样本进行归一化处理，得到②将sˆ输入网络1获得该状态下所有行动对应的Q值，即 网 络 输 出：Q1(s,·)。③将分 别 输 入网 络1和 网 络2，获 得Q1(s′,·)和Q2(s′,·)，选 择从 而 得 到根 据 公 式Qtarget=c+γQ2(s′,a∗)计 算 获 得④根 据Qtarget(s,·)和网络1输出，计算损失函数并利用梯度下降算法更新网络1参数θ1。⑤每经过Nupdate步更新网络1参数赋值给网络2。⑥产生新样本并替换样本池中样本，更新样本池。
4 结果分析
以合肥市滨湖区某建筑区域为例，对上述3种微网建设方案进行仿真分析，该区域光伏及冷热电负荷曲线如图5所示。
图5 光伏与多种类负荷曲线Fig.5 Curves of PV and multi-type loads
微网向电网购电的价格参考合肥市现行分时电价的标准，规定08:00至22:00共14 h实行高峰电价，电价为0.5653元/(kW·h)；规定22:00至次日08:00共10 h实行低谷电价，电价为0.3153元/(kW·h)；向电网售电时，参考安徽省发电企业的上网电价，上网电价为0.398元/(kW·h)；三联供系统采用天然气发电时参考合肥市天然气气价为2.72元/m3。
4.1 电能替代方案
电能替代方案下能源配置以满足峰值冷、热负荷为目标，能源配置情况为制冷量3516 kW的离心式水冷机组3台，制热功率2100 kW的CWDR2.1电热锅炉3台，投资成本为1104万元。
电能替代方案由市电直接供电，离心式水冷机组直接供冷，电热锅炉直接供热，不需要进行运行策略优化，其年运行成本为548.01万元，日内各时段系统与市电交互功率见图6。电能替代方案中能源结构较为单一，夏季大量冷负荷需求和冬季大量热负荷需求造成整体用电量大大增加。供冷季和供暖季单一的供能方式缺少能源互补的优势，导致运行成本增大。电热锅炉和离心式水冷机组只在对应的季节工作，其余时段闲置，设备利用率低，产生资源浪费。推进电能替代主要效益体现在系统建设难度小，减少区域环境污染，但会提高建设支出及运行成本。
图6 电能替代方案下市电交互功率Fig.6 Exchange power with grid of electric power alternative plan
4.2 水源热泵三联供方案
考虑该地区现有一座再生水厂，水源热泵所需的可再生能源供给充足，因此以燃气三联供为主要供能设备，以水源热泵，离心冷水机组及电加热锅炉作为供能补充，考虑不同水源热泵渗透率下的水源热泵三联供方案对比，不同渗透率下能源配置及系统投资成本见表1。
表1 不同水源热泵渗透率下能源配置及投资成本Table 1 Energy configuration and investment cost under water source heat pump permeability
根据不同渗透率下所得最优运行策略，得到不同渗透率下水源热泵三联供方案的年运行成本，然后以电能替代方案为基准，计算出不同水源热泵渗透率下微网系统的投资收益率及投资回收期，所得结果见表2。
以上电能替代方案下仅采用离心式水冷机组和电加热锅炉导致设备在不同季节会闲置。再生水源热泵和三联供系统会增加系统建设的初始投资，但其全年均能供冷供热，设备利用率高。表2中水源热泵渗透率越高，经济效益越好，但考虑设备维护难度、可行性等因素，水源热泵容量不易过大。结合该地区再生水厂供能条件，采用水源热泵三联供方案进行微网建设时，可选择水源热泵渗透率为18.07%的能源配置方案，该方案下学习优化曲线见图7，经验策略下年运行成本为434.04万元，优化策略下年运行成本为397.60万元。
表2 不同水源热泵渗透率下的经济性指标Table 2 Economic indicators under various water source heat pump permeability
图7 水源热泵渗透率为18.07%的优化曲线Fig.7 Optimal curve when the water source heat pump permeability is equal to 18.07%
优化策略下该方案经济性如图8虚线框所示，投资收益率为10.97%，投资回收期9.12 a。该方案能源配置为单台电功率1400 kW的C1400 N5C燃气发电机组3台，制冷量1912 kW、制热量1923 kW的DRSW-555-2AF再生水源热泵1台，制冷量3918 kW的开利19XR5051385CQS离心式水冷机组1台，制热量700 kW的CWDR0.7电热锅炉1台，投资成本1370万元。
图8 水源热泵渗透率对经济性的影响Fig.8 Influence of different water source heat pump permeability on economy performance
上述能源配置方案下优化运行策略仿真得出年运行成本397.60万元，日内各时段系统与市电交互功率见图9，燃气三联供机组同时提供多种能源，降低系统总体购电量，负荷高峰时段从市电购电为主，日均购电量为13.441 MW，夜间基本实现供能自给自足，与电能替代方案相比，大幅降低了其余时段从市电购电量，电负荷低谷时段还能实现向市电售电，日均总售电量为2.603 MW。
图9 水源热泵三联供方案下市电交互量Fig.9 Power exchange with main supply under CCHP plan with water source heat pump
4.3 综合能源方案
综合能源方案在水源热泵三联供所建议方案的基础上，新增光伏发电1.2 MW，新增全钒液流电池储能装置，新增相变储热装置，表3为不同的储能容量配置下的投资成本。
表3 不同储能容量下系统的投资成本Table 3 Investment cost of the system under different energy storage capacities
根据不同储能容量配置下所得最优运行策略，得到不同储能容量下综合能源方案对应的年运行成本，同样以电能替代方案为基准，计算出不同储能配比下微网系统的投资收益率及投资回收期，对应结果见表4。
表4 不同储能容量下的经济性指标Table 4 Economic index under different energy storage capacities
图10 为储能容量与经济性的关系，可以看出，电储能容量为3 MW·h及热储能容量为2.5 MW·h能够在有效降低年运行成本的同时获得最大投资收益率，继续增大储能装置容量带来的收益将降低。
图10 储能容量配比对经济性的影响Fig.10 Influence of energy-storage capacity on economy
以经济性为主要评价指标，结合建设可行性和维护难度，该地区以综合能源方案进行微网建设时，新增光伏发电1.2 MW，新增全钒液流电池储能装置3 MW·h，新增相变储热装置2.5 MW·h，该方案经济性如图11虚线框所示，投资收益率为11.37%，投资回收期为8.79 a。新增设备使年运行成本显著降低，比电能替代场景降低36.47%，降低199.89万元，比水源热泵三联供方案降低12.44%，降低49.47万元。
图11 综合能源方案优化曲线Fig.11 Optimal curve of integrated energy plan
电储能容量为3MW·h及热储能容量为2.5 MW·h方案下学习优化曲线如图11所示，经验策略下年运行成本为390.67万元，优化策略下年运行成本为348.12万元。经验策略与优化策略下日内各时段储能荷电状态如图12所示，在高负荷区间(13:00—22:00时间段)，相比于经验策略的固定充放模式，优化策略根据负荷情况对储能充放电动作进行合理调节，以降低后续负荷高峰的供电压力。优化策略下，日内各时段系统与市电交互功率如图13所示。在优化策略下，引入的新能源和储能装置有效缓解了市电供电的压力，负荷高峰时段从市电日均购电量有所降低，总计购电6.984 MW，相比水源热泵三联供方案减少了6.457 MW，在用电低谷时段向市电日均购电量为1.891 MW，将低电价电能以及三联供设备富余电能储存，在用电高峰时段释放，通过电能的转移能够降低运行成本，同时还能有效平滑大电网供电需求。
图12 综合能源方案储能荷电状态Fig.12 Electricity state of charge under integrated energy plan
图13 综合能源方案下市电交互量Fig.13 Power exchange with main supply under integrated energy plan
4.4 方案对比与建议
按照合肥市光储产业补贴政策[21]，光伏补贴为0.15元/kW，储能设备补贴设备投资额10%的一次性补贴，假设项目全寿命周期为20 a，光伏和储能的补贴政策持续5 a，储能寿命为10 a，各方案经济性对比见表5。
表5 3种方案投资经济性对比Table 5 Investment economy comparison of three plans
电能替代方案投资成本较少，能够降低建设难度，但运行成本最高，从经济性角度上不建议采用电能替代。以电能替代为参照方案，采用水源热泵三联供方案投资成本适中，年运行成本可接受，相比电能替代方案每年节约150.42万元运行费用，投资回收期为9.11a，内部收益率9.04%。综合能源方案可获得一次性储能补贴约38.75万元，每年获得光伏补贴约6.57万元，项目运行10 a后需对储能装置换新。综合能源方案投资成本较高，采用了多种能源相互协同供能，新增新能源发电及储能装置，其年运行成本相较于电能替代方案降低199.89万元，投资回收期比水源热泵三联供方案增加0.06 a，内部收益率略有下降，总体经济性较好，新增光储设备后的难点在于能源设备众多，维护难度大。
综上，综合能源方案中多种能源设备协同供应，光伏和储能装置在缓解大电网供电压力的同时，能够降低系统运行成本，起到新能源发电项目的示范效果，考虑微网建设与运行的经济性与环境效益，投资回收期到来后，每年可带来净利润199.89万元。
随着储能技术愈加成熟，储能装置价格必将逐渐降低，因此本文考虑了储能装置价格对综合能源方案内部收益率的影响，见图14，图中虚线为水源热泵三联供方案内部收益率。
图14 储能价格对内部收益率的影响Fig.14 Influence of energy storage price on IRR
从图14可以看出如果10年期更换储能装置时储能价格降低14.16%，综合能源方案的内部收益率与水源热泵三联供方案持平，因此在储能价格有望大幅下降的未来，采用综合能源方案带来的收益是可期的。
5 结论
电能替代方式优势在于系统建设难度低，但其经济性较差，如果有政府实行相关补贴政策，可提高电能替代模式的吸引力；水源热泵三联供方案有效结合地区可再生资源，实现较好的经济性；综合能源方案增加光伏储能装置后经济性与水源热泵三联供方案基本持平，但随着储能价格的降低，其经济效益将大大提高。因此，在储能价格有望降低的未来，采用综合能源方案能在充分利用可再生资源实现绿色环保的同时，带来可观的经济效益。
能源设备种类根据建设区域可利用资源确定，后续针对具有不同资源的区域进行微网建设分析时，可考虑更加多元的能源设备之间的运作关系；同时不同的电价、气价机制对三联供的经济性效益的影响值得进一步研究；随着新能源渗透率的扩大，未来新能源补贴政策的走势也将对微网建设经济性产生影响，因此对未来市场机制及政策研究也是有意义的研究方向。
