人工智能在分布式储能技术中的应用

2022-03-24霍龙张誉宝陈欣

发电技术 2022年5期

霍龙，张誉宝，陈欣*

（1.西安交通大学电力设备电气绝缘国家重点实验室新型储能能量转换纳米研究中心，陕西省西安市 710049；2.西安交通大学电气工程学院，陕西省西安市 710049）

0 引言

为顺利实现2030年的“碳达峰”和2060年的“碳中和”目标，发展以可再生、分布式、联起来、开放式、融进去为特征的能源互联网至关重要[1]。分布式储能是有效改善间歇性可再生能源功率波动、能量供需平衡以及电压/频率稳定性等问题的关键支撑技术之一。同时，随着电气广域量测技术的发展和外部信息(环境、气象、社会等)等大量数据的接入，各环节全面数字化和调控体系高度智能化推动了人工智能(artificial intelligence，AI)在电力系统中的广泛应用。将人工智能应用于分布式储能的建模、分析和控制已成为近年来的热点研究方向。

分布式储能是一种容量小且普遍靠近负荷侧的储能配置形式，常应用于中低压配电网及智能微电网中。相较于集中式储能，分布式储能安装地点灵活、投资费用低，功率介于几千瓦至几兆瓦之间，持续放电时间较短，且容量一般不大于10 MW·h[2]。近年来，国内外政府、企业已展开分布式储能的工程项目实践和配套政策制定。2018年，由国网江苏省电力有限公司主导实施的全国最大规模用户侧分布式储能项目正式在镇江新区落地，总投资金额达5亿元，充电功率合计3.15万kW，电池容量合计25.2万kW·h[3]。2020年，美国特斯拉公司开发了电池储能管理软件平台Autobidder，该平台融合了机器学习、优化算法等技术，其目标是最大化用户利益，在市场环境下根据不同用户的需求以及风险大小进行电池组运行优化[4]。2022年，加拿大政府和洛克希德·马丁公司投资1 900万美元用于太阳能+储能项目，太阳能板和电池产生的电能将输入到阿尔伯塔互联电网系统，补偿电网高峰供电需求[5]。澳大利亚分布式光伏以及集中式可再生能源发展迅速，推动了数万套配套分布式光伏的小型家用储能系统的安装，澳大利亚能源市场委员会于2021年发布规则草案，允许电网公司在网络阻塞时对用户上网电量进行收费，这进一步激发了市场对家用储能的需求[6]。截至2020年年底，德国的光伏电池储能系统已经超过5万台，由于德国电池储能系统和光伏系统价格下降，上网电价下降，销售电价上升，光伏电池储能系统具有良好的经济性[7]。

分布式储能类型多样，内部的物理和化学反应机理复杂，且需要协同运行，加之配套的高比例可再生能源和高比例电力电子装备等设备，使得储能具有系统强非线性、不确定性和时空尺度多样性等复杂技术特征。传统基于数学模型的储能系统分析和控制手段需要获取系统内部具体的参数和状态，但实践过程中精确的参数辨识较为困难，很多状态往往不可观测，此外，大规模、多尺度和高维的数值模拟仿真也对算力提出了较高要求。作为数据驱动方法代表，人工智能及其相关的大数据、云计算和先进传感计算技术有望成为解决分布式储能建模、分析和控制的新型解决方案，从而避免复杂的数学建模过程，提升计算效率和准确性。

针对人工智能在分布式储能技术中的应用问题，本文简要回顾了人工智能在电力领域的发展历程及其在分布式储能技术中的应用适配性，归纳总结了人工智能在微电网、智能楼宇和车网协同(vehicle-to-grid，V2G)3种不同尺度场景下的分布式储能中的具体应用方向和研究成果，并对未来人工智能在分布式储能中的应用前景进行了展望，以期为分布式储能的智能化研究和发展提供有益参考。

1 人工智能技术

人工智能是一种机器系统，对于人为给定的目标，可以做出影响真实或虚拟环境的预测、建议或决策。作为智能机器系统，人工智能尝试去理解人类智能的实质，像人那样思考，并且可能超过人的智能[8]。电力行业是人工智能的重要应用发展领域。在构建新型电力系统的过程中，各环节全面数字化和调控体系高度智能化成为其主要技术特征，体现了电力系统对人工智能技术的需求性。智能传感芯片、通信技术与物联网、边缘计算与云边融合等是新型电力系统正在发展的共性关键技术，将有力支撑人工智能在电力系统中的落地部署。

人工智能在电力系统中的应用方向可总结为分类、拟合和优化三大类问题。就具体场景而言，人工智能已应用于负荷和新能源发电预测[9-10]、暂态稳定性分析[11]、电力设备故障诊断[12]、电网优化运行[13]和储能控制方法[14]等多种不同场合。从20世纪80年代开始，人工智能在电力系统的早期研究集中在专家系统的应用，例如：电气操作票的自动开出和校核[15]。专家系统对数据量需求小，但知识获取依赖领域专家的经验，自主学习能力差。同期相关技术还包括形式简单的反向传播(back propagation，BP)人工神经网络[16]。受限于当时电力系统的数据采集存储和算力瓶颈，BP人工神经网络训练所需样本短缺，且无法满足在线使用需求。随着电力系统中先进通信和计算机硬件技术的不断更新发展，以及海量电力大数据的积累，新一代人工智能由传统知识表示转向深度、自主知识学习，深度学习成为电力系统近期研究热点[17]。

目前，人工智能在电力系统中的应用研究已经广泛涵盖了网、源、荷、储各个环节，未来分布式电源替代出力不确定性和电动汽车(electric vehicle，EV)的时空不确定性将带来更多随机性。传统分析方法在调度、交易、管理等方面将面临诸多挑战，人工智能将是解决这一类问题的有力措施[18]。特别是在储能侧，人工智能技术在其建模、分析和控制应用中适配性高，具体体现为：1）储能设备内部物理和电化学机理复杂，传统数学模型法难以完整且准确地描述多变的真实工况[19]，而人工智能则是以数据驱动方法构建储能模型，将储能视作“黑箱”系统进行输入与输出的关系拟合，这个过程中仅需储能外部端口的电压、电流等可观测变量，即可重构系统内外的复杂映射关系；2）储能类型多样，具有多时空尺度特点，且常与电力电子设备耦合，在进行稳定性和暂态响应分析时，一般使用数值积分法和实验分析，但算力和成本代价要求高，当可以获取足够多的数据作为样本时，人工智能能够高效率、低成本地深度挖掘储能的静态和动态特性，实现稳定性能分析；3）大规模、分布式储能的协调控制是一个多变量、多目标的时序控制问题，经典优化方法、基于规划的方法和启发式算法难以求解。人工智能中的深度强化学习(deep reinforcement learning，DRL)主要优点是不依赖于先验知识，可以满足实时调度要求，将储能协调控制转化为动态规划问题，通过数据和环境交互，实现价值函数的不断优化，表现出高效、准确的求解性能。

2 人工智能在车网协同中的应用

电动汽车的迅猛发展给电网的经济、安全运行带来了巨大的机遇与挑战。V2G作为分布式储能参与电网调度，引导其有序充放电，可以提供辅助服务[20]、平稳负荷[21]，促进可再生能源吸纳[22]。充放电调度控制策略是发挥V2G效益实现的基础和先决条件；采用人工智能技术对V2G实施合理调度，可以减少负荷对电力系统造成的负面影响，发挥V2G充放电控制的移动储能效益[20]。

近年来，中低压配电网中采用人工智能技术的V2G实时调度策略受到了广泛关注。在实时调度的研究中，文献[23]采用分布式人工智能算法中的交替方向乘子法制定了大规模EV的实时调度策略。文献[24]实现了EV储能与楼宇风电的实时统筹优化调度，但策略没有研究风力的时间波动性；文献[25-26]利用集群电动汽车平抑新能源波动，但实时调度的滚动优化造成了计算资源的消耗与浪费。Yao等人[27]开发了一种基于二进制编程的策略，以协调充电站中的多辆电动汽车充电，以响应电网公司的实时限电请求。Binetti等人[28]提出了协调电动充电问题的策略，其中考虑了插入和关闭频率；然后，设计了一种实时贪心算法，分布式求解该问题。Liao等人[29]采用随机动态规划方法，使运营商的利润最大化，以便实时调度配备光伏板的电动汽车充电站。Huang等人[30]提出了电动汽车调度问题的马尔可夫决策过程公式，同时考虑了风能出力的不确定性和动态性。上述方法将电动汽车储能调度问题描述为基于模型的控制问题。这些基于模型的人工智能方法对电动汽车的分布式储能调度问题具有良好的效果。

最近，人工智能中不需要任何系统模型信息的无模型方法在复杂决策应用中取得了巨大成功[31]。这一成功启发了智能电网应用的无模型方法的发展[31-33]。与人工智能算法中的基于模型方法相比，无模型人工智能方法的优势在于，它可以基于强化学习学习良好的控制策略，并且不依赖于系统的先验知识[34]。例如，Wen等人[31]使用Q表对电价和收费行为进行离散化，从而估算该函数。这种方法的局限性在于它只能处理少量的状态和操作。为了克服Q表的缺点，采用线性基函数的组合来近似其中的作用值函数。然而，线性逼近器无法处理现实分时电价和通勤行为中的非线性[32]。除此线性近似器外，Chis等人[33]还应用非线性核平均回归算子来拟合作用值函数。这种方法的缺点是核函数及其参数的确定对其性能有很大影响。总之，上述人工智能方法的有限近似能力阻碍了它们在现实场景中的实现。人工智能算法中的神经网络具有通用逼近器的潜力，并已广泛用于强化学习[35-37]。

近年来，人工智能中的深度神经网络在从高维数据学习复杂映射方面取得了令人鼓舞的成果。通过利用深度神经网络，DRL在复杂的决策应用中取得了显著的成就。例如，深度Q网络已经达到了与Atari 2600中的专业人员相当的水平[38]。EV优化调度的本质是对分布式储能进行充放电状态的最优时空调度，而DRL适用于在复杂场景下做出最优决策[39]，有限制反馈中实现序列决策问题的优化[40]。文献[41]开展了新能源场景下基于DRL优化EV充电控制研究，但对EV的储能和时空特性并未进行研究。文献[42]提出了考虑用户个人特性和动态电价的DRL实时调度方法，但所提策略仅靠奖惩函数反映车主需求，不能保证策略满足用电需求。

人工智能算法中的多智能体强化学习(multiagent deep reinforcement learning，MADRL)遵循随机博弈过程，经过数年的发展创新，MADRL诞生了众多算法、规则、框架，并已广泛应用于各类现实领域。文献[43-44]制定单台EV最优策略与整体EV最优MADRL策略后，根据优化结果的权重，在局部最优与整体最优二者间选择最终决策，影响策略的具体应用。文献[45]基于MADRL的多层电价响应机制对不同层级上复杂的源、网、荷结构进行协调，充分发挥高比例可再生能源和EV分布式储能的潜力。

3 人工智能在微电网储能中的应用

典型微电网通常包含分布式电源、储能装置、负荷、能量转换器，以及监控、保护装置和控制器等[46]。其中，各种类型的分布式电源和电力电子设备会给微电网带来功率波动和低惯性问题，合理配置储能系统，是提升微电网稳定性和可靠性的重要手段。此外，储能装置还能提高微电网和微电网群的运行经济性。人工智能在含储能的微电网中主要用于规划和调度环节。在规划环节，人工智能可以优化储能配置，制定合理选型方案，进而提高系统惯性和电能质量，降低建设成本；在调度环节，人工智能可以提供储能和其他电源的协调控制策略，进而实现削峰填谷，改善电压/功率分布，降低运行成本。

储能合理配置主要涉及储能的类型、容量、数量、位置和充放电规则等变量，属于混合整数优化问题。文献[47]提出模糊逻辑算法对储能容量、数量和充放电时间进行优化，有效降低了微电网的投资和运行成本。然而，对于多变量和多目标优化，模糊逻辑算法的维数灾问题仍有待解决。文献[48]采用多层感知器对储能的容量和位置进行优化，能够改善系统的电压/功率分布，降低微电网的总成本。文献[49]应用轻量级神经网络和Q学习方法对储能电池健康状态(state of health，SOH)进行定量评估，在此基础上优化储能容量和充放电规则，兼顾了微电网的经济性和电池寿命，提高了微电网的运行性能，但是没有考虑新能源和负荷变动的影响。此外，相关学者已尝试使用各种启发式智能算法，如粒子群算法、和声搜索、人工蜂群等[50]，来获取储能配置问题的优化解。启发式智能算法不依赖模型内部机理，适用储能类型广，但无法保证优化解的质量和求解稳定性。

微电网中储能的协调控制和能量管理属于典型的时序控制，学者们通常采用经典优化方法、基于规划的方法和启发式算法进行控制，但是当实际场景较为复杂，难以用明确数学模型描述，且数据量巨大时，这些算法将很难适用。近年来兴起的深度强化学习算法则为处理复杂微网控制提供了新的思路。经典强化学习方法之一的深度Q学习(deep Q-learning network，DQN)已被用于微电网储能协调控制的分析中，例如：文献[51]应用DQN实现微电网储能调度策略，同时还使用深度卷积神经网络提取微电网调度时间序列信息特征，使微电网获得最大运行收益；文献[52]针对含有多种异质类型电池的微电网场景，采用DQN控制不同电池系统的充放电周期，提高了微电网运行效率，但对于大量特性截然不同的电池，该方法需要额外的计算时间；文献[53]提出了一种改进DQN模型指导微电网储能的动态调度，使用蒙特卡洛树搜索来估计DQN期望的最大动作值，并在DQN中内嵌了一些调度规则指导训练；文献[54]采用DQN制定微电网储能系统在并网和孤岛模式下的最优运行策略，并网模式下，目标是利润最大化，孤岛模式下，使整个系统的减载量最小。DQN本身存在显著高估(overestimation)问题[55]，文献[14,46,56]引入双层深度Q网络(double deep Q-learning network，DDQN)方法，缓解了训练过程中的高估问题。其中，文献[46]考虑了蓄电池(短期储能)和储氢设备(长期储能)的时序安排方案，对于不同时刻、天气、季节的场景均能有效处理，但没有考虑并网的情况、电价以及规划的部分；文献[14]以储能的实时充放电功率为控制变量，训练得到储能控制的优化策略，验证了所提方法在优化购电费用上的有效性；文献[56]提出储能分布式运行策略，考虑了功率的不确定性，在并网和孤岛场景的微电网中均具有良好的稳定性和经济性。针对高估问题，还有学者使用TD3(twin delayed deep deterministic policy gradient)强化学习进行光储充电站储能系统全寿命周期优化运行[57]，制定基于移动储能车的协调微网系统调度和微网资源调度的综合业务恢复策略[58]。

除了强化学习，已有工作表明，还有多种人工智能方法适用于微电网储能调控。文献[59]提出结合注意力机制的模糊逻辑算法，能够快速、准确平抑母线功率波动的同时保护储能系统，提高微电网的经济性和可靠性。文献[60]则提出基于深度置信网络的含储能微电网电能质量评估方法。针对利用储能实现微电网削峰填谷问题，文献[61]引入基于决策树的峰值负载管理算法，在不同负载的孤岛微电网场景下，均有稳健的性能表现，但没有考虑储能系统最佳规模的配置。文献[62]提出采用双层多智能体算法实现含储能的微电网能量管理，在底层，智能体决定单个微电网实体(如储能、备用发电机和负载)的最优运行策略；在上层，利用中央微电网协调器协调多个智能体，进而使整个微电网能够匹配电网运营商要求的减载。文献[63]采用含卷积层的长短时记忆网络进行孤岛微电网的光伏和储能的分布式协调控制，结果表明，相对于传统集中式控制，该算法可以有效降低通信成本，保护用户信息隐私。针对风电微电网中的电池能量管理系统，文献[64]提出多层多核极限学习机自编码器算法，提升了蓄电池寿命，且满足本地负荷需求和电网调度，同时确保在风力发电差异下电池堆性能得到优化。

4 人工智能在智能楼宇储能中的应用

相对于传统大容量集中式发电，分布式新能源和储能技术更靠近用户侧，伴随着数字化家居的不断发展，智能楼宇(社区)用电结构促进了能源局域网的用户侧主动需求响应。近年来，家庭能量管理系统(home energy management system，HEMS)、楼宇能源局域网(building energy local network，BELN)[65]以及云储能(cloud energy storage，CES)[66]等相关新兴概念受到学者高度关注。分布式储能技术提供了能量双向流动条件，新能源发电低谷时储能可以填补电能缺额，新能源发电高峰时段，储能多余的电能可以通过与大电网互联，将电能输送给大电网，使楼宇能量形成小型局域网，独立储能装置能提升局域网的运行稳定性。

对于智能楼宇场景中的配套储能，人工智能主要用于解决对应的主动需要响应、协同调度控制和合理配置等问题。我国电力市场改革通过合理的价格机制引导用户通过储能和可调节负荷，主动参与需求侧响应，缓解了电网的供需压力。文献[67]基于分时电价的储能电池需求响应，采用BP神经网络和粒子群算法配置光储容量，构建了以用户用电成本最小化为目标的储能运行策略和容量配置的协同优化模型。智能楼宇微网系统存在的非线性、时变、分布式发电不确定性等特点导致传统数学建模方法难以全面反映系统复杂的运行状态，文献[65]提出了一种基于启发式动态规划算法用于储能系统调度，建立数据驱动的智能楼宇储能模型，结果表明，该算法能够节约用电成本、避免蓄电池深度充放电，具有良好的经济收益。文献[68]提出一种能够应对复杂环境的基于深度强化学习的家庭能量管理分层优化策略，通过调节储能系统的充放电功率，解决因满足用户用电需求和减少电费所造成负荷集中至低电价时段导致的功率越限。云储能是用户侧储能领域的共享经济储能商业模式，不再由用户自建储能，而是由云储能提供商投资建设实体储能和云平台，需要进行统一调度和控制。文献[69]提出了一种基于门控循环单元多步预测技术的云储能充放电策略形成方法，并在此基础上建立了云储能充放电决策滚动优化模型。文献[65]以含有光伏和储能装置的楼宇为对象，采用改进离散二进制粒子群优化算法优化了可调度负荷的工作时间。文献[70]将楼宇中的空调聚合成一个虚拟储能系统，设计了人工神经网络模型来预测虚拟储能系统的能量容量，在不影响住户舒适度的情况下，达到预期的经济性运行。针对电力互联的住宅建筑集群中共享屋顶光伏发电和储能系统，文献[71]采用长短时记忆网络和Q学习，提供了优化的电价制定方法。智能楼宇的储能系统合理配置是优化调度控制的重要前提之一，相关人工智能算法，如差分进化-粒子群BP神经网络[72]、人工蜂群算法[73]、遗传算法和CPLEX联合算法[74]和模糊控制算法[75]等，已成功应用于储能系统合理配置，提高了储能的使用寿命，改善了系统的动态响应特性。除电能存储外，热水箱和暖通空调系统等储热系统也是智能楼宇中常见的储能形式。已有多种人工智能算法分别应用于储热系统的建模[76]、配置[77]和控制[78]，对应的数据驱动模型为传统耗时的热力学数值仿真提供了替代方案，避免了复杂的物理建模过程，相关控制方法提高了数据利用率，对不确定性场景具有较强的鲁棒性。