基于联邦学习的分布式电采暖互动模式设计与展望

李彬，白雪峰*，李志超，王仕俊，刘淳，程紫运

（1.华北电力大学 电气与电子工程学院，北京 102206； 2.国网甘肃省电力公司发展事业部（经济技术研究院），兰州 730050）

0 引言

一直以来煤炭在我国能源结构中占比较大，为实现碳达峰、碳中和的目标，推动能源清洁低碳转型是当今能源领域发展的当务之急［1-2］。传统的电力系统以同步电源为主，电源少负荷多，呈现“源随荷动”的整体特征，导致“源侧”调节资源紧缺，电网的调节能力下降，然而大规模储能装置的成本居高不下［3］，这使电网在冬季时调峰、备用能力不足，无法经济地解决风光出力波动带来的调节压力。

目前挖掘负荷侧的可调节潜力使其参与电网运行已成为提高电网调节能力的新途径［4］。自《北方地区冬季清洁取暖规划（2017—2021 年）》［5］发布以来，各省市加快推进了“煤改电”工程，大量电采暖设备取代传统的燃煤取暖，投入运行并接入电网。2019 年年底，天津“煤改电”用户达46 万户［6］，年用电约1 700 GW·h。2020年年底，北京“煤改电”用户突破130 万户［7］。北京通州区通过“煤改电”热泵智能监测系统可实时掌握用户的用能数据，有利于实现用户参与需求响应互动［8］。2021 年，河北省对所辖区域内13.3万户居民开展“电代煤”补贴，逐步通过绿色低碳能源取代传统燃煤的能源方式［9］。未来随着推广规模的进一步扩大，势必会成为体量可观的负荷侧调节资源［10］。

作为重要的负荷侧可调节资源，分布式电采暖的缺点在于所处地理区域分散，数目多且单体容量小，难以集群控制管理［11］，容易形成数据孤岛，将分散在各个终端的数据进行整合所需成本巨大。在传统云计算模式下，分布式电采暖收集的数据直接传送到云计算中心进行数据处理，再回传到终端设备［12］，这样大量的数据在传输过程中效率低下且隐私安全问题无法得到保证。随着人工智能技术的进一步发展，各国都在加强对数据安全和隐私的保护，对用户数据隐私和安全管理将日趋严格。

针对数据孤岛和数据隐私的问题，“联邦学习”（Federated Learning）应运而生。联邦学习是利用分散在各终端的数据资源，通过隐私保护技术融合多方数据信息，协同构建全局模型的一种分布式训练方式。在模型训练过程中，模型的相关信息能够在各个电采暖设备之间交换或上传至聚合商，本地训练数据无须上传，因此可降低数据泄露的风险。在满足数据隐私、安全和监管要求的前提下，可以利用联邦学习框架，使中心服务器更加高效、准确地使用来自终端设备的数据。

综上所述，挖掘分布式电采暖负荷的调节潜力，对促进源网荷协调互动，对保障电力系统安全、稳定、经济运行具有重要的现实意义。本文从分布式电采暖互动需求出发，分析了联邦学习中边缘缓存、强化隐私安全、通信传输优化、异构融合与公平激励等方面的关键技术在支撑分布式电采暖灵活互动中的应用与展望。相关研究将对推进电力需求侧管理的发展，对促进“煤改电”的推进具有一定参考价值。

1 基于联邦学习的分布式电采暖互动适用性分析

1.1 联邦学习技术原理及分类

联邦学习本质上是一种分布式的机器学习技术，在分布式电采暖参与电网供需互动的系统中，主要包括客户端（分布式电采暖设备）和中心服务器（聚合商）。客户端在中心服务器的协调下共同训练模型，其中客户端负责训练本地数据得到本地模型，中心服务器可通过加权聚合本地模型，得到全局模型，经过多轮迭代后最终得到一个趋近于集中式机器学习结果的模型。在满足数据隐私安全和监管要求的前提下，使各用户有效地利用其本地模型参数获得高质量的联邦学习模型。在联邦学习的实际应用场景中，由于数据的特征以及不同数据孤岛有各自的特点，将联邦学习分为3类：横向联邦学习、纵向联邦学习、联邦迁移学习［13］。

（1）横向联邦学习也称特征对齐联邦学习，指的是在参与联邦学习的数据集中，数据的特征重复较多而用户重叠较少。比如不同小区的电采暖用户存在差异，但是电采暖数据的特征都很相似。如图1a所示，这种情况下，可以把数据集横向切分，并取出数据集中特征相同的数据，将用户不一样的数据进行训练得到模型。

图1 联邦学习分类（以电采暖为例）Fig.1 Federated learning classification （taking electric heating as an example）

（2）纵向联邦学习也称样本对齐的联邦学习，如图1b 所示。纵向联邦学习指的是在参与联邦学习的数据集中，用户重叠较多而其特征重复较少。比如对于同一个小区，用户相同，但是负荷聚合商与设备供应商有着不同的数据类型，可以把数据集纵向切分，并取出数据集中用户相同但特征不完全相同的数据进行训练。

（3）联邦迁移学习指的是在参与联邦学习的数据集中，用户和数据特征重叠都很少。比如负荷聚合商有着电采暖用户大量的用电信息，一家保温建材制造商有着不同用户的房屋热力学信息，所属数据的用户与特征都不重合，在这种情况使用迁移学习技术克服数据和标签不等的问题，如图1c所示。

1.2 互动需求分析

分析分布式电采暖响应潜力，首先要了解电采暖在室内的负荷特性。目前对于电采暖负荷特性的分析主要有2 种方式：简化热力学模型［14］和统计模型。目前的研究大多采用一阶热力学模型，模型准确度不够，增加模型阶数又会大大增加求解复杂度。随着机器学习技术的发展，基于历史数据的统计模型逐渐成为研究重点，大多采用神经网络、支持向量机（SVM）等机器学习方法对电采暖负荷特性进行模拟。文献［15］采用长短期记忆（LSTM）网络分析电采暖负荷特性并进行负荷预测。

然而面对点多面广的分布式电采暖的互动需求，各地区及各类厂商电采暖云平台之间交互困难，容易形成数据孤岛。同时，部分用户将分布式电采暖设备的用电数据视为隐私，电采暖设备也往往分属于不同厂商，大量数据聚合到服务端进行模型训练有信息泄露的风险。随着能源控制器等边缘设备的计算能力加强，本地进行机器学习成为可能。根据前文分析，基于联邦学习的分布式电采暖可以有效解决电采暖在实现灵活互动时传统云计算易形成数据孤岛与隐私泄露的问题。

其次基于机器学习的电采暖特性分析，大多是将用户的所有数据采集到服务器端，但对于分布式电采暖设备而言，由于受限于传统的电网需求侧信息化系统和通信网络资源限制［16］，云端获取终端采集海量数据的能力受限，没有足够的数据驻留在服务器端，难以在云端实现大规模的机器学习计算。而若以传统联邦学习框架，会造成大量通信消耗。同时，实际中电采暖设备多以楼宇、小区为单位进行聚合，该特点也有助于云边协同架构的引入，因此可采用基于云边架构的联邦学习。

2 基于联邦学习的分布式电采暖互动关键技术

联邦学习架构相比于一般的分布式架构可以更好地保护用户隐私，但是联邦学习的传统架构不能直接应用于分布式电采暖，需要针对电采暖的运行特点进行相应改进。首先，分布式电采暖的终端设备通常算力小、通信速率慢，基于此特点，边缘缓存技术、联合加密技术、通信传输优化技术可在一定限度上弥补电采暖的不足。其次，分布式电采暖厂家不一，型号各异，需要异构融合技术对其进行统一管理，保证联邦学习的运行效率。最后，为了让更多电采暖用户参与模型构建，需要合理的激励方式。基于联邦学习的分布式电采暖互动关键技术如图2所示。

图2 基于联邦学习的分布式电采暖互动关键技术Fig.2 Key technologies of distributed electric heating interaction based on federated learning

2.1 边缘缓存技术

对于大量的分布式电采暖设备而言，通常参与互动的设备在区域范围内可实现一定程度的非隐私信息共享，如温度、湿度等环境参量，通过部分设备单独配置传感器，便可实现本地范围内共享，如图3 所示。同时每个电采暖设备，根据自身在参与电网互动过程中的执行情况，可以选择本地区域范围内向其他设备通告其自身剩余响应能力，从而支撑区域范围内的分布式电采暖设备的分布式协作。在分布式电采暖设备的边缘数据共享域，通过键值表、热度表对分布式电采暖的缓存数据标签链表进行管理，对于具有热度管理的数据建议采用哈希表结合平衡二叉树的方式进行管理，其中热度表根据数据访问频次实时更新，既可选择按照最近访问时间排序，也可选择按照访问频度排序［17］。

图3 分布式电采暖非隐私边缘数据共享Fig.3 Non private edge data sharing of distributed electric heating

缓存区写入：考虑到每个分布式电采暖设备的存储容量通常不会很大，因此对于边缘缓存的内容选取尤为重要，通常会根据缓存数据的匹配度、用户访问特征、用户喜好等因素进行选择。通常本地的环境参量、电网侧下发的价格及激励互动信号与上级节点的通道连接情况等数据热度较高，而每个电采暖设备所处房屋面积、朝向、等效热参数（Equivalent Thermal Parameter，ETP）模型反推值、阻容时间常数等厂家设备数据的热度则较低，通常无须参与缓存共享管理。本地缓存的内容可以通过边缘设备推送到云端，也可根据区域范围内其他分布式电采暖设备，按需访问从而最大限度减少通过末端接入回传网络的流量。

缓存数据访问：在区域范围内，其他分布式电采暖设备进行缓存数据访问时，将首先通过本地索引查询获知相关数据。对于目前在缓冲区且还没过时的数据，可以进行提取。每个分布式电采暖设备可以根据缓存的信息使用度和延时减少效应量化具体的收益值，并作出相应的决策。

缓存区数据移除：在缓存区存储一定时长，但访问热度较低的数据可以根据实际应用情况进行清理。通常在需求响应执行期间和执行后，所关注的数据项是不一样的，因此在缓存区动态优化和管理过程中，需要考虑不同类型的数据热度，且需要匹配当前需求响应执行过程中的信号发布情况，从而决定是否进行电采暖设备缓存区数据的替换。通常需要在缓存数据的准确度和网络更新开销方面进行权衡。

2.2 隐私防护技术

联邦学习作为一种分布式学习架构，通过共享模型而不共享数据的方式，可在一定程度上保护分布式电采暖设备的隐私。但是随着相关隐私技术的研究，发现在终端与服务器直接交互模型参数时仍然有数据泄露的风险［18］。文献［19］通过4个实例说明恶意节点可通过小部分的梯度信息获取原始信息。文献［20］采用白盒推理攻击，使得局部参与者仅通过观察参数服务器的聚合更新，便能推导出大部分原始数据。目前联邦学习都在求取或发送参数时采用加密技术，较多采用的加密技术包括差分隐私、同态加密、秘密共享［21-22］等。考虑到电采暖的算力较小，在保证安全性的同时，需要选择算力负担较小的加密方式。

差分隐私技术［23］通过添加扰动噪声数据，使得输出的结果对数据集中任何特定记录不敏感。差分隐私技术可分为2 类：中心化差分隐私［24］和本地化差分隐私［25］。中心化差分隐私需要将数据发送到可信的第三方进行差分隐私处理，但是这有违联邦学习的安全架构。而本地化差分隐私是客户端在本地进行差分隐私处理，处理后再发给第三方进行后续数据分析。文献［26］提出了一种名为Latent的局部差分隐私算法，将卷积神经网络算法中的卷积和池化步骤在物联网终端计算并添加随机噪声之后，发送到云端卷积神经网络的全连接层。但是差分隐私算法所添加的噪声会影响机器学习模型的性能，降低噪声又会影响原始数据的安全性，所以针对不同环境加入合适的噪声是差分隐私技术的关键。

同态加密是可以直接对密文进行计算操作，并使得到的计算结果与明文计算结果相同的加密算法。文献［27］通过同态加密的方式进行SVM 算法训练，这样既可保护用户数据隐私，又可在中心服务器进行分类样本。但是由该加密算法的加密方式所决定，其加密效率很难提升［28］。文献［29］提出影响全同态加密算法的主要原因是自举技术和密文膨胀。因此考虑到电采暖终端的算力压力，仍需考虑其他加密算法。

秘密共享算法通过拉格朗日插值法和多维空间点的性质为基础，将秘密分为多个部分，只有获得满足门限个数的秘密碎片时才能获取所有信息［30］。这种加密算法可以使得即使一部分秘密碎片损坏或丢失，仍能获得完整秘密内容。攻击者也只有获得满足门限个数的碎片才能获得密钥。文献［31］提出了基于秘密共享的聚合机制，用于保护横向联邦学习中梯度和模型的参数信息。但是秘密共享算法需要耗费较高的通信量，且对于终端离线十分敏感。

由此可见，上述联邦学习隐私保护技术在使用同态加密算法时会延长模型收敛的时间。所以，电采暖在与边缘服务器交互时可采用差分隐私的方式，减轻电采暖相关参数的计算难度。而在边缘服务器与云端服务器交互时可采用同态加密，最大限度保证数据安全性，如图4所示。

图4 分层电采暖安全防护架构Fig.4 Layered electric heating safety protection architecture

2.3 通信传输优化技术

传统电采暖设备在进行可调潜力预测时，要将所有数据上传至中心服务器，随着越来越多电采暖设备的使用，造成终端与中心服务器大量的通信压力。而基于联邦学习的电采暖架构只需要在特定时间传送网络参数，就会减少一定的通信压力。但是当神经网络模型层数较多时，传输模型参数所占的通信带宽依旧不容忽视，迫切需要提高基于联邦学习的物联网设备通信效率。本文重点分析了2类提高联邦学习通信效率的代表性方法。

2.3.1 自适应传输技术

针对不同终端计算能力，以牺牲终端计算能力为代价，适当增加模型在终端的迭代次数，可以增加通信效率［32-33］，并能加速模型收敛，如在本地模型单次迭代时间耗费约几百毫秒，而与服务器通信却需要十几秒的情况下，频繁地与中心服务器交换模型反而会降低全局模型收敛的速度。根据文献［34］在横向联邦学习场景中所研究的数据可知，增加本地迭代次数和减少全局通信次数，不仅对于全局模型的影响较小，而且可以有效地缩短模型收敛时间。然而上述文献在面对独立同分布（IID）的数据源时可以大幅减少开销，面对非独立同分布（Non-IID）数据时对开销的减少并不明显，针对此类数据源的处理将在下一小节讨论。所以电采暖设备可根据具体的通信链路情况，采用合适的通信频率与服务器更新参数。

2.3.2 稀疏化模型压缩技术

模型压缩是通过减少所通信的参数数量来实现更快的通信效率。常见的压缩办法有模型参数随机稀疏化［35］、参数量化［36］、知识蒸馏［37］等。联邦学习时的模型训练与集中学习类似，模型参数有诸多冗余。因此传统神经网络模型压缩的办法也可以应用到联邦学习的场景中。文献［38］利用参数稀疏化等方法对模型进行压缩，删除冗余的神经元参数，使得通信回合次数与传统联邦学习相比下降2 个数量级。基于电采暖模型稀疏化处理的示意如图5 所示。文献［39］提出了压缩联邦蒸馏（Compressed Federated Distillation，CFD），将实现固定性能目标所耗费的通信需求降低5个量级。不过知识蒸馏的方法有增加隐私泄露的风险，对于其通信性能与安全性能的平衡还有待研究。

图5 电采暖模型稀疏化处理Fig.5 Sparse treatment of electric heating model

2.4 异构资源融合管理技术

联邦学习其特有的分布式模型训练方式，使得联邦学习面临以下异构性挑战。

（1）统计异构性：由于分布式电采暖的分散性导致用户端设备处在不同分布式网络环境下，生成和收集的往往是Non-IID 数据，从而导致统计异构性［40］。

（2）设备异构性：参与训练的各个分布式电采暖设备因其计算能力、硬件条件（中央处理器（CPU）、内存）、网络连接（4G/5G，WiFi）等方面的差异而导致的设备异构性［41］。

（3）模型异构性：由于各个分布式电采暖设备不同应用场景下所需模型不同或设备因为网络故障、算力问题等中途退出训练而导致的模型异构性［42］。

对于异构资源融合方法，文献［43］提出可以通过多任务学习框架同时学习不同的局部模型来解决统计异构性的问题。多任务学习由于对个性化和特定于设备建模的支持，可以有效地平衡Non-IID数据偏差，目前已经成为解决数据统计异构性的主流方法。文献［44］提出可采用“深度强化学习+联邦学习”的方式，减少上传模型的数量，能较好地解决设备异构性的问题，同时提高模型训练的效率。文献［45-46］提出可采用云端-边缘端个性化联邦学习和知识蒸馏的方法解决模型异构性的问题，允许参与者独立设计其模型，局部模型性能显著提高。

基于现有研究，未来可采取支撑电采暖异构融合技术的联邦学习框架，如图6 所示。在前文所述的云边协同框架下，为了满足个人需求，边缘服务器可为其辖区内每台电采暖设备基于全局模型和本地数据训练个性化模型，通过对某一类电采暖的数据执行一步或几步梯度下降，可以很容易地适应本地数据集，即“联邦训练+本地适应”的方法。此阶段具体的学习操作取决于所采用的个性化联邦学习机制，如联邦迁移学习［47］、联邦元学习［48］等。通过执行个性化处理，可以在一些资源有限的终端上部署轻量级的个性化模型，有助于缓解由各种异构性产生的模型精度下降，因为该框架可以根据不同电采暖设备的本地数据特性和部署场景训练个性化的模型和机制。

图6 支撑电采暖异构融合技术的联邦学习框架Fig.6 Federated learning framework supporting heterogeneous fusion technology of electric heating

2.5 公平激励机制

电采暖在进行联邦学习机制下互动时，会消耗自身算力资源，上述文献大多假设所有终端设备是积极无条件参与互动。然而，现实情况下用户很难愿意在无激励的环境下参与联邦学习互动［49］。激励机制要满足个人理性与激励相容，以确保参与的终端得到充分激励［50］。当前研究大多通过博弈论［51-52］进行奖励分配。文献［51］提出了依据斯塔克尔伯格博弈论（Stackelberg Game）对服务器和参与联邦学习的设备之间的激励机制。该机制将终端设备CPU 工作频率与回报率挂钩，促进终端设备积极参与联邦学习。也有研究将博弈论与区块链［53-55］相结合，文献［54］通过识别终端上传的参数对模型的贡献引入区块链，根据各自贡献分配信誉度，并对相应的奖励信息进行存储。

在电采暖参与互动时可以借鉴上述激励机制并与电采暖参与需求响应时的激励相结合，综合考虑电采暖参与需求响应调节容量与联邦学习的贡献对其发放激励，促进更多电采暖参与联邦学习之中。

3 结束语

针对目前分布式电采暖的数据集中处理中的不足，本文研究了基于联邦学习的分布式电采暖互动的可行性。分析了基于联邦学习电采暖互动在边缘缓存、隐私保护、通信传输效率、异构资源融合、公平激励等方面的关键技术应用方式。未来，随着需求侧互动需求的进一步提升，还可以结合分布式电采暖设备参与电网的不同互动场景进行分析，通过引入联邦学习分布式智能技术手段，进一步提升大规模分布式电采暖的自动化、智能化水平，从而更好地支撑我国“双碳”战略目标的实现。