基于区块链的联邦学习应用研究

李济伟，商晴庆，孙建刚，董耀众，李伟良

（国家电网有限公司信息通信分公司，北京，100761）

1 区块链技术概述

区块链技术是相对成熟的信任机制，区块链中的所有区块基本都包含了当前区块。每个区块中的数据都存储在一个Merkle树根结构中。一个区块由区块头和区块体组成，所有Merkle树根放在区块头中，不包含具体的内容，具体的内容放在块头。Merkle树根的作用是提供证据，为节点提供路径。哈希计算的原理是对同一条数据散列后，得到一个固定长度的散列码，使用非对称加密来实现去信任。随着越来越多的事务出现，区块链也随之增长。当添加一个区块时，所有节点必须参与区块检查。传递区块后将通过反向链接指向其父区块，添加到整个区块链的末尾。区块链需要数据和应用分布式存储和计算，还需要对数据进行多边控制，以确保不被伪造。总之，区块链具有可追溯性的应用优势，方便合作伙伴进行检查、跟踪和监控，区块链中数据的每一次变化都会捕捉到明确时间和其他相关信息。不同的区块链参与者使用数据源，而不是不断检查的去中心化数据源。区块链允许参与者一起上传和共享状态和业务信息，以提高各方整体规划和协作。区块链维护下载信息的完整性，允许所有合作人员不断更改[1]。

2 联邦学习

联邦学习是互利的独立数据库集合，单个数据库的重要组成部分是自治性、异构性和分布性。随着云计算的发展和应用，研究人员对联邦云进行了研究。联邦云是对外部和内部云计算的部署管理。联邦云可以通过更高效的一方来降低成本。资源迁移和预留是组合云的关键特征，资源可以从一个云提供移到另一个云，迁移可以重新分配资源。冗余允许在不同的域中使用服务功能。可以根据相同的计算对来自不同的数据进行拆分和处理。各种资源的规划是联邦云设计的重要因素。联邦学习与传统的制度存在一些异同，考虑不同分布异质性和自治性的前景适用于联邦学习系统。分布式系统中的一些因素对于联邦学习很重要。部署之间交换数据会影响系统性能。联邦制度对合作与约束重视不同，联邦数据库侧重于数据管理，联邦学习云侧重于资源规划，联邦学习更多的是多方安全计算。联邦培训带来了许多新的挑战，分布式学习算法的开发和隐私限制的数据保护。当今人工智能中存在普遍的数据独岛现象，成为机器学习中重要的问题。因此，联邦学习研究的必要性和紧迫性开始凸显。对于通信架构、保密机制以及联邦学习技术的动机。这些是制定联邦学习体系结构和具体内容时应考虑的因素，是影响联邦学习发展的主要。从通讯系统架构来看，联邦学习的系统通常是集中式的，后来出现分散的项目，联邦培训通讯方式主要有集中式和分散式。在开发通信架构时，数据流是不对称的。这意味着服务器从其他参与者收集信息将学习结果发回。全局模型参数更新在此服务器上执行。服务器和本地参与者通信可以是同步或异步。在去中心化设计中，各方进行通信，可以直接更新全局参数。集中式架构简单高效，可扩展性和稳定性是系统的重要因素。尽管集中式设计在研究中被广泛使用，但在某些情况下，采用分散式设计，将信息集中在单个服务器上会导致潜在的风险。联邦学习中本地数据是私有受到保护，但其安全性会受到模型参数的影响，不同保密联邦学习系统中威胁模型也不同。攻击发生在单个学习的任何阶段。各方在学习前可能会更改某个标签，这就是研究的模型效果不佳的原因。每一方都可以攻击模型中毒，下载恶意开发的模型，就像数据中毒一样，全局模型的准确率会非常低，局部更新被中毒了。除了模型中毒，分布式学习中的常见问题是拜占庭失败，模型在各方面的学习可能很弱，会随机加载。如果研究模型被公开，则发生输出攻击，服务器从交换模型的参数中提取训练数据的机密信息。检测特定数据记录是否用于训练，联邦学习管理器在整个学习中访问各方的本地更新，以进行推理攻击。对于提供不同保密性保密机制有很多，如不同保密性和匿名性，也有研究总结了保密机制的特点。总结现代联邦学习系统中保护数据的主要方法，加密方法和差异机密性。同态加密和多边安全计算加密方法广泛用于联邦学习算法中以保护机密性。通过方法的应用，联邦学习系统中的机密性总体上可以得到保护。在多边安全计算中，除了结果之外，并非所有都可以知道任何事情。这种方法容易受到攻击，由于额外的加密和解密，系统运行将具有极高的负载。保密性可以保证寄存器不会对输出产生太大影响，数据集中或不在数据集中的人几乎没有影响。使用差异机密性来保护数据机密性，每个参与者不知道其他参与者参与了过程。通过向数据或参数添加随机噪声，差分机密性为单个记录提供统计，保证并防止模型输出攻击，与加密方法相比不会产生计算成本，但由于对于学习中的噪音，系统会创建精度较低的模型。同时也是相互独立的，单一的系统使用不同的方法提高保密性。尽管大多数联邦学习系统使用加密技术实现保密保证，但这些方法的局限性难以克服。目前的专项工作是尽量减少方法的副作用，同时寻找一种兼顾数据保密性和灵活要求的新方法。采用较低的安全性旨在用于系统实际应用[2]。

3 基于区块链的联邦学习技术

3.1 资源分配和数据管理

资源分配和数据管理在BFL中非常重要。在联邦学习参与者的每个客户端中，应该共享计算和资源，用于模型和参与区块链。基于深度强化学习的解决方案，以限制计算和存储资源，增加区块链学习延迟。针对问题的存在，联邦学习发起方需要确定资源分配和区块链频率，但这在复杂的物联网中是非常困难的。因此，基于深度学习和强化方案，让联邦学习的发起者在没有物联网先验的情况下，有效地分配资源。基于联邦区块链的移动学习系统。在边界计算网络中，传统的联邦学习存在一定的局限性。比如设备的异构性和高数据维度更新，数据、算法、数据预处理和学习导致的错误。针对以上问题，针对数据集的分离提出学习系统，实现多层次的数据管理。资源分配是BFL中非常重要的任务，以确保数据资源的最佳使用。流行使用深度学习为基于区块链的联邦学习实施资源分配策略，前提是计算负载和带宽都得到合理的应用。通过降低联邦学习成本来解决资源分配问题，基于轻量级区块链平台用于支持基于联邦区块链学习。此外，在整个联邦基于区块链的学习对本地设备学习速度和区块生成进行评估，是进一步改善资源配置的途径[3]。

3.2 激励机制与共识协议

对基于区块链的联邦学习的研究，通过去中心化解决安全和其他问题，侧重于创建激励机制。联邦学习技术虽然促进了协作学习，保护用户的隐私，但面临着如何鼓励各方参与联邦学习并提供数据和计算的挑战。如果没有适当的激励机制，参与者可能不愿意参与联邦学习，降低所开发的系统的可扩展性。通过实施区块链激励机制，并实施具有成本效益的激励机制，这将提高联邦学习系统各方参与的积极性。激励机制可以在服务器或区块链中的激励机制，是增加联邦学习积极性的很好的解决方案。提出新的基于联邦区块链的系统，用于无人驾驶场景。这种结构针对联邦训练系统应用于无人驾驶场景。如果中心服务器出现故障，将会带来更大的风险。本地数据对于无人驾驶非常重要，需要有具体的机制来鼓励用户为模型提供数据。使用区块链解决去中心化，制定一套激励措施，以便数据提供者从中受益。学习中的参与者越多，模型的性能就越好。如果数据所有者对数据和资源的利益没有贡献，则不需要参与学习过程。一些研究人员开发了激励机制，让数据所有者参与模型学习。基于计算次数、通信、本地模型，确保准确性、数据质量、客户端设备行为等。激励机制的对于联邦学习成功至关重要，在区块链设计激励机制，系统各方可以是合作伙伴或参与者。研究提出了独特的激励机制设计，让参与者参与学习高质量数据。不同的机制模型及其均衡设计应在联邦体系内进行修订。在大数据时代，每天都会产生数据，这些数据通常是不相关的。大部分数据掌握在大型科技公司。为了解决这个问题，新的联邦学习系统需要结合了区块链和联邦学习，共识算法来验证分布式IPFS存储。使用激励鼓励用户参加联邦学习以获取数据。针对联邦学习的激励机制，采用加权逻辑模型对用户进行评估，并制定激励机制。对于基于EOS和IPFS区块链的基于区块链的学习系统，使用EOS来扩展更新，并为安装的用户产生利润。将区块链与联邦学习相结合，使用网络区块链设备模型的本地更新，比在服务器上运行更稳定，可以为设备提供奖励。种基于信任和激励的结构，保存信息和经过验证的联邦学习细节以供审查。激励机制会激励可靠的用户。为了解决用户的威胁以及梯度收集更新方面缺乏激励的问题，需要支持审计和隐私保护的框架。提供参与隐私训练的激励，共享并准确更新设置，实现迭代深度学习。基于区块链激励机制打造模型交易体系，鼓励用户参与学习，并利用区块链记录模型学习，保证学习过程的隐私保护。共识算法应该满足特定的物联网环境，适应不断变化的环境。因此，适用于环境的新型区块链共识算法，主要使用高质量的计算对新区块进行认证，不需要所有节点一起计算，节省大量计算资源，可有效的避免资源浪费[4]。

3.3 安全性和可靠性管理

为了保证联邦学习基于区块链的可靠性和安全性，需要创建保护隐私的机制，是区块链技术纳入联邦学习的主要原因。数据源利用区块链来控制节点之间的数据和交换，对于解决单个故障和攻击非常有效。对于去中心化的学习系统，区块链不是记录审计和数据跟踪的数据，而是记录所有事件，并允许授权方访问信息。基于区块链系统的分布式联邦学习系统，解决去中心化中的性能问题，定义模型的存储方式、学习过程以及共识机制。优化共识效率和消耗，模仿恶意节点的攻击，证明了框架的安全性。针对联邦5G网络联邦学习的中毒威胁，使用智能区块链的联邦安全系统。并引入差分保密技术来对抗攻击。使用区块链来记录行为，以检测对敏感信息的攻击。基于联邦区块链的模糊计算，使用分布式优化数据在区块链中的存储，提高出块效率，实现分布式隐私保护，解决场景问题。通过分布式寄存器捕获平移更新，实现收集数据的能力。基于区块链场景的联邦训练系统，用于更新移动设备原生模型。用户通过将移动设备连接到他们的本地模型获得奖励。检查所有本地模型，检查工作以获得奖励。单个设备的故障不会影响全局更新，增加了系统的可靠性。引入许可链技术和有向无环图，新的联邦学习架构进行改进。将深度学习与强化结合来提高生产力，提出了异步复合学习方案。引入区块链通道的来研究全局模型，通过共识获得最终的全局模型，将局部模型存储为一个块。全局模型状态树，用状态树来求解模型的全局参数，与传统的联邦模型相比，该模型更加可靠。在BFL系统中，攻击者会尝试使用错误数据来修改全局模型，在模型迁移中操纵参数值，操纵学习入口。当前的工作都集中在为模型学习构建检测机制和更新，提供基于区块链的学习系统。通过调整复杂性来降低中毒的可能性，不降低培训效率。纵观联邦区块链的学习系统，在区块链挖掘和数据训练中应综合考虑攻击模型。可以使用一个完整的基于区块链的学习系统提高控制，达到修改数据块的目的，这一过程降低了生产效率。在数据隐私保护方面，差分隐私和加密等技术是训练基于区块链的联邦的有效工具。通过在私有树的中间节点中随机叶节点加入噪声，消除了去除噪声的能力，实现了差分保密性，同态加密对于联邦学习有一定的应用效果。在学习时保护存储机密和外包计算，区块链共享联邦学习的聚合之前，有效地加密数据，对个人信息和隐私敏感的任务中起着重要的作用[5]。