联邦学习与新兴信息技术的融合应用探索

2021-11-30周彦果

科学与信息化 2021年16期

周彦果

电科院北京 100000

引言

随着物联网、云计算、边缘智能、5G/6G网络、人工智能等新兴信息技术在各领域应用的不断加深，给人们的生活带来极大的便利，但与此同时，相关数据和信息安全问题也受到越来越广泛的关注。联邦学习作为一种加密的分布式机器学习技术，为解决数据隐私与数据共享之间的矛盾开辟了一条新的路径，已成为学界和业界的研究热点之一。通过探索联邦学习与物联网、云计算、边缘智能、5G/6G网络等新兴技术融合应用，可解决相关新兴技术在实际应用中存在的问题，进一步推动相关技术的性能提升及应用落地。

1 联邦学习

联邦学习作为新兴的人工智能基础技术，在2016年由谷歌公司率先提出，其主要思想是允许终端设备利用本地数据进行训练，构建本地模型，并仅与参数服务器共享模型参数。参数服务器聚合多个本地模型的参数，通过多次迭代，得到高可信度和准确率联邦模型题[1]。联邦学习具有以下优点：

一是实现本地数据隔离，满足用户隐私保护和数据安全的需求；

二是通过终端设备协同优化模型参数，实现模型算法的高可信度和准确率；

三是能够实现终端设备在模型训练中的公平合作；

四是能够保证参与各方在保持独立性的情况下，进行信息与模型参数的加密交换，并同时获得模型的优化。

2 物联网

物联网设备的数量呈指数级增长，据研究机构IDC预测，到2025年全球范围内将有超过800亿台的终端设备，这也必将导致产生的数据量激增，据Cisco云指数预测，到2021年产生的数据将达到847 ZB。物联网设备产生的海量数据以集中的方式存储、处理是困难且低效的，并且海量数据的分析处理带来的计算时延和数据隐私问题，是机器学习在物联网应用中面临的两个最大挑战。机器学习在物联网设备管理、设备部署、安全与隐私保护、数据分析与决策等方面的应用，极大地促进了物联网的发展。机器学习在物联网中的应用价值主要源自于其擅长处理大量的训练数据和强大的计算能力，但数据隐私问题的存在，大大阻碍了其在物联网中的应用[2]。由于个人物联网设备所产生的数据具有一定的隐私性，致使设备拥有者不愿进行个人数据的分享。

在这种情况下，联邦学习应运而生。联邦学习在缩短训练时间、保护训练数据隐私等方面展现出巨大的潜力，由于其不涉及本地数据共享，能够较好地实现用户隐私保护，实现高效安全的全局学习模型构建。同时，物联网终端设备产生的海量数据，也为联邦学习提供了大量的训练数据资源，有利于机器学习模型精准度的提升。未来几年，随着5G/6G通信技术的推广应用，物联网设备必将获得更高带宽和较低的延迟，这将有利于其有效利用自身的计算资源，实现以更快、更优的方式训练其本地模型。

3 云计算

在传统的集中式数据处理场景中，物联网设备、智能手机等设备终端产生的数据汇聚至云数据中心进行集中处理。然而，这种方式存在两大问题[3]：一是数据安全隐患，云计算环境复杂、信息存储量巨大且具有虚拟的特性，故而云计算中的数据会出现滥用、被恶意窃取等现象，影响用户的信息安全；二是数据时延问题。由于设备终端在地理空间上是高度分散，致使设备终端与云服务器之间的距离比较远，数据双向传输产生的时延难以忽略。简言之，云计算更适用于非实时、长周期、需要周期性维护的数据分析业务。

联邦学习在不共享本地数据的情况下，通过多台终端设备协作训练机器学习模型，可解决云计算所面临的数据隐私泄露问题。同时，由于联邦学习无须将本地数据发送至云服务器，并选择与距离较近的服务器共享模型参数，可以缓解云计算数据时延大的问题。但由于联邦学习每次模型的迭代更新可能需要设备与云服务器进行数百万个参数的共享，且迭代次数无法忽略，故而数据处理时延仍是其面临的挑战之一。

4 边缘智能

边缘计算是近年的研究热点，被认为是5G与工业互联网、物联网等的重要结合点，能够推动相关产业带来飞跃性发展。边缘计算和云计算一样，都是分布式计算的一种范式，但边缘计算系统不连接到云计算平台，就可以在本地设备上进行大部分数据的实时处理。与云计算相比，边缘计算更专注于局部，聚焦实时、短周期数据的分析，能够更好地支撑本地业务的实时智能化处理与执行。在实际使用案例中，边缘设备主要采用深度学习算法完成图像和语音识别、自然语言处理、异常检测等任务。深度学习算法通过多层处理，将初始的“低层”特征逐渐表示转化为“高层”特征，依据输入来传递输出参数。视觉处理单元（VPU）和RISC-V等硬件在边缘设备中的应用，大大提升了边缘设备硬件运行深度学习算法的性能。视觉处理单元（VPU）作为新兴的微处理器，旨在加速机器视觉算法。VPU集成多种专门进行视觉处理的硬件结构，针对视觉处理应用而设计，专门为视觉处理进行硬件系统的优化。而RISC-V是一种指令集体系结构（ISA），它体现了精简指令集计算机（RISC）标准的思想。RISC-V作为开源指令集架构，更适用于现代计算设备。

边缘智能是将边缘计算和人工智能相结合，在边缘设备上运行人工智能算法，使边缘节点在边缘侧具备提供高级数据分析、场景感知、实时决策、自组织与协同等服务的能力。边缘智能的实现需要边缘设备具备以下能力：一是可连接性。设备能够连接到网络（例如互联网、本地网络），具备信息交换的能力。二是计算能力。设备配备有处理芯片等计算资源，具备近实时的数据分析能力。三是可控性。设备具备在网络执行决策、采取行动、做出及时更改和激发行动。四是自主性。设备具备自主计算能力，能够自我监控、管理自己的数据和资源。

联邦学习和边缘智能相结合具有以下优点[4]：

一是降低延迟、提升带宽利用率。深度神经网络算法包含多个隐层，边缘智能可以灵活进行DNN处理。即在边缘设备执行较低层的DNN处理，其余的交由云服务器处理，实现以最小的带宽消耗和延迟完成算法处理，尤其适用于采用LoRa和NBIOT无线传输技术的物联网设备。

二是增强安全性。与传统的云计算体系架构相比，边缘智能可以提升联邦学习过程的安全性。云计算集中式架构会使得联邦学习特别容易受到分布式拒绝服务（DDoS）攻击的威胁，而边缘智能将存储和处理放在边缘设备和数据中心，大量数据都在边缘设备上进行处理，即使一些边缘设备受到攻击，与云服务器上整套数据可能被截获相比，也大大降低了风险。

三是高可靠性。边缘智能降低了远程数据中心网络问题影响本地用户体验的可能性，即使附近的某个区域数据中心发生中断，边缘设备也将能够有效地利用其自身数据处理能力执行相关操作。大量的边缘数据中心和边缘设备使得单一故障不会致使整个服务完全中断。

5 5G/6G网络

5G移动通信技术对于边缘智能和物联网的发展非常重要。随着物联网的发展，数据量也会增加，传输速度也会受到影响。相较于4G只能以1Gbps的速度传输数据，5G可以实现20Gbps甚至更高的数据传输数据。5G还支持比4G更多的并发连接和更短的延迟，支持海量设备之间的更多交互。5G的三大应用场景：增强移动宽带（eMBB）、超高可靠与低延迟通信（URLLC）和海量机器通信（mMTC）。通过提供高达20 Gbps的吞吐速度，eMBB主要用于支持需要高数据率的应用场景，进一步提升用户体验。如体育竞技等高清视频内容共享、虚拟现实等。URLLC可提供超低延迟的超响应连接。与eMBB不同，URLLC中的数据速率不是很高，但连接设计支持高可靠性的特点使得URLLC适用于任务关键型的应用，如远程医疗协助、自动驾驶、工业自动化控制。mMTC的主要目标是实现海量设备的连接，但其可靠性较低。mMTC适用于大量低功耗设备，故而广泛应用于物联网设备。简言之，5G网络的目的是将无线通信从面向通信的体系结构转变为支持互联互通思想的面向服务的体系结构。6G移动通信技术是5G的演进，实现从5G提供的“关联事物”概念向“关联情报”概念的过渡。6G将通过随时随地高效采集、传输和分析数据，形成人、事、物全面关联的互联网，实现创新和智能服务。不同于以往以数据、机器或应用程序为中心的方式，6G与无处不在的AI相结合，实现以服务人为中心，实现智慧的泛在可取、全面赋能万事万物，推动智能信息社会的发展。

联邦学习由于可实现无线终端设备只进行机器学习模型参数的共享，而无须上传本地训练数据，故而作为“人工智能”新生代力量，引起学界和业界的广泛关注。一方面，联邦学习可以很好地解决5G/6G网络中存在的很多问题[5]。例如，联邦强化学习算法可以为复杂凸优化和非凸优化问题提供有效的解决方案，即将这些问题建模为资源管理、网络控制、干扰对准和用户分组等几个关键问题进行处理。联邦监督学习算法可用于5G/6G网络中,提供分析服务，例如无线环境分析、用户识别、用户身份验证、访问控制管理、行为预测和入侵检测等。另一方面，5G/6G网络的发展也可以促使联邦学习具有更广泛的适用性。例如，为物联网和边缘设备配备5G/6G网络，实现数据传输的高带宽率和低延迟，使得设备能够更高效地利用其计算资源进行模型训练。同样，在eMBB应用场景中的高数据速率，将使得终端设备和参数服务器之间全局模型的交换过程更加高效。