为海量数据“筑高墙”联邦学习引各界关注

张一迪

近日，由华中科技大学学者联合国内电信运营商向国际电信联盟（ITU-T）提交的国际标准提案“面向物联网和智慧城市/社区的联邦机器学习需求及参考架构”，获得批准正式立项。

近两年，联邦学习概念火爆，在今年的各个人工智能大会上被多次提及。腾讯牵头设立的互联网银行微众银行在联邦学习上颇有研究，近期释放出拟上市信号的京东数科也是研究者之一。

联邦学习究竟有怎样的“魅力”，让学术界、产业界都争相开展研究？

为解决

Al隐私问题而生

在人工智能向前发展的道路上，模型、算力、芯片性能等技术层面上的问题一直是学术界持续研究的重点，人工智能技术因此能够不断演进。

不过若耍机器真正做到靠近人类思维的水平，就需使用来源于人类世界的海量真实数据对机器进行训练。

随之而来的是，数据安全、个人信息隐私等风险问题势必会成为影响人工智能赢得用户信任，从而实现大规模落地的重要因素。

在这样的大环境下，“联邦学习”就应运而生了。

联邦学习（ Fedrated Leanung）是一种机器学习技术，可以在不交换数据样本的情况下，在多个分散的边缘设备或服务器上训练算法。

这种方法与传统的集中式机器学习技术（所有的本地数据集都上传到一台服务器上）和更经典的分散式方法（假设本地数据样本是相同分布的）形成了对比。

2017年，谷歌AI在《联合学习：协作机器学习没有集中训练数据》的博客文章中首次引入“联邦学习”的概念。2016年10月，谷歌发表的一篇开创性研究论文为“联邦学习”奠定了基础，其中深入讨论了名为联邦优化的新方法——《联邦优化：用于设备智能的分布式机器学习》。

2019年，谷歌实现了首个产品级的联邦学习系统。据了解，这个系统主要侧重在移动手机上运行的联邦平均算法，可以进行联邦分析，应用于监控大规模集群设备的统计数据，而无需将原始设备数据记录到云中。

简单来说，谷歌的这套联邦学习系统是针对c端的，应用在手机端，可以将用户使用搜索功能过程中潜在的隐私信息保留在设备上，用以解决传统方式，即数据上传到服務器进行分析所存在的信息泄露隐患。

联邦学习

获产业界关注

联邦学习可以允许多个参与者在不共享数据的情况下构建一个通用强大的机器学习模型，从而允许解决关键问题，如数据隐私、数据安全、数据访问权限和对异构数据的访问。可以说，联邦学习是伴随着不断扩大的数据量而生的，数据无处不在，联邦学习的优势因此获得了政府、企业等各界的关注。

2019年6月，在工业和信息化部、北京市人民政府主办的第二十三届中国国际软件博览会——人工智能开源软件论坛上，中国人工智能开源软件发展联盟（AIOSS）发布了包括《信息技术服务联邦学习参考架构》在内的四项团体标准及《中国人工智能开源软件应用案例集》，这是我国颁布的第一个关于联邦学习的团体规范标准。

联邦学习作为人工智能界的“新生代”，成为了产业界关注的焦点。

据悉，这次标准由微众银行牵头制定。微众银行是国内联邦学习研究的领军企业。“使用AI有越来越多的限制和要求，实际上是给我们提供了机会，鼓励学者和学生多多关注八类与计算机的协作，引发新的研究课题，比如联邦学习。”微众银行首席人工智能官杨强公开表示。

杨强在接受《中国电子报》记者采访时指出，联邦学习能够有效解决数据孤岛和数据隐私保护的两难问题。这将会为未来人工智能协作，从而实现跨越式发展奠定良好基础，在多行业、多领域都有广泛的应用前景。

此前释放出科刨板上市消息的京东数科，也在今年6月首度公开了公司的联邦学习战略垒布局。

京东数字科技集团AI实验室首席科学家薄列峰分享了京东数科两项业界首创的技术突破——“基于核的非线性联邦学习算法”和“分布式的快速同态加密技术”。据悉，这两项技术创新成果都形成了论文，并已经被顶级学术会议KDD 2020接受。

据了解，联邦学习目前已在国防、电信、物联网、制药、金融等多个领域展开应用。

联邦学习+区块链

强化数据隐私保护

同样是为保护隐私而生的区块链技术很可能会和联邦学习融合发展，共同为海量数据筑起隐私保护的“堡垒”。

区块链凭借透明化、分布式、不可篡改等优势获得了各领域从业者的关注。在新基建浪潮下，区块链“蓄势待发”。

新兴技术结合发展是数字经济时代的特征性表现，作为新基建之首的5G，与区块链融合发展已经提上日程，未来有望成为数字经济的重要基石。而联邦学习与区块链有异曲同工之妙，将来融合发展也是水到渠成的事情。

谈及联邦学习与区块链结合的可能性，薄列峰认为，区块链的分布式、去中心化特点，和联邦学习也有一些关联。实际上，联邦学习在大型的多方参与项目中都有类似机制，也可以考虑采用去中心化。随着越来越多数据走向区块链，联邦学习算法可以建立在区块链之上，区块链的不可篡改眭与联邦学习的隐私加密性将共同协作发展。

杨强也认为，联邦学习+区块链将共同为数据隐私性“保驾护航”。

他指出，联邦学习的应用不可能完全拒绝两个机构来共同协作，参与者间要有一定交流。一开始用加密模型参数，外行人不清楚是参数还是数据，会产生数据泄露的疑虑，这时可以引入一个中心机构，每一个参与者在这个中间机构上传递信息。区块链就很适合扮演这个中心机构的角色，在运作过程中，首先借助其透明、不可篡改的机制，再通过联邦学习模型，将参数加密安全地传递出去。

不过目前联邦学习的实际应用仍处在探索阶段，未来在技术升级及商业落地上还有很长的要走。

杨强指出，当下实现联邦学习的难点主要集中在落地应用过程，包括如何教育市场、如何提升联邦学习效率和性能、如何设置公平有效的激励机制等。

创新工场南京人工智能研究院执行院长冯霁认为，联邦学习未来的研究方向主要包括五个方面。一是模型安全对抗攻防，如数据下毒。二是数据隐私保护机制，如同态加密、多方安全计算。三是非独立同分布算法，如联邦集成学习。四是新型网络拓扑架构，如去中心化的联邦学习架构。五是联邦的经济学机制。