超级平台:大模型的发展方向与挑战
2023-12-12段永朝
段永朝
大模型的高质量发展,有赖于业务领域、应用场景、技术研发的协同创新,更有赖于牢固树立公共服务、公共治理、公共安全的核心理念——追求公共利益,而不是企业的局部利益;追求互联互通,而不是产生新的数字孤岛;追求协同式开发,而不是单打独斗的闭门造车。
过去一年里,ChatGPT引爆的大模型技术,已成为人工智能全新的应用领域。2023年7月,在北京举办的世界人工智能大会上,披露了近百种大模型产品,一时间,“百模大战”成为这一领域独特的风景。
大模型究竟是什么?能解决什么实际问题?对未来数字经济的发展将发挥何种重要的作用?这些问题随着大模型领域的深入讨论,日渐呈现出面向产业、面向应用、面向深度创新的态势。
简单说,大模型指的是拥有数十亿至数百亿个参数的神经网络模型。从应用角度说,大模型可以完成图像分类、机器翻译、内容生成等任务。特别突出的是其“多模態”内容生成能力(如百度的文心大模型)。一时间,基于大模型的应用大量涌现,比如众所周知的GPT4、PaLM2、Claude、Llama、文心一言、讯飞星火等。
人工智能从“分析式”向“生成式”转变,可以视为人工智能这一领域创立66年来的第四次浪潮(前三次分别为符号演算、专家系统和深度学习)。这次浪潮有三个主要的特点:其一是模型参数量巨大,模型预训练所需算力巨大;其二是采用预训练和微调方法;其三是复杂的关系表达能力和优异的泛化能力。
与国外侧重通用人工智能(AGI)不同,国内大模型侧重垂直类大模型,在交通、能源、智能制造、金融、数字政务、在线办公、生物计算等领域均有不同类型的垂直大模型出现,其中百度的文心大模型表现尤为出色。
然而,在百模大战的背后,需要深入思考的一个问题是:依托大模型的未来数字基础设施将会发生何种变化?由此对企业的组织形态、生产方式将会引发何种变化?进而人与智能技术的分工形式是怎样的?下面从超级平台、联邦学习和智能代理,以及公共属性——构建超级平台的基本原则、开发大模型的协作环境等五个方面简要分析。
超级平台
企业智能平台内嵌大模型,将大大提升企业基于内容的知识生产能力,比如平面设计、文案设计、智能客服、情报分析、场景模拟、生产过程仿真、产品设计、辅助决策、办公事务处理等。垂直类大模型的兴起,意味着企业对大模型的需求,大大溢出企业的运营边界、数据边界、管理边界,期待在更大的数据视野下,获得产业的环境数据、生态的全景地图、客户的360度画像。
但是,在百模大战尘埃落定的时刻,是否会孕育出“超级平台”这样全新的“物种”?这是一个关键的问题。
所谓超级平台,是指具备行业特征、覆盖某一特定领域,具备全时、全域、全联通、全交互的公共服务平台。与传统聚焦交易服务的平台企业不同的是:超级平台属于“第四方平台”,具备行业视角,提供整合数据分析、交换、共享和价值传递,突出公共服务职能。
超级平台的主要作用包括:
数据整合和分析能力:跨平台、跨机构、跨系统整合多个数据来源,提供更全面的数据视角,并通过垂直大模型提供对该领域数字世界的实时洞察。
合作和共享:支持不同实体之间的双向数据交换,促进更深层次的合作关系。
高级分析和洞察:基于领域、垂直大模型的典型场景和用例,提供多剖面分析功能,如预测分析、机器学习和人工智能等,以从数据中发现更深入的信息和洞察。
定制化服务:根据用户需求提供更具定制化的服务,以满足不同领域的特定需求。
数据安全和隐私保护:更关注数据的安全性和隐私保护,以确保数据在共享和分析过程中得到适当的保护。
在超级平台的视野下,百模大战尘埃落定之时,行业领域将会沉淀形成少数几个优质的公共服务平台。这将意味着绝大多数企业自行打造的封闭的、私有的大模型将难以有更大的生存和发展空间,转而与超级平台进行有效的对接。
联邦学习
2017年,Google研究员H. Brendan McMahan等在论文“Communication-efficient learning of deep networks from decentralized data”(《一种面向分布式数据的深度网络有效通信的学习方法》)中首次介绍了联邦学习的概念和原理。这篇论文在机器学习领域引起了广泛的关注,成为联邦学习研究领域的重要里程碑之一。
联邦学习是一种分布式机器学习方法,它的基本原理是将大模型的训练过程,拆分为多个设备上的本地训练和中央服务器上的参数聚合。与传统的集中式机器学习不同,每个设备使用本地局域数据训练模型,然后将局部模型的更新(通常是梯度)发送到超级平台的中央服务器。中央服务器收集来自各个设备的更新,并根据一定的聚合算法(如平均)来更新全局模型。这样,全局模型在不暴露原始数据的情况下进行了改进。
联邦学习的方法,运用“数据可用不可见”的原则,有效地回避了数据跨区域流动的法律风险,保护了数据持有者的数据隐私,同时又促进了全局视角的数据可用,对于面向隐私的数据和设备间合作,奠定了有效的基础,特别适用于移动设备、物联网设备和分布式系统。
联邦学习可以根据不同的分类方式进行划分,其中一种常见的分类是基于数据拥有者的区分:
垂直联邦学习(Vertical Federated Learning):不同设备上的数据在特征维度上存在差异,但相同样本的不同特征在不同设备上。这种情况下,垂直联邦学习允许在保护数据隐私的前提下,进行数据合作和模型训练。
水平联邦学习(Horizontal Federated Learning):不同设备上的数据在样本维度上存在差异,但相同特征的不同样本在不同设备上。这种情况下,水平联邦学习可以实现不同设备间的数据合作和模型训练。
联邦学习在多个领域都有重要应用,包括但不限于以下方面:移动设备上的个性化模型训练,例如移动端键盘的个性化建议。医疗领域中,不同医疗机构间的合作分析,而不必共享患者敏感数据。物联网设备之间的合作分析,例如传感器数据分析。隐私保护的机器学习任务,如用户行为分析,而不泄露个人信息。
现阶段,联邦学习还面临一些挑战,主要有:较高的通信和计算成本,大量异质性数据如何有效参与训练,如何通过局部模型聚合出全局模型,恶意参与者和隐私泄漏等安全问题,联邦学习聚合模型的性能和收敛性,跨区域聚合模型面临的法律合规和风控问题等。
智能代理
智能代理是一种智能计算机系统,具有某种程度的自主性和能动性,能够在特定环境中感知和处理信息,以达到预定的目标。在大模型时代,智能代理将成为取代App的重要用户终端(或者称超级App),并成为用户与超级平台之间双向、多向交互的重要工具。
智能代理的概念最早可以追溯到20世纪80年代。1986年,计算机科学家Michael George Dyer在一篇名为“Agent Z and intelligent agents”(《代理Z和智能代理》)的论文中,首次提出了智能代理的概念,描述了能够自主感知、决策和行动的计算机程序。
智能代理的主要特点包括:
自主性:能够独立感知环境、做出决策和执行行动。
学习能力:能够从经验中学习,并根据环境变化调整行为。
目标导向:能够根据预定目标或任务执行行动。
适应性:能够适应不同环境和情境。
通信能力:能够与其他代理或系统进行通信和协作。
智能代理在现实应用中可以用于解决许多问题,包括:
自动化任务:智能代理可以在无人值守的环境中执行任务,如自动驾驶汽车、工业生产线上的机器人等。
信息检索和过滤:智能代理可以根据用户的偏好和需求,自动检索和过滤信息,以提供个性化的内容。
智能助理:智能代理可以成为虚拟助理,协助用户完成日常任务,如语音助手、聊天机器人、智能客服等。
在超级平台、联邦学习的环境下,智能代理可以基于大模型来实现更复杂的决策和任务处理,并利用大模型的学习能力来提高智能代理的表现。此外,智能代理也可以在联邦学习中充当前端设备或系统,通过协作来训练和改进共享的模型,实现更广泛的学习。
超级平台、联邦学习和智能代理之间的紧密配合,将为涌现超级平台提供重要的支撐,构建更具智能性和协作性的人-机-环境的融合系统。
公共属性:构建超级平台的基本原则
大模型、超级平台、超级App等概念,除了让人血脉偾张、脑洞大开之外,可能存在两方面的误区:一个是传统的互联网思维的惯性,另一个是零和博弈的发展策略。
过去20年里,互联网思维对发展互联网经济起到了重要的推动作用,包括社群思维、零边际成本效应、长尾模式等。但互联网思维中也存在若干“毒性”很强的观念,如“速度为王、唯快不败”“赢者通吃”“流量经营”等。一时间,互联网疆域沦为“碾压式创新”“掠夺式收割”的角斗场,平台肆意追求狭隘的规模增长,运用平台垄断地位制定不平等的运营规则,价格歧视、恶性竞争、数据隐私泄漏、过度营销、平台孤岛等乱象频出。
大模型、超级平台、智能代理和超级App,因其跨平台、跨主体的数据聚合能力,使得数字时代涌现的新物种,必须在互联互通、协作共生、监管合规、安全有效的原则下开展运营,必须以公共利益、公共治理、公共服务和公共安全中共有的“公共属性”为重要的基本原则。
构建大模型应用涉及许多重要的原则,包括公共利益、公共治理、公共服务和公共安全。这些原则有助于确保大模型应用的合理性、可持续性和社会影响的积极性。
公共利益(Public Interest):公共利益是指在社会范围内符合广大人民群众的利益,涉及社会的整体福祉和公共目标。在构建大模型应用时,必须确保应用的设计、功能和影响是有益于社会和公众的。大模型应用应该服务于广大人民的需求,提供有意义、实用和有效的解决方案,以促进社会共同进步和可持续发展。
公共治理(Public Governance):公共治理是指社会各方面的参与和合作,通过政府和非政府机构来管理和解决问题。在大模型应用中,公共治理要求建立透明、开放、合作的决策过程和管理机制。各方利益相关者应该参与到应用的规划、设计和监管中,以确保决策的公平性、合法性和民主性。
公共服务(Public Service):公共服务是政府、组织或机构向社会提供的服务,旨在满足人们的基本需求和社会发展的需要。大模型应用应该被视为一种公共服务,为社会提供有益的功能和服务。这包括通过大模型来改善教育、医疗、交通、环境等方面的问题,以提高公众生活质量,促进高质量发展。
公共安全(Public Safety):公共安全是指维护社会秩序、保护人民生命财产安全的任务和责任。在大模型应用中,保护用户数据隐私和信息安全是至关重要的。应该采取有效的隐私保护措施,防止数据泄露、滥用和侵犯,以确保用户的信息得到适当的保护。
开发大模型的协作环境
2023年2月27日,中共中央、国务院发布《数字中国建设整体布局规划》,这是未来15年中国数字经济、数字社会、数字政务、数字文化和数字生态文明建设的纲领性文件。这个文件高度概括并提出了建设“数字基础设施大动脉”“数字资源流通大循环”的两大基础,提升创新能力、安全能力两大能力,拓展数字治理环境、国际交流协作环境两个环境建设的重要框架。文件中明确指出“横向打通、纵向贯通、协调有力”的指导思想,明确“互联互通”是数字中国建设的首要支撑。
在这个总体思路下,未来无论通用大模型、行业与领域的垂直大模型,在度过“百模大战、百模争先”的阶段之后,势必会逐渐形成不同细分领域、不同区域的专属大模型。这个大模型以及所支撑的超级平台,将大大削弱传统平台单一的经济属性,强调其管理、运营、安全和服务的公共属性。在这个历史发展过程中,企业发展大模型的基本思路,就有别于以往“竞争性技术应用”的思路,而是“开放协作式技术应用”的思路。
具体而言,就是企业将依托头部企业所提供的智能技术开发环境、开发技术,依托开发者社群和开发资源,共建本行业的超级平台,为训练大模型增添本地的局域资源,最终享有行业的整合资源优势,把企业的优势资源聚焦到生产过程和产品创新中来。
以百度为例。百度与大模型相关的智能科技布局,是国内唯一涵盖高端芯片(昆仑)、大规模深度学习与开发者社区(飞桨)、文心大模型、原生插件和大量行业应用场景的高科技企业。目前飞桨平台已经凝聚800万名开发者,服务22万家企事业单位;飞桨星河大模型社区,依托600万+开发项目,形成了超过300个大模型创意应用;基于飞桨系统,已经创建了80万个模型。
千帆大模型,是百度智能云推出的全球首个一站式企业级大模型平台,以文心大模型为核心,同时全面接入Llama2全系列、ChatGLM2-6B、RWKV-4-World、MPT-7B-Instruct、Falcon-7B等33个大模型,成为国内拥有大模型最多的平台。
借助百度千帆大模型,已经在智慧能源、智能制造、智慧金融、数字政务、智慧交通等领域获得丰富的应用场景。
大模型的高质量发展,有赖于业务领域、应用场景、技术研发的协同创新,更有赖于牢固树立公共服务、公共治理、公共安全的核心理念——追求公共利益,而不是企业的局部利益;追求互联互通,而不是产生新的数字孤岛;追求协同式开发,而不是单打独斗的闭门造车。只有更新理念、更新思路、更新方法,建设数字中国的过程中,才有可能更加顺畅地面对新挑战、创造新生态、拥抱新变化。
(作者为杭州师范大学阿里巴巴商学院特聘教授,苇草智酷创始合伙人,信息社会50人论坛执行主席)
责任编辑:马莉莎