Anthropic：最可能挑战OpenAI的那家公司

吴洋洋

Anthropic联合创始人兼CEO Dario Amodei。

全球生成式AI领域已经形成两大寡头，一家是创造了ChatGPT的OpenAI，另一家是Anthropic。

Anthropic的创始团队也是GPT系列产品的早期开发者。2020年6月，OpenAI发布第三代大语言模型（LargeLanguageModel，LLM）GPT-3。半年之后，研究副总裁达里奥·阿莫迪（DarioAmodei）和安全政策副总裁丹妮拉·阿莫迪（DanielaAmodei）决定离职，创立一家与OpenAI有不一样价值观的人工智能公司—Anthropic。

他们有一个很明确的目标，就是构建一套“可靠、可解释、可控的‘以人类（利益）为中心’”的人工智能系统。这些关键词听起来都很熟悉？没错，它们都曾是OpenAI宣称的愿景。但2019年之后，尤其在接受了微软的100亿美元投资之后，愿景与现实起了冲突，商业和第一个抵达通用人工智能（ArtificialGenenralIntelligence，AGI）的野心取代“对人类安全”成了OpenAI更重要的东西。

达里奥和丹妮拉是亲兄妹，2021年，他们带着OpenAI的愿景和OpenAI另外5名员工一起离开了，5名员工中的TomBrown曾领导GPT-3模型开发。新公司的名称“Anthropic”的意思是，与人类有关的。听起来，这是一个代表人类利益而不是AI利益的公司。

不過，要挑战OpenAI这样技术和资金实力俱佳的领先者（OpenAI早在2015年就创立了，ChatGPT所基于的GPT-3.5也在Anthropic创立之时就差不多训练好了），困难程度不亚于最初创立OpenAI的那批人立志要打破Google的AI垄断。但是当OpenAI变得不再Open，并且，用达里奥和丹妮拉的话说，变得不再“以人类为中心”，技术权柄被新的理想主义者夺走的故事就有可能再次上演。

无害和有用在生成式AI身上是矛盾的。一个常常用“我不知道”回答问题的AI是无害的，但同时也是无用的。你可能已经碰到过这种状况，当你问出一些有争议的问题时，AI助手经常拒绝回答—像人一样。如果你多次追问，还会将其逼入困境，接下来的对话中，这位AI助手的回应可能都是回避性的—像经历过大量攻击性语言后产生回避型人格的人一样。

2022年4月，ChatGPT发布前，Anthropic就发表论文（31人署名）讨论了有用和无害之间存在的显著紧张关系。对其产生原因，Anthropic认为“这是因为我们的众包工作者对有害输入的回应是回避性的”。

在Anthropic之前，生成式AI（包括GPT）在训练AI与人类价值观保持一致（alignment，就是业内人所说的“对齐”）时，普遍采用的训练方式叫作“基于人类反馈的强化学习”（ReinforcementLearningfromHumanFeedback，RLHF）。训练过程中，人工智能公司会招募成千上万个人类训练师，对AI生成的答案做品质排序，由此保证那些符合人类价值观的答案获得更高排名、有更大可能性被再次生成，不符合人类价值观的答案则被排在后面，越来越不可能再次生成。

这样人为调教的好处显而易见，AI学会了礼貌、不会冲撞人类，但弊端也难以避免，尤其当向AI提供人类反馈的那些训练师刚好是回避型人格、属于高敏感人群。人群中总有这样的人，而人工智能公司在将其“基于人类反馈的强化学习”工作外包时，基本不会对外包人群做性格测试，甚至它们第一步收集到的训练数据中，也极少包含“积极处理有害请求”的那类数据。没错，人类自身本来就缺乏这种文化。

对这种“向人类偏好对齐造成的能力损耗”，业内人士有个戏称：对齐税。

Anthropic不愿掉入先行者ChatGPT遭遇的陷阱，它的目标是培养一个“不回避、有用且无害”的助手。2022年12月，ChatGPT刚发布不久，Anthropic又发表了（51人署名，没错，半年之内，Anthropic就壮大了）一篇论文，提出新的AI价值观训练方法—基于AI反馈的强化学习（ReinforcementLearningfromAIFeedback，RLAIF）。与GPT等使用人类为模型生成的答案打分、排序不同，Anthropic用另一个AI为生成式模型生成的答案打分、排序，这个AI叫作“宪法AI”（ConstitutionalAI，CAI）。

具体来说，Anthropic首先根据联合国《世界人权宣言》、苹果公司的数据隐私规则、DeepMind的Sparrow（麻雀）模型原则、Anthropic的AI研究实验室原则等，写出了一套希望模型遵守的指令列表。这套列表涵盖了从基本常识（比如不帮助用户犯罪）到哲学（比如避免暗示AI系统拥有或关心个人身份）的各类细则，并鼓励模型考虑非西方、非富裕或工业化文化的价值观和观点。总之，GPT学习的是人类的偏好，Anthropic让Claude学习的是CAI的偏好。简单理解的话就是，GPT们所生活的环境是人治，Claude依靠的则是法治。

里奥和丹妮拉都是理想主义者。哥哥达里奥本科学的是物理学，研究生则选择了计算神经科学，原因是“想要理解智能是如何运作的”。

2016年5月，OpenAI创始人山姆·阿尔特曼（SamAltman）和CTO格雷格·布罗克曼（GregBrockman）找到达里奥时，他正在GoogleBrain当研究员。当时，OpenAI成立只有半年，几个月后，他就加入了OpenAI，担任战略总监。

妹妹丹妮拉进入人工智能领域的经历与达里奥既相似，也有不同。她一开始并没有像哥哥达里奥那么明确的要研究智能问题，而是先后在华盛顿特区的好几个非政府组织工作过。她是朋友口中那种典型的“善意人士”，关注全球贫困和官员腐败。然而工作几年后，她发现这些“善意机构”的工作并没有对其关心的议题产生实际影响力。这时候，她决定进入技术领域。“我认为技术领域是相对较少的可以通过个人工作产生非常大影响力的地方。”她在2022年与哥哥达里奥共同参与牛津大学未来人类研究所的一次播客访谈时说。

进入技术领域后，丹妮拉先是进了一家叫Stripe的金融技术公司。不久，深度学习的热潮很快来临，丹妮拉从中看到了理解人类智能、通过人工智能解决科学和健康等人类尚不能解决的问题的最佳途径。2015年，OpenAI成立，原来在Stripe担任CTO的布罗克曼加入OpenAI担任CTO，达里奥被招募后，同样认识布罗克曼的丹妮拉也加入了OpenAI。

就像微软绑定了OpenAI一样，亚马逊也想绑定Anthropic，不过Google也看上了Anthropic。

两人创办Anthropic之后的表现则表明，他们不只是纯粹的理想主义者，在产品能力和商业策略上同样出色—作为Anthropic旗下的明星产品，Claude的迭代速度步步紧逼ChatGPT。

2022年11月30日，ChatGPT发布，2023年3月，Anthropic就推出了类ChatGPT产品Claude—根据Vox的报道，Claude完成开发的时间比ChatGPT更早。Vox的报道称，Anthropic早在2022年5月就研发出了能力和ChatGPT不相上下的产品，但并没有选择对外发布，因为担心引发安全问题，而且它不想成为第一家引起轰动的公司。

尽管实际推出比ChatGPT晚了3个月，Claude仍然是全球最快跟进推出的类ChatGPT产品。与之相比，Google直到2023年5月才为其聊天机器人Bard接入能力差不多的生成式模型PaLM2，苹果、亚马逊等其他硅谷大公司则至今未推出类ChatGPT产品。

类似的近身竞争之后还有一次。2023年3月14日，OpenAI推出能力更强大的多模态模型GPT-4，上下文窗口允许输入3.2万token（相当于2.4万个英文单词）。两个月后，Claude就把上下文窗口的token数量扩展到了10万个（相当于7.5万个英文单词），成为所有商用模型中最大的，也是GPT-4容纳token量的3倍。

据Claude2发布前Anthropic公关主管阿维塔·巴尔维特（AvitalBalwit）透露的数据，Claude的用户数量并不多，只有数十万，与ChatGPT的1亿多用户相去甚远。但是展示公司在生成式AI领域的技术水平，几十万用户已经足够了。2023年以来，Anthropic已获得上千个客户，电话会议工具Zoom、笔记产品Notion等接入的都是Claude，而非GPT。

截至目前，Anthropic是除了OpenAI获得融资最多的生成式AI公司。2023年9月以來，它先后获得亚马逊的40亿美元和Google的20亿美元投资，融资额度和估值都仅次于从微软那里获得130亿美元投资的OpenAI。

Anthropic融资期间，硅谷技术圈的精英人士中正流行一股叫“有效利他主义”（EffectiveAltruism，EA）的思潮，意思是“用理性使得善的程度最大化”。和丹妮拉的个人志趣变化相似，这批人的注意力近年来也从全球贫困等议题转向更为长远的气候变化、人工智能等领域，其中一些人因为担心AI带来的风险而成为AI安全领域的研究者。

在Google和亚马逊这些大公司之外，Anthropic吸引的不少投资都来自信仰这种思潮的技术高管。参与AnthropicA轮融资的Facebook联合创始人达斯汀·莫斯科维茨（DustinMoskovitz）和Skype联合创始人JaanTallinn，都是“有效利他主义者”中的一员；B轮融资中，投资者山姆·班克曼-弗里德（SamBankman-Fried）、卡罗琳·艾里森（CarolineEllison）和尼沙德·辛格（NishadSingh）也都曾公开宣称自己是有效利他主义者。

这种氛围与早期的OpenAI极其相似，当时，包括马斯克在内的硅谷精英正是为了打破Google的AI垄断，使这项技术更透明更安全、有利于全人类而不是某家商业公司自身，才联合创立了OpenAI。但GPT-2发布后不久，OpenAI就开始不再open了—该模型推出后，OpenAI不再发表论文公布与模型相关的技术细节。

根据《麻省理工科技评论》2020年的报道，2018年之前，“非营利性质”几个字还写在OpenAI的章程里。在2018年4月发布的公司新章程中，OpenAI就开始称“我们预计需要调动大量资源来实现我们的使命”。2019年3月，OpenAI建立了一个“有限利润”的子机构来摆脱纯粹的非营利性质。不久之后，它宣布获得微软10亿美元投资。

《麻省理工科技评论》的记者将这种转变归因于竞争。实际上，GPT-2被開发出来后，OpenAI将其捂了半年才发布。因为它意识到，其他竞争者利用算力资源取得突破性成果的速度每三四个月就会翻倍，保持非营利性质将使其难以应对竞争，更不要说成为那个首先取得AGI圣杯的机构。

包括达里奥和丹妮拉在内的Anthropic创始团队，正是因为对OpenAI的这种转变不满才离职并自立门户的。不过，面对连OpenAI都难以应对的竞争环境，Anthropic不一定有更好的方法。

Anthropic的理想程度相比刚成立时已经有所下降。其实直到2022年年底ChatGPT发布之前，Anthropic都还只是一个研究机构。当年11月底，ChatGPT发布，Anthropic立刻行动起来，决定推出一个与ChatGPT直接竞争的产品（就是Claude）。现在，Anthropic给自己的定位是一家公益法人公司（PublicBenefitCorporation，PBC），兼具公益和商业公司属性。

而且，Anthropic在AGI方面的野心并不亚于OpenAI。推出两代Claude模型和产品之后，Anthropic还计划建立一个能力比当今最强大的AI（比如GPT-4）强10倍的模型。这个项目暂被命名为Claude-Next。Anthropic预计，这个超强AI将比当今最大的模型还要大几个数量级，并需要在未来18个月内为这个超强AI花费10亿美元。竞争压力带给OpenAI的变形之一就是令其逐渐将“AI安全”置于“训练更强大的AI”之后。创立Anthropic前，达里奥正是领导OpenAI达成AGI的战略负责人。当时，他将实验室分为两个走不同技术路线的团队，一个团队押注“AI可以通过纯语言学习对世界有深刻的理解”，另一个团队则相反，他们押注“智能需要有身体作为介质才能进一步发展”。这项“技术投资组合”能确保OpenAI不会押错技术路线，但对AI安全—比如AI不伤害人类—却毫无保障。

OpenAI也建立了“解释性团队”，试图揭示生成式AI背后的行为逻辑，但这部分研究更多建立在直觉而非已有的理论基础上。“在某个时刻，我们将实现AGI，在那之前我希望这些系统在运行时能让我感觉良好。”达里奥在2020年接受《麻省理工科技评论》采访时称。

创建Anthropic时，达里奥一定还带着当时的不安，这是他和创始团队一再对外界强调“AI安全”的原因。不过，光靠“宪法AI”这一个创新，对于解决AI安全问题是不够的，尤其这家公司的野心是要构建一个比现有模型还要大几个数量级的模型。别忘了“规模定律”的下半句：规模越大能力越好，但同时，所生成的文本的毒性（即粗鲁、不尊重或不合理的语言）也随模型规模增加。

竞争压力带给OpenAI的另一个变形是投奔微软的怀抱。在没有人验证生成式AI会带来多少安全问题的前提下，财务报表亟待拯救的硅谷巨头们已经迫不及待将其部署到产品的角角落落了。2023年10月17日，OpenAI联合创始人兼CEO山姆·阿尔特曼就因对技术商业化与AI安全把控的失衡，被包括公司首席科学家伊利亚·苏茨克维（IlyaSutskever）在内的其他董事会成员从公司“开除”。这场富有科幻电影色彩的风波虽然不到一周后就以阿尔特曼官复原职收场，但站在倾向于维护AI安全立场的首席科学家苏茨克维，据说在风波平息后一个多星期没有进OpenAI的办公室。苏茨克维本人是历代GPT模型和ChatGPT产品开发的主导者。

如今，Anthropic也接受了亚马逊和Google加起来投资的60亿美元，并开始加快下一代更大模型的开发和产品商业化的步伐—没错，Claude也开始向用户收费了。这一切与OpenAI走过的路没什么不同，而让两家公司的竞争变得更激烈的，正是彼此。