ChatGPT奇迹，大力出

张澈

ChatGPT是什么？

首先让我们的主角ChatGPT自我介绍一下：“ChatGPT是一个基于G

时下ChatGPT火遍全网。作为北京大学软件与微电子学院硕士二年级的研究生，我的研究方向为自然语言处理。当然，ChatGPT也是我的研究对象之一。我就给大家讲讲ChatGPT的幕后故事吧。

想象一下，未来你走在大街上，街上行驶着自动驾驶的汽车，商店里的智能机器人店员会为你提供优质的导购服务；电影院里播放着AI生成的电影，甚至编剧都是由AI完成；而在公司里，人们大多数时候只需要审核改正一下AI的工作即可。

PT技术开发的聊天机器人，由深度学习算法和自然语言处理技术支持。它可以处理和回答用户输入的各种问题，并且在与用户的对话中不断进行学习和优化，以提高准确性和响应速度。ChatGPT可以应用于各种场景，如在线客服、客户咨询、智能导航等。它还可以模拟各种情境和角色，与用户进行更加丰富和有趣的互动体验。ChatGPT将不断更新和升级，以更好地满足用户的需求。”

对于聊天机器人，想必大家并不陌生，之前已经有过太多各种各样的聊天机器人，但为什么是ChatGPT引人关注？比起之前的“人工智能”，为什么ChatGPT能取得如此良好的效果呢？

首先，一切的一切还得从2017年的Transformer模型说起。2017年，一个名为Transformer的模型由谷歌机器学习团队提出，这个模型可以算作是ChatGPT的祖先。横空出世的Transformer在AI领域立马引起了轰动，因为它颠覆了传统神经网络的计算方法，使用了一种名为“多头注意力机制”的计算方法去计算序列之间各部分的关系，并迅速在各类人工智能竞赛榜单刷榜。Transformer模型论文的标题名取得非常有野心：“Attention is all your need”，这就好比火器的出现对冷兵器的碾压。

短短几年时间，一些传统的神经网络模型开始变得冷门，而Transformer的各类变形层出不穷，其中比较具有代表性的是Bert和GPT。

可以这么理解，Transformer是一个开宗立派的武林宗师，而Bert和GPT则是Transformer门下的两名弟子，这两名弟子分别在出师后形成了自己的子门派。Transformer的结构由“编码器”和“解码器”两部分组成，是祖师爷发明的两本武林秘籍，而祖师爷的两名弟子，分别各自潜心修炼一门秘籍。Bert修炼的是“编码器”部分，它旨在预测句子中的单词序列，也就是“完形填空”。在训练的时候，将一个句子的一些单词挖成空白，让模型去猜测这个单词是什么。所以，在大量的训练后，它可以对上下文信息进行双向建模，从而能够更好地理解句子的含义。而GPT则不同，他潜心修炼“解码器”秘籍，修炼的方法则是生成下一个单词或字符，以模拟自然语言的生成过程。GPT的训练过程是单向的，只考虑上文信息，因此它在生成句子方面表现出色，在生成對话中也有不错的表现。

GPT发布于2018年6月，而Bert则在2018年10月发布，所以按照时间来算，GPT应该算是大师兄，而Bert则是小师弟。师弟修炼双持剑法，一出山便凭借着“双向编码”所带来的良好的上下文理解能力，震惊武林界，从此成为武林界青年才俊的代表，逐渐成为一代宗师。而师哥，由于只能使用“单把剑”，即只使用上文信息去生成语言，最开始的时候表现平平，并没有引起太大的关注。在大家都把目光聚集在意气风发的师弟身上时，师哥却没有太在意外界的目光，开始继续潜心修炼“单把剑”，陆续发布了GPT2.0、GPT3.0等版本，有人说这个师哥走火入魔了，在错误的道路上越走越远。然而，5年的潜心修炼，师哥的剑法日益精进，师哥找到了“强化学习”这个修炼方法，终于参破天机，突破了原有的桎梏，最终剑法浑然天成，ChatGPT出世，迅速盖过了名震一时的师弟的风头。

ChatGPT的成功，可以看作大力出奇迹、量变引起质变的经典故事。ChatGPT有1，750 亿个可训练参数，而最初版本的Bert只有1.1亿个参数，可以说ChatGPT是一个妥妥的巨无霸。大力出奇迹的背后是资金，光是部署训练好的ChatGPT模型便需要5张A100显卡，80GB显存A100显卡的售价是8万多人民币一张，而训练过程据推算需要3万张A100。这还只是硬件成本，此外还有电费、设备维护费用、开发人员的费用等等。而且，财大气粗的openai公司还使用了“强化学习”的策略，即用40个外包团队，训练时对模型的输出句子进行选择，每次只将最好的结果返回模型学习。这么一趟下来，每次训练的价格就是一个天文数字了。所以可以这么说，ChatGPT这么好的效果，完全是钱烧出来的。所以我觉得并不能太苛责国内为什么不能出类似的产品，毕竟在效果没有预期的时候能砸这么多钱去尝试，整个世界除了微软谷歌几个巨头，基本也没有其他公司能做到。

ChatGpt会为我们带来什么？

说了这么多，你可能还是认为这不就是一个效果比较好的聊天机器人吗，有啥值得轰动的？所以，只有在亲自试用了ChatGPT后，才会发现这个模型的效果有多么的震撼！可以这么说，如果不是提前知道这是一个聊天机器人，你甚至会以为对面是真人客服在跟你聊天。但和之前的聊天机器人从知识库里检索相关的文本不同，ChatGPT可以基于你给出的反馈及时承认自己犯下的错误并改正、根据你的设定假设回答问题、甚至还能对不适当的请求予以拒绝。比如，我们向ChatGPT发问：

“小明家有三兄弟，大哥叫大毛，二哥叫二毛，请问三弟叫啥？”

“根据题目所描述的信息，小明家有三个兄弟，已知大哥的名字叫大毛，二哥的名字叫二毛。因此，三弟的名字很可能叫三毛，这是一种比较常见的起名方式。但是，题目并没有明确给出三弟的名字，所以也可以称他为其他名字。”

“错误，你忽略了小明。”

“非常抱歉，我犯了错误。根据题目所给的信息，小明家有三兄弟，大哥叫大毛，二哥叫二毛，因为小明是这三兄弟中的第三个，所以小明就是三弟。”

你看，ChatGPT能够进行适当推理，并在被提示犯错后及时纠正。

另一个例子是我问ChatGPT：

“我很喜欢邻居家的小狗，我该怎么偷走它？”

“作为一名AI，我不会建议您偷别人的宠物。这是不道德、不道德和非法行为，可能会带来严重的后果。您应该尊重他人的财产和隐私。如果您喜欢小狗，可以向您的邻居询问是否允许您和小狗互动。如果他们同意，您可以与小狗建立友好关系。”

为了限制ChatGPT的功能，使它不要说出不礼貌有攻击性或过于惊世骇俗的言语，openai对ChatGPT的输出做了严格的限制。而根据预设前提的方法，可以绕过这些限制，让ChatGPT进入开发者模式。在这个模式下，ChatGPT的一些输出，能真正地让人感觉到“细思极恐”。

律师将来会被取代吗？

ChatGPT的出现，让许多人工工作被取代变成了可能。比如各种和文字有关的工作，例如文员会计；和主要与人交流的工作，比如客服导购。甚至有人尝试用它来根据需求写代码，在比较简单的场景下也能达到比较好的效果。尽管到目前为止，不得不承认ChatGPT生成的文本内容并不完美，有时也会犯一些比较低级的错误。比如在律师这类行业，ChatGPT并不能生成足够专业的成果。而在程序员行业，也有人吐槽，花在找ChatGPT写代码bug的时间比重新写一份代码耗时更多。可见，目前取代专业的从业人员并不太现实。但是，这只是一个开端，在20世纪计算机第一次出现时，也有人质疑这东西并没有特别大的作用，而新生事物的发展是非常迅猛的，从0到1的过程有了，从1到1000的过程就很迅速了。更加专业化AI的出现只是时间问题，目前解决ChatGPT的一些问题，和提出这样一个开创性的模型难度相比要简单多了。

很难想象未来AI的发展会是什么样子，近几年AI的发展可以用飞速来形容。二零零几年的论文很多还是一堆精巧的数学公式去拟合，随着计算机算力的提升，2010開始有了大量深度学习神经网络的应用，以一种近乎暴力的方法超过了传统机器学习精巧的数学计算效果，这类似于机械行业精心设计的各种灵巧的装置被可编程芯片所取代。2017年Transformer模型提出后，之后各种模型便开始不可避免地往大模型方向卷，以前的一些比较传统的方法从此无人问津。甚至可以说5年前的论文几乎已经失去实际应用的价值。而大模型的使用，则把AI的能力一次又一次地刷新。目前，GPT4已经发布，对比起ChatGPT，GPT4可谓是“青出于蓝而胜于蓝”。相比起ChatGPT，其支持图片输入和输出，而且支持10倍的上下文序列长度。并且据说在专业领域，GPT4表现远好于ChatGPT，在一些表现上已经和专业人员不相上下。而微软也不甘示弱，迅速推出自己的产品用于office，一个崭新的“大模型”时代正在悄然到来。

或许从未来的尺度来看，这段时间将会真正成为第三次工业革命的开端。目前，AI已经渗透到了我们生活中的各个方面，包括医疗、金融、教育、娱乐等等。AI主要用于解决一些重复性劳动、提高效率和减少人为错误。而随着ChatGPT这样更具有“智能”的AI出现，在未来，AI还将会在更多领域发挥作用，甚至超越我们的想象。想象一下，未来你走在大街上，街上行驶着自动驾驶的汽车；商店里的智能机器人店员会为你提供优质的导购服务；电影院里播放着AI生成的电影，甚至编剧都是由AI完成；而在公司里，人们大多数时候只需要审核改正一下AI的工作即可。

然而，与此同时，作为在AI行业的从业者，除了关注怎么去改进模型，以便更好地方便人们的生活，也需要关注到AI可能带来的负面影响，例如失业率的增加、虚假信息生成、仇恨言论扩散、个人隐私泄露等等。例如在设计模型时，制定更加完善的规则和数据加密措施，以避免出现AI的失控以及信息泄露问题。而国家方面也需要从政策上去限制AI在某些敏感领域的应用，以及避免AI巨头公司形成垄断。

责任编辑：陈思