后奇点时代：人工智能会超越并取代人类吗？

，

2016年以来围棋对弈程序AlphaGo战胜人类冠军一事，引发了人工智能(简称AI)的又一次研究和讨论的热潮。一方面，人工智能成为当前科技研究和产业发展的一个热点；另一方面，人工智能是否能超越并取代人类也成为人们持续讨论的话题。关于后者，早在人工智能发展伊始的时候，人们就开始担心其未来可能的负面风险。从1990年代开始，著名未来学家库兹韦尔(Ray Kurzweil)就表达了这样一个思想：随着技术的加速发展，在某一时刻，我们将达到一个技术奇点(technological singularity)，这时， AI将大大超越人类智能，机器人也将成为人类“进化的继承者”和“思想的继承者”。[1](P11-15)库兹韦尔欢呼这一前景，但也有人心怀隐忧。在AI诞生之前的1950年，阿兰·图灵(Alan Turing)就曾反驳过一个被称之为“鸵鸟策略”的诘难：“机器可以思维的后果太可怕了。我们希望并相信它们不会思维。”[2]虽然图灵认为这种观点并无价值，它仅仅出于人类优越性(superiority)的信仰，但人们对AI的类似担忧在后来一直绵绵不绝。2015年以来，伊隆·马斯克、比尔·盖茨和霍金等人表达了这样的担忧：失去控制的超级AI有可能导致人类的灭亡。他们与来自AI领域的专家共同签署了一封公开信，呼吁各界人士对AI安全性的关注。[3]

这些不同的担忧实际上涉及了后奇点时代(post-singularity age)的两种相关却存在区别的前景：(1)机器超越人类；(2)机器取代人类。对于前景(1)，人类中心主义者(比如鸵鸟策略诘难的支持者)担忧的是人类尊严(优越性)被损害的风险——不妨称之为尊严风险；那些新潮的非人类中心主义者，担忧的则是人类对AI的“虐待”是否有违道德——这算是道德风险；马斯克等人担忧的是前景(2)时代人类的存活问题——也即生存风险。本文的目的在于基于人工智能哲学(也包括认知科学哲学)中的相关讨论，对两种后奇点前景及其伴随的三种风险做出恰当的可能性评估，最终揭示AI的真正风险所在。

一、机器超越人类：尊严风险

图灵敏锐地发现了“鸵鸟策略”诘难中对人类优越性的主张与神学之间的紧密关联。[2]这种关联可以追溯到文艺复兴人文主义(renaissance humanism)思想，它综合了基督教传统和古典文学中的人的形象：一方面认为人类是根据上帝的形象创造出来的，另一方面认为人类具有卓越(excellence)和优越(superiority)的品质，而通过这些品质，人类将在不断完善中获得尊严。[4](P92)需要注意的是，文艺复兴人文主义对人类优越性的定义并不意味着某种永恒不变的人性，而是意味着一种人类的可完善性，一种需要人类去获得的目标。然而，到了近代人本主义(modern humanism)那里，优越性就开始意味着一种固定的人性。人们通过界定某种先天的、稳固的人性，厘清人类与各种他者(动物、机器、自然等)的本质差异，最终证明人类的优越性。人类的尊严因而也意味着我们具有某种非人类所不具有的优越品质。“鸵鸟策略”诘难正是基于这种近代人本主义立场，将作为机器具有人类水平的智能视为对人类尊严的威胁。针对这种担忧，我们想要表达两个论点：(1)当下的AI在可以预见的未来远没有威胁到人类的所谓先天优越性；(2)人类真正的尊严并不在于对非人类的先天优越性，而在于自身的可延展性。

(一)人类的先天优越性受到挑战了吗？

近代人本主义者对人类先天优越性的证明，典型地体现于笛卡尔的哲学工作中。笛卡尔设想了这样一个自动机器，它从外形上跟我们的身体没有任何差别，并且可以准确地模仿我们的一切动作，但笛卡尔认为它仍然不是真正的人，理由是：(1)机器人即便能说出几个单词，也完全不能像人类那样表达思想；(2)机器只有单一的功能，但人类却能举一反三。[5](P45)可以看出，笛卡尔把自然语言操演和迁移学习的能力作为人类的标志，从而在人类与机器之间划定一个截然分明的界限。

AI对近代人本主义的挑战在于，如果机器可以思维，人类在理性上并没有任何优越性，那么人类与机器的界限就会被抹去，人类尊严就会受到威胁。但是，AI是否已经具备了笛卡尔所列出的两种人类能力，从而消除了人类的优越性呢？当下的AI都是专用系统，比如下棋的程序不能用来语音识别，反之亦然。因此AI暂时还不具有举一反三的迁移学习的能力。有争议的地方可能在于：机器是否已经具有了自然语言操演的能力？

自然语言操演是AI竭力努力的目标，图灵测试就是基于这一能力。对自然语言的句法和语义分析，曾经被视为自然语言处理的密匙。1970年代，威诺格拉德(Terry Winograd)曾经设计过一款名为SHRDLU的人机对话系统，它可以接收人类的自然语言指令，通过对语言的句法分析和语义分析，在经过逻辑推理之后做出相应的操作，比如将桌上的一个红色的圆形积木叠到绿色的方形积木上。[6]然而，这样的系统只能处理一个积木世界(toy world)，当涉及更复杂的场景的时候，它就很难继续工作了。因此，进入1990年代以后，自然语言处理逐渐转向基于统计的方法，不仅句法分析被认为是不相关的，甚至语义分析也不再重要。比如在现在的机器翻译中，关注的焦点在于词语、短语和句子，而不是句法和语义。然而，基于统计的方法并不会让AI理解语言，更不可能真正地表达思想。

AI的自然语言理解的困难在于语言的整体论特征。根据豪格兰德(John Haugeland)的观点，句子的语义并非是原子语义的组合，而是和作者意图、日常知识、语言的情境以及实存者的生命等四重因素相关的。[7]然而，机器恰恰难以把握人类语言操演中所涉及的常识和情境。这里涉及了AI中的常识问题(the problem of commonsense knowledge)：“如何存储和访问人类似乎知道的所有事实。”[8](P77-78)经典AI试图通过将人类的常识表征为显性的命题，从而可以被计算机用于推理和决策。然而这一工作被证明是非常困难的。因为人类的常识实在太多，而且各个常量之间的关系异常复杂，要表征全部常识几乎是不可能的。更为关键的是，如德雷福斯(Hubert L. Dreyfus)所指出的，人类的常识大多数是以隐性的技能知识(know-how)的形式存在着，难以表征为命题知识(know-that)。即便所有事实被形式化并存储为语境独立的事实，但计算机仍然不知道如何去使用它，因为这需要额外的规则来指定如何利用这些事实，而这些额外的规则很可能是与语境相关的，于是需要更高层级的规则来指定如何使用这些规则，这就将陷入无穷倒退的困境。[9](P56-57)因此，由于常识问题的限制，计算机迄今为止仍然无法真正地理解自然语言。人类之所以可以理解自然语言，归根结底是因为他是一个有着自己的历史、周围世界和身体的实存者，承受并操劳着整体的世界，才会理解关于世界的常识和情境，从而才会理解语言的意义，进行真正的对话、阅读和创作。[7]而这样一个实存者，在AI的现有范式下根本不可能实现。因此，人类在自然语言操演方面仍然具有远比AI优越的能力。类似的优越性还可以列出很多，比如，在现象意识、感受性、自由意志等等。人类对于机器的优越性在可以预见的将来都很难被打破。

(二)人类的尊严：优越性还是可延展性？

然而，我们永远不能排除这种可能，未来的机器将会在我们引以为傲的某些领域胜于人类。在这种情况下，如果要强行维护人类的尊严，就只有禁止AI技术的发展，以保证人类优越于机器。考虑到这种禁止性的命令难以实施，一种既不需要禁止技术进步，又可以维护人类尊严的进路，将是更为可欲的。

传统社会对人类尊严的论证基于某种稳固的人性(比如语言、理性等)，但1990年代以来的后人类主义(posthumanism)话语已经深刻地修正了我们的人性的看法。海尔斯(Katherine Hayles)认为，千百年以来人类就一直在与技术协同演化，并且以各种方式深刻而细微地重塑了人性。[10](P289-290)克拉克(Andy Clark)从认知科学上对这种观点提供了强有力的论证。在他看来，人类与技术构成了一个共生体，心灵与自我不再局限于大脑之内，而是分布于大脑和非生物系统之中。人类之所以不同于其他物种，就在于我们的心灵一直在寻找可以合作的非生物资源。各种各样的技术与人的交互作用，展示了人类的大脑的惊人的可塑本性。[11](P87)我们的心灵和身体本质上就在不断的重构，外部的技术设备不断地组合到我们的心灵与人格系统之内。因此，人类的“本性”(nature)是在漫长的演化历史中被技术地建构起来的。

波斯特洛姆(Nick Bostrom)因此主张用更具包容性的后人类尊严(posthuman dignity)来代替人本主义的尊严概念。后人类尊严不再基于凌驾于非人类之上的各种起源上的优越性，而是来自于我们是什么，以及可以潜在地成为什么。而我们是什么，恰恰不仅仅源于我们的生物功能，更源于技术和社会语境。[12]这种尊严概念，是对文艺复兴人文主义尊严概念的更新，它一方面将人类的卓越和优越奠基于人类的可完善性之中，另一方面又指出了这种可完善性的关系本质，即人类在发展中与技术构成了一个交互作用、协同构筑并相互塑造的延展系统，展现了人的可塑本性。我们可以用可延展性来取代优越性，以界定后人类尊严概念的本质。

如果我们采用这种后人类尊严概念，那么即便未来的AI掌握了自然语言操演的能力，我们也不必担心人类的尊严受到了威胁，因为，现在的AI是一个以人为核心的延展认知系统。[13]更进一步地说，即便AI在所有的智力测评项目上都战胜了人类，它也并不会比人更加智能，相反，人类因为AI而变得更加智能。AI是百分之百的人类智能，它的智能恰恰是人类尊严的明证。

二、机器超越人类：伦理风险

近代人本主义赋予人类的至尊地位，在非人类中心主义者那里遭到了激烈的批判，当这种关切被带入到机器人伦理的讨论中，便产生了对AI的道德风险的担忧。目前，围绕AI(包括机器人)的伦理学讨论有两种进路：(1)考虑到AI可能对人类产生危害，试图将其设计为一个道德能动者(moral agent)，自下而上地将伦理规则植入到机器人之内，建造安全、友好、有道德的机器人。[14](2)采取非人类中心主义的立场，将人形机器人作为道德受动者(moral patient)，考虑将机器作为一个道德关怀的对象，防止人类对机器的虐待，甚至试图赋予它(她/他)和人类平等的公民权利。[15]

动物权利论最早将道德受动者的地位赋予了非人类事物，无疑可以为我们思考机器人权利提供参照。事实上，已经有一些研究者如卡尔弗利(David J. Calverley)注意到了二者之间的相似。[16]在此，我们将进一步根据彼得·辛格和汤姆·雷根的两种主要动物权利理论，来分析AI的道德地位。

彼得·辛格重返了边沁的功利主义道德理论，将感受痛苦的能力(the capacity for suffering)作为道德关怀对象的判定标准。辛格认为，只要一个生命可以感受到痛苦，我们就有必要在道德上平等地考虑其痛苦。[17](P10-12)与辛格的功利主义立场不同，汤姆·雷根更倾向于义务论的立场。但不同于康德将动物排斥在直接道德关怀对象之外，雷根认为人类和动物具有平等的固有价值。二者的区别在于，健全的人类是道德能动者，对自身行动负有道德责任，而动物(也包括精神病人、婴儿等)仅仅是道德受动者，对自身行动不负有道德责任，但却应当作为道德关怀的对象。那么，我们如何能判定一个非人类生命是道德受动者，并具有固有价值呢？雷根提出了一个生命主体判准。一个个体被归为生命主体，需要具备这些特征：信念和欲望；感知、记忆和未来感；情感生活；偏好利益和福利利益；发起行为来满足欲望和目标的能力；心理同一性等。如果一个个体满足了生命主体标准，那么它就具有固有价值，就应当被作为道德关怀的对象。[18](P243)因此，两种动物权利理论分别将感受痛苦的能力和生命主体作为判准，以决定是否将动物纳入道德考虑。如果我们将其扩展到机器人权利领域，那么机器人是否可以满足这两个判准呢？

首先来分析辛格的判准。虽然关于痛苦的形而上学本性还存在着诸多争议，但越来越多的科学研究开始将痛苦视为一种类似情感(emotion)的主观经验。[19]这意味着，如果机器要具有感受痛苦的能力，它就必须具有现象意识(phenomenal consciousness)。按照布洛克(N. Block)的区分，意识分为取用意识(access consciousness)和现象意识，前者可以理解为信息，后者可以理解为我们的主观意识体验。[20]暂且不论这种区分是否合理，AI的一般目标是模拟人类的存取意识，对现象意识的模拟不仅在实践上没有什么进展，而且在理论上也莫衷一是。考虑到迄今为止只有在生物中我们才发现了现象意识，在很大的概率上，现象意识必定和生命现象存在内在的关联。正如汤普森所指出的，生命的内在目的性构成了意识得以涌现的基础。[21](P186)这种内在目的性实际上可以进一步揭示为意向性和自主性。如果我们采取雷根的标准，机器就必须作为一个生命主体，才能被纳入道德考虑的对象。虽然雷根关于生命主体的判准涉及的内容较为繁多，但同样可以归结为意向性和自主性这两个因素，起码，二者构成了生命主体的必要条件。

那么，AI是否具有自主性和意向性呢？根据自创生生成主义理论，自主性最终可以通过包含了内在目的性的自创生系统来刻画。自创生系统是一个包含了半透边界的反应网络，它可以自我生产和自我维持。[21](P86)而最原初的意向性就来自于自创生系统的意义生成(sense-making)。它通过为系统创造一个生境(umwelt)，将意义引入世界。生命系统的意义生成不仅意味着它必须始终理解世界从而维持自身，也意味着生命系统的适应性，它让系统可以自动调节自身，根据内部规范来改变环境。[22]因此，自创生和意义生成可以分别作为自主性和意向性的判准。

如果我们将这些标准引入到人工智能之中，就会发现既有的AI进路，无论是符号主义和联结主义，还是具身AI，都无法满足这些判准。符号主义和联结主义显然无法满足自创生的判准，而且也不满足意义生成的判准。此外两种进路都面临着来自符号奠基问题等难题的威胁：人工系统的“语义解释如何可以内在于系统，而不是依赖于我们头脑中的意义？”[23]因此也就不可能构造一种具有内部规范的认知系统。而具身AI虽然试图赋予AI一个身体，但它依然不是生成主义意义上的那种鲜活的身体，从而也不能满足自创生的判准。在意义生成的判准上，虽然具身AI试图诉诸感觉运动反馈循环来避免符号奠基问题(也包括框架问题)，但它最终还是不可能解决AI中的意义问题，因为具身AI并不能保证能动者的行动目的是内禀而不是外赋的。[24]

因此，在既有的AI范式下，AI由于无法满足自创生和意义建构的判准，既不可能具有现象意识，也不可能具有自主性和意向性，从而无论基于义务论还是基于功利主义，我们都无须将AI纳入道德考虑，更无须将权利赋予AI。非人类主义所担忧的AI道德风险在可预期的未来并不存在。

三、机器取代人类：生存风险

“机器取代人类”是一种完全不同于“机器超越人类”的后奇点场景。我们可以设想，在后奇点时代，机器可以在思维和行动的特定或所有能力上超越人类，但它可能不具有有机身体，而是栖身在虚拟实在之中，从而不会在现实世界与人类存在生存冲突。因此机器超越人类但并不意味着会取代人类。同样，我们可以假想某种AI具有自我复制的能力和欲望，并且生存适应性上要远高于人类，在现实世界中与人类存在生存冲突，这种情况下，即便人类的思维和行动能力远高于该AI，也可能被取代。

“机器取代人类”涉及的主要是所谓的生存风险(existential risk)。波斯特洛姆将其定义为这样一种可能性，它所产生的不利后果将会摧毁整个人类，或永久和急剧地断送人类的发展潜力。[25]他认为，由于超级智能可能和任何的终极价值体系结合，因此不能假定它们必然拥有人类的道德观念，随意设计的超级智能的最终目标很可能会导致人类的生存灾难；此外，超级智能也可能会与人类共享某些工具性价值，比如获取无限制的物质资源，这就可能会与人类产生生存冲突。[26](P144)

在生存风险的故事中，AI仿佛具备了自我繁殖的能力，并主要作为一个种群而不仅仅是个体对人类造成威胁。我们因此可以将人类与AI的关系刻画为生态学上的种群间关系。在洛克伍德(Larry L. Rockwood)看来，种群间的交互关系，可以根据其对一个种群的作用是积极的(+)、消极的(-)或中性的(0)划分为四种类型：[27](P155-156)

(1)-/- 竞争，对两个物种都是消极的；

(2)+/- 捕食、寄生，对一个物种有利，但对另一个物种有害；

(3)+/0 共栖，对一个物种有利，但对另一个物种没有影响；

(4)+/+ 互利共生，对两个物种都有利。

在这四种类型中，只有(1)和(2)对一个种群是有害的。因此只有当AI与人类的关系处于两种关系中的一种，并且假定人类相对于AI处于弱势的时候，人类才会面临生存风险。

我们首先来分析关系(1)即AI成为人类的竞争物种。对这种可能的最直接反驳是：硅基存在者的AI和碳基存在者的人类的需求是不同的。[28]我们可以进一步强化这一论证。从生态学上来讲，每个物种在环境中都会占据一个生态位(ecological niche)，即一个物种为了存活、生长和繁殖所需的环境条件和空间。根据高斯假说(Gause’s hypothesis)或竞争排除原则，如果两个物种占据了相同的生态位，那么就必然有一个物种会趋于消亡。因为两个物种在争夺同一种食物资源的过程中，不可避免会产生相互的竞争排斥。这意味着，两个具有相同生态位的“完全竞争者不能共存”。[29]如果用这一原则来判断AI和人类的关系，那么只有当人类与AI占据了相同或相似的生态位的时候，才会产生生存竞争，从而发生物种取代的现象。但AI是否会占据人类的生态位？我们暂且不用考虑AI与人类生态位重叠的问题，只需要先来思考AI能否能占据一个生态位。一个能动者要占据特定的生态位，需要深刻地嵌入到环境之中，与其实现充分的交互作用，可以从环境中直接取用资源以维持和再生产自身，并能进一步繁殖后代。这样的能动者必须具有如此特征：自创生机能和繁殖机能。

我们继续来分析关系(2)即人类成为AI的食物或寄生宿主——这也包括了人类作为AI的蓄养牲口的可能。无论是捕食还是寄生，都是生物体试图从其他生物体那里直接获取物质和能量，通过内部的反应网络以维持和再生产自身。然而，AI作为无机的机器，维持它工作的直接能源是电能，不需要通过捕食和寄生来获取能量，而再生产自身的物质资源也来自于外部。AI如果要通过捕食人类来维持和再生产自身，它必须发展到一种人工生命形态，并具有自创生机能的特征。

综合以上分析，基于种群间关系(1)和(2)的生存风险是否成为可能，最终取决于AI能否发展成为具身的(而不是虚拟的)人工生命，并具有自创生和繁殖机能。然而，既有范式的AI不满足自创生的标准，它根本不具有一个鲜活的身体，而且可以预期的未来人类也不可能具有足够高超的工程能力来实现这种身体。要求种群具有自创生机能的关系(1)和(2)是不可能出现的。因此，在可以预见的未来，AI并不会给人类带来生存风险。

四、AI的真正风险：决策风险

既然在AI发生范式革命之前，前述三种风险都不太可能出现，那么AI是否就真的毫无风险了呢？并非如此。最严重的风险来自社会和政治领域，具体包括：(1)普遍的结构性失业；(2)社会不平等的加剧；(3)自主军事武器的滥用；(4)宣传控制的强化；(5)大公司对数据的垄断……这些议题无疑都很重要，但已超出本文的主题。我们仅从AI本身的难题出发，来探析一种真正的风险——决策风险。

AI最重要的应用之一就是根据有限的信息和资源制定出最佳的行动计划。1980年代AI第二次浪潮中的专家系统和知识表征工程，正是试图帮助甚至取代人类在一些专门领域的决策。然而，如果AI在一些重要领域接管了人类决策，有可能产生巨大的风险。对于这种风险，很多人担忧的是AI可能会脱离人类的控制，对人类造成严重的伤害。因此，他们试图将AI设计为一个隐性的或显性的道德能动者，或者通过“约束机器的行动以避免非伦理的后果”，或者通过为机器“编写包含了显性伦理公理的代码”以便让它伦理地行动。[30]这样的观念预设了一种认知主义的伦理学，即一切道德意见都可以被表述为具有真值的信念。因此人类的道德才能以逻辑表达式的形式被表述出来，进而以代码的形式被写入机器。我们在此不拟介入非认知主义者的反驳，暂且假定我们道德意见能被全部表述为显性的信念。即便如此，由于我们在做出一个道德决策的时候，需要调用大量的信念和知识，AI将面临一个致命的决策风险：由于信念和知识难以被全部形式化和恰当地存取，AI不可避免地会经常性地缺乏相关知识，最终将作出完全不符合常理的决策。这种决策风险不仅仅限于AI的道德决策，而是所有类型的决策中都会面临的一般性风险。它的特殊之处在于：不是由于AI太过聪明，而是因为AI太过愚蠢。

这种决策风险实际上涉及了AI中的框架问题。[31](P223-230)框架问题是困扰AI最严重的问题之一，至今仍然未得到有效的解决。对于框架问题导致的决策风险，著名哲学家丹尼特曾举例说明：让机器人进入一个放着定时炸弹的房间，将里面的一块备用电池取出来。但机器人取出电池的同时，也会连带地取出和电池在同一个推车上的炸弹，结果炸弹爆炸了，机器人很难完成任务。[32](P155-156)

框架问题实际上是人工智能中的常识问题的不同版本。根据德雷福斯的观点，常识问题包含了两类不同的问题：常识理解和相关项变化问题。常识问题在于计算机并不具备人类掌握常识的能力，却试图在人类世界中行动，由此也将带来严重的决策风险。正是因为常识问题，那些试图将伦理代码写入计算机的企图很可能将面临失败。以众所周知的阿西莫夫的机器人三律令为例，它包含了三条伦理规则：(1)机器人不得伤害人类(人类遇到危险它也必须设法解救)；(2)必须服从人给予它的命令，除非违反了律令(1)；(3)尽可能保护自己的生存，除非违反了律令(1)和(2)。暂且不论已经有很多研究指出，这三条律令在很多情况下相互矛盾，即便它们之间是自洽的，实际上也不具备任何操作性，因为它们并不是规则明晰、可以有效操作的指令。机器人所能执行的直接行动指令是诸如往什么方向和角度移动多少位移。而类似“拯救一个濒死的人”这样的指令，依赖于我们对一个人是否“濒死”的判断，以及对拯救方法的选择，根本无法直接编码让机器执行，而是需要基于相关知识做出极为复杂的推理之后，才能转化为机器可以直接执行的指令。然而，一方面这些判断和选择所涉及的常识都难以计数，另一方面在不同情境下救人有不同的救人方法。比如当一个人上吊的时候，救他的办法是剪断绳子；但当一个人在五层楼的窗户下拉着一条绳子呼救的时候，救他的办法就是拉起而不是剪断那条绳子。要让机器人三律令有效运作，就必须对日常生活中的大量的背景知识进行形式化，从而可以让机器人据此做出推理，做出规划。然而，这是一个不可能完成的任务，因为我们既无法将这些常识全部形式化，也无法对这些常识恰当地存取。由于常识问题的制约，计算机不可能达到人类的决策水平，它不得不经常犯一些有悖常识的错误。因此，在框架问题和常识问题还没有解决之前，人类在开放领域的决策绝对不能被AI完全接管，AI决策只能作为人类决策的参考。

结 语

对后奇点时代的构想通常涉及两种情景：机器超越人类，人类将面临尊严风险和道德风险；机器取代人类，生存风险成为更严重的问题。但根据人工智能哲学中的相关讨论，除非AI研究取得革命性进展，否则我们绝无可能进入后奇点时代，机器既不大可能会超越人类，更不大可能会取代人类。因此人们担心的尊严风险、道德风险和生存风险在可以预见的未来都将是杞人忧天。对于当下范式的AI而言，真正的风险是决策风险，它可能导致AI做出难以预料的错误决策。