关于人工智能界限的思想实验

摘要：当前人工智能技术高速发展，在多个领域得到成功应用，使得学生可能产生出涉及人工智能和人类关系方面的诸多问题。面对这些问题，教师应当给出经过深刻思考的、开放的、具有启发性的观点，思想实验是回答此类问题并激发学生深入思考的一种工具。本文尝试创设出若干与数据、算法等概念有关的思想实验，主要围绕人工智能的能力界限开展讨论，强调人在创新方面可能具有当前的人工智能难以替代的独特作用。

关键词：人工智能；思想实验；界限

中图分类号：G434 文献标识码：A 论文编号：1674-2117（2024）15-0039-06

当前，人工智能技术正以前所未有的速度发展，日新月异的应用场景层出不穷，令人目不暇接。在这样的技术发展背景下，学生们对人工智能的探索热情被强烈地激发，他们不仅对人工智能技术的精妙原理与应用场景抱有浓厚的好奇心，更是会主动地对人工智能与人类的复杂关系展开思考。例如，人工智能如何改变人的行为方式和目标？人工智能的出现在哪些领域对人类的智慧发起挑战？在未来人工智能进一步大发展的时代，人的哪些能力是人工智能不能达到的，或者说，人工智能能力的界限在哪里？在人工智能这个复杂且前沿的领域，当教师面对这些问题时，或许不应该直接给出某个答案（实际上也很难给出一个明确的答案），而是要扮演引导者和启发者的角色，构建一个开放的、包容的且充满挑战的学习环境，让学生在其中深度思维、深层思辨，更重要的是，要让学生感受到，不仅仅是将人工智能视作一种作为科技发展成果的学习对象，更应结合宏观上的对人类未来命运的反思，将其视作密切伴随自己个人发展的重要羁绊。

本文将给出笔者自己设计的几个思想实验，试着对基于图灵机的人工智能的能力界限进行讨论。通俗地说，就是思考有哪些事情，是只能或最好是由人而不是计算机（指图灵完备的计算装置）去完成的。人们已经有这样的共识—在人工智能的时代，人的一些能力会变得不太重要，如单纯的记忆能力、简单重复性的任务执行能力、低层次数据处理能力等，但与此同时，人们在主观上希望人的某些能力是人工智能无法替代的，如批判性思维能力、创新能力等。考虑人工智能已经在之前人类自以为的相当一部分“专属”能力上取得了突破，如对宏观局势的直观、对艺术的模仿创造、完整的文本的分析与生成等，这不免让人怀疑，人类的“专属”能力库有些岌岌可危。本文的思想实验，暗示了人工智能的能力界限的存在，这其中隐藏的意味是，作为人属性的教师，有着比作为机器属性的教师所不可取代的作用，同样的，作为人属性的学生，应当学习如何充分显现人所特有的能力。限于笔者阅读量，很难说本文提出的思想实验的类似版本并未在之前已被他人提出，但值得一提的创新点是，这些思想实验的构建过程都能较为紧密地和“数据与计算”“算法的描述和特征”等日常的信息技术教学内容相结合，引导学生将学习的内容从应用的层面上升到系统性思辨的层面。

看动画的感觉机

首先来看这样的问题：人工智能或计算机能否真正像人一样进行感觉？这个问题在学界引起了广泛的讨论和争议。例如，内格尔（Thomas Nagel）曾写有《成为一只蝙蝠会是什么样》一文，由人不能体验到蝙蝠的感觉展开，内格尔提出一个对象只有拥有对某个体验的感受才算真正拥有这个体验，心智状态的主观性只能被这个对象本身所理解，不同的生物的感受是不同且不能相互体验的，也就是说，感觉本身是不可还原的[1]，就观点的结论来说，听上去像是庄子和惠子在濠梁之辩中惠子的观点，但内格尔给出了详尽的论证。与此观点相对应的，是丹尼特（Daniel Dennett）对接受感觉的主观的心灵之眼的驳斥，认为“一切心理现象和状态都是感觉输入到大脑中经过平行的、多路径的解释加工过程完成的……不存在意识与无意识间明确的分界线，各种意识现象，包括理解、判断、感受等，它们在凸显出来之前也都相互混杂在一起。在大脑的神经元网络中，根本找不到单独存在的主观感受”[2]，如从内格尔的观点推演，即便是生物都不能跨越种类体验相似感受，那么机器就更不可能像人那样去感觉现象；然而，丹尼特更倾向于认为机器在感觉过程中对现象信号的处理和人的处理并没有本质区别，两者间只有程度上的区别。围绕机器和人的感觉或感受问题，涌现出大量专业的（通常也是艰深的）讨论，如侯世达曾利用哥德尔定律来反驳内格尔的观点。[3]考虑到基础教育阶段学生们基础知识水平的限制，笔者试图围绕更容易解释的数据处理过程来构造思想实验，毕竟，当回答学生的问题时，一味用“以后才会学到相关知识”来回应，会让教师和学生双方都有挫败感。

“看动画的感觉机”思想实验的主要意图如下：如果某个智能机器从本质上说仍然是一个数据处理装置，如图1所示，且人们认为它不仅能像普通的机器那样采集和分析环境信息，也能够真的像人那样去感觉，那么可能会出现什么样的状况或矛盾？

假设播放一个颜色周期交替变化的动画，假设某类人的智能机器以离散的工作状态对颜色信号进行采集和处理，并且假设它能像人那样去感觉不同的颜色，这里称之为感觉机。由于这个看动画的感觉机在感觉的整个过程中，每一步细节都无法脱离机器的物理实体的状态变化，如存储器数据的变化、指令的调用等，乃至更为基础的底层电路中所有电子元件的状态变化，所以，整个感受过程中的物理状态变化过程是可以被完整跟踪记录下来的，于是，整个感觉过程本身都成为一系列可记录和再现的数据。举例说，对应整个感觉过程的时间{ta，tb，tc……ty，tz}所记录下来的当前感觉机之中的所有电子元件状态的集合为{{da1，da2，da3……dan}，{db1，db2，db3……dbn}，{dc1，dc2，dc3……dcn}……{dy1，dy2，dy3……dyn}，{dz1，dz2，dz3……dzn}}。于是就会产生出问题：很难认为，仅仅是在ty到tz的数据变化的那一瞬间，这台感觉机忽然就感觉到了，当然也很难说，在感觉过程完成之前，感觉机就已经感觉到了—这就好像人不可能在仅仅通过听到音符片段来体验某段音乐所带来的感觉那样，人所感觉的是音乐的整体。

按此推理，若感觉机真的能够感觉到颜色的周期变化，这应当是它对整体的电子元件数据变化进行处理的结果。所以，如果感觉机能感觉现象，那么它不仅应该处理现象带来的信号本身，还应该将整个信号的处理过程作为一种新的信号对其进行处理。这样，一台感觉机就成为面向内在状态变化的元感觉机，如图2所示。当然，元感觉机对整体变化感觉的过程，其实也对应着一种离散的数据信号的变化过程，于是，可以存在一种元元感觉机对元感觉进行感觉。无论是感觉机，还是元感觉机，还是元元感觉机……它们所面对的都是一系列的表示物理状态变化的符号，于是，感觉机对感觉处理过程的感觉的存在方式，和感觉本身的存在方式没有类型上的区别，通俗地说，如果看动画的感觉机能感觉到颜色，那么对感觉机来说，感觉一种感觉处理的过程也将会是一种颜色。这种感觉方式显然和人不同，或者换个角度说，感觉机其实并不能像人那样感觉现象。

感觉机还有一个更简单有趣的版本，称为太空感觉机，如果将感觉机的电子元件拆开分置在各处，如有的元件放置在地球上，有的放置在月球上，有的放置在火星上，电子元件之间通过某种远程通信装置实现信号传递，那么这样的远距离通信感觉机能整体感觉到自然的现象吗？如果能感觉到，那么到底是什么时候才能感觉到？可以将距离进一步拉长，如太阳系和最近的星系半人马座α三星系统距离4.25光年，有将元件分别放置在这两个星系上的某台感觉机，它用极其长的时间来进行通信，那么，它什么时候才体验到某种感觉？难道是对跨越时空的所有数据处理完毕的那一刻？或者，是在机器最终输出“感受完毕”的消息时，才算是真正感觉到了？可以发现，这里存在着一种直觉上让人难以认为合理的状况。

以上思想实验给出的暗示是，智能机器的可记录为物理状态变化的感觉过程，很有可能与人的感觉过程是不同的，需要指出的是，这里的智能机器是基于当前的数字计算机离散式地处理数据的方式运作的，本质上都等价于图灵机，未来的计算机能否超越当前的运算方式，目前还很难说。关于智能机器是否能真正像人那样感觉，还有一些记载于文献中的思想实验，其中有名的如“莱布尼兹的磨坊”“玛丽的黑白房间”“哲学僵尸”等，它们有着与本文给出的故事所不同的趣味，也能引发出进一步的思考，“太空感觉机”似乎也可以看成是“莱布尼兹的磨坊”的升级版本。不过，“感觉机”的工作过程对应着计算机数据处理的过程，有着与日常信息技术教学更为紧密的联系，同时，这也是属于教师个人的原创故事，应当更能激发学生的思考。

自我复制的领悟机

接下来的问题是：计算机或智能机器是否能真正领悟某个知识？

2012年，计算机科学家提出了Winograd模式测试[4]，用以评估智能机器能否更好地“理解”人类语言，该测试给出一些文字相近但含义模糊的句子，考查人工智能能否给出正确答案。例如：

句子1：我把水从瓶子里倒进杯子里，直到杯子满了。

问题：什么是满的，瓶子还是杯子？

句子2：我把水从瓶子里倒进杯子里，直到它空了为止。

问题：什么是空的，瓶子还是杯子？

在提供大量文本对人工智能进行训练后，成功率可以提升到90%以上，这能够证明人工智能可以理解人类的语句吗？恰恰相反，考虑到人工智能根本没有接触现实世界，它只是对已有文本进行了概率和相关性方面的分析，所以，如果将算法置于黑箱中，只观察数据的输入和输出，无法得知人工智能给出的正确答案，到底是否基于真正的“理解”或“领悟”。

笔者构造了一个所谓的克隆领悟机的思想实验，思考过程相当简洁：假设智能机器能够真正领悟某个问题，则可将其称为领悟机，那么和感觉机一样，只要它是以离散状态运作的，就能够把它的领悟过程完整地记录下来成为一系列的数据。然后，只要简单地复制—粘贴，就能让其他领悟机再现数据的变化，那么是否能推论说，这就相当于是让其他的领悟机也领悟了？为了进一步显现出认为智能机器能够领悟的不合理之处，可以考虑对所谓领悟数据的过程额外增加一个编码和解码的过程，也就是说，不直接将领悟机中领悟数据X复制给其他领悟机，而是有意添加一系列毫无必要的数据转换步骤，如先压缩数据然后再解压缩。领悟机的一系列的不必要的转换过程，对应着跟踪记录物理状态信号变化的数据Y，数据Y中大多数步骤对解决问题并无作用，只是让数据多变换几次又重新回到真正解决问题的轨道上，如图3所示。那么，在其他领悟机复制并再现数据变化的过程中，它究竟是领悟了问题，还是领悟了自己其实根本就是在兜圈子而已？这暗示着，智能机器可能并不像人那样领悟问题。

关于人工智能是否能真正理解和领悟的问题，有一些著名的思想实验，如艾米丽·本德尔的章鱼、塞尔的中文屋等对其进行了验证。其中，中文屋思想实验是对图灵测试思想实验的反驳，具有很大的影响力，引发了热烈的争论。由于很容易找到这些争论文章，本文不再展开讨论。

有趣的创规机

人工智能已经在艺术创作领域展现出令人震惊的才华，它已能够模仿艺术家的风格，创作出难以辨别出究竟是人还是机器创作出来的作品。然而，人工智能是否能具有独创性？德雷福斯（Hubert Dreyfus）认为人工智能无法真正做到独创，因为所有基于算法运作的机器，都需要一个形式化的规则，但独特的创新，需要的是设计形式化规则的能力，于是，智能机器面对了所谓“规则回归”的问题[5]，也就是说，需要一种复杂到难以想象的形式系统来生成各种功能的形式系统。当然，有学者认为这种复杂到难以想象的形式系统未必是被设计出来的，它有可能是长时间进化的结果，并且，一个形式系统可以利用底层规则模拟出形形色色的高层规则，这种模拟和进化的作用结合起来，最终生成极其复杂的形式系统是有可能的。显然，也可以认为心智就很有可能是这种进化的结果。[6]

一个能够基于底层规则模拟出各种规则的机器，能否认为其能够创造规则？假设真的有这样一种创造规则的元规则机器，这里称其为创规机，再假设可以用它来实现各种创新，如实现这样的任务：创造一种当前还没有人创造出来的有趣的游戏。其工作模式是这样的，首先，随机地生成各种各样的游戏，其次，判定并筛选出其中有趣的游戏。这里存在两个问题，一是怎么定义“游戏”？在本栏目文章《电线世界与模拟神经元的游戏—兼谈规则与创新》中对这个问题已有论述，这里不再讨论。二是怎么定义“有趣”？这里先假设这个创规机可以判定何为“有趣”，若非如此，它就无法实现创造有趣游戏的任务了。于是就可以构造这样的思想实验：某个游戏是由两个时间阶段的场景组成的，场景一相当无趣，场景二则相当有趣，但为了进入到场景二，玩家必须先玩通十分无趣的场景一。不过，场景一的无趣其实是一种铺垫，为后续场景二的情节提供了相当多的素材和新鲜感，如果没有场景一的无趣，也就没有场景二的有趣。

如果创规机能够按“有趣”的属性对游戏进行筛选，那么当它面对这个“无趣—有趣”组合而成的游戏时，要想判定其是否有趣，就需要对原来的“有趣”属性的判定方法进行修改。即便假设这个创规机拥有完备的“有趣”属性判定能力，当面对更多的“无趣—有趣”场景组合时，它也是无能为力的，因为只要它更新了判定规则，“无趣—有趣”的场景也就能给出新的组合。这暗示了，判定某个游戏是否具有“有趣”的属性相当困难，甚至是不可能的。有人可能觉得，产生问题的缘由来自于“有趣”这个概念的不确定，其实，即便放宽要求，仅仅是自动化地判断某个程序是否具有某种确定功能，也是相当困难的。从这个思想实验中可以引出一个谜题：是否有可能设计出一种人工智能的程序，用来判定另一个程序具有某种确定功能？

为了设计一种程序，用来判定另一个程序是否具有某种确定功能，首先要将这种功能确切地描述出来。对人来说，自然语言的描述就可以了，对计算机来说，可以用算法或程序代码的形式来描述，或者将自然语言描述转换成算法或程序代码。这恰好对应了教学中算法的定义、描述方法及特征等内容。所以，刚才的问题等价于如何设计出一个程序，判定另外两个代码并不相同的程序在功能上是否相同。

考虑存在某程序A，它的功能是对输入的字符串进行长度的计算，并输出一个长度数据，除非输入的字符串恰好是程序A自身的代码，如果真的出现了这个情况，程序A输出字符“T”。另有一程序B，它的功能也是对输入的字符串进行长度的计算，并输出一个长度数据，除非出现以下两种情况：一种情况是，输入到程序B中的字符串恰好是程序A的代码，且程序A和程序B功能相同，这时就输出字符“F”；另一种情况是，输入到程序B的字符串恰好是程序A的代码，且程序A和程序B功能不同，这时就输出字符“T”。

虽然，上面构造的程序A和程序B的功能都是合理的，但如果要判断程序A和程序B的功能是否相同，就会出现逻辑上的矛盾，由此可以认为不存在特定的程序代码，可以判定两个代码不同的程序的功能是否相同。有人可能会说，对于这种故意构造的逻辑悖论，就算是人类也无法进行合理判定，但其实这里要表达的深层含义是，存在一些人脑能够接受的语言描述，实际上却根本无法转化成程序代码，因此，算法具有一个“可行性”的特征，所谓“可行性”，并不是像在日常授课时所说的，代码在遇到除以零、给负数开平方根这些错误时就会报错那么简单。在计算理论中，此类问题早有定论，称为莱斯定律，一般将莱斯定律转化为图灵停机问题来实现证明。笔者绕过图灵停机问题直接构造逻辑悖论，是为了让证明过程更容易被理解。相信类似证明早已有人提出，只是暂时没能看到相关文献。

结论

有些思想实验可以直接对某些问题给出证明，如伽利略探究惯性原理所设计的思想实验，更多的思想实验并不直接证明什么，而是给出一种直觉上的启发。本文给出的思想实验强调了人在创新方面可能具有当前的人工智能难以替代的独特作用，同时也提示了一些看似容易理解的日常概念用语，值得更深入地去思考和探索。

参考文献：

[1]NAGEL T.What is it like to be a bat？[J].Philosophi cal review，1974，83（04）：435-450．

[2]宋尚玮.丹尼特的自然主义认知哲学[M].北京：科学出版社，2016，97-99.

[3]侯世达，丹尼尔·丹尼特.我是谁，或什么——一部心与自我的辩证奇想集[M].舒文，马健，译.上海：上海三联书店，2020：443.

[4]Levesque，Hector J. et al.The Winograd Schema Challenge[C].AAAI Spring Symposium：Logical Formalizations of Commonsense Reasoning，2011.

[5]休伯特·德雷福斯.计算机不能做什么——人工智能的极限[M].宁春岩，译.北京：三联书店，1986，5.

[6]丹尼尔·丹尼特.达尔文的危险思想[M].张鹏瀚，赵庆源，译.北京：中信出版集团，2023：224.