防范超级智能机器风险

尹传红

前不久，一个顶尖国际研究团队进行的理论计算结果证明：我们很可能无法控制超级智能机器。该研究团队构想的一种理论遏制算法——通过模拟人工智能（AI）的行为并在被认为有害的情况下予以制止，已被证明是不可行的，即任何单一算法都无法判断AI是否会对世界造成伤害，也无法阻止伤害的发生。

“一个超级智能机器控制整个世界，这听起来像是科幻小说。但是，已经有一些机器能够独立完成某些重要任务，而程序员却不完全了解它们是如何学会的。”马克斯·普朗克人类发展研究所的研究小组负责人曼努埃尔·塞布里安说，“因此，问题就出现了，这种情况是否会在某一时刻变得无法控制并对人类构成危险？”

类似的一种情形是：如果有人要为一个智能优于人类的AI系统编程，使它可以独立学习，那么，与互联网相连的AI可能会访问人类的所有数据，可以取代现有的所有程序，并在线控制全世界所有的机器。

这绝非危言耸听。

曾密切观察芯片、电脑、网络的发展以及这几个领域间相互影响的美国未来学家詹姆斯·坎顿惊叹：一个建立在全球网络上的虚拟意识已经呼之欲出了！就像如果Fin代表了某台电脑的心智，网络就可以说代表了一个连接了数百万台电脑的心智。当我们把能源、健康、安全、防卫、通信、金融、市场等越来越多的基础运作交给彼此相连的超级电脑来处理时，就越有可能出现独立思考的电脑智能。而全球有这么多台电脑彼此相连，其可能性是无限的……

英国著名物理学家斯蒂芬·霍金在生前曾发出警告：“‘人工智能可能是发生在人类身上最好同时也是最糟糕的事情，所以正确的引导对人类来说意义重大。”美国著名工程师、实业家埃隆·马斯克则认为，创造人工智能是“召唤恶魔”的举动，并将其视为人类“最大的生存危机”。

在这些悲观主义者眼中，超级智能一旦出错，将会是一场针对物种层面的威胁，更是一件关乎人类存亡的大事件。

看起来，人类最应当提防的，是人工智能的自我诞生。在科幻电影《机械姬》《终结者》和《黑客帝国》中，对具有独立意识、意欲控制或毁灭人类的智能机器，都有过骇人的描述。

可以想见，如果人类会丧失理智，在某种意义上，人工智能也可能会。一旦人类不再是地球上最聪明的物种，那么他们的存亡将取决于超越他们的物种的想法。甚至有人提出，我们现在就已经理解不了自己所创造的一些东西了，这种不透明性会不可避免地指向暴力。

从模拟人类智能延伸而来的人工智能，如今已成为全球数字化发展的核心赋能技术，近20年来一直处于开放性的高速发展之中，且具有高度的不确定性。它与物联网、基因编辑等一起被视为可能会对经济社会与人类未来造成根本性、深远性、普遍性影响的颠覆性技术。

身处方向不明的变革时代，人们常常会以一种不安的心态看待未来，似乎进步本身就意味着风险。而一些案例研究表明，依赖复杂系统的风险是难以预测的，因此很容易完全失控。

今天，在世界各国纷纷提出人工智能发展规划和战略的同时，人工智能的伦理风险与治理也成为全球共同关注的焦点。对人工智能可能造成的社会影响进行更加深入系统的研究应该提上议程了。在此基础上，构建起考虑到最坏情形的社會风险防范机制也势在必行。