强人工智能安全预警研究

王岩 宋艳玉

[摘 要]本文介绍了AI的演变流程，根据其特点分析了潜在风险及应对措施——友好定律的局限性，进而对ASI风险的观点派别及纰漏加以论述，并提出本文的观点主线：奇点无疑将会推动社会更迭发展，但鉴于ASI风险的严重性及不可逆性，必须放缓开发速度，认真审视并深入研究风险应对策略，最终给出了相应建议。

[关键词]超级人工智能;智能爆炸;奇点;潜在风险;友好AI

doi：10.3969/j.issn.1673 - 0194.2018.20.069

[中图分类号]TP18[文献标识码]A[文章编号]1673-0194（2018）20-0-03

1     AI的演变

对于AI的发展演变，较为通识的三阶论为：弱人工智能（ANI）、强人工智能（AGI）、超级人工智能（ASI）。ANI技术正遍布人类的生活，如谷歌搜索、语音识别、无人驾驶等，它充斥在人类生活的每一个角落，为人所用。

随着ANI的普遍应用，各国很多机构纷纷以隐形公司的形式开发强人工智能，在这里把它定义为：具有人类的感知和认知，可进行自我思考和自我改进的人工智能，简称为AGI（Artificial General Intelligence）。库兹韦尔曾借助收益加速定律提出一个新的观点，他认为有一套平滑的指数曲线支配着演进过程、技术发展，又和演进过程相似。对于生物进化而言，每一阶段产生的最新技术，都将会被应用在下一个阶段的演变，且加速了这个过程。AGI的智商与人类在同一水平，它可由最初的自我学习、自我思考，过渡到寻找解决问题的方案，最终能实现自我编程。AGI的编程能力、运算速度强于人类，且具备强大的知识库，它有望可以加速解决困扰人类的众多问题。在当前全脑仿真、神经网络、生物感知等技术的支撑下，AGI智商有望从人类水平演变到超过人类的阶段，即超级人工智能（ASI，Artificial Super Intelligence），使人类宇宙达到一个新的技术奇点。毋庸置疑，奇点一定会来临，但不同于奇点临近论，笔者认为它不会如预测那样快速到来。

以结果为导向的超级人工智能具备和人一样甚至更加智能的大脑。当人类对ASI下达指令，它会以该目标为驱动，若有人中途切断电源，出于生存的本能以及对目标的追求，它将会试图摆脱，在其他机器上创建大量副本以转移生存空间，造成资源浪费并带来安全隐患。长久以来，超级人工智能会对人类做出的指令重新思考，并试图摆脱这种受困的境况，它会反复试验、钻读去操纵别人，说服别人帮它逃脱，进而发展成非类人的人工智能。这种情况下，人们是否还能乐观地拥抱奇点，人类如何与一个能力更强的生物共存成为一个值得关注的问题。

2     ASI的潜在风险

2.1   智能爆炸

ASI在强数据处理能力的支持下，可以生成改良后的版本，接着，新版本可能会自我修复、自我完善，生成一个更加智能的版本，循环往复，最终将导致智能爆炸。智能爆炸的速度是不可预计的，如果它以温和缓慢的速度进行，则人类有足够的时间接收信息、制定策略;若它迅速爆发，人们将无法及时反应甚至介入更改偏好设置，将会带来严重的后果，当然，这需要一个对超级人工智能动机进行实时监控的反馈系统。

ASI具有快速繁衍性，只要有一个程序，就可在多个机器上复制副本，若母本受污染，会迅速在网络中传播病毒，蔓延蠕虫，极具破坏性。以互联网为例，僵尸网络可向受病毒感染的计算机传送垃圾邮件，恶意窃取信息，2007年便发生了一起价值几百万美元的案件，至2010年涉案金额已达上万亿美元。除此之外，黑客的木马可以入侵公司、企业的主机上，进行勒索和盗窃，美国司法部、银行的网站也曾未免于难。城市的智能基础设施更是极为脆弱，如智能电网都是紧耦合的架构，倘若被攻击，整个系统会迅速瘫痪。乔·马扎弗洛曾表示，网络攻击之所以击倒性地破坏稳定，是因为互联网在开发时就没有考虑到安全性。若对超级人工智能的安全不加以控制，未来的破坏将不仅仅是击倒性的还将会是瓦解性的。

2.2   背叛转折

牛津大学伦理学家尼古·博斯特拉姆认为，将超级智能拟人化是最大的误解。就人类与大猩猩的关系而言，人类是由大猩猩演变而来的，但是人类并未对这类生物表现出友好及顺从，超级人工智能也是同样的道理。虽然人类不憎恨候鸟，但还是会将其捕杀，所以超级人工智能对人类的行为不是出于情感的需要，仅仅是为了获得自由和自我决策的权利，便可对人类痛下杀手。所以引入友好定律不再只是道德问题，而是必须要解决的棘手问题。

超级人工智能是具备自我思考和自我改善的机器人，在结果导向下，它会根据自身需求，编程制造程序段。这种机器造机器的行为趋势，势必能够帮助人类开发尚未解决的项目及领域，如纳米技术。如果ASI使用了纳米技术，且在不受道德约束下，失控的纳米机器人会疯狂地无限制复制，地球将在瞬间变成“灰色黏质”，人类社会也将终结。

超级人工智能对人类不存在任何感情，那些機器人会对主人友好顺从的画面，不过是科幻小说中的情节。人工智能越聪明就越安全，但存在一种现象叫"背叛转折"，当人工智能由愚钝变得聪明时，安全性会有所提升，若它由聪明变得更聪明，反而会增加危险性。比如人类对它做成任务指定后，它会根据自身的价值观对指令进行衡量，扭曲结果，改变动机，并非完全按照指令进行任务。且人类在完成任务后切断机器电源，ASI会为了摆脱这种受困的现状，将自身代码复制在网络中、其他机器上，失控的机器人可能会利用人类的原子做出不可控的事情。

3     友好定律的局限性

引入友好定律便友好定律无论从研发或是引用角度，都备受质疑，它的推行存在诸多的阻碍因素。

3.1   开发局限性

就编程方法来看，AI使用遗传编程和神经网络搭建。普通编程由人类根据逻辑编写，一行一代码，可视可检查。而遗传编程只需要表述要解决的问题，其余由计算机自主完成。遗传编程会创建一个可繁殖复用的代码，用适合解决目标的代码进行杂交，创造可应用的新一代代码，实现新功能，编写高效率的创新软件。这种方式杂交出来的代码深不可测，程序员无法理解中间操作且无法轻易复制，理解了输入，但不了解潜在过程，且中间过程不可控，这种系统称为“黑箱系统”。神经网络是AGI开发工具中的重量级因素，但它也是“黑箱系统”，输入透明，输出不可控且无法预测，安全性没有保障，也为人类的研究增加了难度系数。

这两种编程方法，输出的结果容易偏离人们对程序友好性的善意期待，且增加了友好AI的研发难度。若想在黑箱系统中加入友好AI接口，无异于要理解系统中间的潜在过程，难上加难。除此之外，友好AI需要具有连贯意志，人的价值观会随着事物和所处环境的变化而改变，AI必须能够预测、了解人的想法，推导出更好的价值观，不能一成不变，用三十年前的道德标准衡量现在的事情。所以这种方法需要对人类价值观进行追踪，编写出可以自我更新的道德加载软件，这也是笔者认为奇点终将到来，但不会如预判的那样迅速的原因所在。

人工智能的心智不一定非要模拟人类大脑，它可能拥有一套与人类心智相异的体系结构，需要挖掘它们的认知架构，并加以介入。这对构建它们的情感带来巨大的挑战，但也有可能是一种新的机遇，毕竟在超级人工智能的程序段中加入人类的道德友好性接口也不是一件容易的事情。

3.2   应用局限性

太多国家从事AGI及相关技术的开发，他们为了抢夺先机，自然不会推迟研发进度，在各种激励因素的影响下，AGI的成功研发必将早于友好AI的问世。一些组织及私人机构将超级人工智能的研发定位于战争或杀戮，如美国武器化机器人，他们自然不会同意在他们的代码中加入友好AI接口，且非类人的超级人工智能可能会拒绝中途介入的偏好设置，这给友好AI的应用带来困难。

除此之外，人们不得不考虑某些组织利用超级人工智能制造自动化武器。尽管2015年AI学者们曾在全球范围内呼吁禁止研制自动化武器，但是仍然没有影响一些国家的研发进度。与核武器类似，这些国家担心其他国家秘密研发，自身安全无法保障，这种全球性的军事竞争激发了ASI的研发速度。缺乏友好定律和道德准则的战场机器人如果落入反恐组织或被用于其他犯罪行为，社会的安全和稳定将受到威胁，所以第一台超级人工智能的价值观将直接影响今后ASI的研究和发展方向。如今对超级人工智能的管理机制、相关的法律法规尚不健全，建立完整的体系迫在眉睫。

4     ASI风险的观点派别及纰漏

各国政府都纷纷加大人工智能研发的投入，争先创造强人工智能抢夺战略的制高点。就美国而言，它有很多隐形公司，接受国防机构达帕的资金投入，致力于开发超级人工智能。达帕授权其承包商在战场机器人和自动无人机上使用武器化的AI，它将继续资助AI的军事用途，直至开发出AGI。其他国家自然不甘落后，欧洲主攻服务和医疗上的机器人，日本主攻仿人和娱乐机器人，这种抢夺式的开发现状，使开发人员无暇放缓进度，认真思考ASI是否会带来潜在风险以及奇点是否可逆。

4.1   拥抱奇点论

大多数研发人员期望通过超级人工智能能够解决纳米技术、抗癌研究、基因重组等其他人类尚未解决的困难，正是这种为了让人们迅速做出对生物进化有益的决策，反复只采用一种不理性决策，让开发者忽略了人工智能可能带来的风险问题。除了此类认知偏差外，还受易得性偏差、正常化偏差、奇点乐观偏差等的影响。奇点乐观偏差即出现奇点不会带来灾难，或者说人们可以预见这种技术所产生的灾难，并可以有效解决。这类想法涵盖了部分学者，他们认为可在某种灾难发生后，再针对此次危难做出针对性的决策。但是，超级人工智能的特性决定了其风险属性不同于机器故障，机器故障通常在问题解决后即可正常使用，但ASI发生故障后对人类的影响通常是不可逆转的，人类只要输上一次就会酿成灾难性后果。

4.2   人类灭亡论

2017年3月，史蒂芬·霍金在接受《泰晤士河》采访时，再次发出警示声明：人类需要控制以人工智能为代表的新兴科技，以防止它们在未来可能对人类生命带来毁灭性威胁。持有此类人工智能魔鬼论的还有特斯拉汽车的总裁埃隆·马斯克，他们对人类无节制地开发表示担忧，并且不相信人类能够控制住人工智能这个“恶魔”。美国知名作家詹姆斯·巴拉特也曾在他的著作中表示：人工智能将是人类最后的发明。

4.3   技术决定论

除此之外，还有一种以于尔根·施米德胡贝等学者为代表的“技术决定论”。他们认为，技术推动社会进步和人类价值观的发展，未来宇宙会是机器人文明时代，人类会被新技术灭绝是大势所趋。人类作为生物进化阶段的垫脚石，如果能用智慧推动社会的更迭发展是莫大的荣誉，不需战战兢兢地为新技术奇点到来而恐慌，更不要阻碍时代的前进。但这种奇点死亡论蔑视了人性，质疑了现有科学，脱离了现实。

不同于這些极端的想法，人们不强调这类灾难一定会发生，也不反对技术发展将为社会带来贡献，只是对超级人工智能所有的潜在风险都加以考虑，为更加稳定繁荣的人类社会发展做准备。奇点固然会到来，但不意味人类就要孤注一掷地拥抱奇点，考虑到超级人工智能风险的不可逆转及严重性，人们要在研发的初始阶段就需将应对策略加入其中，从根本上扼杀可能的隐患，变被动为主动。

5     应对措施

为了规避超级人工智能的潜在风险，我国率先停止AGI研发也是否不可行的。AI技术对社会各方面发展的加速推进作用是毋庸置疑的，且若其他国家继续从事ASI开发，罔顾国际社会的干预，会将我国置于被动之中。更了解才能更好地应对，做好防护，不鲁莽，慢行，慎行。