安全第一——步入人工智能时代

萨姆·温特·利维（Sam Winter-Levy） 雅各·特拉费森（Jacob Trefethen）晓 舟/译

安全第一
——步入人工智能时代

萨姆·温特·利维（Sam Winter-Levy） 雅各·特拉费森（Jacob Trefethen）
晓 舟/译

选自美国《世界政策》杂志2016年春季号

1933年9月，英国科学促进会（the British Association for the Advancement of Science）在伦敦开会，讨论原子能的前景。在经过两个星期的辩论后，这次大会以诺贝尔奖获得者、科学家欧内斯特·卢瑟福（Ernest Rutherford）的一场演说而结束，他断然反驳了核裂变这种可能性，宣布：“任何期待从这些原子转变里获得一种能源的人都是在说胡话。”

第二天，一个名叫利奥·西拉德（Leo Szilard）的匈牙利年轻科学家在早晨喝咖啡时从《伦敦时报》（The Times of London）上看到了卢瑟福这场演说的摘要，西拉德是一位失业的犹太难民。在等红灯的时候，西拉德醒悟过来：“我突然想到，如果我们可以发现一种由中子裂变产生而且当其吸收一个中子的时候将释放出两个中子的元素的话，那么这样一种元素可能维持一个核链式反应，而且可能以工业的规模释放出能量。”在一年之内，西拉德就获得了这种中子诱发的核链式反应的专利。12年之后，一架名叫伊诺拉· 盖伊（Enola Gay）的B-29型轰炸机将会在广岛（Hiroshima）上空投下第一颗原子弹。

科幻作家阿瑟·克拉克（Arthur C. Clarke）曾经说过，“当一位杰出但又上了岁数的科学家称某事是可能的时候，他几乎肯定是正确的。当他称某事是不可能的时候，他很可能是错误的。”在20世纪30年代原子弹研制前以及自此以来的各种技术突破已经证实了这句名言的真实性。如此，当人工智能（AI）标准教科书作者、加州大学伯克利分校计算机科学教授斯图尔特·罗素（Stuart Russell）警告说，研制出一种比人类智力远更强大的人工智能系统是可能的、而且这样一种突破可能带来极为严重风险的时候，他所说的话应当引起人们的重视。

突 破

在过去几年里，人工智能各种创新大批涌现。 2011年，国际商业机器公司（IBM）超级计算机沃森（Watson）击败有血有肉的卫冕冠军肯·詹宁斯（Ken Jennings），并且在智力问答竞赛节目《危险边缘》（Jeopardy！）中获胜。2013年，软件公司Vicarious宣布它已成功破解了旨在区分人类和计算机的 CAPTCHA测试（全称为Completely Automated Public Turing Test to Tell Computers and Humans Apart ，全自动区分计算机和人类的图灵测试——译注）。自动驾驶汽车已在硅谷出现了。最富有戏剧性的是，2015年10月，由谷歌旗下Deep-Mind公司（Deep-Mind是世界著名的人工智能公司）研究人员所研制出的一种人工智能系统在围棋比赛里击败了欧洲冠军，人类在数十年的围棋比赛里一直挫败计算机。与此同时，诸如谷歌、国际商用机器公司和脸谱网（Facebook）等公司在各自的机器学习部门已投资了数亿美元。

人工智能各项突破可能为世界各地的人们和商业带来前所未有的机遇。然而，这类进展将会与各种风险相伴，这些风险迄今为止在很大程度上已被忽略了。当人们从事人工智能研究的时候，他们已经几乎完全集中在其对于经济不平等所带来的各种影响上，忽视了一个更加根本性的问题：保持对于可能有朝一日远比人类更聪明的各种系统的控制这项挑战。

目前的技术离具有这类能力还差得很远，而且一些人相信它将永远不会到达那里。可是，来自技术界和科学界各方面的杰出人士对于冲向人工智能的各种可能负面影响已经表达了担忧。特斯拉汽车（Tesla）和太空探索技术（SpaceX）公司首席执行官伊隆·马斯克（Elon Musk）把开发人工智能称为“正在召唤恶魔”。比尔·盖茨（Bill Gates）、史蒂夫·沃兹尼亚克（Steve Wozniak，）、彼得·泰尔（Peter Thiel）、史蒂芬·霍金（Stephen Hawking）和弗兰克·维尔泽克（Frank Wilczek）都对这些潜在危险发出了警告。在人工智能研究人员当中，虽然罗素一直是最为直言不讳的，但是他并不孤独：包括计算机科学家史蒂夫·莫亨德罗（Steve Omohundro）、穆雷·沙纳汉（Murray Shanahan）和戴维·麦卡里斯特（David McAllester）在内的许多专家警告说，人工智能可能构成一种存在的风险。 2008年，对出席在牛津大学召开的一次有关全球灾难性风险会议的专家所进行的一项调查认为，超级人工智能超过核战争、各种被操纵的流行病和气候变化成为人类最大的存在威胁，到2100年的时候，这种人工智能导致人类灭绝的可能性为5%。

这些专家对于一台蓄意寻求伤害人类的计算机接管世界、也即所谓的终结者场景这种前景并不感到担心。相反，他们担心陪伴着一项具有巨大威力技术出现所产生的各种意外后果，其动机将完全源自于各种计算机编码行。当你的便携式电脑行为不端、做你偶然告诉它去做的但并非你希望它做的事情的时候，各种后果可能不会比一个丢失的Word文档糟糕。如果一个超级人工智能有类似行为，服从其程序员所编写的指令、而这些程序员却未充分预测到这些指令的全部影响的话，那么各种后果可能招致全球性灾难。

虽然在所有领域里能够像人类那样表现出色的机器的到来可能尚需几十年的时间，但是一旦机器可以比肩普通人类智能，那么它们也许很快便会超过后者。这样一种转变的后果将是意义深远的，而且如果这种智能的目标与我们的目标并不完全一致的话，那么这些目标也许就不是正面的。这种前所未有的转变可能是不可逆的。在过去半个世纪里，人工智能各种风险的讨论仅属于各种科幻小说和银屏——但是现在已不再是了。

智能爆炸

各种狭窄的或者弱小的人工智能系统在有限的、事先就确定了的领域里工作，而且它们已存在了几十年。从手机上的各种导航应用程序到亚马逊（Amazon）公司的推荐系统、再到机器翻译工具乃至产生了今天这么多金融活动的各种自动化股票交易算法，这类系统在各自特定领域里能够以一种类似人类的或者远高于后者的智能水平工作。自从1997年国际商业机器公司的深蓝（Deep Blue）机器人击败了俄罗斯特级大师加里·卡斯帕罗夫（Garry Kasparov）以来，世界上最好的国际象棋棋手就一直是一台计算机。人工智能研究先驱者之一约翰·麦卡锡（John McCarthy）说得颇有道理，他抱怨说，“它一工作，就再也没有人将它称为人工智能了。”

但是，深蓝只能在国际象棋里打败人类。相比之下，通用人工智能（AGI）指的是任何一台在范围广泛的智力任务里能够全面比得上人类的机器。通用智能是一个更难以解决的问题，而且，较之于专家们50年前预测它将会取得的进展，现在这方面的进展是不太引人注目的。可是，在过去5年里，新的视觉和语音识别系统方面的突破已经令人工智能研究人员感到吃惊了，而最有希望的迹象是谷歌DeepMind公司创始人杰米斯·哈萨比斯（Demis Hassabis）所领导的研究。DeepMind这个团队，据报道正在研制一种教自身如何玩诸如太空入侵者（Space Invaders）等49种不同雅达利（Atari）街机游戏的系统，不仅学习各项规则，而且学习如何获得最高的游戏得分。这些研究人员给为对这些游戏一无所知的代理人编写程序，除了告诉后者得到尽可能高的分数之外。在多次玩了这些游戏后，这个人工智能就为自身制定出最佳策略，包括某些就连这些设计人员自身都不知道的策略在内。哈萨比斯把这种情况说成是“朝着证明一个普通的学习系统能够工作的第一个意义重大的阶梯” 。当然，除了视频游戏的设计人员之外，这个阶梯根本不具有威胁性。

各种最严重的人工智能安全问题不是来自于狭窄的智能或者通用智能，而是来自许多专家认为将会很快跟随着通用人工智能而来的东西：人工超级智能。因为一种学习的能力将成为任何一个达到通用智能的系统里的一个重要组成部分，所以这种人工智能将能够提高自身的各种能力——这样一种人工智能将能够替自身设计一种改进版本，随后那种更聪明的人工智能版本将会做同样的事情，等等。这种递归的自我改善可能导致一次“智能爆炸”，这是阿兰·图灵（Alan Turing）的同事之一、数学家古德（I.J. Good）在1965年最先确认的一种场景，在这种场景里，一个系统的智能甚至有可能在一个相对短的时期里从一种在大多数领域低于人类、不过在诸如数学和计算机科学等学科里却有着特定能力的水平提高至一种远远超过人类所具有的那种水平。

牛津大学人类未来研究所（the Future of Humanity Institute）所长尼克·博斯特伦（Nick Bostrom）教授认为，因为机器超级智能的两种特征，灾难就成为这样一种智能爆炸的默认结果。

首先，没有任何理由相信一个人工超级智能将会有着如同聪明的人类所具有的那样的目标。鉴于人类智能常常是跟沉思、同情和非暴力相关联的，因此，比起构建一个重视人类福利或者有着某种道德上的善观念的人工智能，如果它们终究是能够加以编程的话，那么为一个将最终的价值放在只是估算圆周率数字上的人工智能编程要容易得多。

其次，即使当人工智能编程员们有着各种良好意愿，良性的最终价值也可能导致各种意想不到的灾难性后果。许多最终的目标，当被精确解释的时候，将会获取尽可能多的资源并且消灭各种威胁。人类也许就构成这样一种威胁，而且他们肯定控制着各种资源。确保一台比其创造者更强大的机器不会通过跟这些创造者真实意图完全背道而驰的方式解释其目标，这一点比它看起来要难得多。博斯特伦提供了两个简单例子来说明这种困难。一个为最大限度增加一家工厂回形针生产数量这项平凡任务而设计的人工智能，若是在逻辑上被推到极端的话，就会开始垄断来自于其他地方的资源。一旦它认识到人类具有将其关掉并且结束其回形针生产任务这种权力的话，那么它就可能会将人类看作是一种威胁，并且采取适当的行动——更换工厂大门上的电子锁，或者改编工厂首席执行官特斯拉汽车制动系统的程序，或者采取“让人类微笑”这一最终目标—一个适度勤勉的人工智能也许将这解释为“人面部肌肉组织逐渐瘫痪，最终变成始终如一的咧嘴笑”。

鉴于那种超级智能的出现还需要几年的时间，所以如此详细地猜测有关更现实地通向灾难之路可能是误导性的。但是这类场景不难想象。即使在今天，社会的很大一部分都靠数字运转。服务器储存各种金融资产；维基百科（Wikipedia）和谷歌图书（Google Books）汇集人类知识的总和；而各种军用和商用无人机正越来越多由软件来引导。为了适合于一种出自于著名人工智能安全理论家埃利泽·尤德考斯基（Eliezer Yudkowsky）所设想的灾难场景，一个有着互联网接入口的人工智能可以浏览一遍现有生物技术研究论文，研制出一种特别致命的病原体，并且将脱氧核糖核酸（DNA）的各种规格说明书通过电邮的方式传输给各种在线实验室，后者随后用联邦快递公司（FedEx）递送系统提供脱氧核糖核酸的合成和测序（这类实验室已存在了）。只要找到一位可以收费或者受骗去接收联邦快递公司特快专递的小瓶并且以一种指定的方式将瓶子里的物品混合的人就可释放出一种全球流行病。

专家们把确保第一个超级人工智能对于人类具有正面后果这一挑战描述成控制问题。通用人工智能的到来几乎肯定是一种相对遥远的前景——各种专家的中位数估计将其到来的时间定于2040年——而有些人则争辩说这使得现在致力于控制问题成为一种愚蠢的尝试。例如，中国搜索引擎百度首席科学家吴恩达（Andrew Ng）把人工智能安全措施的研究比作预防在火星上人口过剩的研究。但是，不同于人口过剩，控制问题是我们可能只有一次机会解决的事情。此外，各种意想不到的突破带来通用人工智能可能比我们想的要快，专家们认为具有人类水平的机器智能到2022年的时候出现的概率为10%。甚至连这个领域的专家们也由于DeepMind战胜欧洲头号围棋高手而被搞得措手不及。军事和商业上的势头将只会有增无减。我们现在就必须致力于控制问题。

安全赌注

除了控制问题这一困难和其成功解决问题的各种赌注，各种错位的激励措施也已造成没有什么私营部门投资或政府参与人工智能安全研究了。

首先，因为避免灾难是一种全球公共产品，所以市场在此方面投入不足。虽然开发第一台超级智能机器将会给任何一家最先到达那里的公司投资者带来各种好处，但是任何由此所产生的灾难的各种代价却将由所有人承担。正如创业孵化器Y Combinator的掌门人萨姆·阿尔特曼（Sam Altman）调侃的那样，“人工智能大概将最有可能导致世界末日，但是在此期间，将还会有伟大的公司。”Y Combinator是硅谷最为成功的创业加速器。

其次，短期选举周期这种压力确保了政治家们基本上没有什么动机为其主要受害者（今天的孩子们和未来几代人）目前无法投票表决的各种事件而投资于预防性政策。

第三，在一种更加明显和更直接的挑战背景下，今天此问题这种明显的不相关使得决策者们很容易驳回该问题，而且使得他们更容易忽视它。

尽管存在这些障碍，但是在人工智能安全方面的兴趣和投资在过去一年里也已经有所起色。一年前，明确致力于减少与人工智能相关联存在风险的两家规模最大的研究所每年维持运转预算刚好过100万美元（同一年，有20亿美元的资金被花费在跟脱发有关的研究和外科手术上）。然而，在过去一年里，剑桥大学和麻省理工学院最近成立的两家研究机构已经帮助增加了致力于这些努力的投资和人员：存在风险研究中心（the Centre for the Study of Existential Risk），它是由Skype联合创始人让·塔林（Jaan Tallinn）和其他人出资，和生命未来研究所（the Future of Life Institute），该研究所管理着一项由马斯克以及开放慈善项目（the Open Philanthropy Project）出资1100万美元的人工智能安全资助计划，马斯克也是一个包括阿尔特曼、泰尔和领英创始人雷德·霍夫曼（Reid Hoffman）在内的团体的一员，该团体最近已承诺向开放人工智能（OpenAI）提供10亿美元的资金，后者是一个计划使得人工智能的各种突破具有广泛适用性的非营利性组织。

正在尽力研制人工智能的研究人员也已经意识到各种安全问题了。2015年1月，全球学术界和业界主要研究人员参加了在波多黎各举行的一次会议，旨在确定最重要的研究领域以确保人工智能研制仍然是有益的。包括来自于DeepMind和人工智能促进协会（the Association for the Advancement of Artificial Intelligence）的代表们在内的数百名科学家、程序员和学者随后在由生命未来研究所所起草的一封公开信里为一批研究重点背书。

然而，与正在被花费在达到人类水平的人工智能竞赛上的资金总数相比，在人工智能安全方面投入的规模依然算不了什么。单是慈善捐助，不管多么富有远见，都不可能缩小这种差距，但是，有迹象表明欧洲各国政府正开始接触这个问题。英国和德国的政府就新出现的技术风险已经开始咨询各个研究机构了。2015年10月7日，格鲁吉亚在联合国总部就人工智能的各种挑战组织了一次会外活动，利用了来自博斯特伦教授以及其他专家的证言。随着各国政府越来越多的予以关注，来自世界各国更多自下而上的领导方式对引起人们对协作问题的东西的注意将是至关重要的。政治家们应该开始理解处于危险境地的事物，然而他们不应该仓促轻率地做出过度反应。为了学习最佳的实践，各国政府应该仔细倾听，不慌不忙地立法，并且研究围绕着新技术的监管历史。

未知领域

首先，如同1975年监管互联网一样，监管人工智能研制将是一项徒劳无功的任务，因此任何国家的首要任务应该是理解这个问题，而不是对问题的解决办法进行立法。各国政府应该与各大学和各个行业合作建立各种工作小组，以便为分析人工智能可能出现的风险提供一个框架——既在国家层面上又在国际层面上。这些工作小组应该寻求形成“最佳实践”并且在人工智能研究人员当中加以宣传促销：一旦普通智能变得迫在眉睫，就要在控制问题上协作并分享在该问题上所取得的进步，也要对增加各种安全措施做出一个承诺。一种安全先于速度的规范越快，发展就越好。这不一定与各种利润动机发生冲突：类似规范细致协作已经形成了。在1975年的阿西洛马会议（the Asilomar Conference）上，研究人员们自发起草了涉及重组脱氧核糖核酸（DNA）各种实验的指导方针。它们要求遏制在涉及基因工程、可能造成一种生态危害的各项实验的设计里应该成为一个关键的考量因素，并且禁止从来自于有着一种引起疾病高风险的各种生物体里克隆重组脱氧核糖核酸。

政府的参与也应该包括将基础研究经费用于机器智能安全，仅仅是私人资金并不足够。在波多黎各那次会议上被确定的这些研究重点将成为各种国家科学委员会的一个很好的起点。

在国际层面上，各国政府应该考虑全球为控制各种潜在危险的技术并且适应（习惯）于以往反应所引发的各种意想不到后果所做出努力的历史。1972年，各国汇聚在一起，讨论暂停生物与毒素武器的研制、生产和储存。1975年，在包括美国和苏联在内的超过22个国家批准之后，《生物武器公约》（The Biological Weapons Convention）生效；截至2015年，173个国家成为该协议的缔约国。可是，一旦成为该协议首批签字国之一，克里姆林宫就要么怀疑美国是否遵守，要么意识到它在该领域拥有一种新的比较优势，并且抓住这个机会扩大其秘密生物武器计划的规模。贯穿20世纪70年代，原苏联政府一个名叫Biopreparat的部门在全国众多地点雇用的人员多达6.5万，这个部门制造诸如天花、黑死病和炭疽病等生物制剂和武器化病原体。

这一事例应该提醒我们，某些国家彻底禁止技术可以用来鼓励其他国家加速各自的计划。当然，生物武器和人工智能在许多关键方面是不一样的。最明显的是，人工智能不是一件武器，而且但愿它永远不会变成武器。然而，人工智能许多有益的应用可能使得控制其安全研制更具有挑战性。除了某个国家或者某个流氓行为体之外，研制生物武器不符合任何人的利益，但是构建强大的人工智能系统则符合很多人的经济利益。并非所有这些人都将会仔细地考虑他们是否能够控制他们所创造的东西。

政府监管可能冒类似的风险，并可能产生意想不到的后果。此刻，在美国，工程技术人才的过度集中有可能使得第一台超级人工智能在那里被研制出来。然而，华盛顿的严厉监管可能会迫使某些研发转入地下或者转往海外，并且产生跟其所预期的截然相反的效果。国际协作看来是一种比各种单方面措施更有希望的方法。协作可以有助于避免军备竞赛态势，在那里，竞争对手们出于害怕得第二名而大幅度削减各自在安全防范措施方面的投入，而且可能有助于更加公平地分配超级人工智能所带来的各种好处。欧洲核研究组织（The European Organization for Nuclear Research，CERN）、人类基因组计划（the Human Genome Project）和国际空间站（the International Space Station）都是能提供一些指导的国际科学协作的例子。

国际层面上的协作以及各国政府、大学与私人部门公司之间的协作对于确保人类能够收获通用人工智能的安全研制会带来大量好处，这将至关重要。今天最聪明的统计学家和计算机科学家们在私人实验室里正在取得人工智能上的各种技术进步，而且，在大多数情况下，他们非常关心自身努力的社会影响。世界一流研究型大学正在扩大注重与这些技术相关联的风险的各个组织的规模。是时候让各国政府注意并且理解人类在下一个世纪所面临的最大的技术难题和伦理挑战了，我们几乎没有反复试验的机会。

原文标题：Safety First： Entering the Age of Artificial Intelligence