军事机器人自主决定人类生死？

方陵生/编译

军事机器人自主决定人类生死？

方陵生/编译

· 随着人工智能的发展，军事机器人也将被重新定义。

捷克作家卡雷尔·恰佩克 （Karel Capek）在1920年发表的科幻剧作《罗苏姆的全能机器人》中，发明了机器人（robot）这一词语，一开始它们只是在工厂里生产低成本产品的微不足道的机器人，但最后这些机器人杀死人类，导致人种灭绝。由此诞生了一个经久不息的科幻小说题材：机器人失控，变成不可阻挡的杀人机器。20世纪的文学和电影中也描述了大量关于机器人对世界造成毁灭性破坏的情节，好莱坞更是以机器人为主题推出了许多轰动一时的大片，如 《黑客帝国》《变形金刚》《终结者》等。

人工智能武器从幻想走向现实

近年来，随着科学技术的飞速发展，包括人工智能（AI）和机器人技术的重要进展，加上伊拉克、阿富汗战争中无人机与地面机器人的广泛使用，小说和电影中对机器人的恐惧转变为对现实的担忧，人们担心科幻世界里的可怕景象会变成现实。

世界上的一些军事强国正在开发智能化程度更高的武器，这些武器都将拥有不同程度的自主能力和强大的杀伤力。短时期内绝大多数智能武器还是由人类远程控制，人类才是那个 “扣动扳机”的人。但很可能，甚至有人认为不可避免的是，未来的人工智能武器将实现完全自动化操作，成为人类战争史上的一个分水岭：首次由一个芯片和软件构成的集合体来决定某个人的生死。

因此，毫不奇怪，所谓的“机器人杀手”的威胁开始引发了一场激烈的辩论。争议双方各执己见，一些人担心机器人武器有可能导致一场最终摧毁人类文明的世界大战；另一些人则认为，精确制导的智能武器实际上可以更大程度地减少战争中的人员伤亡，而不是增加伤亡人数。作为联合国将于12月在日内瓦召开的裁军会议议题的一部分，一百多个国家将对这一问题展开讨论。

去年，一个颇有影响力的人工智能研究团体呼吁禁止“不由人类控制的进攻性自主武器”，使得这场关于机器人的辩论成为新闻焦点。这个研究团体在关于人工智能的一次重要会议上发表的一封公开信中指出，这类武器将导致“全球AI军备竞赛”，用于“暗杀、破坏国家稳定、镇压群众，以及有选择地消灭某个少数民族群体”。

在这封公开信上签名的达两万多人，其中包括一些名人，如物理学家斯蒂芬·霍金、特斯拉公司总裁埃隆·马斯克，马斯克曾于去年给波士顿的一家研究所捐赠了1 000万美元，该研究所的使命是“维护生命”，对抗有可能出现的恶意人工智能。

组织这次公开信签名活动的学者有加州大学伯克利分校的斯图亚特·拉塞尔（Stuart Russell）、麻省理工学院的马克斯·泰格马克 （Max Tegmark）和新南威尔士大学的托比·沃尔什（Toby Walsh），发表于IEEE上的一篇网文详述了他们的观点，他们设想有可能出现这样的场景：在黑市上出售的低成本、有着致命杀伤力的微型机器人，可以由某个人匿名部署杀死成千上万攻击目标范围内的人。

他们三位还补充道，“自主武器是一种潜在的大规模杀伤性武器。虽然一些国家或许不会选择将它们用于这些目的，但对于有些国家和恐怖分子，这类武器却可能有着他们无法抗拒的吸引力。”

很难认为，一场新的军备竞赛最终创建出的智能、自主、高度可移动性的杀人机器能够服务于人类，为人类争取最佳利益。然而，尽管多有争议，但实际上人工智能武器的军备竞赛已在进行之中。

各国智能化武器研发现状

自主武器的存在已有几十年历史，虽然它们的数量相对较少，且几乎都用于防御目的。一个例子就是美国海军的“密集阵”（Phalanx）近防武器系统，这是一个由计算机控制、雷达制导的炮击系统，许多美国海军船舰上都安装有这一系统，它可自动探测、跟踪、评估来袭的导弹和飞机，如果判断为威胁，就会向其开火，在全自动模式下的时候不需要人工干预。

最近，军事供应商开发了首个自主进攻型武器，以色列航空工业公司研发的无人机Harpy和Harop能跟踪到敌方防空系统发出的无线电波，并撞毁它们，该公司称这种无人机已在全世界范围内售出。

韩国国防承包商DoDAAM Systems公司也开发出了名为“超级aEgisII”的警卫机器人，该系统装备的机枪可利用计算机视觉自动探测并攻击三公里内的目标。据韩国军方称，已在与朝鲜交界的非武装地区对这些武装机器人进行了测试。DoDAAM Systems公司称，他们已经将30多套这种系统出售给了其他国家政府，包括中东地区的几个国家。

目前，这种高度自动化系统的数量已大大超过了像无人机这样几乎所有时间都由人类控制的机器人武器，特别是向目标开火的控制权。但一些分析师认为，随着未来战争模式的发展，战争武器的自主程度将越来越高。

“战争将会非常不同，自动化将起到重要作用，速度是关键。”美国华盛顿特区无党派研究机构的机器人战争专家彼得·辛格（Peter W.Singer）说道。根据他预测的未来战争场景，将会是无人机之间的空战，或者是机器人船舰与敌方潜艇之间的遭遇战，能提供瞬间优势的武器将决定战争胜负，“未来战争将会是一种高强度的直接对抗，根本没有人类介入其中的时间，因为一切将会在几秒钟内发生并结束。”

美国军方对这种新型战争已有了一些详细计划，但关于机器人系统的武器化方面仍意图不明。今年三月在《华盛顿邮报》的论坛上，美国国防部副部长罗伯特·沃克（Robert Work）强调了投资人工智能和机器人技术的重要性，他的部分工作是要确保五角大楼能够跟上最新技术的发展，“战场上出现越来越多的自主机器系统的趋势是不可阻挡的。”他说道。

在被问及自主武器的问题时，沃克强调，“美国军方不会将致命的权限委托给机器，不会让机器人来决定人类生死。”但关于这个问题他又补充道，“如果面对一个比我们更愿意授权给机器的竞争对手……我们也不得不就保持竞争力做出决定。对这个问题我们目前还没有清晰的概念，但我们会花很多时间来思考。”

俄罗斯在陆海空战斗系统的开发上，也都遵循类似的战略，至少目前都还是在人类的操控之下。俄罗斯的M平台是一种小型遥控机器人，配备有卡拉什尼科夫步枪和手榴弹发射器，一个类似于美国“魔爪SWORDS”（一种配备了M16和其他武器的地面机器人系统）的武器系统。俄罗斯建造的大型无人战车Uran-9配备了30毫米榴弹炮和反坦克导弹。去年，俄罗斯还为弗拉基米尔·普京进行了类人军事机器人的演示。

强调人类对机器人掌控的同时，提高机器人武器自动化程度，对于禁止武器的全自动化是一个重大挑战。“军备控制协议很难适用于机器人技术，自主武器系统与非自主武器之间的差异可能只是一行代码的区别。”耶鲁大学伦理和技术专家温德尔·瓦拉赫（Wendell Wallach）在最近的一次会议上说。

自主武器研发的挑战与自主权限制

很多时候，当人们听到“自动武器”时，就会联想到电影《终结者》。美国新安全中心指导未来战争计划的保罗·沙勒（Paul Scharre）说道，“军队使用自主武器似乎是一种终极手段。”他还补充道，更有可能的是，机器人武器的目标不是人，而是一些军事设施，如雷达、坦克、军舰、潜艇或飞机等。

目标辨别也是一种挑战，确定所看到的是你要对付的敌对方目标，是人工智能武器智能化程度的一个重要判别标准。飞机和导弹等移动目标都有可跟踪的运行轨迹，并确定是否要将其击落下来。美国海军船舰上安装的“密集阵”自主炮阵，以色列的“铁穹”防御拦截系统都基于这样的工作原理。但如果目标是人，判断标准却要敏感得多，物体和场景识别对于人类来说是再平常不过的事了，而对于机器人来说，即使是在理想条件下，也是一项极其困难的任务。

对于计算机来说，人类形象识别没有多大困难，即使那人在很隐蔽地移动，但对于人们在做什么？他们的肢体语言和面部表情代表了什么意图？那人手里举起的是一支步枪，还是只是一个耙地的耙子？那人携带的是一枚炸弹，还是一个婴儿？程序算法很难理解所有这一切。

沙勒认为，让机器人武器自主确定目标的努力将会因面对太多的挑战而半途夭折，制定作战策略和技术，人类与机器人协同合作将是对安全、法律和道德诸方面综合考虑的最佳途径。“军队可以投资非常先进的机器人与自动化，但作为安全保障，决定打击目标时仍然要有人类的介入。因为人类更擅长于适应和灵活处理突发情况或计划外的新情况，特别是在战争时，敌方试图通过欺骗手段打击己方系统时。”

因此，像韩国的哨兵机器人DoDAAM对致命的自主权加以限制也就不奇怪了。按照目前的配置，在人类确定目标并给炮塔下达射击命令之前，机器人是不会开火的。“最初的哨兵机器人有一个自动开火系统，”去年DoDAAM项目的一位工程师对BBC说道，“但是所有的客户都要求有安全保障，他们担心机器人有可能犯错。”

确保自主武器不犯致命错误的思考

其他一些专家认为，确保自主武器不会犯致命错误的唯一方法，尤其是危害到平民的错误，就要慎重开发这类武器。“如果我们愚蠢地在战场上互相杀死对方，如果越来越多的权力被转交给这些机器，那么我们还能确保它们所做的一切都是符合道德伦理的吗？”乔治亚理工大学计算机科学家罗纳德·阿金（Ronald C.Arkin）说道。

阿金认为，自主武器，就像人类士兵一样，应该遵循一定的交战规则以及国际公法中的战争法，包括保护平民，以及将武器威力和种类限制在允许范围内等国际人道主义法。这意味着我们在对机器人的编程中，要考虑以某种道德推理来帮助它们应对不同情况，从根本上区分对与错，它们需要在软件编程中有某种道德指南。

过去十年里，阿金一直致力于开发这样一种指南。他使用机器人伦理学中的数学和逻辑工具，将高度概念性的战争法和交战规则转变为计算机可以理解的变量和运算符。例如，某个变量规定目标是否是敌人的确定度；某个变量是判断“是”与“非”的布尔变量，即“允许使用致命武力”或“禁止使用致命武力”的判断标准。阿金开发的一组算法通过计算机模拟和简化版的战斗场景来测试他的方法。

阿金承认，他的这个由美国军方投资的项目，只是一个概念验证，而不是实际的控制系统。但尽管如此，他相信测试结果可以表明，战斗机器人不仅可以遵循与人类必须遵循的相同规则，甚至可以做得更好。例如，机器人使用致命武力时比人类战士更克制，只有在受到攻击时才会回击等。或者，如果附近有平民存在，它们可以完全停火，即使这意味将导致自身被摧毁的后果。另外，机器人也不会像人类那样，因压力、沮丧、愤怒或恐惧等负面情绪而导致判断力受到影响。所以，至少在理论上，机器人士兵将比人类士兵做得更好，在激烈的战斗中，人类战士常常会犯一些难以避免的错误。

“机器人士兵的出色表现可以挽救更多人类的生命，尤其是一些被困在战场空间的无辜平民，我们只需要在机器人的使用中给它们一些必要的道德约束。”阿金说道。

当然，毋庸讳言的是，阿金的观点并没有得到人们的普遍认同。自主武器的批评者坚持认为，考虑到这些武器存在的可怕性，只有提前禁止才是最为合理的。人权观察团体负责人玛丽·韦勒姆（Mary Wareham）在呼吁“停止开发杀手机器人！”的运动中说道，“我们不能指称某个单一的武器系统为‘杀手机器人’，我们讨论的是以多种方式加入战争的多种武器系统，我们担心的是它们的一个共同点，在目标选择和攻击功能上缺乏强有力的人力控制。”

自主机器人是福是祸取决于人类

联合国关于致命自主机器人的讨论已有近五年历史，但其成员国至今仍无法起草一份协议。2013年，联合国人权问题特别报告员克里斯·海恩斯（Christ Heyns）在一份有影响力的报告中指出，在自主武器全面开发之前，世界各国还有宝贵的机会来讨论它们的风险。在参加了几次联合国会议之后，海恩斯说道，“如果我回头看，在某种程度上我感觉鼓舞，但是如果往前看，我认为我们会有麻烦，除非我们从现在开始加速采取行动。”

联合国关于《特定常规武器公约》五年审议大会将于今年12月召开，致命自主机器人的议题将被提上议事日程，但关于自主机器人的禁令不太可能在这次会议上获得批准。这样的决定需要所有参与国家达成共识，而事实上，在如何处理未来自主武器大量出现的问题上，各国仍存在根本分歧。

最后，关于“杀手机器人”的争论似乎更多关乎的是我们人类自身，而不是机器人。像任何其他技术一样，至少在开始阶段，应该谨慎而明智，而不是导致混乱和灾难性后果。自主机器人是福是祸，人类必须承担责任。因此，“自主战斗机器人是个好主意吗？”不是个好问题，更好的问法是，“我们确信我们可以信任机器人走进我们的生活吗？”

［资料来源：IEEE Spectrum］［责任编辑：彦 隐］