人工智能与国际稳定——风险和建立信任措施

迈克尔·霍洛维兹，保罗·沙尔

（新美国安全中心，美国 华盛顿特区 20005）

0 引 言

近年来，机器学习革命引发了一系列行业对人工智能（AI）应用的兴趣。各国也在动员将人工智能用于国家安全和军事目的。[1]因此，评估人工智能军事化如何影响国际稳定以及如何鼓励军方以负责任的方式采用人工智能至关重要。要做到这一点，就需要了解人工智能的特点、它塑造战争的方式，以及人工智能军事化给国际稳定带来的风险。

人工智能是一种类似于计算机或内燃机的通用技术，而不是像导弹或飞机那样的离散技术。因此，尽管对“人工智能军备竞赛”的担忧言过其实，但真正的风险依然存在。[2]此外，尽管许多国家领导人言辞激烈，但迄今为止在人工智能方面的军费开支相对较少。军方对人工智能的追求，与其说是激烈的军备竞赛，不如说更像是对新技术的例行采用，以及对计算机、网络和其他信息技术采用的数十年趋势的延续。尽管如此，将AI 纳入国家安全应用和战争仍会带来真正的风险。然而，仅仅认识到风险是不够的。解决这些问题需要为各国采取切实可行的措施提出建议，以尽量减少军事AI 竞争带来的风险。各国可以采取的一种办法是建立信任措施（CBMs）：各国可以采取单边、双边或多边行动来建立信任和防止无意中的军事冲突。建立信任措施通常涉及利用透明度、通知和监测来试图减轻冲突风险。[2]由于当今国际竞争的特点与冷战时期（当时建立信任措施作为一个概念变得突出）不同，采用建立信任措施面临着挑战。然而，考虑建立信任措施的可能性并探索形成有关人工智能对话的方式，可能会采用促进稳定的建立信任措施的可能性更大。

本文简要概述了人工智能军事应用对国际稳定的一些潜在风险，包括人工智能影响战争性质的方式、基于当前人工智能技术限制的风险以及与某些特定任务领域有关的风险，如核行动，其中引入人工智能可能会给稳定性带来挑战。然后，本文描述了解决这些风险的可能的信任措施，从适用于人工智能许多军事应用的广泛措施转向旨在解决特定风险的有针对性的措施。在每一次有关建立信任措施的讨论中，本文都阐述了采用建立信任措施的国家的机遇和潜在弊端。

1 人工智能的军事用途：对国际稳定的风险

军方固有的兴趣是要保持领先于竞争对手，或者至少不落后于竞争对手。国家希望避免部署劣质的军事能力，因此通常会寻求可以提高战斗力的新兴技术。尽管追求新技术是正常的，但某些技术却因其对稳定性的影响，或将战争转移到对所有参战人员或平民造成伤害增加的方向而引起关注。例如，在20 世纪初，一些大国就针对一系列工业时代的技术引发军备控制进行了辩论，结果是喜忧参半，他们担心这些技术会深刻地改变战争。其中包括潜艇、空投武器、爆炸子弹和毒气。

核武器发明之后，鉴于核武器的巨大破坏力，围绕其潜在用途的担忧主导了决策者的注意力。特别是在古巴导弹危机显示出确实存在的风险升级之后，美国和苏联就一系列武器技术进行了军备控制，其中包括战略导弹防御、中程导弹、天基大规模毁灭性武器（大规模杀伤性武器）、生物武器以及中子弹和反卫星武器的明显默契克制。美国和苏联有时还通过诸如《开放天空条约》和1972 年《海上事件协定》之类的措施进行合作，以避免错误估计并提高稳定性。

研究人工智能与战争的结合是否会带来决策者应该关注的风险是合理的，事实上也是至关重要的。一些人工智能研究人员自己也对军方采用人工智能及其可能增加战争和国际不稳定风险的方式发出了警告。[3]然而，由于人工智能不像导弹或潜艇那样是一种离散的技术，因此理解人工智能在军事上的使用所带来的风险是很复杂的。作为一种通用技术，人工智能有许多应用，其中任何一种都可能以各种方式提高或破坏稳定性。

军方才刚刚开始采用人工智能，在不久的将来，军事人工智能的使用可能会受到限制，而且限制会逐渐增加。随着时间的推移，通过引入人工智能对战争的认识可能会深刻地改变战争，就像过去的工业革命塑造了战争一样。[4]即使军方成功地管理了安全和安保问题，并且野战人工智能系统是强健和安全的，正常运作的人工智能系统也可能给国际稳定带来挑战。

例如，中美两国学者认为，在作战行动中引入人工智能和自主系统可能会加快战争的步伐，超出人类控制的范围。中国学者将这一概念称为战场“奇点”[5]，而一些美国人则创造了“超级战争”一词来指代类似的想法。[6]如果战争发展到战斗速度超过人类跟上的能力，就有可能必须将军事行动的控制权交给机器，而这将对国际稳定构成重大风险。人类可能会失去对升级管理的控制权，并且如果机器以比人类能够响应的速度更快地作战，则终止战争可能会变得非常复杂。此外，将升级控制权下放给机器可能意味着在混乱和迷雾的战争中，作为军事行动重要组成部分的轻微战术失误或事故，包括自相残杀、平民伤亡和军事判断力差，可能在人类有时间干预之前失控并达到灾难性的程度。

战场奇点或超级战争的逻辑之所以令人不安，正是因为竞争压力可能会促使军队加快作战节奏，并将人类“从循环中”排除，即使他们宁愿不这样做，但是只有这样才能跟上对手的步伐。当时的国防部副部长罗伯特·沃克（Robert Work）提出了一个问题，“如果我们的竞争对手成为‘终结者’……事实证明，‘终结者’能够更快地做出决定，即使他们很糟糕，我们该如何应对？”[7]虽然这种“速度上的军备竞赛”通常在致命的自主武器系统的背景下以战术为特征，但同样的动态可能会在操作上出现，包括设计为决策辅助工具的算法。决策者认为，战争正在演变为一个机器主导的冲突时代，在这个时代，人类必须将控制权让给机器才能保持竞争力，这就可能加速这种发展，特别是如果决策者缺乏有关人工智能局限性的适当知识背景。在极端情况下，军事决策算法的使用，再加上更加自动化的战场，可能会改变战争的性质。从最广泛的意义上讲，战争仍然是政治的延续，但在最极端的情况下，它可能很少有人类参与，因此不再是人类的意志体现。[8]

人工智能的广泛采用可能在其他方面对国际稳定产生净影响。人工智能系统可以改变战争中的战略，包括在某些任务领域用机器代替人类的决策，从而将人类心理的某些方面从战争中去除。[9]今天的战争是由人类通过物理机器进行的，但决策几乎普遍是人类主导的。随着算法越来越接近战场，一些决策将由机器做出，即使战争仍然是为人类政治目的而进行的由人类指挥的活动。机器决策在战术、作战和战略层面的广泛整合可能会产生深远的影响。在玩实时电脑战略游戏（如星际争霸和Dota2）时，人工智能特工已经表现出超越人类的攻击性、精确性和协调性。在扑克和围棋等其他策略游戏中，人工智能已经证明了一种能力，可以从根本上调整游戏风格和冒险行为，而这种方式充其量只是挑战人类出于心理原因的模仿。人工智能dogfighting 代理同样表现出超人的精确性，并采用不同的战术，因为它们有能力承担更大的风险。[10]

在许多方面，人工智能系统有能力成为完美的战略代理人，不受恐惧、厌恶情绪、承诺偏见或其他人类情感或认知偏见和局限性的束缚。[11]虽然用于电脑游戏的特定算法和模型不太可能很好地转移到作战应用中，但人工智能代理相对于人类的一般特征和优势可能在军事领域得到应用。就像速度一样，机器决策对作战心理的净影响可以深刻地改变战争的性质。[12]

人工智能可能会对战争产生其他累积效应。[13]决策者通常根据对对手能力和意图的理解来评估对手的行为。向人工智能的转变可能会破坏这两个领域的决策者知识。军事能力向软件的过渡已经在进行，但可以说是由于采用AI 和自治系统而加速的，这可能会使决策者更难准确地判断相对的军事能力。因此，有关敌方能力的不完整信息会增加，可以想象，这会增加误判的风险。或者，相反的可能是真正的人工智能，即用于情报收集和分析的自主系统可以从根本上提高军事力量的透明度，使决策者更容易判断军事能力并提前预测冲突的结果。增加的透明度可以减少计算错误的风险，并化解一些潜在的冲突，然后再开始决策。

人工智能融入军事系统，再加上向更自动化的部队结构转变，也可能会改变决策者承担风险的门槛，要么是因为他们相信有更少人的生命处于危险之中，要么是因为人工智能系统能够实现更高的精度，要么是因为他们认为人工智能系统具有独特的危险性。人工智能系统的感知可用性可能会改变决策者对其预见冲突结果或获胜能力的信念。

毫无疑问，站在人工智能时代的开端，想象人工智能在军事行动的各个方面的应用所产生的累积后果是一个挑战，包括影响人类对技术的认知和技术特征本身的影响。19 世纪末和20 世纪初试图管制工业时代武器影响的历史表明，即使决策者准确预测了某些技术的风险，例如空中运载武器或毒气，他们经常精心制定法规，结果发现这些法规不适合这些技术成熟时所采用的特定形式。此外，即使双方都希望克制，那些法规也经常在战争的紧急情况下崩溃。[14]我们没有理由认为，我们在预测未来技术发展道路或抑制战争的能力方面的先见之明在今天会更好。然而，在开始思考人工智能影响战争的各种方式时，无论大小，还是有好处的。

即使超出上述情况，也有可能将人工智能的军事应用如何影响国际稳定分为两大类：（1）与算法的性质和军方使用算法有关的风险；（2）与军方将人工智能用于特定任务有关的风险。

2 人工智能的局限性带来的风险

军事上采用人工智能的一个挑战是，与采用新技术相关的两个关键风险正处于紧张状态。首先，军方可能无法采用（或足够迅速地采用或以正确的方式使用）一种产生重大战场优势的新技术。最近的一个例子是，尽管军用无人机市场总体上有所增长，但无人驾驶车辆的采用有时是美国国防机构内部争论的一个来源，主要是基于这种新技术相对于现有替代技术的优点的辩论。[15]

或者，军方可能会过快地采用一种不成熟的技术，在一种技术如何改变战争的新的、未经检验的主张上下大量错误的赌注。考虑到军方在确保其能力在战场上发挥作用方面的天然动机，可以合理地假设，军方将合理地管理这些风险，尽管并非不会发生一些灾难。但在权衡事故风险与技术创新落后于对手之间的关系时，军方可以说是把安全作为次要考虑因素。[16]在追求技术优势的过程中，军方可能会相对接受事故的风险，因为事故是军事行动的一个常规要素，甚至在训练中也是如此。[17]然而，在最终确保部署的能力是强大和安全的方面，存在着强烈的官僚利益，现有的机构流程可能会通过一些调整来管理人工智能的安全和保障风险。

对于军方来说，在采用人工智能的过程中，在速度过慢与速度过快之间进行平衡是复杂的，因为人工智能，尤其是深度学习，是一种相对不成熟的技术，存在着严重的漏洞和可靠性问题。在没有足够的数据来训练机器学习系统的情况下，这些问题就更加突出了。机器学习系统通常依赖于非常大的数据集，而这些数据集在某些军事环境中可能不存在，特别是在涉及罕见事件的早期预警或在多维战场中跟踪对手行为时。当使用不充分的数据集进行训练或在狭窄的设计环境之外使用时，人工智能系统通常是不可靠和脆弱的。人工智能系统往往看起来很有能力，在某些实验室环境中表现良好，但在现实世界中，在不断变化的环境条件下却会急剧失效。例如，在某些情况下，自动驾驶汽车可能比人工驾驶更安全，然后在人工驾驶不会有麻烦的情况下，自动驾驶会莫名其妙地变成致命的。此外，深度学习算法目前可能是不够可靠的安全关键应用，即使在其设计规范的范围内运行仍然如此。[18]

例如，对跨人群的算法可靠性的限制的担忧阻碍了面部识别技术在美国的部署，特别是在执法等后果严重的应用中。军方也应该关注其人工智能系统的技术限制和漏洞。军方需要有效的技术，尤其是在战场上。因此，美国国防部（DoD）的人工智能战略要求人工智能系统具有“弹性、鲁棒性、可靠性和安全性”。 考虑到当今许多算法的使用所面临的可靠性问题以及战场使用的高度动态条件，这无疑是正确的方法，但至少在短期内是一个挑战。

另一个挑战来自安全困境的动态。竞争压力可能导致各国采取捷径测试与评估（T&E），以期在对手之前部署新的人工智能能力。在自动驾驶汽车和商用飞机自动驾驶仪的人工智能系统事故风险方面，类似的竞争压力似乎起到了加剧作用。军方评估一个可靠性不确定的人工智能系统，如果他们相信其他国家也在采取类似措施，他们可能会感到加快部署的压力，这并非毫无道理。从历史上看，这些压力在战争前和战争期间都是最高的，在战争期间，由于现实生活的影响，围绕新技术的风险或回报等式可能会发生变化。例如，竞争压力可能促使第一次世界大战中更快地引入毒气。[19]同样，在第二次世界大战中，德国将资金从成熟的技术转移到喷气发动机、弹道导弹和直升机上，尽管这些技术在战后才被证明是成熟的。这种动态风险可能会引发一种自我实现的预言，即各国出于担心其他国家会首先部署未经充分测试的人工智能系统而加快部署。其净影响不是军备竞赛，而是对安全的“抄底竞赛”，导致部署不安全的人工智能系统，增加事故和不稳定的风险。

即使军事人工智能系统得到了充分的测试，使用人工智能来实现军事系统中更自主的机器行为也会带来额外的风险。在将决策权从人下放给机器的过程中，决策者实际上可能在部署灵活性和理解能力较差的部队，这将对危机稳定和管理升级产生有害影响。虽然机器在速度、精度和可重复动作方面有许多优势，但今天的机器在理解上下文和灵活适应新情况方面还不能接近人类的智能。在冲突前的危机局势中，机器决策的这种脆弱性可能尤其是一个挑战，在这种局势中，国家间的紧张局势非常严重。在各种有争议的地区，来自竞争国家的军事力量经常在低于战争门槛的军事化争端中进行互动。部署部队之间的这种互动有时会因可能加剧各方紧张局势的事件或小规模冲突而面临升级的风险。这对国家领导人提出了挑战，他们对自己的军队指挥和控制不完善。然而，今天部署的军事力量依赖于人类的决策。人类可以从他们的国家领导和指挥官的意图中理解其广泛的指令，例如“保卫我们的领土，但不要发动战争”。相对于人类，即使是当今最先进的人工智能系统也没有能力理解广泛的指令，它们也没有表现出人类经常称之为“常识”的那种背景理解。军方已经在有争议的地区使用无人驾驶车辆（无人机）。随着时间的推移，随着军队将更多的自主功能纳入无人驾驶车辆，这种功能可能会使有争议地区的互动变得复杂。

自主系统可能会根据编程采取行动，这些编程虽然不是故障，但与指挥官在相同情况下希望处于类似位置的人所做的不同。尽管军事文化和理论赋予部署的灵活性程度有很大差异，但人类有更大的能力灵活应对复杂和可能模棱两可的升级事件，从而可以在确保升级的同时满足国家决心的竞争需求。[20]自主系统将简单地遵循它们的程序，不管那可能是什么，即使那些规则不再有意义或与指挥官在特定情况下的意图不一致。由于人类指挥官无法预测在有争议地区部署的前方军事力量可能面临的所有可能情况，这一挑战更加复杂。在危机中使用自主系统有效地迫使人类决策者用某些预先指定的行动来约束自己，即使他们不愿意这样做。

自主系统在军事纠纷或有争议地区采取的意外行动对军队构成了挑战，因为他们在部队中采用了更多的自主系统。当今使用的许多自主系统的复杂性，即使是那些依赖基于规则的决策的系统，也可能意味着使用自主系统的人员对某些情况下该系统可能采取的行动缺乏足够的了解。相比之下，人类有能力灵活地解释高级指挥官的指导，甚至忽略指导，即使在不再适用的指导下，也可以通过在有争议的部队之间互动时保留人类的决策来管理风险升级地区。[21]

意外局势升级不仅仅局限于致命的行动，例如向敌军开火。非致命的行动，例如越过另一个国家的领土，也可以被视为升级。即使这些行动不会直接导致战争，也可能加剧紧张局势，增加对对手意图的怀疑，或激化公众情绪。虽然在大多数情况下，人类仍然会保留如何应对事件的代理权，但相互竞争的自主系统可能会产生意想不到的交互作用或不断升级的螺旋。在其他环境中，包括金融市场，甚至在算法相对简单的情况下，也可以看到算法之间复杂的交互动态。[22]另一个问题源于一旦部署，人类可能无法取消自主系统。采用自主功能的一个原因是，即使无人驾驶的车辆在没有与人工控制器的可靠通信链接的情况下运行，它们也可以继续执行其任务。当人类操作员和自主系统之间没有通信链接时，如果政治环境发生变化，导致系统行为不再合适，人类操作员将无法召回该自主系统。如果政治领导人决定终止敌对行动，但至少在一段时间内没有能力召回自主系统，这可能是使冲突升级的挑战。其结果可能是，即使政治领导人希望停火，敌对行动仍将继续。或者，不能完全停止敌对行动可能破坏停战谈判，导致冲突继续。这些问题并不是自主系统所独有的。政治领导人对人类军事力量的指挥和控制不完善，有时也会导致人类指挥部署的部队发生类似的事件。例如，1812 年的新奥尔良战役是在一项和平条约签署后进行的，因为指挥部门与已部署部队的通信迟缓。

3 在特定军事任务中使用人工智能的风险

由于军事任务的性质，在某些情况下，将人工智能引入军事行动也可能带来风险，即使人工智能系统的性能正确且符合人类意图。一些现有的研究已经把重点放在人工智能与特定军事任务领域的交叉点上，尤其是核稳定性。鉴于有意或无意核爆炸的潜在后果，核稳定显然是一个令人关切的领域。致命性自主武器系统（LAWS）是人工智能的一种特殊用途，它将致命性决策权从人类委托给机器，也是现有研究的一个重点领域。关注人工智能风险的学者可能会特别关注其他领域。人工智能与网络安全和生物安全的交叉点是值得探索的领域，目前的研究工作相对较少。[23]

人工智能的潜在风险应用已经超出了战场，扩展到人工智能在预警和预测对手行为等领域的辅助决策。例如，用于监视、跟踪和分析大量敌方行为数据的人工智能工具，对于潜在攻击的早期指示和警告具有明确的价值。然而，算法也有已知的局限性和潜在的问题特征，例如缺乏透明度或可解释性、面对数据分布变化的脆弱性和自动化偏差。人工智能系统在新的条件下往往表现不佳，这表明人类的判断仍在发挥作用。人类倾向于自动化，再加上非人工智能预警和预测系统产生虚假警报的历史，表明决策者应谨慎对待人工智能在预警和预测中的应用，尽管人工智能在智能决策辅助工具中具有潜在价值。确保在预警和预测场景中负责任地使用人工智能系统的教育和培训至关重要。

最后，自主系统提出了新的挑战，即在有争议的地区，因为收到的信号模棱两可，它们的行为是否应由人类指挥官决策。即使系统按照预期运行，由于上述命令和控制问题，对手也可能不知道自主系统的行为是否符合人类的意图。在危机情况下，这会造成如何解释自主系统行为的模糊性。例如，如果一个自主系统向一个国家的军队开火，这应该被解释为指挥国家的政治领导人故意发出的信号，还是一个意外？但这其实并不是一个新问题，因为人类指挥的军事力量也面临类似的挑战。各国可能不知道敌方部署部队的行动是否完全符合其政治领导层的意志。由于自主系统的行为是否与人类的预期行为一致的不确定性，自主系统可能会使这种动态复杂化。

4 结 语

人工智能的军事应用带来了一些风险，包括人工智能改变战争性质的方式、当今人工智能技术的局限性，以及将人工智能用于核行动等特定军事任务。决策者应该意识到这些风险，因为各国开始将人工智能纳入其军事力量，他们应该尽可能地减轻这些风险。由于人工智能是一种通用技术，因此期望军方整体上不采用人工智能是不合理的，正如期望军方不采用计算机或电力一样。然而，军方如何采用人工智能系统非常重要，各种方法可以缓解军事人工智能竞争带来的风险。

建立信任措施是决策者可以用来帮助降低国家间军事人工智能竞争风险的一个潜在工具。可以采用各种可能的建立信任的措施，所有这些措施都有不同的利弊。随着学者和政策制定者进一步了解军事人工智能竞争的风险，这些和其他建立信任的措施应与传统军备控制等其他方法一起仔细考虑。