论自主武器的国际法规制

马 光

（浙江大学光华法学院，浙江杭州，310008）

一、引言

人工智能已用于自动驾驶汽车和医疗机器人等商业用途，在第四次工业革命中产生了重大影响。现在，世界各国纷纷投入到利用人工智能在军事竞争中取得优势的全球竞赛中，例如“致命自主武器系统”（Lethal Autonomous Weapon Systems，以下简称为LAWS）、“完全自主武器”或“杀手机器人”，都反映了这些努力。美国、中国、俄罗斯、印度、德国、韩国等各国政府越来越多地在人工智能领域进行投资，以开发用于军事应用的先进人工智能系统。2017年7月，中国国务院发布了《新一代人工智能发展规划》，该政策概述了中国在未来几年内建立价值近1500亿美元的国内人工智能产业，并到2030年成为领先的人工智能强国的战略。

国际法并未对武器以及自主武器给出明确定义。红十字国际委员会将“自主武器系统”定义为：“在关键功能上具有自主权的任何武器系统。”也就是说，一种无需人为干预就能选择（即搜索或检测、识别、跟踪、选择）并攻击（即反对、无效化、破坏或摧毁）目标的武器系统。[1]LAWS与现有武器的不同之处在于，它具有能够在不被人为激活的情况下选择和攻击目标的能力。而2012年美国国防部的第3000.09指令则将自主武器定义为：“一旦激活，无需操作员进一步人工干预，可自行选择、攻击目标的武器。”[2]虽然各国通过《禁止或限制使用特定可被认为具有过分伤害力或滥杀滥伤作用的常规武器公约》（简称《特定常规武器公约》，Convention on Prohibitions or Restrictions on the Use of Certain Conventional Weapons Which May be Deemed to be Excessively Injurious or to Have Indiscriminate Effects， 以下简称为CCW）与LAWS相关的新兴技术的政府专家组（Group of Governmental Experts，以下简称为GGE）等就自主武器的定义问题进行过多次讨论，但一直未能就此达成一致意见，甚至各方就目前是否有需要给其下一个定义也无法达成合意。而且，因为LAWS指称“致命自主武器系统”，如何界定致命与否也是一大难点。自动化与自主化区分是一个质的变化[3]，从这一点来说，本文所探讨的不包括自动化武器。

因为自主武器与人工智能有密切联系，所以也有学者将其称为人工智能武器。[4]从目前的现状来看，因为能够做到完全自主尚且困难，从这个意义上来看，或许人工智能武器的用词具有其合理性。但是，从另外一个方面来看，如果考虑到当前世界上普遍使用自主武器的名称，以后随着技术的发展或许有可能出现完全自主的武器，再加上如果使用人工智能武器的名称，有可能和网络武器产生混淆等原因，笔者还是倾向采用自主武器的名称。而关于网络武器，则不成为本文研究的对象。网络武器是被《塔林手册》提到的概念，其定义为：“通过使用、设计或意图使用以导致对人员的伤亡或死亡，或对物体的损害或毁坏的网络战手段，也即，导致可以将网络行动认定为攻击后果的网络战手段。”a《塔林手册》规则103第2段。从网络武器难以探测这一属性来看[5]，其与自主武器还是能够较为容易地予以区分。机器人杀手是很典型的自主武器，而网络病毒则是网络武器，但如果采用人工智能武器的概念，网络病毒既属于网络武器，又属于人工智能武器。

二、CCW框架内对LAWS的讨论与评析

1979至1980年在联合国主持下谈判达成的CCW植根于国际人道主义法的关键原则，例如平民和战斗人员之间的相称性和区别对待。目前，该公约已有五项议定书，即关于无法检验的碎片的第一议定书，禁止或限制使用地雷、诱杀装置和其他装置的第二议定书，关于禁止或限制使用燃烧武器的第三议定书，关于激光致盲武器的第四议定书，以及关于战争遗留爆炸物的第五议定书。可以看出，CCW采用模块化设计，随着围绕武器系统的人道主义问题不断发展和新系统不断出现，这样的模块化设计能将新的解决方案附加到框架条约中。所有在人工智能系统中拥有能力或正在发展能力的国家都是CCW的缔约国，包括加拿大、中国、法国、德国、印度、以色列、日本、韩国、俄罗斯、英国和美国。基于这样的优势，其已经成为国际层面对LAWS进行研究和讨论的重要平台。

2013年5月，联合国人权事务高级专员办事处法外处决，即决处决或任意处决问题特别报告员发布了一份关于致命自主机器人技术的报告，并宣布“机器人不应该拥有对人类的生死决定力量”。该报告还建议各国暂时停止一些相关的技术发展。该报告引起了人权理事会的关注，然后引起了CCW框架的关注。在同一年的CCW缔约国大会上，与会国经过讨论，决定于2014年在CCW设立专门讨论LAWS的非正式专家会议。之后至今，在CCW框架下围绕LAWS这一议题共召开了三次非正式专家会议和四次GGE会议。经过2014—2016年的三次非正式专家会议，在2016年的CCW缔约国大会上，决定成立专门致力于讨论与LAWS相关的新兴技术的GGE。之后，在2017年11月13日—17日、2018年4月9日—13日、8月27日—31日、2019年3月25日—29日、8月20日—21日，GGE分别召开了会议。就2019年的会议来看，CCW的80个缔约国和2个签署国参加会议，另外有4个非缔约国作为观察员参加会议。除了国家之外，欧盟、红十字国际委员会、联合国裁军研究所等国际组织和多数非政府组织和大学、科研机构也派员参加了会议。这几次会议的主要审议议程包括：（1）LAWS的特点；（2）致命武力的使用方面人的因素，LAWS领域新技术的发展、部署和使用方面的人机交互问题；（3）相关技术的潜在的军事应用；（4）应对LAWS领域的新技术带来的人道主义和国际安全挑战的可能办法；（5）LAWS领域的新兴技术对国际人道主义法构成的潜在挑战。[6]

而经过讨论，各方达成了如下指导原则：（1）国际人道主义法继续完全适用于所有武器系统，包括LAWS的可能开发和使用；（2）人类仍须对武器系统的使用决定负有责任；（3）应确保对基于LAWS领域的新兴技术的武器系统的潜在使用符合适用的国际法，特别是国际人道法；（4）应确保根据适用的国际法在CCW的框架内对发展、部署和使用任何新武器系统问责，包括使这类系统在人类指挥和控制的责任链中运作；（5）在研究、发展、取得或采用新的武器、作战手段或方法时，国家有义务按照国际法确定，该新武器、作战手段或方法的使用在某些或所有情况下是否为国际法所禁止；（6）在发展或取得基于LAWS领域新技术的新武器系统时，应考虑到实体安保、适当的非实体保障（包括针对黑客攻击或数据欺骗等网络安全问题）、落入恐怖主义团体手中的风险和扩散的风险；（7）风险评估和减小风险的措施应成为任何武器系统新技术的设计、发展、测试和部署周期的组成部分；（8）LAWS领域新技术的使用应考虑到须信守国际人道法和其他适用国际法律义务；（9）在拟定可能的政策措施时，不应使LAWS领域的新技术人格化；（10）在CCW范围内讨论和采取任何可能的政策措施都不应阻碍智能自主技术的进步或和平利用；（11）CCW提供了适当的框架，可在CCW的目标和宗旨的范围内处理LAWS领域新技术的问题，力求在军事必要性和人道主义考虑之间求得平衡。[6]从这些讨论结果来看，GGE对如下几点已经达成了共识：（1）CCW是讨论LAWS问题的适当平台；（2）现有国际人道法依旧适用于LAWS的战场；（3）发展、生产和部署LAWS的责任在于行动国家；（4）LAWS监管措施不能阻碍民用人工智能的合理开发；（5）在无人干预情况下使用完全致命性自主武器系统是不可接受。[7]而对于LAWS的定义和特点，是否予以禁止，是否制定新的相关国际规则等方面则存在较大分歧。

因为在CCW框架内讨论的LAWS是“致命自主武器系统”，而这一点可能会引起混淆。这就需要对“致命性”进行界定，还要明确“不致命”的自主武器系统是否应排除在讨论范围。正如有主张认为，把重点放在致命性上，不能解决国际人道法所保护的人身伤害或物体损害问题。[8]既然是因为自主武器与传统武器比较起来有自主性，所以对其单独进行讨论，那么，没有必要将讨论的范围限定在“致命”自主武器上，重点应该放在“自主性”上。另一个层面来考虑，CCW完全可以成为讨论自主武器整体的合适场所。

关于对自主武器的定义问题，可以先从其特点来入手，当把这些特点都概括出来，并在各国之间对此达成合意，自然就可以形成一个定义。虽然自主武器的使用确实可能会伴随各种风险，但是在其反面，确实也存在使用自主武器可能对国际人道法有利的层面，在这些都仅仅是可能性的情况下，将对其预断禁止使用不符合逻辑。更为重要的是，若要对其禁止，显然是要各个主权国家的同意，就是要形成国家之合意，但从目前的情况来看，各国特别是世界上的主要大国都致力于自主武器的研发，要使得这些国家放弃性质尚未确定的武器的开发，显然不现实。换个思路，如果在目前志同道合的国家之间形成相关协议禁止自主武器的开发和部署意义也不大，因为这些国家本身开发和部署能力就比较弱。自主武器不同于生化武器或核武器，至少目前来看很难说其对国际人道法会带来极大的冲击，所以目前这个阶段对其直接予以禁止显然不可行。

有些自主武器可能构成新的武器种类，而有些则是对传统武器赋予了自主性。所以，从国际法上对其予以规制时，可以专门制定适用于自主武器整体的规则，而那些对传统武器赋予自主性的，则完全可以适用现有规则中的相关内容。

三、GDPR自动化的个人决策规定及其对LAWS的启示

2018年5月25日正式生效的欧盟《一般数据保护条例》（General Data Protection Regulation，以下简称为GDPR）适用于所有自动化的个人决策。但是，数据主体有权反对完全依靠自动化处理（包括用户画像bGDPR第4条第4项将“用户画像”定义为：为了评估自然人的某些条件而对个人数据进行的任何自动化处理，特别是为了评估自然人的工作表现、经济状况、健康、个人偏好、兴趣、可靠性、行为方式、位置或行踪而进行的处理。）的、对数据主体作出具有法律影响或类似重大影响的决策。cGDPR第22条第1款。“完全依靠”的含义是人对决策结果不施加实际影响，换言之，在该决策作出之前没有人的介入或评价。如果人的介入要得到认定，控制者应该保障人对该决策的检讨不局限于形式，而是有意义地实质性介入，即此类介入的主体应具有变更自动化决策的权限。除了正式决策，信息主体还能从产生类似重大影响的措施中得到保护。因此，仅依据自动化处理的决策范围可以得到扩大。在此，类似的重大影响既可能是肯定性的，也可能是否定性的，这种影响有可能因第三人的行为而引发，该第三人并非是自动化决策的相关人。[9]但是，这一规定有三个例外，包括：当决策对于数据主体与数据控制者的合同签订或合同履行是必要的；当决策是欧盟或成员国的法律所授权的；当决策建立在数据主体的明确同意基础之上。dGDPR第22条第2款。合同相关例外中的必要性条件应采用严格解释。而关于数据主体的明确同意，其应经表达声明予以确认，而不仅仅是肯定性行为。[9]如果出于订立或履行合同所必要，基于个人的明确同意而允许进行对个人具有法律或类似重大影响的完全自动化的决策时，则数据控制者应当采取适当措施保障数据主体的权利、自由、正当利益，以及数据主体对控制者进行人工干涉，以便表达其观点和对决策进行异议的基本权利。eGDPR第22条第3款。这里的关键在于人工干涉，而此类干涉到底如何进行看起来并不明确。人的干涉要得以认定，控制者应保障人对该决策的检讨不局限于形式上，进而干涉的主体或评价者应具有能够变更该决策的权限。为此，需要对包括信息主体提供的额外信息在内，对所有相关信息进行完整的评价。[9]总之，对于对个人具有法律或类似重大影响的完全自动化的决策，应确保个人进行人工干涉，表达他们的观点和获得有关该决策的解释并提出质疑的权利。应向个人提供有关决策过程中涉及的相关逻辑，包括此类处理对于数据主体的预期后果的有效信息。fGDPR第13条第2款f项和第14条第2款g项。为确保数据主体的个人数据得到公平、透明的处理，控制者应使用适当的数学或统计程序。应采取适当的技术和组织措施，以纠正错误并最大程度地减少错误的风险。个人数据的保护应与个人利益和权利受到的风险成比例，并防止歧视性影响。gGDPR前言第71段。

由于自动化的个人决策被认为是高风险的，因此，需要进行数据保护影响评估（Data Protection Impact Assessment，以下简称为DPIA），以表明识别和评估了哪些风险以及如何解决这些风险。当某种类型的处理（特别是适用新技术进行的处理）很可能会对自然人的权利与自由带来高风险时，在考虑了处理的性质、范围、语境与目的后，控制者应当在处理之前评估计划的处理进程对个人数据保护的影响。若多项高风险处理活动属于同一种类，那么，此时仅对其中某一项活动进行评估即可。hGDPR第35条第1款。这里的DPIA类似于根据《1949年日内瓦四公约第一附加议定书》（以下简称为《第一附加议定书》）第36条审查新武器的合法性。

2018年10月23日，第四十届国际数据保护和隐私专员国际大会发布了《人工智能中的道德与数据保护宣言》。该宣言涵盖指导原则，将其作为在人工智能发展中维护人权的核心价值，包括：“应提高人工智能系统的透明度和清晰度，以有效实施为目标，特别是：提供有关人工智能系统的目的和效果的足够信息，以验证与个人期望的持续一致性，并实现对此类系统的整体人为控制。”其他三个关键原则是：人工智能和机器学习技术的设计、开发和使用应在尊重基本人权的前提下并按照“公平原则”进行，包括考虑人工智能对整个社会的影响。人工智能系统应该负责任地设计和开发，这需要遵循“默认的隐私”和“设计的隐私”的原则。应当减少和减轻人工智能中使用数据可能导致的非法偏见和歧视。

GDPR的自动化的个人决策规定可以对自主武器的规则制定提供一些启示，因为两者都涉及到了自动化的处理信息问题。GDPR对其采取的是有例外的禁止，而对于LAWS，现在也有完全予以禁止的主张。例如，2013年5月，联合国人权事务高级专员办事处法外处决，即决处决或任意处决问题特别报告员发布了一份关于致命自主机器人技术的报告，建议各国暂时停止一些相关的技术发展。2018年，在国际人工智能联合会议上，2400多名人工智能领域学者共同签署了《禁止致命性自主武器宣言》（Lethal Autonomous Weapons Pledge）。宣言指出，LAWS会在脱离人类控制的情况下选择目标并实施攻击，这带来了道德及现实层面的双重危险，人类的生命权决不能交给机器，而且，此类武器的扩散将对所有国家、个人造成极大的威胁。而截至2018年3月，已有22个国家正式表示采取措施禁止完全自主武器系统的发展[10]，这种趋势也反映在这几年的GGE会议上。但是考虑到国家实践和自主武器对国际人道法是否仅具有负面影响等问题尚未明朗，完全对其禁止显然不可行。那么，是否可以考虑采用有例外的禁止呢？因为，目前尚不明确自主武器会对国际人道法产生何种影响，所以应该在不设预断的前提下通过研究探讨对此作出约定。从这一点来看，有例外的禁止或许能成为一种选择，如果是选择了此种方案，就要对例外作出详细规定，比如可以将部分防御性的自主武器纳入到许可范围。

GDPR规定的个人干涉权也可以反映在关于LAWS的规则中，正如目前已经达成一致的要有人类有意义的控制的建议就与此非常类似。有意义的控制标准显然可以参考GDPR中人工干涉的标准，即个人具有变更自动化决策的权限，而且这种干涉权是实质干涉等内容。

正如GDPR中在例外情况下自动化处理时，数据控制者还应当采取适当措施保障数据主体的权利、自由、正当利益，LAWS的部署和使用中也应采取适当措施保障包括国际人道法在内国际法的遵守，而这里的国际法也会包括以后有可能就LAWS缔结的相关条约。

而自动化处理对自然人的权利与自由带来风险进行评估的DPIA制度，则对LAWS法律审查提供了有益的借鉴。CCW体系下的新武器审查机制在一些关键性的问题上界定不清，操作性不强，以至于《第一附加议定书》第36条确立至今虽已有近40年却形同虚设的情况下[11]，我们有必要关注欧盟在GDPR下如何实施DPIA，包括制定何种详细的实施细则，这些都将对LAWS的审查机制提供宝贵的经验。

四、自主武器国际法规制的核心问题

自主武器系统在武装冲突中可能会带来好处：它们可以减少人员伤亡的数量；借助人工智能帮助更精确地瞄准目标，武装冲突可能会变得更加人道；人工智能可以改善战场上的医疗；自主武器系统也可能提出新的挑战；由于被派往实地的人数减少，卷入武装冲突的政治成本可能会降低，因此，卷入武装冲突的决定可能会受到较少的限制。但是一个以上的人工智能系统之间的武装冲突将加速超越人们的理解和控制，从而引发类似于金融市场中的“闪崩”的“闪击战争”。因此，不仅武装冲突的性质（Character），武装冲突的本质（Nature）也将发生巨大变化，从而开创人类历史上的一个全新时代。在此时代，机器将像科幻小说一样相互对抗。

问题在于人工智能的算法系统可能存在偏差。所有决策都是有偏见的，这是不可避免的，重要的是偏见是合理的和有目的的。算法偏见的许多原因包括对上下文的了解不足、优化标准识别不当、对所选标准缺乏明确的理由、使用给定上下文中不可接受的理由，并且由于实现错误和不可靠的输入数据等原因导致系统无法正常运行。但是，有关人类的人工智能的道德、法规和标准问题仍未解决。

根据《第一附加议定书》第36条规定，缔约国在研究、发展和获取新的武器、作战手段或方法时，应进行合法武器审查，确保其遵守现有国际法。审查重点是这类武器或系统能否以及如何在攻击目标时做到与人一样准确，包括评估预期军事优势和附带损伤、区分战斗人员与平民、区分健全的战斗人员与失去作战能力的战斗人员等能力。[7]依据《第一附加议定书》第36条的合法武器审查程序，交换相关信息，对自主性技术的国际转让实施有效控制，防止扩散和非国家行为体的滥用。自主武器系统引起人们对失去使用武力的控制权的关注，这可能给武装冲突中的平民和战斗人员造成严重后果。人为控制的概念，无论是有意义的、适当的、必要的、重要的还是其他表达，现在已经牢固地成为在CCW上如何处理LAWS的辩论的核心。对“有意义的人为控制”（Meaningful Human Control）的要求来自两个前提：第一，普遍认为，施加武力和操作而没有任何人为控制的机器是不可接受的；第二，人类仅仅根据计算机的指示按下“开火”按钮，而没有认知的清晰性或意识，不足以在实质意义上被视为“人类控制”。致命性自主武器系统领域的新技术对于法律武器审查造成的独特困难，包括测试和自学系统每次自行改变时是否需要对其进行审查。[8]

谈到违反国际法时的责任问题，国际人道法将义务强加于国家、武装冲突各方和个人，而不是机器，这一点已经形成共识，但是关于个人之间的责任分配，还是有不少需要解决的难题。例如，开发武器的技术人员、部署武器的相关人员、指挥武器使用的指挥员以及实际使用的战斗员的责任如何划分？此外，还有诸如自主武器未按操作人员的意愿导致额外的损伤等问题，都会成为棘手的解决难题。

关于LAWS的出口管制问题，目前已有《关于禁止发展、生产、储存和使用化学武器及销毁此种武器的公约》（简称为《化学武器公约》）和《禁止发展、生产、储存细菌（生物）及毒素武器和销毁此种武器公约》（简称为《生物武器公约》）对军民两用技术和产品出口进行管制，侧重于使用目的（最终用途）而非一般目的（具体的物质或技术），这可以为LAWS的出口管制提供经验和范例。

五、结论

因为自主武器并非只有负面影响，以及从世界上的主要国家都在致力于自主武器开发等实践来看，完全对其禁止显然不符合现实。但是，我们可以通过适用现存的国际法以及对其进行规范，从而适当地对自主武器的开发和投入使用进行一些规制。《不扩散核武器条约》《化学武器公约》《生物武器公约》、CCW等现有条约对部分LAWS具有可适用性，而作为习惯国际法的国际人道规则也可以约束LAWS。

不能停止或禁止使用各种类型的系统进行自主操作，尤其是民用和军用人工智能的开发和应用。尽管部署LAWS并没有技术上的障碍，但是，仍需实施某些国际法律控制。LAWS必须满足国际人道法中规定的道德和法律要求标准。根据国际法，与LAWS相关的法律必须要求人为控制或介入，因为生死攸关的决策绝不能仅委托给非人为代理。关于LAWS的目标选择和参与决策，不应完全委托给机器的观点似乎已经达成共识。GDPR要求仅个人自动化处理个人数据的人员参与会产生与数据主体有关的法律效力或类似地对其产生重大影响，这对LAWS是一个很好的借鉴。

随着信息与通信技术（Information and Communications Technology，以下简称为ICT）的发展以及国家和国际社会的变化，涉及网络空间和人工智能的新兴问题需要以不同的方式处理。这些具有全球性的问题需要通过国际法在全球进行处理。考虑到网络空间和ICT在全球范围内相互联系，需要以跨学科或综合的方式一起解决那些显然是个人问题和领域，例如数据隐私、网络安全和人工智能。军事环境中的LAWS还需要在数据保护环境中进行自动决策所需的人为因素，各国仍应对其活动以及根据国际法归因于其的活动负责，而人工智能也不应例外。具有人工智能的机器人将不会处于与人类相同的地位。

我国作为CCW的缔约国，也参加了LAWS的三次非正式专家会议和四次政府专家组会议，并在2018年的会议中提交过立场文件，主张：（1）LAWS应被理解为完全自主的致命武器系统。支持就LAWS的具体定义达成协议，为此，首先支持关于LAWS的技术特征（规格，周长）的讨论，并在此基础上寻求明确的定义和范围。（2）人机交互的必要措施有利于防止因脱离人为控制而造成的不加区别地杀死和致残。有意义的人为控制和人为判断等概念相当笼统，应进一步阐述和阐明。（3）基于LAWS的各种不足，在采取适当解决办法之前，呼吁所有国家采取预防措施，特别是不要滥杀滥伤平民。（4）新兴技术的影响值得客观、公正和充分讨论。在进行此类讨论之前，不应存在任何可能妨碍人工智能技术发展的预设前提或预先判断的结果。（5）LAWS原则上应服从国际人道主义规则，包括预防、区分和相称原则。然而，就这种武器系统而言，上述原则的应用面临许多不确定性。因此，在探讨与LAWS有关的法律问题时，有必要充分考虑一般法律原则对LAWS的适用性。[12]

但是总体上，与欧美国家比较起来，这些尚不能反映我国在人工智能发展方面的当前国际地位，特别是，与其他欧美发达国家有不少高等院校的学者参与会议相比，我国在此方面显然是比较落后的。以2019年的GGE会议为例，就有包括哈佛大学、剑桥大学在内的来自奥地利、英国、捷克、瑞士、美国、日本、德国、爱尔兰、丹麦、加拿大、芬兰、西班牙、澳大利亚等国的诸多高校和科研机构派员参加了会议。我国也可以考虑以后的会议鼓励国内相关科研机构派员参加会议，这样，一方面学者可以与政府一同为中国观点发声，另一方面还可以通过这样的高规格会议使得学者得到锻炼和理论联系实际的机会，进而起到激发更多学者投入到相关研究的积极性。

关于武器的法律审查机制，在国际层面有不具有强制力的《新武器、新作战手段和方法法律审查指南》，该指南由国际红十字委员会于2006年出台。至于国家层面，目前，仅有瑞典、美国、挪威、荷兰、比利时、澳大利亚、法国、英国、德国和丹麦建立了武器合法性国内审查机制。[10]我国也有必要通过国内法规，对包括自主武器在内的新武器引入法律审查机制，从而使得我国开发的自主武器符合国际人道法的相关要求。