智能武器的法律挑战与规制

谢 丹 罗金丹

内容提要：人工智能技术的迅猛发展及其在军事领域的应用，极大促进了智能武器自主性能的提升，使其不仅可以自行选择、识别、监测、攻击相应目标，而且还能借助“深度学习算法”处理各种复杂的军事任务。智能武器的特殊性及其推广应用，给现行军事法特别是武装冲突法带来诸多严峻的挑战。为此，应进一步确立并坚持人类主导原则、严格责任原则和全面审查原则，切实加强对智能武器未知风险之防范，有效控制智能武器所带来的法律后果。

人工智能自诞生之日，即被大量应用于军事领域。从自主制导弹药、攻击无人机到军用机器人、智能C3I系统等，人工智能技术以其高效化、精确化、自动化、逻辑化等效能，直接影响着战争形态、作战样式和指挥模式等。近年来，人类似乎不再主导战术级“观察—判断—决策—行动”循环①参见袁艺：《福祉亦或灾难：智能武器的未来》，载《军事文摘》，2015（11），56～60 页。，而是将这些职能直接赋予计算机，从而使得以“深度学习算法”为核心、具有“人类智力”的智能化武器装备和作战体系（以下简称“智能武器”）应运而生。然而，从理论和实践层面看，研发并使用智能武器，不可避免地带来诸多法律问题。这已成为世界各国尤其是国际军事法学界平衡科技发展与法律稳定、军事需要与人道原则所必须直面的现实课题。

一、智能武器的界定及发展沿革

随着信息化战争逐步向智能化深入发展，军事科技智能化的产物不断涌现，不仅体现在各类武器装备的自主程度日益提高，而且还表现为其参与自主决策的领域越来越广，从而形成“信息系统辅助人”向“智能系统代替人”的深度融合转变。

（一）智能武器的概念

智能武器，是指具有一定智力，能够自主依据现行算法“有意识”地选择、寻找、搜索、跟踪、观察、识别、攻击目标，并且能够自主学习、调整而无须人类干涉的装备体系。由此可知，智能武器是一种“去人类化”的作战装备，在本质上实现了人和工具的物理分离，使得武器不再依赖于人的参与，而只需通过相应的数据和算法就能完成预设任务。

随着人工智能军事化应用的不断加强，智能武器被赋予更加多样化的角色和任务。例如，作为“云端大脑”提取信息并处理情报、罗列敌情并提出最佳应对方案，作为“法律专家”为军事指挥官提供实时咨询、指挥控制无人化作战平台、协助武装部队作出拘留决定等。①参见许玥凡、张瑷敏：《人工智能武器：福兮，祸兮？》，载《解放军报》，2018-06-29。可见，智能武器不再仅仅是杀伤敌方有生力量的工具，而是作为一种类人化的科技产品，具备学习、推理、适应和自我修正等理性认知功能，并且能够执行通常需要人类智能才能完成的复杂任务。这就要求我们进一步拓展对智能武器现有内涵的认识。

基于此，新时代的智能武器，不仅包括能够直接或间接杀伤敌方有生力量的外部智能武器，还应包括作为“云端大脑”“数字参谋”等存在的内部智能装备。

（二）智能武器的历史演进

军事技术对人类参与的依赖程度将愈来愈低，随之而来的是武器的自主性能将不断提高。信息化武器装备按照其自主化程度不同，可以划分为以下四种：远程遥控操作、自动化、自主化、拟人智能化。

远程遥控操作，亦称为“人在循环中”（Human in the Loop）模式，它是一种最低级别的自主模式，意味着机器完全受控于人类，人与机器只是在空间层面实现初步分离。在该自主模式中，人类操作员根据自己的意志直接选择、识别目标并操作机器攻击该目标，机器只能依照人类的命令展开行动。

自动化武器，是指一旦人类操作员选定目标，即无须进一步人工输入，就能在预先编程的参数范围内攻击该目标的武器。这类自主模式，亦称为“人在循环上”（Human on the Loop）模式。在该模式中，人类仍控制着目标选择，决定着是否向目标发射制导武器，并可以监控、检查武器的具体行为是否符合预设编程。

信息化战争对快速反应能力的迫切需求，促使武器系统的自主性能更进一步提升。这类武器，不仅能够在发射后拥有自己的感知、运动和攻击能力，而且还有能力决定攻击哪些具体目标，然后根据预先“决定”采取行动。该自主模式，亦称为“人在循环外”（Human out of the Loop）模式。这类武器允许人工操作员行使最终否决权。也就是说，人类虽未参与“观察—判断—决策—行动”的循环，但仍享有在特定情况下中止完全自主武器攻击的权力。

为抢占军事技术制高点，2010年以后，世界各国更加重视自主武器在军事行动中的有效应用，拟人智能化武器快速进入国际社会的视野。这类以大数据和深度学习算法为支撑的武器具备 “一些类似于人脑的能力”，甚至在特定方面拥有超越人类的智力，不仅能够根据实时更新的数据自动选择、搜索、跟踪、观察、识别和攻击目标，而且能通过不断学习适应复杂多样的现实情况，甚至总结出能应对复杂时空条件的“战场思维”。由此带来的是“算法博弈”成为未来战争的焦点，取得算法优势的一方将能快速而准确地预测战场态势、优化作战方法，进而实现“未战先胜”。②参见《人工智能助解放军打赢未来战争》，载《参考消息》，2019-02-01。不仅如此，这类智能武器还能通过模拟人的行为准则和决策过程来完成情报处理、法律咨询、战略规划等多种军事任务，甚至能够在该过程中自行构建基本的运算模型，从而实现自我完善。

近年来，世界各军事强国为保持军事优势，都在持续加大对智能武器的投资成本和研发力度，使得智能武器的水平和规模均得以迅速壮大。2018年，美国国防高级研究计划局（DARPA）宣布，对人工智能的投资增加20亿美元，用以布局下一代的军用人工智能。①参见鲁传颖：《人工智能安全：挑战与机遇》，载《重庆与世界》，2018（20），59～61页。俄罗斯、以色列、德国等诸多国家，也在不断增加对人工智能军事化应用的投资，人工智能技术被频繁纳入新一代常规导弹，以及防御情报、监视和侦察系统中，以进一步提升各类武器的精准度和杀伤力。然而，各国对智能武器的过分青睐，以及相应法律规则的严重缺失，引发了国际社会对智能武器军备竞赛的强烈担忧。为此，联合国在经过2014年和2015年的两次非正式会议后，于2016年12月16日在关于特定常规武器公约的联合国会议上，成立了致命性自主武器系统政府专家组（LAWS GGE），专门负责研究致命性自主武器领域的新兴技术，并评估其对国际和平与安全的影响，从而为其国际治理提出相应的意见和建议。②参见鲁传颖：《人工智能安全：挑战与机遇》，载《重庆与世界》，2018（20），59～61页。

二、智能武器发展带来的法律挑战

事实上，自智能武器诞生之初，国际军事法学界就开始注意并探究对其加以必要法律规制的问题。其中，讨论最多且尚无定论的法理困惑主要集中在以下四个方面。

（一）智能武器本身的合法性问题

智能武器本身的合法性问题，是指智能武器作为一种在武装冲突中常用的作战手段，是否符合现行国际人道法的有关规则，能否被各国合法研制、生产、储存和发展。对这一问题的回答，决定着这类武器是否需要自始被禁止或限制。从国际法视角看，《日内瓦四公约关于保护国际性武装冲突受难者的附加议定书》（以下简称《第一附加议定书》）第三十五条、第五十四条，以及《常规武器公约议定书一》《常规武器公约议定书二》《常规武器公约议定书三》等国际条约，均对武器本身的合法性问题予以规制。

国际人道法禁止或限制下列武器：一是不分皂白的武器，即武器不能以特定军事目标为攻击对象，或者其使用效果不能按照《第一附加议定书》的要求加以限制。因为此类武器违反了国际人道法中最基本的区分原则，极易造成平民生命受损失、平民受伤害和平民物体受损害。二是特别管制的武器，例如毒气、地雷、燃烧武器、致盲激光武器、集束弹药、化学武器、生物武器、核武器等。使用上述武器会给人类带来过分伤害和不必要痛苦，或者会对自然环境造成广泛、长期和严重的损害，不符合人道关怀和环境保护的价值目标。

2014年，河北水利工作继续深入贯彻落实十八届三中全会精神和习近平总书记重要讲话，紧紧围绕党中央、国务院和省委、省政府的重大决策部署，重点实施地下水超采综合治理和农业高效节水压采，推进水利重点项目建设，落实最严格水资源管理制度，加快水利重点领域改革，加强农田水利设施，加大依法治水力度，提升防洪抗旱减灾能力，为河北经济社会发展提供有力服务支撑。

至于智能武器是否属于以上两类武器的范畴，是否应当被自始禁止或严格限制，国际法学界至今尚未形成一致意见。

（二）智能武器的合法使用问题

当智能武器通过法律审查被认为是合法武器时，其将面临另一个层面的问题：在武装冲突过程中，如何合法使用智能武器以确保其在选择和攻击目标时能够充分尊重国际人道法的基本规则。

本质上，智能武器的合法使用问题，是建立在“智能武器是合法武器”和“合法武器的非法使用”这两个命题基础之上的复合问题，意在通过规则设置来达到保护平民、保护环境、减少痛苦之最终目的。结合现行国际法规范看，“日内瓦体系”对武器的使用方式作出了较为全面、系统的规定。具体包括：一是共同的禁止，即禁止使用会引起过分伤害和不必要痛苦或者可能会对自然环境造成广泛、长期而严重损害的作战方法；二是禁止不分皂白的攻击；三是禁止对平民、民用物体、文化遗产和含有危险力量的装置进行直接攻击等。

除上述禁止性规范外，区分原则、比例原则、预防原则等国际人道法原则，亦从命令性规范的角度对智能武器的使用提出了强制要求。即智能武器在其“生命周期内”必须以符合国际人道法原则的方式运行，而这取决于该武器具体性能和使用环境的可确定性。然而，智能武器无法理解人类的感情、情绪、习惯等，进而无法像人一样思考和行动。加之军民两用物体广泛应用于战争等现象，致使平民与战斗员、民用物体与军事目标的区分难度增大。随着人工智能的深入发展和战场态势的信息化演变，智能武器的技术性能和使用环境愈加复杂化。对此，合理解决智能武器的合法使用问题，亦是当务之急。

（三）智能武器的法律主体资格问题

智能武器的法律主体资格问题，本质上是可否将“机器人”加以人格化或拟人化的问题。这是智能武器法律规制中的核心环节，亦是研究智能武器归责依据的前提和基础。

对此，主要分歧意见有两种，即支持人工智能人格化和反对人工智能人格化。具体到智能武器研制和应用：一方面，智能武器越来越多地拥有自主性和综合能力，使得其能够作为独立存在的“战斗员”参与作战；另一方面，虽然智能武器作为事实上的“战斗员”参与了敌对行动，但却尚无“战斗员”的法律主体地位，亦不能履行国际人道法赋予“战斗员”的各项义务与责任。于是，智能武器的自主行为往往被归责于其制造者、设计者、使用者和指挥者，由此引发的法律后果，亦被认为是法律关系主体行为之延伸被包涵进现行法律规范中。

（四）智能武器附带损伤的归责问题

智能武器的归责问题，直接决定着受害人的权利能否得到切实救济，以及加害者的责任能否得到依法追究。在非对称战争实践中，高科技武器无故致伤亡的案例并不少见。例如，伊拉克战争中，美军“爱国者”导弹将两架盟军飞机当成伊拉克的“飞毛腿”导弹予以击落，造成相关人员的巨大伤亡。①参见袁艺：《福祉亦或灾难：智能武器的未来》，载《军事文摘》，2015（11），56～60页。由于人类始终在决策环节控制武器的使用，因此，由相关国家与人员共同承担损害责任，显得于理可行、于法有据。

然而，智能武器致人损害却有所不同。一方面，随着智能武器具有越来越强的自主性与独立性，相关人员已不再能时刻控制着智能武器的运行轨迹，亦无法准确预料其通过后天学习所确立的判断规则。人的行为与损害后果之间的因果关系被大大削弱，由人类完全承担智能武器致人损害的后果，似乎不再符合现行法律所确立的“责任自负原则”。另一方面，受法律规制的“滞后性”所决定，国际社会尚未形成专门规范智能武器研制、生产、应用的相关规则，致使许多智能武器的使用国和实际操作者能够“堂而皇之”地规避相应法律的制裁。而智能武器本身具有的风险性和不可预测性，使得相关人员和国家不愿承担其致人损害的产品责任，造成了责任依据和责任主体的双重缺失，最终将不利于受害者的权利救济，以及对科技风险的防范。

为了解决这一困境，有学者在支持智能武器人格化的基础上，进一步提出由智能武器自身和相关人员共同承担致人损害责任的设想。但随之而来的是，人们不得不重新思考与之相关的归责依据、归责原则、责任履行、责任阻却等一系列法律适用问题，以便使新型归责机制能够适应人工智能时代智能武器发展应用的现实需要。

三、智能武器的规制及法理

2010年以来，信息化战争形态日益从“数字化＋网络化”的初级阶段向“智能化＋类人化”的高级阶段演进①参见袁艺：《福祉亦或灾难：智能武器的未来》，载《军事文摘》，2015（11），56～60 页。，智能武器作为军事力量的重要组成部分，越来越多地参与非对称战争，由此引发诸多涉及法益的新情况。但是，无论是现行国内法抑或是国际法，均未能及时有效地规制由此引发的新问题。为更好地维护国家安全和军事利益，增强我国在新军事变革中保持战略优势和道义主动，军用智能机器人、军用无人舰艇等智能武器的研发、生产和应用不可避免。为此，需研究并明确智能武器发展应用的基本法律原则，以确保科技的发展始终在合法的框架范围内进行。

（一）人类主导原则

人类主导原则，亦可称为有效控制原则，是指人类在选择或攻击目标等关键环节上，必须确保能够控制智能武器的运行，无论这种控制是通过植入道德程序代码抑或是植入自毁模式实现的。由此，智能武器的应用必须受到合理的限制。

这是因为：一方面，智能武器虽然拥有比拟于人类的智力，但它并不具有人的政治意识、政治诉求和政治考量，亦不具备人的精神追求和道德意识。然而，军事斗争并不仅仅意味着武力的冲突，更是一种政治及道义的博弈和平衡。事实上，大到制定作战方案、部署武器装备，小到选定攻击目标、攻击路线等，都蕴含着政治上的考量，这是智能武器自主作战所无法做到的。另一方面，随着强人工智能的出现及其学习能力的不断提升，智能武器极有可能根据其所接受的不同信息，演变出不同类型。由于数据信息是庞杂而不可预测的，加之人类输入算法时存在失误的风险，即使是计算机编程员也无法确定其经过后天学习将具备哪些能力，更遑论控制智能武器的后续独立运行。

当代国际法格局和军事斗争实践证明，简单地禁止智能武器开发应用，既不可行，也不现实。基于此，研发和应用智能武器的底线应当是：保持人类对智能武器开火权的有效控制，确保人类永远是人机关系的主导者。从哲学角度来说，就是要避免智能武器形成“存在升级”②“存在升级”，指的是某种技术或制度的发明开拓了新的可能生活，并定义了一个新的可能世界。所以，这意味着存在方式的革命，而不仅仅是工具性的进步。参见赵汀阳：《人工智能“革命”的“近忧”和“远虑”——一种伦理学和存在论的分析》，载《哲学动态》，2018（4），5～12页。，禁止研发出有能力对人类说“不”的智能武器。③参见赵汀阳：《人工智能“革命”的“近忧”和“远虑”——一种伦理学和存在论的分析》，载《哲学动态》，2018（4），5～12页。

（二）严格责任原则

通常而言，武器应用致人损害的，由有关个人和国家依照过错责任原则、过错推定责任原则或无过错责任原则来承担相应的责任，与武器本身并不相关。然而，智能武器的类人化特征，却使其侵害行为具备较强的自主性和独立性，人的行为与损害结果之间的因果关系被大大削弱，致使智能武器致人损害的责任主体变得模糊。加之现有国际社会尚未明确智能武器的相关规则，对其致人损害的归责机制仍存在较多的争议。

笔者认为，无论人工智能技术在何种程度上对现行武装冲突法律体系提出挑战，智能武器都不应被过度人格化，严格责任原则应当成为相关人员和国家承担侵权责任的归责依据。这是因为，按照“人类主导原则”要求，智能武器的应用必须在人的控制范围之内进行。也就是说，无论智能武器具备多高的自主性，它始终只是人认识世界、改造世界的一项工具，其背后的使用者才是真正的法律关系主体。由于智能武器作为一种科技产品，本身就具有一定的风险性和不确定性，且其含有巨大的杀伤力和破坏性，易对攻击目标造成毁灭性损害。因此，有必要确立仅以危害结果为依据的严格责任原则，来促使智能武器的设计者、生产者和实际操作者更好地履行预防义务，减少危害发生。

必须注意的是，不受人类控制或人类无法预测的智能武器，不应被研制和生产，更不应被普及和应用。因为，这类武器从一开始就违反了科技发展的底线——“人类主导原则”，进而极有可能对人类社会产生始料未及的副作用和巨大威胁。

（三）全面审查原则

全面审查原则主要包含以下两个方面的内容。

一是审查智能武器本身的合法性问题。即分析智能武器的设计、生产、试验，是否满足现行的研发标准和要求，是否违反规范新武器研究和发展的现行法规则。这是从事先预防的角度出发，对智能武器本身存在的科技风险进行防范的重要举措。这使得不符合《第一附加议定书》 第三十六条①《第一附加议定书》第三十六条规定：“在研究、发展、取得或采用新的武器、作战手段或方法时，缔约一方有义务断定，在某些或所有情况下，该新的武器、作战手段或方法的使用是否为本议定书或适用于该缔约一方的任何其他国际法规则所禁止。”由此，在国际法体系中明确了对新型武器进行合法性审查的法律依据。规定的新型武器，能够从萌芽之时就被相关国际法规则所禁止或限制。

二是审查合法的智能武器是否被非法使用的问题。一般来说，武器本身的合法性与武器使用的合法性是两件截然不同的事情，应当区分开来加以审查。例如，锤子作为修理工具本身是合法的，但却能够被非法使用造成伤害，甚至用以故意杀人。由此可知，即使能查明智能武器本身具有合法性，也并不意味着智能武器就必然被合法使用。这就要求，智能武器被研制生产后，其具体的应用过程，以及与之相关的作战手段和使用方法，仍需加以进一步审查和确认。这是事中预防智能武器失控风险的现实需求，也是确保人类在智能武器运行过程中能够始终占据主导地位的重要措施，对于强化平民保护、预防科技风险等，均具有不可替代的重要意义。