强人工智能设备面临的伦理困境与风险

内容提要 基于“人是目的”的价值设定而建立起的“伦理至善”第一原则让强人工智能设备的研发和应用首先遭遇道德合法性的论证难题。“有限的道德合法性”为其谋求到了一个伦理存在空间。以致命性自主武器系统（LAWS）为例，“有限性”的前置条件则让关于其“道德责任代理人”的准确识别与划分成为首要问题。以道德判断能力为标准，将作为“工具”的机器和作为“具有实践智慧”的人做明确划分是准确识别LAWS责任代理人的逻辑基础。基于道德责任代理人的逻辑梳理，即使被完美道德编码的LAWS作为“非道德”的机器在应用中也可能会遭遇“不道德的人”的伦理难题。这是我们可预见且对国际关系构建和整个人类社会发展可能产生颠覆性影响的伦理威胁。从这个角度看，谨防出现基于“技术野蛮”的“寡头恐怖主义”这一时代命题要求我们尽快对相关强人工智能设备给出一套有效的、缜密的预防性伦理应对机制。

关键词 强人工智能 致命性自主武器 有限的道德合法性 道德主体 寡头恐怖主义

张亦佳，河海大学马克思主义学院博士研究生、南京财经大学助理研究员

20世纪70年代，塞尔（John Searle）首次提出了“强人工智能”概念，认为“计算机不仅仅是用来研究人的思维的一种工具，只要运行适当的程序，计算机本身就是有思维的”[1]。业界认为相对于弱人工智能，强人工智能的优势在于“机器可以全面、综合地复现人类的所有思维能力，且聪明程度能够达到或超过人类”[2]。2022年9月，AlphaGo Zero被证明能够独立于人类的经验知识与指令，通过感知领域的深度学习和决策领域的不断强化学习，最终实现智力的自我进化。强人工智能设备可能带来的风险又一次引发广泛关注和担忧。关涉到战争领域，以智能无人作战为主导的未来战场将呈现出“零伤亡、高智能和无人制胜”的特点。随着自主武器系统的深入研发与实践应用，战争形态的范式转变所引发的道德困境和挑战将会是人类未来必须面对的重大伦理议题。自主武器系统的研发初衷是减少人类战士在战场上的伤亡，但是，近来基于强人工智能的致命性自主武器系统（lethal autonomous weapon systems，LAWS）已经被研发出来甚至出现了实战应用案例[1]，而以此为代表的强人工智能设备可能带来的伦理问题也日益凸显。由于强人工智能的具体表现形式多样，本文将以LAWS为例来具体分析此类强人工智能设备可能面临的伦理挑战。

一、强人工智能“伦理至善”的道德合法性难题及其可能性辩护

整体来说，强人工智能设备应该具备以下特征：须达到或超越人类智能、可实现“意识自醒”并形成“自己”独特的行动目标、具备较为完整的认知能力序列和情境适应性能力等[2]。而依照相关概念，LAWS指的是“一种基于AI技术且具有自主决策性能的‘杀手机器人（killer robots）武器攻击平台，可以在不经过人类操作员干预的情况下，独立搜索、识别目标并自主性地做出攻击决策，其设计初衷是寄望于以智能机器人取代人类战士从事战场侦察、日常巡逻和执行危险性战斗任务，从而达到降低人员伤亡、减少战争损耗和实现精准打击之功效”[3]。可见，“自主性+攻击性”的叠加性能是其区别于传统军事武器类型的最主要标志。由于LAWS具有“能够在没有任何人类指令输入或人机互动操作情形下自主选择攻击目标并开火”的性能[4]，至少从表面上看，人就已经完全被排斥于一個军事任务的闭环之外。目前关于LAWS的最大伦理争议，实际上来自道德责任的认定，即马蒂亚（Matthias）所提出来的关于军用机器人使用中的“道德鸿沟”[5]问题。

在传统意义上，正义战争一贯秉持“如果有可识别的战争罪行，就一定有可识别的罪犯”[6]的道德主张，在人工智能高度参与的各项军事行动中，人们也应该要求有明确的、可识别的道德行为主体为各种军事行动的后果和影响承担起直接的道德责任。谁应该为LAWS承担道德责任，LAWS是否要为自己的“自主性”承担道德责任，责任代理人各方又应该承担什么样的道德责任，以及如何才是真实有效地承担道德责任等问题，是当下最具争议的伦理话题。在开始讨论LAWS的道德责任之前，我们需要对LAWS最基本的前置性问题进行辨析，即从逻辑上来讲，当人们提出“LAWS能否被视作一个独立的道德行为主体，并能否成为其行为后果的道德责任代理者”的问题时，实际上就已经默认了这一基本预置前提——LAWS是被允许研发并应用于现代性军事行动当中的。这就涉及对LAWS应用的道德合法性确证问题，如果有充分论证表明，LAWS是应该完全被禁止研发和应用于军事行动中的，那么其道德责任问题也就随之从根本上被消解而成为一个无意义的问题。因此，我们无论对LAWS持支持或反对意见，都必须首先给出关于其合法性的严谨而完整的道德哲学论证。

1.关于道德责任诘难的一个必要澄清

关于作为强人工智能的LAWS的研发及应用是否具有道德上的合法性问题，无论我们持何种观点或许都会招致诸多伦理挑战。但我们首先要做的是要从一种“责任鸿沟—道德禁令”互为前提、循环论证的思维泥潭当中摆脱出来。对LAWS的反对意见中，最具普遍性的道德理由及其证成逻辑如下：基于一个道德共识，即作为可以承担道德责任的代理人的一个条件是有能力通过相应的痛苦或报酬，受到相应的惩罚或奖励。因此，道德责任的一个必要条件是要将责任代理人纳入惩罚和奖励范围。机器人缺乏诸如痛苦、快乐一类的感知能力，这就意味着任何惩罚方式都无意义。所以，强人工智能设备就不符合负责任代理的资格[1]。同样，LAWS作为强人工智能设备的一种，任何对其不道德行为的事后指责都无意义。如此，在那些已发生的错误选择行为中就没有任何主体可以公平地去承担灾难性后果的道德责任。

那么，我们是否可以以此为全部理论依据而禁止LAWS参与到战争领域中呢？我们必须认识到，以上论证根本上隐藏了一种逻辑顺序颠倒的无效论证：由于LAWS在道德责任方面的不确定性，因而不具有研发和使用上的道德合法性；进一步地，又因为LAWS不具有道德上的合法性，所以LAWS的道德责任讨论是可以被消解的。因此可以得出一个结论：既无法准确划分LAWS的道德责任，其也没有道德上的合法性。但事实上，道德责任的归属问题并不能构成一个关乎终极价值目的和最高伦理关怀的道德合法性的说明，它应该是一个基于道德合法性探讨而随之出现的二阶伦理问题。因此它也不能成为否定LAWS价值性存在的根本依据。对于上面的论证，一个很简单的逻辑反诘是：如果有人愿意成为或者我们能够寻求到一个道德责任的实际承担者，LAWS是否就具有完全的道德合法性而可以被不加限制、随心所欲地使用呢？显而易见，这里的答案仍然是否定的。

实际上，现在大多数反对LAWS的道德声音都是出于人们基于“杀人是不对的”这一基本常识性道德判断，对LAWS可能摧毁生命的天然使命有着一种强烈的道德厌恶和情感抗拒[2]。只要对LAWS功能和主要军事用途做一个大致了解[3]，单就“致命性武器”带给人们的直观感受而言，就不难理解为什么很多人对LAWS怀有如此强烈的道德直觉式排斥。这就像一个和平主义者基于对战争本身的道德厌恶而对其正义问题嗤之以鼻一样。如果单纯谈论非武器化自主性机器人（即那些被我们称之为“朋友机器人”的人工智能）的道德合法性问题，比如无人驾驶汽车、仿生智能宠物、机器人医生、机器人服务员等，可能我们会宽容很多。因此我们期待更加理性、慎重、严谨的哲学审视和论证。

2.基于战争伦理先在规定的“有限的道德合法性”立场

到目前为止，我们只是说明了强人工智能在军事应用中的逻辑混乱问题，而仍未给出关于LAWS的任何道德合法性说明。为LAWS做道德合法性辯护非常困难的原因很大一部分在于“自主性+致命性武器”的组合而导致的双重界定难题。从智能性来看，2018年欧盟发布的由欧委会人工智能高级专家组（AIH-LEG）所起草的《可信任人工智能伦理指南》（Ethics Guidelines for Trustworthy AI）[4]，对人工智能所要求的内在遵循仍然是“人为自己立法”的规范性原理。也就是说，包括强人工智能设备在内的所有人工智能的设计、制造和应用都要符合“人是目的”这一道德合法性根基。因此，就形式而言，我们将“规范者指引”伦理框架的先行构建提炼为可信任人工智能伦理规范的第一个基本原则就是让“算法”遵循“善法”[1]。但同时，按照“致命性武器”用途的先在性设定，如果LAWS从其开始构想设计之日，其算法所设定的目的就是去“针对和杀害人类”（即“朋友机器人”的反面——“杀手机器人”）[2]，那么是否基于伦理至善的首要原则为LAWS留有道德合法性的伦理空间，这才是LAWS道德合法性确证的根本性难题。

关于这一伦理难题的处理方式大概会有两种：一种是悬置，正如一些军事家所做的；另一种是迎难而上一探究竟，这是伦理学者的使命。前者如美国国防部前副部长鲍勃·沃克（Bob Work）[3]曾在2016年接受采访时公开说道：“未来10年或15年内，如何授权机器人（实施杀伤行动）将变得非常清楚……但我非常担心美国经常围绕致命性自主武器的‘道德、法律和伦理问题进行讨论……我们的竞争对手可从来不这么干”[4]。而事实上，五角大楼后来的确悬置了这一问题。近年来，美国多次采用“无人机+导弹”技术开展了被其称之为“定点清除”的斩首行动。但是这绝不意味着这些已经展开的军事行动具有充分的道德正当性，也绝不意味着国际社会会同意这种情况一直发生下去。

如果继续讨论下去，关于LAWS的道德合法性说明似乎陷入了一种僵局：我们既推翻了现有反对意见的道德论证，似乎又不打算为LAWS的无限制应用做道德合法性辩护。而一个更为严峻的事实是，截至目前，全球已有40多个国家被披露正在设计、研发和试图使用“致命性自主武器”系统[5]。正如有些学者早已经意识到的，“伴随着人工智能技术的进步与日臻成熟，基于强人工智能技术的‘自主性已成为现代武器系统的一个重要进化趋势，全面禁止致命性自主武器系统在现实中已不太可能，即便实施了禁令，也很可能不会产生效果”[6]。如果我们回到讨论LAWS的伦理场域原点——军事与战争领域，就会发现如今关于LAWS道德合法性问题的困境正如我们在讨论战争正义问题时所遭遇到的道德合法困境一样——它既无法被全盘否定，又不具有天然的道德合法性[7]。

如果依据联合国《公民权利与政治权利国际公约》的规定，“每个人都有与生俱来的生命权，这项权利应受法律保护，任何人不得随意剥夺他人的生命”[8]，那么战争从其出现之日起，就从来没有获得过最高的道德合法性辩护。但事实却是一部人类史就是一部战争史。因此，从这一意义上讲，我们只能基于历史经验与事实，在一定的前提和限制条件下去讨论战争的道德正当问题。“正义战争理论是反对和平主义的……然而更重要的是它也反对侵略征服……它是一种限制性的理论。然而，它在限制的同时也许可以——许可限度之内的——武力行为。”[9]我们将这样的道德合法性称之为相对于“无限”的“有限的道德合法性”。

同样，如果在有明确的前置条件和限制的严格规约下，我们或许能为LAWS找到一个适存性的伦理空间。回到LAWS关于“降低人员伤亡、减少战争损耗和实现精准打击”的研发初衷，LAWS有限的道德合法性问题或许值得一辩。当然，这种辩护只能是消极的。或许在更消极意义上，就如核武器研发的辩护空间仅剩于“以核制核”的威慑伦理之辩护一样，LAWS的研发也可以被看作是在人类道德文明的发展高度还不足以使人类自身走出战争这样的时代背景下应运而生的，它是被用于实现国家之间相互制衡式和平的一种“不得已”手段和方式。无论怎样，LAWS用途的道德合法性在任何时候都需经过严谨到近乎苛求的论证说明才有足够的理由有限使用。而比起LAWS的可能性空间的讨论，更重要的是要对诸如以下这些问题时刻保持一种警醒：人员伤亡的降低、战争损耗的减少会不会潜藏着战争更加轻易被发动的可能？精准打击要求的科学技术是否会使更多的包括科学家、程序员等在内的原本属于非战斗人员都卷入战争当中？LAWS的滥用会不会使人类社会进入一种高科技野蛮时代？我们必须清楚地认识到降低战争准入门槛的风险背后所隐藏的都是对生命无限制的威胁和杀戮之可能。这些可能性也就意味着尽快拟定一整套审慎的、严格的、系统的关于LAWS的伦理规约性条款是时代的召唤和要求。

换言之，所谓“有限的道德合法性”，一定要从“有限性”和“道德合法性”两方面来看：“道德合法性”的确为LAWS寻求到了一个伦理适存空间，但“有限性”的前置性则要求我们对LAWS的伦理适存空间首先要做出系统的、谨慎的、详细的论证说明。限制谁？作何限制？由谁来限制？如何限制？这些问题必须一一去思考、回应和解答。当然，在这些限制条款中，LAWS除了作为一般原则的“算法遵循‘善法”的伦理原则要得到充分的解释和认可[1]，它还需要通过各种具体的法则，如自主程度、部署方式、用途范围、对人的伤害程度、后果预测、容错率、责任代理等各个方面进行限制性条款说明。而在所有的这些具体性问题中，道德行动者和责任人的识别和明确又首当其冲，它是所有限制性条款变得有实际意义的前提条件。这就涉及我们接下来要讨论的关于LAWS最主要的伦理难题：由LAWS自主程度所引发的关于行为主体与责任代理人的道德难题。

二、强人工智能道德编码与道德判断：责任代理人难题及其辨析

在为以LAWS为代表的强人工智能设备找到一个可能性伦理空间以后，我们对LAWS责任代理人的讨论才有意义。但在深入讨论“应该由谁承担什么样的道德责任”这个问题之前，我们首先需要明确一个最基本划分：LAWS的道德责任主体是机器人自身还是相关的人或以人为主体的整体性实体。从一般意义上讲，当我们将道德责任置于人工智能的语境中去深入讨论时，更多的是想要明确人工智能因为各种不确定性因素导致的意外的、灾难性的后果时能找到明确的实际责任承担者并对其作出相应的惩处。因此，在关于LAWS道德责任的讨论中，如何认识、定义和解读LAWS的“自主性”就成为一个关于道德责任主体认定的首要问题，它具体涉及的一个问题是：LAWS的“自主性”究竟可以达到什么程度，它是否会改变人在军事行动中的决策中心地位？

1.机器人“自主性”的两种理解方式

強人工智能已经出现，学界也在担心未来是否会出现完全将人屏蔽在闭环之外的、交由机器人自主决定的“超人工智能”范式。在强人工智能范式当中，虽然AI技术越发强大，但机器人作为“工具”的定义始终是清晰的，人的道德决策中心地位也未发生实质变化。而在高度自主化的“超人工智能”范式中，人有可能丧失道德决策中的中心地位而沦为旁观者或“第三人”。

机器人自主程度可能有多高，LAWS的坚决反对者斯派洛（Sparrow， R.）给出自己的描述：“人工智能武器系统将能够做出自己的决定，例如确定它们的目标或它们接近目标的方式，并以一种‘智能方式这样做。……这些机器的行动是基于某些理由，但这些理由将取决于系统本身的内部状态——‘欲望、‘信念和‘价值等的伦理敏感性。此外，这些系统本身将具有形成和修正这些信念的重大能力，他们甚至会有从经验中学习的能力。”[1]依据斯派洛的设想，高度自主化的机器人在具体的军事行动过程中可能会依据自己的理解，以一种与人类所支持的判断完全不一致的方式应用这些规则，甚至最终将拥有拒绝人类编程规则的自主权。但另一些学者对此则有着截然相反的观点：无论如何，“机器人是机器，不是人，没有自由意志，也不可能做出自主的道德抉择，它可以形式地执行人的蕴含道德要求的指令，但它自己并不懂得任何道德意义……作为物的机器人并不明白什么是伦理问题……它不过是机械地执行人的预制性指令，如只歼灭战斗人员和摧毁军事设施、避开平民百姓等，这里根本就谈不上所谓机器人本身的伦理敏感性……而让机器人‘自主地运用道德规则来应对复杂的道德情景，即将伦理系统嵌进机器人的大脑中，使之可以依据伦理原则在具体场域中进行决策，是一种天真的幻想”[2]。

我们可能无法预测人工智能的终极样态和用途，就像一百多年前莱特兄弟也无法预测到今天的人类仅仅通过“无人机+机载导弹”的操作就可以轻易置人于死地一样。对于斯派洛的描述，我们无法保证这种情况绝对不会发生。如果机器人真的能够实现拒绝人类意志的完全自主行动，那么它可能会对人之为“人”的存在方式和存在本质产生一种颠覆性影响。其所涉及的讨论范围也就远远超出本文主题，到时候可能远不止是LAWS的道德责任问题，而是生物人（自然人）与机器人如何和平相处的伦理问题。抛开我们的异想和假设成分，从理性认知的角度来看，从本质上讲，现今的基于强人工智能的LAWS仍然是遵循算法规则，并执行代码指令的。“自主武器系统是一个逻辑算法框架”[3]，这是现今对以LAWS为代表的强人工智能设备存在形式的基本认知判断。

2.算法逻辑和道德决策的实质

无论机器人技术如何发展，上面两种截然不同的观点所聚焦的同一个道德问题实际上是：强人工智能设备究竟能否获得道德判断的自主决策能力而成为承担自己行为后果的道德代理人？依据“自主武器系统是一个逻辑算法框架”的基本判断，机器人获得道德能力的任务似乎就落到了程序员身上。将道德规范或社会所普遍承认的正义原则编写成代码并植入程序，这就是人们所说的机器人的“道德编码”。“道德编码”不是一个技术难题，很多技术专家都明确表示机器人完全能够满足人们对它的社会道德要求。

关于“道德编码”的实质性争论在于：一种被编纂起来的道德规范（即所谓“道德法典”）[4]是否可以成为判断的全部依据？或者说道德判断和道德决策的行为依据是否能够简化为一套道德规则？实际上，关于道德法典化的争论不是强智能设备出现后才有的新问题，它早就广泛存在于人的道德决策的讨论之中。麦克道尔（McDowell）在1979年就已经引入了“反法典化命题”的观点，他写道：“任何合理的成人道德观都不允许这样的编纂，这似乎是非常难以置信的。正如亚里士多德一贯所说，关于一个人应该如何行为的最佳概括只适用于大多数情况。如果一个人试图将自己对美德的概念简化为一套规则，那么无论他在起草规则时多么巧妙和深思熟虑，机械地应用规则的情况都会不可避免地出现，让他被认为是错误的……”[1]

道德判断与道德决策的依据和理由是一个庞大而复杂的伦理学命题，不同立场、派别的学者在具体的观点、细节的论证以及相关术语的运用上都不尽相同[2]。尽管如此，目前学界关于道德判断还是达成了一个广泛共识，即它是理性+（直觉式）情感综合运用的结果。“道德判断是一种极其复杂的心智活动，其驱动力不仅在于理性的反思平衡，也在于直觉的情感体验。”[3]特别是在一些情况复杂多变的具体实践中，人们在紧急状态下或道德两难中做出某种道德决策的关键性因素往往不是源自于一般意义上的道德习得性知识，而是一种道德认知和情感体验综合运用的伦理智慧。“道德判断的实践有一个必要的现象特征或‘它是什么样的。成功地遵循真正的道德理论可能需要一种广泛的反思平衡，它要求我们在一般道德原则和我们的道德直觉之间取得适当的平衡。”[4]

在这一标准下，即便我们不去争论LAWS的“道德编码”是否可详尽所有的道德情景，也不去质疑科学家和程序员对LAWS进行道德编码的技术手段和能力，仅基于道德判断对反思平衡能力或实践智慧的要求，我们就可以判断LAWS绝对无法成为可以为自己行为后果负责的道德责任代理人。那么，在道德责任代理人的认定并制定具体的约束法则之前，必须先在逻辑上做出清楚辨析的一个道德命题是：机器人不是道德人。将“机器”和“人”做一个最基本的区隔是明辨道德责任的一个重要前提。因此，在军事战争领域，“机器人对自己负责”观点绝对不被接纳，将道德责任归咎于机器人的“自主性”是一种极端不负责任的行为。

3.去主体化的道德困境：重新审视行动闭环及其道德代理人

不仅如此，如果按照“自主武器系统是一个逻辑算法框架”的基本判断，当一个完美的逻辑算法框架被建构出来时，LAWS在理论上就会成为一个完美的、永不犯错的任务执行者。那么这里可能会出现一个非常吊诡的现象，一个永不犯错的、完美的任务执行者最终会做出一个令人指责的道德行为。熟悉“把枪口向上一厘米”[5]真实案件情况的人可能会更容易理解这种吊诡。一个完全严格听从命令的边境卫兵依据国家相关法律指引而开枪射杀了一名正在试图翻墙非法越境的平民，事后我们应该如何审判这名士兵呢？

如今的道德难题只不过是将这名完全遵照国家法律指令的卫兵置换成了完全依据程式指令的LAWS。如果LAWS能够完美地识别越境者与意外闯进边界线的其他平民，这里面不存在任何误杀行为的可能性，那么某种意义上讲，LAWS甚至是比边境卫兵更具执行力和精准射击力的“战士”。当一个错误的行为结果确实发生，而作为任务执行者的LAWS在指令接收和整个任务行动过程中又没有任何过错，那么错误的根源就应该从行为开始的地方向前追溯，而非仅指向行为发生之后的LAWS去追讨道德责任问题。在LAWS的应用中，人是否真的被排除在了军事行动闭环之外呢？如果LAWS仍然只是指令的执行者，那么无论这些指令在逻辑上有多么完美，在设计上多么精妙，值得反复去讨论的可能就不是在一个行动“闭环”中人的道德主体地位的丧失，而是要求我们对所谓“闭环”的范围和路径重新做出审视和定义。那就是，我们应该在一个可以容纳与LAWS有关的所有道德主体——计划部署LAWS的国家、参与研发的科学家、程序员以及启动具体指令有关的研发、应用群体及政治实体提出道德责任上的要求。而我们要做的则是为这种观点提出足够全面充分的论证和说明，以便为相关国际法准则的制定、纠正、增补做出理论参考依据。

现在，我们必须沿着这个方向朝着一个更加棘手的伦理难题继续深入下去，即以LAWS为代表的强人工智能当下面临的最现实的道德困境：“非道德的机器”与“不道德的人”结合而可能催生的时代性伦理难题——基于“技术野蛮”的寡头恐怖主义。

三、“非道德的强人工智能”与“不道德的人”：“寡头恐怖主义”的伦理难题

正如前面我们所纠正的逻辑谬误，如果说道德代理人的“责任鸿沟”难题不能成为否定强人工智能设备道德合法性的依据；那么同样，道德责任承担者的识别及其道德职责的明确也不能成为强人工智能设备被任意使用的充分条件。正如前文的逻辑反诘，关于LAWS的使用，如果有着十分明确的道德代理人且他（他们）愿意为此承担道德后果，LAWS是否就可以被任意使用？答案当然是否定的，因为这里潜藏着各种极端恐怖主义的可能。恐怖主义是军事战争领域中“不道德（反道德）的人”的最高存在形式，从手段到目的，恐怖主义活动都毫无正义性可言——“漫无目的地杀害无辜者是恐怖主义活动的关键特征”，而“摧毁平民的精神”则是其主要目的[1]。恐怖主义根源性的恶在于它从根本上否认了“人之为人”的生命尊严与生存价值。由于恐怖主义无差别杀戮从根本上消解了“人是目的”的最高设定，所以其行为是对生命没有任何敬畏感和道德感的为所欲为，“恐怖主义严重破坏了战争规约和政治法则。它突破了所有的道德限制，以至于根本就不再有限制”[2]。作为一种不具有任何道德限制的极端存在，在恐怖主义的行动中，我们就可以看到几乎所有挑战人类文明底线的、最为暴力、血腥和残忍的作恶形式：压迫、肉体摧残与毁灭、集体屠杀等。

1.去责任化的战争与“不道德的人”的诞生

虽然从逻辑上讲，关于“不道德的人”的难题是先于智能战争形态的范式转变而存在于军事、战争领域的，但无法否认的一个事实是LAWS“非道德”的存在形式，加上其无人化、自主性和稳定精确性的强大功能的确带来关于“不道德的人”的新伦理难题。

首先，LAWS的“非道德”性特征意味着它无法对其任务指令作出关于对与错的道德判断，自然也就不会拒绝错误的道德指令；其次，它的稳定性和精确性大大增加了军事行动成功的可能性；最后，这种无人化的作战方式使得责任代理人除了“道德名声”以外几乎不需要付出任何实质上的“道德成本”。如果说传统恐怖分子在实施恐怖行为时理论上还存在着良知发现、畏惧死亡、操作失败等各种可能性，那么LAWS则更像一个没有任何道德情感、冷静、高效的“死士”，果断而坚决地朝着既定目标进行攻击。从某种意义上讲，技术手段上的纯熟和道德成本的降低可能意味着“漫无目的地杀人”会变得更加容易。而更令人担忧的是在一种技术外衣的包裹和政治目的的道德美化下，这种“不道德的人”会以一种更加隐蔽的方式出现而让人难以鉴别。因此，尽管可能有人声称愿意对LAWS的可能性后果负责，我们还必须要去谨慎地考虑和判断LAWS被使用的政治意图和道德目的究竟是什么？责任代理人之间的道德责任划分和承担是否合理？其所针对和打击的军事行动目标是否恪守战争法則中群体识别的道德意义？道德代理人凭一己之力是否可以承担得起全部的道德责任？这就像那些采用一种自杀式恐怖袭击的人，即便他们从表面上看起来已经用一种最高的“责任形式”——以自己的生命为代价——来宣称对自己的行为“负责”，但这种无差别伤害生命的行径仍然不会获得任何道德合法性辩护；人们也不会接受此类行径仅仅属于个人行为范畴的辩解，而常常将行为后果的清算与其背后相关的政治组织相联系。

因此，我们要时刻对“不道德的人”保持一种清醒，同时也要深刻意识到在广泛的道德领域，特别是在军事领域和战争领域，总有一些道德行为的后果是任何代理人都没有能力也没有资格能放言承担的，当然也没有任何一种战后正义的方式可以进行等价交换、赔偿或补救。从这个角度来看，以LAWS为代表的强人工智能设备的应用不仅没有削弱人的道德主体地位，反而对其道德代理人提出更高的道德能力和伦理敏感性要求。当操纵、剥夺他人生命不再需要付出任何代价，且在获取手段上变得日益简单可行时，我们就必须严防死守人类灵魂最深处的、随时蠢蠢欲动的、处于作恶待发点边缘的那些权力、欲望及野心。我们呼吁和主张针对参与包括LAWS在内的强人工智能设备研发的个体建立起一种更加清晰严格的道德评估、监测及责任惩罚的伦理和行为规范约束体系。

2.“技术野蛮+道德推诿”：新型恐怖主义诞生的可能

有学者认为现阶段信息化战争的特征主要呈现为体系化对抗，这也是未来的趋势。看起来一种智能化作战体系的建立与实施所需要的资金投入、技术支持、体制结构、机制流程保障等所需要的投入较大，但随着高技术人才不断向寡头企业集聚，全球有高新技术企业已经具备了建立这种智能化作战体系的能力，而且此类组织的数量呈增长趋势。也就是说，拥有智能程度更高作战体系的组织有可能会掌握未来战争的主动权，从而也就更加具有未来军事部署的战略性优势和更多的国际话语权力。因此，以先进技术为包装的外衣下潜藏的“寡头恐怖主义”只要可能，就必须纳入伦理约束机制的理论视野和讨论范围当中。

当然，技术至善是我们的最高道德理想。如果人类文明的发展可以让其进入一种“自由人联合体”的理想社会形态当中，那么战争也就在自我消解中实现了最高正义，整个人类社会内部、人类社会与自然界都呈现出一种和谐共生的理想生命状态。但是纵观人类历史，人类社会的发展历史实际上是一直与战争相伴的，从远古时代的徒手战争，到农业社会的冷兵器战争，到工业社会的热兵器战争、机械战、信息战，再到如今智能化程度更高、博弈性更强、功能更丰富、作战效果更佳的强人工智能战争。基于这样的现实考量，军事技术毫无疑问地将会成为影响或者颠覆未来国际秩序的一种重要手段。而通过技术制衡来达到国际关系的动态平衡与和平状态则是人类社会在可预见的时间范围内的一种相对理想状态。而LAWS的无限制研发和使用的最糟糕结局莫过于一种依托LAWS实现技术制霸，从而衍生出一种寡头恐怖主义新形态。

试想如果寡头组织和某种国家形式结合，将自己的开战权与LAWS的自主攻击性结合起来，那么一种被寡头组织和某种国家形式所支持和默许的机器暗杀与一种“绝对不对称”的战争技术之把控的现实环境相结合就让国家层面的“道德腐败”有了可滋生的土壤。一个国家必须只为其正义而战，有发动战争的正确理由是不够的，发动战争背后的实际动机还必须在道德上是适当的。唯一允许的正确意图是看到诉诸战争的正当理由得到巩固和深化。这种“战争和政治的总体性”恐怖主义的现代性表现形式[1]就会以一种更加具体的、基于“技术野蛮”的寡头恐怖主义形式呈现出来。

当今世界大国之间的相互制衡已经促成了相对稳定的国际秩序。但是，“非道德”LAWS研发和使用则对国际社会提出了更高的道德要求。我们不能将全部希望都寄托于寡头组织及其潜在的、有可能与某种国家形式结合的新形态有足够的审慎公正的理性能力和友好共情的情感能力，在LAWS研发与使用上实现一种完全合乎国际正义要求的道德自治，而更期冀于一套具有权威性的、行之有效的约束机制能够尽快建立完善。

四、结语

近来，以ChatGPT为代表的通用人工智能引发了广泛关注，特别是其语言理解能力和表达生成能力在得到广泛赞誉的同时，也给学术界和业界带来了“伦理惶恐”。如果说人类对于强人工智能设备的研发和广泛应用应该保持一种“伦理上的谨慎”，那么对于包括军事机器人在内的可能对人类“非道德”的强人工智能设备的伦理态度则应该慎之又慎。未来，强人工智能的深度发展甚至超人工智能的出现将不断挑战人类道德决策中心地位，这在传统的人文主义伦理观中几乎无法找到答案。而从人类社会发展来看，技术上所谓的“道德中立”在与权力、资本和欲望的角力中是否能够得以保持，战争形态的智能化对国际秩序重构将产生怎样的实质性影响等问题也都深刻地困扰着当代学者。

基于对LAWS所引发的伦理问题的思考以及以ChatGPT为代表的新技术的横空出世，在不久的将来，技术裹挟下的各种新型强人工智能设备将会不断出现，这是伦理学界必须去面对的一个时代性命题。我们要从智能化军事武器的发展，特别是致命性自主武器系统的研发和应用出发，并从ChatGPT的出现，去持续研究强人工智能时代人类社会智力、政治、技术与人性之间的角逐与较量，其中所涉及的最为根本的道德正当性问题及其可能会对人类社会构成最大的伦理挑战和威胁则是当代伦理学家必须要做出审视、思考并予以回应的话题。但伦理学家的使命不仅仅要从现有的伦理困境中去解释和评价它，更需要基于伦理至善的基本价值立场，以一种历史发展的哲学眼光从人类未来发展的可能性方向去审视和预判它可能会对人类社会造成的道德威胁和伦理挑战，以提前做出预防性伦理约束机制和道德限制原则，避免人类社会被技术“反噬”而走向万劫不复的深渊。

〔责任编辑：吴玲〕

本文为国家社会科学基金项目“战争形态智能化的伦理约束机制研究”（20CZX057）的阶段性成果。

[1]J. R. Searle， "Minds， Brains， and Programs"， Behavioraland Brain Sciences， 1980， 3（3） ， pp.417-457.

[2]王彦雨：《“强人工智能”争论过程中的“态度转换”现象研究》，《科学技术哲学研究》2020年第6期。

[1]目前已经部署并投入使用的自主武器系统主要有：美国“宙斯盾”巡洋舰的“方阵”系统，它能自动发现、跟踪和打击反舰导弹以及飞机等防空作战威胁；以色列的“哈比”系统，主要用来探测、攻击并摧毁雷达发射器；英国“雷神”喷气式无人战斗机，可以自主地对敌人进行搜索、识别和定位，但只有在得到任务指挥官授权时才能攻击目标。同时，美国在2019年对伊朗革命卫队圣城旅指挥官苏莱曼尼的“斩首行动”中，已经启用了高度智能化的、能够自动搜寻鉴别目标并发起攻击的军事武器系统——“MQ-9掠食者无人机+地狱火导弹系统”，直接对苏莱曼尼实施了精准射杀（美国称之为“定点清除”）。

[2]王彥雨：《“强人工智能”争论过程中的“态度转换”现象研究》，《科学技术哲学研究》2020年第6期。

[3]董青岭：《新战争伦理：规范和约束致命性自主武器系统》，《国际观察》2018年第4期。

[4]G. P. Noone， D. C. Noone， "The Debate over Autonomous Weapons Systems"， InCase Western Reserve Journal of International Law， 2015， 47（1）， p.28.

[5]A. Matthias， "The Responsibility Gap"， Ethics and Information Technology， 2004 （6-3）， pp.175-183.

[6]迈克尔·沃尔泽：《正义与非正义战争》，任辉献译，社会科学文献出版社2015年版，第261页。

[1]R. Sparrow， "Killer Robots"， Journal of Applied Philosophy， 2007， 24（1）， pp.62-77.

[2]D. Purves， R. Jenkins， B. J. Strawser， "Autonomous Machines， Moral Judgment， and Acting for the Right Reasons"， Ethic Theory Moral Practice， 2015， 18（4）， pp.851-872.

[3]现在人们所谈论的LAWS，常常是指具有杀伤力和致命性的自主机器人系统，甚至有学者预测，LAWS有朝一日有能力“自行”做出针对人类生存和死亡的决定。

[4]Ethics Guidelines for Trustworthy AI. URL=http：//ec.europa.eu/futurium/ai-alliance-consultation/guidelines.

[1]田海平、郑春林：《人工智能时代的道德：让算法遵循“善法”》，《东南大学学报（哲学社会科学版）》2019年第5期。

[2]D. Purves， R. Jenkins， B. J. Strawser， "Autonomous Machines， Moral Judgment， and Acting for the Right Reasons"， Ethic Theory Moral Practice， 2015， 18， pp.851-872.

[3]鲍勃·沃克（Bob·Work）致力于人机协同和致命性自主武器的研发，他也是推动美国国防部机器人领域发展的领军人物。

[4]保罗·沙瑞尔：《无人军队——自主武器与未来战争》，朱启超等译，世界知识出版社2019年版，第104页。

[5][6]董青岭：《新战争伦理：规范和约束致命性自主武器系统》，《国际观察》2018年第4期。

[7]战争的正义问题也是一个极具争议的问题。从“人是目的”的最高价值设定来说，战争的正义不具备天然的道德合法性，它必然以牺牲生命为代价，其正义性来源于对非正义方的辨别。战争正义问题的开端，既是反对和平主义，也是反对侵略和征服的。因此，无论是在一个和平主义者、军国主义者，还是在一个马基雅维利主义者那里，战争的正义问题或许都是无解的。

[8]参见《公民权利与政治权利国际公约》第6条第（1）款的规定。

[9]迈克尔·沃尔泽：《正义与非正义战争》，任辉献译，社会科学文献出版社2015年版，第2页。

[1]在某种程度上，LAWS的伦理之“善”的确可以得到解释，比如它的无人作战化和目标精准性可以减少双方士兵不必要的伤亡，同时也能避免对平民和非军事区造成不必要的伤害等。

[1]R. Sparrow， "Killer Robots"， Journal of Applied Philosophy， 2007， 24（1）， pp.62-77.

[2]甘绍平：《自由伦理学》，贵州大学出版社2020年版，第255—256页。

[3]董青岭：《新战争伦理：规范和约束致命性自主武器系统》，《国际观察》2018年第4期。

[4]J. McDowell， "Virtue and Reason"， The Monist， 1979， 62（3）， pp.331-350.

[1]J. McDowell， "Virtue and Reason"， The Monist， 1979， 62（3）， pp.331-350.

[2]在一些论证细节上，关于反思平衡、道德情感、道德直觉等术语，不同的学者有不同的理解方式，比如罗尔斯话语体系下的“反思平衡”是理性与情感的综合运用，而有一些学者则认为反思平衡是各种理性思维的结果，它与道德情感（直觉）是并列的关系；再如有学者认为道德情感与直觉不同，一种广泛的反思平衡已经包括了一般道德规则与道德理性、道德情感和道德直觉的平衡，因此道德判断就是一种反思平衡的结果。而在一些具体的观点上，不同的学者也有不同的看法，比如有学者同意一般道德原则的规范性，但是主张要与具体环境、道德情感、道德直觉相结合做出道德判断；而有的学者则从根本上就反对道德一般性原则的存在，甚至将其看作是一种妨碍，等等。

[3]甘绍平：《自由伦理学》，贵州大学出版社2020年版，第255—256页。

[4]J. Griffin， "How We Do Ethics Now"， Royal Institute of Philosophy Supplement，1993，35， pp.159-177； Van den Hoven J.，"Computer Ethics and Moral Methodology"， Metaphilosophy， 1997， 28（3）， pp.234-248.

[5]案件的大致情形可参见柯岚：《拉德布魯赫公式的意义及其在二战后德国司法中的运用》，《华东政法大学学报》2009年第4期。这里实际上涉及“良知”与“恶法”、“服从”与“正义”、国际法与国家法的冲突等一种非常复杂的道德情景。

[1][2]邁克尔·沃尔泽：《正义与非正义战争》，任辉献译，社会科学文献出版社2015年版，第180—181页，第186页。

[1]迈克尔·沃尔泽：《正义与非正义战争》，任辉献译，社会科学文献出版社2015年版，第186页。