识界 该不该赋予机器人杀ISIS的权力？

识界该不该赋予机器人杀ISIS的权力？

想象一下这样的未来场景：以美国为首的联军正在逼近叙利亚的拉卡（Raqqa），决心消灭ISIS。多国部队出动一批致命的自主机器人，围着城市四处飞行，追踪敌人。利用面部识别技术，这些机器人识别和杀死ISIS的指挥官，斩落了这个组织的头目。在联军和平民伤亡最少的情况下，瓦解了不知所措、士气低落的ISIS部队。

这听起来大快人心，好像是很好地运用了技术优势。事实上，有很多人不这么认为，包括人工智能领域的很多专家。

去年7月，众多人工智能研究人员发表了一封公开信，警告称这种技术已经发展到一定程度，几年以后——而无需几十年——就有可能部署“致命自主武器系统”（Lethal Autonomous Weapons Systems，它还有一个不相称的简称，Laws，意为“法律”）。不像核武器，这类系统能以低廉成本大规模生产，成为“明天的AK-47”。

“它们早晚会出现在黑市上，落入恐怖分子、希望更好地控制民众的独裁者和想要进行种族清洗的军阀的手中，”他们表示，“在军用人工智能领域开启一场军备竞赛是一个坏主意，应该对超出人类有效控制的攻击性自主武器施加禁令，以防止这样的军备竞赛。”

美国大体上已承诺放弃使用攻击性自主武器。本月早些时候，联合国在日内瓦举行了有94个军事强国参加的新一轮谈判，旨在拟定一项限制此类武器使用的国际协定。

主要论据是道德层面上的：赋予机器人杀人的代理权，将越过一条永远不应被越过的红线。

因为开展反对地雷的运动而获得诺贝尔和平奖的乔迪·威廉斯（Jody Williams）是“阻止杀手机器人运动”（Campaign To Stop Killer Robots）的发言人，他表示自主武器比核武器更可怕。“如果一些人认为把人类的生杀大权交给一台机器是可以的，人性又何以处之？”

除了纯粹的道德问题以外，还有其他令人担忧的问题。杀手机器人会降低战争中的人员成本，爆发冲突的可能性是否会因此提高？如何阻止这类系统的扩散？当它们出问题的时候谁来负责？

在一个哲学研讨会上，反对杀手机器人的道德理由已是足够明显。问题在于，你越是近距离观察它们在战争硝烟中可能的用处，就越难分辨出道德的界限。（有限自主的）机器人已经被用于战场上，应用在拆弹、排雷和反导系统等。它们的应用范围还将大为扩大。

军工界用其最爱使用的置身事外的论调，对机器人不同的自主等级进行了区分。第一类被称为“人在环中”（humans-in-the-loop），包括被美军和其他军队广泛使用的“捕食者”无人机。第二类是“人在环中系统”（humans-in-the-loop system），人对机器人武器系统进行监督，包括防空炮。但现代战争的速度和强度让人怀疑这种人类的监督能否形成有效控制。第三类是“人在环外系统”（humans-out-of-the-loop system），比如完全自主的无人机，这种可能是最致命的，但也很可能是最容易禁止的。

人工智能研究人员通过发表公开信，引起人们对战争、武器以及和平的思考。