自杀的机器人

波琳娜·叶廖缅科

机器人时代不再是未来，现在机器人已经走进了住宅、生产加工厂、我们的日常生活和家庭，甚至还有床上和战场上。一个战斗机器人在杀死一个人类时在想什么？机器人杀手应该具有哪些情感体验？性机器人有权拒绝性行为吗？我们应该赋予机器人意识吗？本刊特约记者与国际相关领域知名专家对这类问题进行了讨论。

澳大利亚警方曾报道一起离奇的机器人自杀事件，这很可能就是世界上第一起记录在案的机器人自杀事件。事件主角是iRobot公司生产的一台智能扫地机器人，据说这台扫地机器人在主人出门后，因感觉不断的清洁工作实在太劳累，便选择了跑到厨房的电炉上自焚。消防队员赶到现场，对整栋大楼进行疏散，机器人自杀的那层楼更是浓烟滚滚。

据负责处理该事故的消防员赫尔穆特·纳塞尔说，这家的男主人当天让智能扫地机器人清理案板上的残留食物，机器人完成清理工作后，他就关闭了机器人的电源开关，并将机器人放到了厨房一侧的厨柜上。然后他就和妻儿一起出门了，机器人独自留在家里。

该事件发生后，有人猜测很可能是因为男主人在指使机器人干活时的态度不太好，或是这家房子的清理工作太过繁重。在主人全家走后，机器人就自动启动，靠近电炉，并将放在电炉上的锅挪开，最后自己再蹲坐在电炉上。

位于电炉上的机器人很快就开始融化，它没发出一点“痛苦的喊叫”声，融化了的“尸体”粘在电炉上，从而引起了火灾。消防员赶到时，已经只剩下一片灰烬。安全处理工作近花了消防员大搞一个钟头的时间，但是因为烟熏事故，这家人暂时也没法住进着过火的公寓了。

这家男主人坚称，他在出门前肯定把这台机器人关闭了，所以机器人的自动启动和神秘自焚事件就成了一宗悬案。他说：“生产这种机器人的企业出售的是危险产品，我要起诉，向他们索要赔偿，是他们毁了我的家。我们在‘追悼这台机器人的时候，也应该奉劝其他同类清洁机器人，没有什么大不了的，想开点。”

美国纽约伦斯勒理工学院认知研究部主任塞尔默·布林斯特

10年前，我们开始对机器人伦理道德问题进行研究。当时很多人认为我们是一群奇异的家伙，甚至有人以为我们疯了。但令人惊奇的是这10年人们的观念发生了翻天覆地的变化：现在不再有人认为我们是在做疯狂的事。目前，我正在进行一项研究：从伦理角度出发，应该允许机器人自杀吗？我们对机器人进行的研究，是一种心理治疗和精神分析。对机器人伦理道德的深入研究，就是人类对自己精神世界的剖析。

在我的实验室里，有一系列像科幻小说中描述的那样的类人动物，我用它们做试验。现在，我想弄清楚导致我的机器人可能会自杀的原因。我的疑问是：机器人是否会像人类一样，因感到生命无意义或患上抑郁症，想要结束自己的生命。此外我们还面临一个问题：人类是否应该允许机器人自杀？

或许你会问：机器人怎么会沮丧？的确，机器人本身没有内心世界，也无法体验情感，因为它们没有思维意识。但我们即将设计出的智能机器人，会表现出35种不同的情感状态。但计算程序也有出差错的时候，如果智能系统崩溃了，机器人也会患上“抑郁症”。

机器人的情感体验没有办法像人类一样丰富、自由。例如，机器人可以抽一支烟，却无法自主得到像人类一样享受、满足的愉悦感。再例如滑雪。昨天我刚滑过雪，我感受到了多重情感：从难以描述的喜悅到些许恐惧。但这样的体会有时很难用计算程序描述，无法被准确编程。智能机器人有35种情感状态，但都只是程序结构上的，并非真正的自主情感。

随着机器人的不断发展，它们会变得越来越智能和自主。它们将拥有更多情感，但在某些时候系统可能会发生故障，导致机器人可能想要结束自己的生命。但让机器人拥有自主决定生命的权利，首先不利于人类——有谁会想要损失一个智能机器人呢？

想象一下，假如你的机器人有自主决断的能力，它正在帮你搬重箱子，但突然就决定不想活了，自杀了。谁会在乎这件事呢？当然是机器人的主人。如果我们开发一个真正的自主机器人（我们正在朝着这个方向努力），那么如何防止机器人自杀，将是一个非常重要的问题。

当然，你可以对机器人能做什么或不能做什么做一些限制，但是很难，因为你已经将程序设定为自由和自主。当然，你也可以写一个简单的程序——机器人只能自由进行一两个步骤，就不会有任何后顾之忧。但随着时代的进步，谁还会需要这种机器人？我们想要创造更智能的技术，而智能则意味着让机器人独立。

那么问题是：如何从计算的角度研究机器人自杀的愿望。我们如何利用程序设计使机器人的情感系统不出故障。这样做是否合乎道德。我认为，患有轻度抑郁症就选择自杀是不道德的，还有“我没有梦想”“我厌倦工作”这类原因。因为即便是人类，也不会轻易因为轻度抑郁选择结束生命。因此，我们的研究结论是：在大多数情况下，机器人自杀是不被接受的。但如果机器人机能出现障碍，比如大脑损伤，无法修复，那么它就失去了存在感，那么只留有驱壳也没有意义，这时候它就可以选择杀死自己。我们现在面临的问题是：如果机器人从一开始就没有死亡的概念，我们从未给它输入此类信息会怎样？我们还没有弄清这个问题，但目前仍在继续探索。这是非常具有挑战的——把伦理问题转变成计算程序问题。

以前人们认为给予机器人道德伦理，是很奇怪的事，但现在，越来越多的人明白了这是必要的。

我并不为自己现在所做的事担心。我会担心我们的未来吗？不，相信我，如果现在不解决这些问题，置混乱状态于不顾，那么我们将酿成非常可怕的后果。如果我们只制造自主机器人，不事先对可能引起的问题进行预估防范，那么真正的大问题就会出现。到那时智能机器人会伤害甚至杀死人类。这就是今天机器人伦理问题的研究如此重要的原因。

英国广播电视台《战斗机器人》的主要评论员、控制战斗机器人国际委员会主任诺埃尔·夏基

机器人杀手有可能成为好斗分子选择的武器。由于造价不断降低，在不久的将来，机器人将成为极端组织现实可行的选择。问题是我们不可能真正把魔鬼放回到瓶子里。新型武器一旦问世，复制起来就会非常容易。

政府组织控制战斗机器人国际委员会于2009年开始对战斗机器人进行讨论。我们暂且不讨论无人机，因为无人机是由人类操控的。不同于无人机，战斗机器人是完全自主的：自己选择目标，在没有任何人工参与下击杀敌方。现在人权观察组织和国际特赦组织也开始加入我们的讨论，我们在联合国联合发起了“停止使用战斗机器人”的活动。在未来几周，我们将在政府层面成立一个专家小组，将有121个国家的代表参加。

我们讨论的主要问题是新科技如何应对国际人道主义法规。我们没有十足的信心，能让自主的战斗机器人严格遵守战斗规章。

让我们担心的问题之一是机器人如何遵守区别对待原则。区别对待原则是指军事力量只能针对敌人及其武器，而不允许对平民造成伤害。为了严格遵守这一原则，有必要准确地识别允许攻击的人和物体。这都是《日内瓦公约》中阐明的：士兵要区分平民和士兵。战斗机器人的自主能力在现阶段还发展不到这种程度。它们可以区分坦克和卡车。在人类世界，士兵和平民较易混淆，尤其是一些混在平民中的反叛者——这些人在机器人眼中都是没有区别的。

另一个原则是比例原则。我不喜欢这个原则，其实质在于，你杀死敌方平民的人数直接与其军事优势成正比。没有程序可以预先计算出平民伤亡数量——只有经验丰富的指挥官才能做出相应的决断。

还有些人认为，人类不应该允许机器人杀死人类。人类杀死一个人和机器人杀死一个人的关键区别在于，前者会花一定时间去拿出武器，准备动手，在这个过程中他能意识到自己将要夺去一个人的生命，而后者直到杀死一个人以后也没有任何情感活动。因为机器人没有意识，人类的生命就这样在无意识的状态下被剥夺了。

另一些人认为，如果让战斗机器人代替一部分军队上战场，会使死亡人数大大减少。但这种观点的反对者说，这是非常自私的方法：只想到我方的利益，我们应该从全人类的角度出发，否则整个国际安全都将受到威胁。

美国纽约新学院大学哲学教授彼得·阿斯特罗

我最关心的问题是：我们是否可以让机器人实施蓄意暴力？我们是否应该赋予机器人保护人类的权利和军事实力？关于这些，我写了十几篇论文，现在准备出书。在开创了这些领域的机器人的先例后，全人类将发现自己的另一面。我们如何调控机器人，如何使它们明白哪些暴力行为可以对人类施加，哪些不可以？

战争总归是错误的，无论是机器人间的还是人类间的。但在这里我们正在谈论的是如何建立一个完整的产业，以优化战争的死伤过程，并且更有效地杀死敌方。区别就在于：是机器人杀死人还是人杀死人。传统上认为，只有当自己的生命处于危险时，才能使用暴力。机器人不会评估，它们的生命是否处于危险境地。我们也可以编程杀死机器人，因为机器人不是人，它们没有自卫权。

我希望在不久的将来联合国能签署一项协议，在一定程度上规范战斗机器人的行为。现在，越来越多的人开始关注这个问题，联合国已经为该问题官方接见了专家。我认为，再过两三年，他们就能签定协议了。但问题是，在两年或三年内，国家会开发新型战斗机器人，投资很大一笔钱，没有人愿意放弃他们的机器人。到时候签署这项协议将可能会变得阻力重重。

参与研究斯坦福大学 “无人驾驶汽车道德程序”项目的加拿大渥太华卡尔顿大学教授杰森·米勒

当今，机器人权利问题是一个热门话题。如果机器人有了意识会发生什么？我们必须赋予它们什么权利？但现今，科幻迷似乎比哲学家对这些问题更感兴趣。智能机器人的编程人员完全不关心这些问题：他们认为答案是“永远不”或“还早着呢”。但这对于媒体来说是一个非常热门的话题：无论它切不切实际，都大有文章可做。

挪威奥斯陆大学媒体创新研究中心主任、博士查尔斯·顿斯

当我们谈到人类与性别机器人的问题时，曾提到过机器人权利的问题。许多人说，智能机器人在某种程度上变得自主，必须承认的是，它们有最基本的受尊重权。那么接下来的问题是：当性爱机器人不想发生性行为时，能拒绝人类吗？如果性愛机器人拒绝人类，人类是否可以强迫它？机器人是否可以将施暴者告上法庭？

[译自俄罗斯《精粹》]