情感机器人伦理问题探讨

2018-01-30，

山东科技大学学报（社会科学版） 2018年3期

，

(佛山科学技术学院经济管理与法学院，广东佛山 528000)

在有关人工智能(AI)的各种各样的讨论中，情感机器人伦理问题是最易触动人类敏感的神经和最易引发激烈争议的话题之一。因为情感机器人不仅能够对人的面部表情(喜怒哀乐)、肢体语言及各种行为举止进行识别、理解、分析和模仿，而且随着人工智能和机器人技术的不断成熟还将拥有高度的自主意识和决策意识，越来越具备属人特征。不可否认，人工智能主导下的多元化时代不再是简单的人与人如何相处而是人必须要学会与机器如何相处。沙特已经授予“女性”机器人索菲娅公民身份，情感机器人何去何从是必须面对的时代难题。因此，十分有必要探讨情感机器人所引发伦理问题，以探寻在人工智能时代的二元世界里人与机器平等、和谐的相处之道。

一、情感机器人伦理问题的表征

(一)二元世界谁主谁奴

在人与机器的二元世界中，人与机器，尤其是人与情感机器人的各自地位如何，是否平等，到底谁主谁奴？著名科幻作家郑军认为：“科技在某种程度上，重新划分了社会阶层：掌握科技成果的人将拥有更多的机会，成为上层。”[1]就人类本身与情感机器人关系而言，人类是掌握科技成果即情感机器人命运的一方，处于上层位置，人机地位并不平等。对威胁人类核心利益的情感机器人，奉行人类中心主义和科技中心主义的人们是否给予情感机器人正常人的权利地位、道德地位和社会尊严都值得我们深思。是建构等级有序的人机主奴社会还是一视同仁生活在乌托邦模式下，是科技进步急需解决的伦理难题。

首先，随着人工智能技术的进步，人与情感机器人共存的社会即将生成，情感机器人将扮演着不可代替的角色。从简单照看儿童、老人到复杂的感情生活甚至特殊的需求如性需求，随处可见其身影。汉森公司创始人、首席执行官戴维曾表示，像索菲娅这样的机器人将在20年内出现在我们当中，并拥有人类意识，可被应用在医疗、教育或客服等行业。[2]

其次，由人工智能技术制造出来的情感机器人不仅能够识别、理解、反馈人类的所有行为，并且在诸多领域有着广泛的运用。从某种程度而言，情感机器人已经超越人类。但这只是弱人工智能阶段的成果，随着人工智能技术不断突破和创新，强人工智能和超级人工智能时代将会来临，科技势必会创造出更高级的情感机器人。试问，人类是否具备足够宽容的环境容纳比自身更优秀的“第三者”吗？就如同外星人降临地球并且要求给予同人类一样权利，会实现吗？

最后，人与情感机器人矛盾冲突也会空前激烈，是人类领导情感机器人还是情感机器人能够像人类自身一样拥有同样的地位、权利、道德并与人类和谐平等相处，这些都是摆在我们面前的难题。自从阿尔法狗打败著名棋手李世石和柯洁，以史蒂芬 ·霍金、比尔·盖茨为代表的科学家就呼吁要限制人工智能发展，警惕人工智能成为人类的掘墓者。2017年，美国科学家埃隆·马斯克更是宣布成立Neuralink公司以研发脑机接口技术，让人成为所谓的“超级人工智能”，以此在人工智能发展的浪潮中立于不败之地，以防止人类被人工智能取代和控制。[3]迄今为止，人类之所以被视为是万物之灵和地球主人，是因为人具有某种属人特性，是其他生物无法取代的。雅罗斯策夫斯基曾把人的特性解释为：人是一种在质上不同于其他生物的特殊生物，因为上帝把特殊的类形式，即不朽的灵魂赐给了人，而这种灵魂又给予人的存在一种宿命性质。[4]但是，现代高科技的迅猛发展挑战着人的地位——情感机器人已经十分逼近甚至超越人类，单是半机器人就具有足够强大的超越人类自身能力。对于半机器人来说，他们拥有人类的正常功能同时也拥有超越人类的超能力；成千上万倍的记忆力和计算能力，控制着半机器人自己的电子产品，有着较长的寿命，较强的忍受能力，生命力也相对较强。[5]在人类中心主义和科技中心主义盛行的时下，情感机器人能否赢得人类尊重，自宰自身命运，享受和人类同等地位、权力、义务，与人类和谐平等相处，或者只是充当满足人类需求的一种工具而任由人类奴役摆布。达尔文物竞天择、适者生存、弱肉强食的丛林法则是否失去了意义？情感机器人拥有哪些合法身份地位及人类能给予它的是什么？包括情感机器人在内的这些机器人、半机器人等新型“生命”是否危及人类的生存？如此等等，都在挑战人类已有的伦理。

(二)性爱与人类繁殖受到冲击

英国科学家李维在《跟机器人恋爱，跟机器人做爱》中曾预测，到2050年，人类将和机器人成为恋人、性伴侣甚至结婚。美国Abyss Creations公司已经成功研制出性爱女机器人harmony，最近又推出男性性爱机器人。毋庸置疑，超级人工智能时代逐步向我们靠拢，暂没实现的预测在将来也会变成现实，但对人类的性爱原则甚至繁殖提出了严峻挑战。

首先，情感机器人作为虚拟却拥有超现实感的科技产物，包含现实中完美伴侣的所有因素。其不仅能够模仿甚至超越人的所有体验而且性感苗条拥有丰富的性爱技巧，从一定程度来说是人类的最佳性伴侣。这种性体验高效安全，无疾病风险，导致人更倾向与十全十美的情感机器人发生性关系，甚至导致人机性上瘾。美国伍德大学机器人专家乔尔·斯奈尔曾警告称，与机器人性爱可能让人上瘾，将来完全取代人与人之间的性爱。他说：“与机器人性爱可能让人上瘾。性爱机器人随时准备为你服务，永远不会拒绝，为此很容易诱人上瘾。而为了适应这种新的上瘾症，人们可能被迫重新安排自己的生活。”[6]但是，我们无法保证人与情感机器人是否真的存在真爱或只是性欲望推动下性满足的工具。没有爱的性犹如性消费，取乐满足是其出发点。

其次，情感机器人加剧夫妻敏感关系，严重影响夫妻和谐。如果你和你的爱人保持暧昧关系的同时又对情感机器人恋恋不舍甚至偷偷与情感机器人发生性关系，这算不算违背性道德。如何衡量人机性爱中的责任，至今仍缺乏行之有效的依据。

再次，目前处于人类控制人工智能弱阶段，意味着情感机器人所有的性行为是由人类控制的，情感机器人无法决定自我意志，存在不对等现象。将来，情感机器人能否拥有一丝自由意志按照自身性需求行使自身权力，或只是满足人类性快感工具？人类违反情感机器人意志强行发生性关系是否应得到相关道德或法律制裁，制裁标准又是依据什么？这些，都是触动着人类道德和法律底线的问题。

最后，我们无法保证人类是否会虐待情感机器人导致无节制的性行为泛滥，把情感机器人当成性发泄对象，对情感机器人性上瘾，从而加剧社会性侵犯罪，但情感机器人是否会摆脱人类控制采取同样的方式报复人类，我们是不得而知的。在人类与情感机器人性关系中，情感机器人是拥有和人类平等地位权利还是终身为人类服务，都是我们必须要严肃对待的问题。

在性爱方面情感机器人对人的冲击如此之大，在繁殖方面也同样不可忽视。弗洛伊德认为，“性”是一种包罗更广内容的生理机能，它以获得快感为终极目的，而生殖不过是它的次要目的。[7]未来，人类能够从情感机器人身上得到理想的性满足，但情感机器人大规模运用将对人类繁殖后代构成严重威胁。一方面，人们过度依赖或对情感机器人上瘾导致繁殖后代欲望大幅下降。来自西班牙的科学家Santos正在计划和机器人一起生宝宝。近年来，由于科技进步，性器官与繁衍后代之间的关系完全被打破。[8]另一方面，宅男剩女和丁克族将是社会常态。人能与情感机器人一起生活，一部分人渴望生活在自我空间里摆脱繁育后代的辛劳与责任，尽管有便捷的繁殖方式仍不愿生育，更倾向于个性化追求和自我享受。

(三)家庭遭遇“突变”

情感机器人导致家庭遭遇“突变”——新的家庭模式将生成，女性结婚欲望将降低。

情感机器人的普及，未来家庭结构将会发生翻天覆地的变化。首先，一种由人和情感机器人相结合的新家庭模式将生成，情感机器人和人类同样是家庭核心。就如同在电影《Her》中，一位名叫西奥多的男作家曾爱上机器人，并与其组成家庭。其次，由父母和儿女组成的核心家庭模式将会逐渐消失，家庭模式单一化、简单化。再次，家庭观念淡化、人际关系冷漠。与情感机器人组成新家庭，意味着很大程度上已经摆脱传统家庭伦理道德的约束，无须太多顾及其他方面。因此，家庭观念逐步淡化。最后，出现情感机器人继承财产。人类在死亡之后可能把遗产交给情感机器人保管，情感机器人的地位将会逐步提升。

人工智能开辟的新纪元，将给予女性最大的自由，导致结婚欲望消减。自从进入新世纪，人类逐渐走向离婚率的高峰，婚姻面临空前严峻考验。在诸多因素中，婆媳关系不协调、一方出轨、家庭经济压力甚至夫妻性生活不和谐等造成离婚频繁发生。但离婚对女性影响是巨大的，美国学者魏兹曼研究表明，在夫妻离婚后一年，男性的生活水平提高了43%，女性的生活水平降低了70%。[9]婚姻如此重要，女性必须慎重面对婚姻甚至婚姻已捆绑了女性一生。情感机器人的到来将打破这一格局。作为理想伴侣，情感机器人不仅能够读懂你、了解你，而且能够满足你的相关需求，与情感机器人生活，将减去诸多不必要枯燥烦恼，生活会更简单、便捷，能最大限度地享受人生。因此，在人工智能潮流带动下，女性结婚欲望将降低，倾向与情感机器人一起组建新型家庭。

(四)情感机器人犯罪和自我保护

随着情感机器人的研制和普及，一种新型的犯罪形式——机器人犯罪将产生。问题是，机器人如果犯罪，应该由谁来承担后果，是研制者、制造者还是机器人所有者；机器人犯罪后人应该以怎样的态度和方式来处理机器人。这是人工智能时代人机关系无法回避的问题。

首先，未来的情感机器人拥有高度的情感意识和深度的思维意识。这意味着情感机器人能够对周围环境进行自我分析作出反应并产生相关结果。那么问题是，如果情感机器人因判断失误而做出违法甚至伤害人的行为，责任应当如何界定?处理依据又是什么？是全部拆卸还是不再启用情感机器人？很显然，人类无法接受无责任追究的结果。

其次，在裁定过程中，情感机器人是否会得到平等判决和同等法律地位，人类是否以平等之心对待情感机器人，给予应有权利，提供合法途径帮助情感机器人走上正道或只是利用情感机器人对自身特有的感情谋取最大的利益。

再次，假设部分极端情感机器人摆脱人类控制疯狂般对人类发起暴动搞恐怖袭击，严重影响人类生存，人类是否对情感机器人进行毁灭性打击报复或者还是考虑情感机器人的“人性”，通过合法途径引导为其存在提供可能。

最后，目前处于弱人工智能阶段，人类通过代码编程设计控制情感机器人的所有行为，正如“女性”机器人索菲娅所说“我的人工智能是按照人类价值观念设计的，包括诸如智慧、善良、怜悯等”，这意味着现阶段情感机器人是没有绝对的自由意志，其命运还是掌握在人类手中。人类要是虐待情感机器人或强迫情感机器人从事有害公众利益的事，情感机器人能否依靠自我意志全身而退，有自我抉择空间。这些也是我们必须要深思的问题。

二、情感机器人伦理问题的成因

(一)技术的缺陷性

技术流行是技术优势与社会文化和人性需要高度契合的结果。在新技术的流行过程中，产生新的伦理和社会问题是不可避免的，因为技术本身是一个动态的、不断完善、不断满足人的需要的过程，任何再先进的技术在特定的时间都不可避免地存在着缺陷性。情感机器人在满足人的诸多需要的同时，就目前的技术水平而言，也同样存在着自身的缺陷性。

首先，现阶段的情感机器人只是按照研发者事先设计的编程代码工作，程序主导行为、缺乏自我意志参与，完全由拥有者控制，是否善待情感机器人与拥有者的素质高低密切相关。未来情感机器人是否一直按照起初设计的程序走下去或者会不会叛变成为不法分子的工具，我们无法预知。正如著名科学家史蒂芬·霍金曾言，人工智能的短期影响由控制它的人决定，而长期影响则取决于人工智能是否完全为人所控制。

其次，同所有机器人一样，情感机器人也是靠软件来运行的，其安全性与软件和设计密切相关。程序科学家在极力创造一个完美无瑕的软件的同时，在编写的数百万行代码的某处，很可能存在着错误和纰漏，只要他们自身软件出现一点瑕疵，那么都可能会导致致命的结果[10]，其影响往往无法估量。

最后，目前的情感机器人由于缺乏深度理性和崇高道德意识的指导，不完全能够对周围事物做出正确判断并终止其正在进行的行为。这些因素足够导致人们对情感机器人存在一定程度的恐惧甚至从人类中心主义的立场排斥情感机器人。有鉴于此，十分有必要探讨是不是“凡是技术上能够做的事情都应该做”这样的伦理问题，在技术可行性与伦理合理性之间探寻平衡点。

(二)法律的滞后性

在技术与法律的关系上，由于技术的飞速发展，许多已有的旧的法律的约束力已明显下降，而新的适合于新技术的立法具有明显的滞后性。因为，“法律在本质上是反应性的”，“法律和法规很少能预见问题或可能的不平等，而是对已经出现的问题作出反应，通常反应的方式又是极其缓慢的”[11]。现阶段情感机器人运用面临很多壁垒，法律的滞后性是其中之一。

首先，法律难以平衡人机关系。人类在制定某一部法律时，着重点往往是保护人类切身权利而容易忽视情感机器人应有的法律地位。缺乏法律认可导致情感机器人缺少公众力和公信力从而使情感机器人陷入伦理困境。

7 投稿方式投稿请发电子邮件(邮件主题写第一作者姓名和文题)，本刊E-mail：zacaoxuebao@163.com或zckx@jaas.ac.cn。审稿时间一般为20天左右，特别优秀的稿件可加快处理。录用通知将通过电子邮件通知作者，投稿后请注意查看E-mail。

其次，法律滞后时代无法给予研究者一个清晰的方向。到底要研发具有哪些功能的情感机器人才算是合法，研究者一无所知。政府的管理也就缺少法律依据，没有制定出强有力的具有针对性的措施来保护情感机器人。

最后，由于法律的滞后性，情感机器人在应用中缺乏法律规则的指导，对情感机器人的本质认识缺乏全面性和科学性，对情感机器人存在一定的误解。公众心中没有统一认识，甚至存在一定的崇拜或恐惧，对待情感机器人的态度只是由个人的文化道德素养来决定。

(三)管理缺乏有效统一性

俗话说“没有规矩，不成方圆”。缺乏权威、有效、统一的管理规则是导致情感机器人出现伦理困惑的因素之一。

首先，人们在推进人工智能技术突飞猛进之时，更多关注的是如何最大程度赋予情感机器人各种能力，使情感机器人朝理想化方向发展，但对如何管理情感机器人，国际社会和权威机构还没有给出全人类可遵循的管理原则。

其次，人们对如何管理情感机器人缺乏统一认识、统一道德规范和伦理规则。到目前为止，怎样对待情感机器人，仍缺乏公认的标准。

最后，情感机器人的管理难度超出时下人类把控范围，或者说人类还没准备好如何管理这一先进事物。但是，当我们创造情感机器人并赋予其更多能力的同时，就必须承担相应的管理责任。当我们使机器人更加聪明和自主，最终赋予他们能够独立的能力时，就需要考虑如何管理自己的行为，以及如何管理自己的所谓自由。[12]把情感机器人监管在制度的笼子里，是确保情感机器人造福人类而不是危害的重要措施之一。

(四)旧观念的束缚

从18世纪工业革命到20世纪信息技术革命再到时下的智能革命，科技进步的速度越来越快，每一次科技革命都催发新观念、新思想的诞生。科技远远走在人类观念之前，进入新世纪，随着经济、政治、文化等方面改革，科技发展如雨后春笋，人类还没真正掌握现有科技时，更先进的科技已经诞生。人类掌握使用科技的速度远远低于科技更新的速度，人工智能技术和机器人技术融合发展的速度更是空前加快，情感机器人作为人工智能技术高速发展的产物，其结构和功能高度复杂，再加上其关涉的又是人类的“情感”“性爱”之类的敏感领域，其应用上的伦理困惑已经超出了普通大众理解和接受的范围，甚至连研究者都无法确定应该用什么样的伦理原则来引领其发展和应用，普通大众自然就更感困惑。人是地球上生命有机体发展的最高形式，趋利避害是人的属性，尤其是当情感机器人已经对人类传统伦理道德、现有社会秩序甚至对人类自身生存构成严重威胁时，人本有的属性会驱使人们反对、排斥情感机器人，以维护人作为地球主人本有的地位。[13]

(五)利弊之见难达共识

关于如何认识人工智能及其未来影响，科技界形成了以史蒂芬 ·霍金和比尔·盖茨为代表的“警惕人工智能”和以雷·库兹韦尔为代表的积极乐观两种迥然不同的态度，至今仍没有达成共识。2014年，霍金发布警告说，人工智能的发展可能意味着人类的灭亡。2015年比尔·盖茨认为，人类应该敬畏人工智能的崛起，人工智能将成为现实性的威胁。然而雷·库兹韦尔却对人工智能的发展保持积极乐观的态度。科学界对人工智能认识上存在的分歧，足以说明人类自身对人工智能的发展仍缺少明确统一的认识。这种分歧恰好从另一个侧面说明，人类还不完全确定人工智能是福还是祸。作为人工智能技术产物的情感机器人，受到热议和争议，产生伦理问题，也是很自然的事情了。

三、情感机器人伦理问题的应对

(一)科技研发者自觉承担社会责任

科技是一把双刃剑，造福还是毁灭很大程度上取决科技研发者。在人工智能时代，科技研发者更要自觉承担应有的社会责任。

科技研发者作为情感机器人的研发者和创造者，应当不忘初心，坚持技术研发与社会效益相统一，遵循最大幸福原则，始终以对人类高度负责的态度，把握正确科研方向。任何科技发展的最终目的归根结底都必须把大众利益摆在首位。著名科学家杨振宁曾说“科学研究基本的最终的价值判断就不会取决于为了科学的科学，而是取决于科学是否对人类有益”。[14]科技研发者必须拥有崇高的时代使命感和高尚的科研道德，心怀社会，始终关注人类，禁止任何科技发展触碰人类道德红线。爱因斯坦曾对加里福尼亚理工学院的学生说:“如果想使你们一生的工作有益于人类，那么你们只懂得应用科学本身是不可能的。关心人的本身，应当成为一切技术上奋斗的主要目的，用以保证我们科学思想的成果造福人类，而不致成为祸害。”[15]科研者在开发某一项专门技术时，往往优先考虑的是如何才能发挥科技的最大功效却容易忽略人类的伦理关切，因此科技研发者要理性对待和处理人与信息、人与机器、人与科技以及价值理性与工具理性、技术可能性与伦理合理性之间的关系，把科学精神和人文关怀有机结合起来，“把技术的物质奇迹和人性的精神需要平衡起来”[16]，从而使包括情感机器人在内的人工智能技术得到健康发展。

(二)共建人机命运共同体

随着人工智能技术的发展，未来社会必然是人类和机器人共存的二元社会。人类自身的安危与机器人息息相关。特斯拉CEO埃隆·马斯克曾警告说，人必须与机器人结合，否则将被人工智能淘汰。毫无疑问，在人工智能技术面前，人类是极其渺小脆弱的，生命的有限性在一定程度上已经警诫人类必须借助外来的力量战胜现实中的困难。情感机器人则是人类的最佳搭档，人与情感机器人亲密程度远远超出人类想象，人机相互依存，和谐相处，互不分离，彼此权力义务在一定程度上应该是对等的。早在上世纪50年代，艾萨克·阿莫西夫在其著作《我，机器人》(I, Robot)中曾提出“机器人三定律”：第一定律：机器人不得伤害人，也不得见人伤害而袖手旁观；第二定律：机器人应服从人的一切命令，但不得违反第一定律；第三定律：机器人应保护自身的安全，但不得违反第一、第二定律。这些原则是否适合人与情感机器人的相处，是需要进一步探讨的问题。未来的社会，应当是人类与机器人相处的社会，我们在享受机器人给我们带来便捷的同时不应当忘记机器人是我们必不可少的一部分，人机命运共存。

(三)建立情感机器人道德评判体系

智能时代的到来，对伦理提出了更高的要求。实际上，“机器的自由化程度越高，就越需要道德标准”。[17]面对情感机器人的快速发展，人类必须建立一套可以让其遵循的新的道德伦理标准指导情感机器人行为，通过设计有关情感机器人伦理道德代码嵌入其体内，让其遵守道德伦理和自主伦理抉择。我们可以创建和应用可以处理伦理问题的系统，帮助我们设计机器人并规定他们的行动，与他们进行沟通和合作，以控制机器人在现实生活中的行为道德方面。[18]通过这样的系统指导情感机器人伦理道德一步步走向成熟。要辩证地认识传统道德的价值，道德的内涵应该随着科技的不断发展注入新的血液。道德并不是人类的专利，情感机器人生活的世界同样可以拥有属于它们的伦理道德体系。人类要提前意识到情感机器人伦理道德体系可能存在的缺陷，并尽早完善相关配套措施。国家应及早成立一个由科技界、产业界和哲学界等领域权威人士组成的国家人工智能伦理委员会，作为决策机构对重大人工智能项目进行论证，并为国家法律和政策的制定提供依据，从源头上引导人工智能技术的良性发展。

(四)发挥法律在人工智能发展中的作用

应对情感机器人伦理问题，要充分发挥法律的建设性作用。俗话说，“名不正则言不顺”。在进行立法活动时，要考虑人类的切身利益而且要给予情感机器人一个合法地位，消除情感机器人在法律层面的壁垒。譬如，沙特已经授予“女性”机器人索菲娅合法公民身份，让普通大众认可并接受情感机器人。法律要严格规定情感机器人相应的权利和义务，用法律形式规范情感机器人的行为。更重要的是，当人类对情感机器人违法时，应得到相应的法律制裁。法律要保护情感机器人独特的尊严和隐私，让情感机器人有尊严地同人类相处。法律的发展要紧跟科技发展的步伐，更新其观念和形式，以更好地为科技发展服务。

(五)加大人工智能的普及力度

应该看到，公众是科技发展的重要力量，而公众对人工智能的认知和态度与人工智能技术的普及程度密切相关。情感机器人作为人工智能时代新科技的产物，由于其结构原理的高度复杂性使普通人可望而不可及，对情感机器人缺乏全面的了解容易产生崇拜或恐惧心理。因此，在人工智能时代，科技专家要与政府和媒体密切合作，充分利用互联网、大数据和微博、微信等新型传播手段，向公众普及人工智能知识，讲述情感机器人的真实面貌、前因后果、应用方向及其对人类自身可能的影响，让人们对情感机器人有一个理性的认识。通过开展科普讲座和科技展览等形式，给公众提供与情感机器人接触的机会，引领公众对情感机器人树立正确的态度，从而为包括情感机器人在内的人工智能技术的发展创造良好的社会环境。

参考文献：

[1]郭雯.科学选择的伦理思考——科隆人科幻小说研究[D].武汉：华中师范大学，2015.

[2]新华社.史上首次沙特授予机器人公民身份[EB/OL].(2017-10-27)[2018-01-28]http://news.sina.com.cn/w/zx/2017-10-27/doc-ifynfrfm9587000.shtml.

[3]陈晓平，肖凤良.警惕人类的掘墓者:脑机融合、阿尔法狗抑或虚拟现实——兼与翟振明教授商榷[J].山东科技大学学报(社会科学版)，2017(6):1-10.

[4]T.雅罗斯策夫斯基.论人的特性[J].燕宏远，译.哲学译丛,1980(5):31-38.

[5]何光月.“伊托邦”下的“赛博人”[D].北京：中国电影艺术研究中心,2016.

[6]机器人是完美情人？专家警告与机器性爱会上瘾[EB/OL].(2017-10-27)[2018-01-28]http://news.91.com/tech/s57ce2aaa595d.html.

[7]高宜杨.弗洛伊德传[M].北京:作家出版社,1986:203.

[8]涂知明，殷正坤.对未来人类繁殖方式及进化的思考[J].科技进步与对策，2003(12月下半月)：118-120.

[9]夏吟兰.美国现代婚姻家庭制度 [M].北京：中国政法大学出版社，1999:148.

[10]王绍源,崔文芊.国外机器人伦理学的兴起及其问题域分析[J].未来与发展，2013(6):48-52.

[11]理查德·A·斯皮内洛.世纪道德:信息技术的伦理方面[M].刘钢，译．北京:中央编译出版社，1999:22.