人工智能设计的风险及其规避

闫坤如

[摘要]随着人工智能的发展，其所引发的风险与责任问题倍受学界关注。人工智能带来的风险与人工智能设计有较大关联。从理论上来讲，人工智能设计应思考人工智能是否具有道德行动者地位和“道德嵌入”的合理性等问题。人工智能设计目的与实际结果的不相符，人工智能设计目的与使用者需求不相符，人工智能设计技术的不完备等都会带来风险。为解决人工智能设计的风险问题，其设计的目的应彰显“善”的理念，设计过程中应关注正义与公平，强调设计者的责任意识。

[关键词]人工智能，设计风险，道德嵌入，责任意识

[中图分类号]N031 [文献标识码]A [文章编号]1004-4175（2018）05-0022-05

人工智能在21世纪不断取得理论和实践突破，成为最有前景的新兴技术之一。但是一些智能机器在实际应用过程中却造成了意想不到的后果，带来了许多风险。由于技术的双面性，人工智能技术的不确定性，人工智能的应用可能违背人工智能设计者的初衷，这些原因都可能导致人工智能风险。例如，无人驾驶汽车是为了解放双手，却可能潜藏着安全问题；云计算为了数据挖掘统计方便，却存在隐私泄露的风险，等等。人工智能可能带来的这些风险与设计主体意愿、设计目的与设计结果的偏离等有密切关系。

一、人工智能设计的理论基础

人工智能设计与制造的结果是产生具有自我推理能力的智能机器，对其风险的研究应该基于对人工智能设计理论基础的挖掘，我们主要从人工智能是否是道德行动者以及人工智能“道德嵌人”的合理性进行分析。

（一）对人工智能是否具有道德行动者地位的思考。随着智能机器在技术方面不断取得新的突破，智能机器的深度学习、面部表情、语音识别、大数据和云计算处理速度等能力的不断加强和运用，智能机器在社交、知觉、创造力、自然语言理解等能力上的不断突破，可以说机器越来越像人。那么，智能机器是否像人类一样具有道德主体地位呢？人工智能的功能由人工智能的算法决定，智能机器通过算法对环境中的数据进行分析，从而作出相应的决策并表现出同样的行为。“可以看出这种方法并未假设计算机和大脑在‘硬件上的相似会超出这样一个范围，即认为两者都是通用的符号处理装置，而且能为计算机变出程序进行一些基本的信息处理，使他们的功能与大脑十分相似。”[1]9人工智能不仅仅是伦理规则的被动中转者，还在现有道德生态中与其他实施者互动。如何权衡机器人及其生物的生存地位等伦理问题将成为规范与约束人工智能设计的一个重要方面。

人与机器有本质的区别，人具有理解能力，而机器不具有理解能力。人具有意向性，机器不具有意向性（intentionality）。“意向性被看作是区分个体的人与机器的根本特征之一：机器和人可以做同样的事情，但是人有意向性，而机器没有。”[2]10意识只是脑的一种属性，机器与人类可以具有相同的功能，但是机器没有意向性。即使人工智能不是道德主体，但是人工智能与人类可以具有共同的行为。如果人工智能获得与人类相近或者相同的思维能力和推理能力，界定人工智能和人类的道德地位也会成为难题。例如，机器学习与图像识别技术让无人驾驶汽车轻松上路，却带来机器设计道德上的伦理困境等。人类行为具有复杂性，并不能简单地还原为大脑的结构，人类的大脑到现在为止还是一个未知的“黑箱”。

人工智能技术改变了传统的人与技术的关系。美国技术哲学家唐·伊德（Don Idle）在其《技术与生活世界》一书中从人对技术的感知出发，用“人一技术一世界”的结构分析三者的关系问题，提出了人与技术的具身关系、诠释学关系、它者关系和背景关系，构成了四种技术情境下的人、技术与世界的互动关系图式，分别是[3]72-112：

具身关系：（人—技术）→世界

诠释学关系：人→（技术—世界）

它者关系：人→技术—（—世界）

背景关系：人（—技术/世界）

伊德认为：“越接近于技术所允许的隐形性和透明性，就越能扩展人的身体感觉，就越是好的技术。值得注意的是，设计的完善不仅仅与机器有关，还与机器与人的组合有关。机器沿着一个身体的方向完善，并且是根据人的感知和行为塑造的。”[3]74设计者在人工智能中占有重要地位，因此，必须关注智能机器的设计主体。

（二）人工智能设计“道德嵌入”的合理性分析。人工智能不同于其他技术人工物的研究，人工智能研究不仅关注设计、制造主体的责任，更应思考人工智能是否具有道德意识，并且应关注如何在人工智能中嵌入与人类主体相似的行为伦理规范。因此，应该在计算机程序中嵌入人类道德，像约束人类行为一样约束人工智能的行为。

人工智能设计不是一个闭环系统，对于人工智能的价值反省与伦理追问处于发展阶段。如何让人工智能像道德主体那样去行动以及如何为人工智能编写道德代码也纳入哲学学者的视野。例如，丹尼尔森在其著作《人工道德：虚拟游戏的道德机器人》（Artificial Morality：virtuous Robots for Vitual games）中關注入工智能的道德问题；2007年霍尔撰写的《超越AI：让机器产生良知》（Beyond AI： Creating theConscience of the Machine）一书，关注设计道德机器：瓦拉赫与艾伦撰写的《道德机器：如何让机器人明辨是非》（Moral Machines： Teaching Robots Right fromWrong），试图从道义论、效果论和美德伦理学讨论人工智能体的道德问题。

旧式的技术哲学家多半是被动反应，新一代技术哲学家主动出击，力图使工程师们意识到技术设计带来设计进程的价值，并希望以此去影响技术的价值与设计。人工智能的价值可以从外在性与内在性两个层面去分析。人工智能的外在价值表现在人工智能对公共福祉的贡献，内在价值表现在人工智能技术如何形成它对人类的意义。对人工智能设计具有两种不同的规范进路：一种是职业伦理进路，这是一种“外在主义进路”，还有一种由荷兰技术哲学家普尔（Ibo van de Poel）等人提出的“内在主义进路”，即人工智能设计“致力于关于技术发展的一种更加内在主义、经验性的观察，考虑设计过程本身的动态性并探讨该语境下产生的伦理问题”[4]。学者也从内在主义进路寻找解决传统伦理问题或者新伦理问题的途径。例如，弗里德曼（Batya Friedman）与卡恩（Peter Kahn）在1992年提出价值敏感性设计（Value sensitive design）。设计者在设计时应保持对技术价值的敏感性，在技术设计中将道德嵌人其中。人工智能设计也需要“道德嵌入”。所谓“道德嵌人”是将特定群体认可的价值观与道德标准程序化为道德代码，嵌入人工智能系统，同时内置道德决策场景的指导性抉择标准。对智能系统进行道德训练，使其具备类人的道德推理能力，并利用机器学习算法投射使用者的道德偏好。设计者越来越意识到自身的价值观对设计进程的影响，以及在此过程中他们对于他人价值观的敏感度。设计者在设计想象阶段就应负载价值，应保持对技术价值的敏感性，在技术设计中嵌人道德。在人工智能设计之初就应该赋予其“善”的设计理念，在设计之始把“善”的观念嵌入到智能机器中。

二、人工智能设计带来的风险分析

设计是一个问题解决过程，或者说是一个决策过程，是设计主体根据自身需要，有意识地创造出技术人工物的过程。设计不但是科学知识的获取与应用过程，还是新物体的技术发明与创造过程。西蒙（Hubert A Simon）提出：“（设计）考虑的是人工物（artifacts）应该是怎样的，也就是什么样的人工物才能实现目的，才能发挥其作用。”[5]4-5人类技术行为的主要结果是设计和制造各种人工物。设计具有两个属性。首先，设计是为了达到设计者某一方面的目的。设计望远镜是为了观察浩瀚夜空；设计情感机器人是为了满足人类的情感需求；设计无人驾驶汽车是为了安全以及在驾驶中解放人类双手等。其次，设计体现了主体的意向。在设计主体设计之前就有了设计理念与设计思路。冯·赖特（von wright）也提出从设计主体的目的与意向等方面去阐释设计逻辑。赖特认为：如果把x称为目的，而y是实现目的的手段与行动。那么设计可以用如下表达式表示：“某人想得到x除非得到y，否则不可能得到x，因此必须得到y”[6]。按照赖特的观点，设计就是为了达到主体的目的而进行的一系列活动。设计必须遵循自然界的规律，违背物理规律就不能制造出人工物，人工智能的设计也不能违背自然界的规律。人工智能的设计是通过工程师、程序员编写、设计程序、算法的输人，使设计出来的人工智能产品彰显设计者的目的，在设计、制造过程中必须遵循这些科学规律。

人工智能设计不当会给个人和社会带来风险，小则造成经济损失，大则威胁社会稳定与生命安全。人工智能风险与设计息息相关，并且可以把设计作为人工智能的风险根源。人工智能设计风险主要体现在以下几个方面。

（一）人工智能设计目的与实际结果的不相符带来的风险。人工智能在制造之初先有设计理念与设计思路，设计者为了达到目的，在设计中把人工智能的工具理性与价值理性结合起来。也就是说，人工智能在设计之初已经负载了设计者或者设计团队的意愿与愿望。人工智能产品的设计离不开设计者的努力，设计程序与算法凝聚着设计者的心血和智慧，但是并不是所有的设计者都是“完人”。由于受设计者或者设计团队偏见、错误认知、价值判断及利益追求等因素的影响以及设计的算法存在技术缺陷等，所设计出来的人工智能产品可能存在一定程度的缺陷。人工智能风险很多时候源于设计之初的程序错误或者算法误差。例如，特斯拉自动驾驶汽车造成人员伤亡就是因为其设计的程序存在漏洞，人工智能系统在设计阶段的错误导致人工智能风险的产生。人工智能技术除了需要探索与客观真理的关系，还包含着人类目的性的社会建构活动。伽达默尔曾经说过：“20世纪是第一个以技术起决定作用的方式重新确定的时代，并且开始使技术知识从掌握自然力量扩展为掌握社会生活，这一切都是成熟的标志，或者也是我们文明的标志。”[7]63设计具有目的性，但设计者的初衷和设计出来的产品的实际使用情况并不是完全一致，有时甚至大相径庭。例如，汽车的设计者与使用者没有想到汽车的使用会发生交通事故以及环境污染等问题，但是汽车设计与使用确实导致交通事故与环境污染。

（二）人工智能设计目的与使用者需求不相符带来的风险。技术不但促进了人类进步，还改变了人类的生产生活方式。人工智能技术作为新兴技术具有不确定性，对此可以理解为人工智能技术后果的难以预见性以及难以量化评估性。人工智能的技术风险还可能是由于人类的有限理性所致，人类对于风险预测、评估与风险发生的客观概率之间存在偏差。人工智能风险源于设计者的有限理性。人工智能产品的设计一般是根据市场需求、设计者的能力、使用者的需要等因素复合而成的。设计者和使用者通过人工智能产品实现一种特殊的“互动”，设计者可以有意地引导使用者使用某些功能或者避免使用某些功能。如在人机交互界面优先推荐本公司的产品。设计者通过使用者的意见和反馈，对算法和程序进行修改，从而实现一个良性互动。但是这种互动往往并不能真实反映使用者的意图，相反在很大程度上是设计者意图的强化，因为存在所谓的“设计黑箱”，设计者对设计出来的人工智能不能准确预测与评估。

（三）人工智能设计技术的不完备带来的风险。人工智能的功能与设计者的目的有关，设计者的目的是设计出人工智能的物理结构，让智能机器具有一定的功能，满足人类某一方面的需要。“功能描述自身与结构描述自身都不能完整地描述一个技术人工物的设计；功能设计忽视结构设计的同时，结构设计也缺少了功能设计特性，这就表明在描述人工物时，结构与功能特性都是工程实践中必不可少的。”[8]其他设计遵循结构功能关系，人工智能设计的特殊性，自身有推理能力，智能机器拥有前所未有的自主性，并且拥有能够独立作出决策的能力。美国机器伦理学家帕特里克（Patrick Lin）认为机器具有“自制能力”，他说：“一旦机器的一部分启动，那么该机器就根据外部环境进行自我反馈运行，而具备在一定时间内不受外部控制的能力。”[8]智能机器具有不完全受制于人的自主性，人工智能的算法与程序可能带来风险。瓦拉赫（Wendell Wallach）与艾伦（Colin Allen）在《道德机器：如何让机器人明辨是非》中提到：“现今在美國死于医疗事故的人每天有100到200人，而且许多这类医疗事故都与计算机有关系。这些错误诸如发错药，算错药物剂量，每天都导致100到200人死亡。我并不确切知道你们将其中多少人的死因归咎于计算机的错误，但是这个原因占有一定比例，可以肯定地说，每隔两到三个月我们死于计算机错误和医疗事故的人数就抵得上一次‘9.11。”[9]22通过上述例子可知，人工智能的算法错误或者程序错误等可能造成风险。

三、人工智能设计风险规避的思路

（一）人工智能设计的目的应彰显“善”的理念。智能机器是为了满足人类某方面的目的，人工智能设计应首先保证智能机器更好地为人类工作与服务，这优先于智能机器的工作效率与功能。人类与智能机器之间的关系不再是过去简单的人与技术人工物之间的主客二分关系，而更多的是协作甚至更私密的关系。由于人类思维和情感的复杂性和多元性，人机关系并不是一个简单的课题。机器人技术要想处理好人与世界的关系，必须把道德嵌人机器人的设计、研发与制造过程。必须用“善”的理念设计智能机器，约束与规范智能机器的发展。阿西莫夫（IsaacAsimov）最早提出用“机器人三定律”来规范智能机器发展：“机器人不可以伤害人类；或者，通过不作为，让任何人受到伤害；机器人必须遵从人类的指令，除非那个指令与第一定律相冲突；机器人必须保护自己的生存，条件是那样做与第一、第二定律没有冲突。”[10]2后来又加上第四条准则：机器人不得伤害人类，或者因为不作为，让人类受到伤害。阿西莫夫机器人定律是康德式的道德律令，认为人类应该制定需要智能机器遵守的道德准则，这是一种自上而下的伦理规范方法。所谓自上而下的伦理规范方法是把规范化的价值观当作在自主体的活动中隐含的内容，而不是被抽象地表征出来。除了自上而下的伦理规范，还需要根据人工智能的具体情境设计相应的伦理。通过自上而下与自下而上的伦理规约共同作用，规范人工智能的设计。人工智能很大程度上取决于程序与算法学习模型的设计水平，在设计中必须把价值转成具体的设计要求。“设计中实现价值的一种方式是将它们转换为规范和设计需求。”[11]253设计的具体要求包括效能、效率、灵活性、成本与安全等指标。设计过程需要遵循价值观、规范与成功等标准。

（二）设计过程中应关注正义与公平。1980年，温纳（Langdon Winner）通过罗伯特·莫斯（RobertMoses）在美国长岛设计的低悬立交桥来阐述设计公平问题，这座桥只可以通过富人的私人轿车，而不能通过大巴车等公共交通工具，这涉及对习惯乘坐公共交通工具的黑人的歧視。通过这个例子温纳提到了设计公平问题，在人工智能设计中应该关注正义与公平。

人工智能设计应该关注机会平等。机器人不再是简单工具，在机器人的设计中应该关注责任伦理，其中正义原则是机器人设计始终需要贯穿的一个重要原则。机器人的设计要关注公平和正义。机器人设计不应造成扩大主体间权利、地位上的差距，导致实际上不公平和不正义。如无人机的技术设计、生产需要大量的成本，导致价格昂贵，并非所有人都能享受该项技术的成果，这会导致公平性丧失；使用无人机送快递等会造成现有快递从业人员的就业机会不公平。罗尔斯（John Rawls）提出：“所有值得我们注意的伦理学理论都须在判断正当时考虑结果，不这样做的伦理学理论是奇怪的和不可理喻的。”[12]23

人工智能设计也应该追求技术结果的公平、正义。它包括技术获取途径的公平正义，人工智能涉及不同人群的不同利益，机器人的设计中要确保机器人的设计目的是为了人类的整体利益而不是某些个人或者集团的利益；人工智能使用致力于大部分人的利益而不是少数人的利益。人类有责任与义务为人工智能设计制定规则，约束设计者在设计之初考虑到人工智能的社会影响，避免因为人工智能的应用拉大人与人的差距，造成人与人之间的不公平，避免造成社会风险。

（三）人工智能设计应强调设计者的责任意识。人工智能技术设计必须关注设计者信念、行为以及设计者在技术实践中的作用与责任等研究主题，设计者在人工智能技术发展中不能置若罔闻，更不能袖手旁观。“伴随着技术的发展，需要设计师的全程参与，寻找道德反思的应用，并期待技术设计的社会影响。这种类型的道德规范参与技术发展，而不是将自身置于技术范畴之外。”[13]智能机器的设计者要对可能出现的技术负面效应作出足够的论证，也要充分考虑人工智能技术发展带来的伦理困境，考虑到智能机器的运用过程中不可避免地会面临道德困境。如何使智能机器在面临类似情形时作出最有益于人类的抉择，是设计者们要提前考虑的问题。因此，人工智能设计和制造应遵循职业道德与社会公德。

除了强调个人的责任意识之外，还要发挥行业协会与国际组织的作用。美国电气与电子工程师协会（IEEE）、美国职业工程师协会（NSPE）、美国机械工程师协会（ASME）以及美国的伍斯特理工学院机器人工程师职业伦理（WPI）都提出人工智能设计的职业伦理规范。在这些行业规范中，都认为工程师应具有诚实、公正等职业美德，都应该关注安全、健康和公众福祉。例如，2002年电气与电子工程师协会给出了机器人的伦理规范：第一个分支为机器伦理学（machine ethics），研究的重点为“赋予机器人伦理原则或者促进机器人解决可能预见的伦理困境，在机器人自主作决定的时候，提高他们的道德考量比重”[14]1；第二个分支为机器人伦理学（robot ethics），主要关注入类在设计、使用操作过程中与机器人交流互动中的伦理问题。2017年1月，美国召开的“阿西洛马会议”提出了《阿西洛马人工智能原则》，（Asilomar AI Principles）规范人工智能的发展。《阿西洛马人工智能原则》要求人工智能设计的伦理应该追求技术结果的公平、正义，包括人工智能技术获取途径的公平正义，人工智能涉及不同人群、不同利益相关者的不同利益等，必须先保障公平与正义才能规避社会风险。人工智能设计主要涉及三个维度的问题：“首先，是人类创造和雇佣机器人的伦理；其次，是将人类的伦理观念嵌入机器人当中；第三，是人类如何看待智能机器人的伦理。”[15]处理好人工智能研制、设计以及正确对待人工智能产品的关系，才能有效地规避风险。人工智能设计应关注入工智能的设计和制造应遵循的伦理准则。荷兰技术哲学家维贝克（Verbeek，P.P）提出技术对人类行为有调节作用，设计活动天然包含一种伦理导向和伦理意义，因此，人工智能的设计也包含了道德伦理的因素。在人工智能设计过程中就需要将正义等道德因素嵌入机器人的设计过程当中，“如果伦理学是关于人如何行动的，设计师帮助塑造技术如何调节人的行为，那么设计应该被视为‘做伦理学的一种物化形式。”[16]91首先，使人工智能的设计与人类的社会价值观保持一致；其次，人工智能设计还要研究如何善用和阻止恶用人工智能，使人工智能造福于人类。

综上所述，在智能机器的设计、研制和发展进程中，我们应注重科学与伦理求真与求善的协调发展，重视设计伦理和过程监控，规范和约束智能机器的发展，保证智能机器技术更好地为人类所用，使智能机器人更好地服务于人类社会。同时，在机器人研制、设计等过程中应与伦理紧密联系，重构人工智能责任体系以及建立人工智能伦理规则，注重程序正义和结果正义。在人工智能发展设计之初就应该为其注入一颗“良芯”，这样才能有效规避人工智能技术风险与社会风险。

参考文献：

[1]Allen Newell，H.A.Simon.Computer Simulation of Hu-man Thinking（M）.Santa monica：The RAND Corporation，1961.

[2]玛格丽特·博登.人工智能哲学[M].刘西瑞，王汉琦，译.上海：上海译文出版社，2001.

[3]Ihde D.Technology and the Lifeworld：From Garden toEarth[M].Bloomington：Indiana University Press，1990.

[4]Poel I V D，Verbeek P P.Ethics and engineering design[J].Science Technology&Human; Values，2006（3）：223-236.

[5]Simon H A.The sciences of the artificial[M].Cam-bridge：MIT press，1996.

[6]Wright G H V.Practical Inference[J].PhilosophicalReview，1963（2）：159-179.

[7]伽達默尔.科学时代的理性[M].薛华，等译.北京：国际文化出版公司，1988.

[8]ICroes P.Coherence of structural and functional de-scriptions of technical artefacts[J].Studies in History&Philos-ophy; of Science Part A，2006（1）：137-151.

[9]Wendell Wallach &Colin; Allen.Moral Machines：Teaching Robots Right from Wrong [M].Oxford &New; York：Oxford University Press，2008.

[10]阿西莫夫.银河帝国8：我，机器人[M].叶李华，译.南京：江苏文艺出版社，2012.

[11]Poel I V D.Translating Values into Design Require-ments[M].Philosophy and Engineering： Reflections on Pray-tice，Principles and Process.Springer Netherlands，2013.

[12]约翰·罗尔斯.正义论[M].何怀宏，等译.北京：中国社会科学出版社，1988.

[13]Verbeek P P.Accompanying technology：Philosophyof technology after the empirical turn[J].TechnB：Research inPhilosophy and Technology，2010（1）：49-54.

[14]Anderson M.Machine Ethics[M].Cambridge：Cam-bridge University Press，2011.

[15]Asaro P M.What Should We Want From a Robot Eth-ic？[J].International Review of Information Ethics， 2006（6）：2-8.

[16]Verbeek P P.Moralizing Technology：Understandingand Designing the Morality of Things[M].Chicago and Lon-don：The University of Chicago Press，2011.