无人驾驶的道德困境

余泽娜，裴安琪

(中共广东省委党校 哲学教研部，广东 广州 510053)

借助机器人在数据和算法的帮助下代替人类从事汽车驾驶工作，正在改变人类的出行方式和生活方式。但是，自2018年3月美国Uber公司的一辆无人驾驶汽车撞死一位行人事件发生之后，关于无人驾驶的伦理和道德讨论就开始不断深入起来。其中的关键就在于，无人驾驶如何避免机器算法和判断的失灵，而不是只满足于技术上的自动化。而关于机器算法和判断的失灵的弥补，必然是一个伦理和道德问题，因为只有人才真正具有道德判断的自主和决策能力。但至今的讨论显然过于简单化和理想化，并没有深入分析基于无人驾驶技术带来的深层次伦理困境问题。无人驾驶技术之所以陷入伦理两难困境，在于机器的道德决策过程是否具备主体性，以及由此产生的道德决策主体问题、事故归责问题和隐私问题四大障碍，唯有全面分析这四个方面，才能进一步提出解决这四个障碍的对策。

一、道德决策过程的两难问题

“电车难题”是伦理学中具有代表性的“两难问题”，最早由Foot提出[1]。关于这一问题的经典描述是电车行进前方的铁轨上有五个人，此时一辆刹车失控的电车正朝他们驶来。你可以通过拉动拉杆让电车驶向另一条铁轨，但另一条铁轨上也有一个人，你该如何选择？在假想的“电车难题”的困境中主要考虑的是人数的差异，但由于无人驾驶问题的现实性，其算法内置程序关于相同境遇中应该考虑的因素应更为细致，因而其道德决策会更加复杂。

比如在年轻人和老人之间如何抉择，人和动物之间如何抉择以及科学家和流浪汉之间如何抉择等等。关于这些问题的内置算法程序在决策的时候，一旦选择不慎误用道德共识，就会导致自动驾驶的伦理问题。为此，美国麻省理工学院曾做过一个“道德机器”实验，这一实验设计了9种不同事故的场景，面向全球随机抽取样本，调查人们在这些场景中希望无人驾驶机器应做出何种道德选择。实验结果显示出人们强烈的道德偏好——无人驾驶汽车在面临两难困境时应选择：人类而非宠物、车内乘客而非行人、多数人而非少数人、女性而非男性、年幼者而非年长者、身体健康而非体弱多病的、社会地位更高而非更低的、守法的而非钻法律空子的人[2]。

问题在于这些调查违反了几乎所有的伦理流派的道德底线——把人的生命量化考量。自文艺复兴以来“人人平等”成为我们的共识，上述调查研究把人的性别、身份、社会地位等后天因素作为道德决策时的考虑因素，得到的结论与我们的伦理共识存在冲突，让大多数伦理学家都难以接受。更有甚者，调查还把其他物种(比如小狗)考虑进去，一旦调查结果是无人驾驶可能为救10只小狗的生命而撞人，这将更加违背伦理常识。

上述违背伦理常识的问题可能会让我们更进一步发问，无人驾驶技术是否能够做出自我的、可接受的道德决策？显然困难巨大。与电车难题中对司机的要求一样，对无人驾驶内置算法程序在道德选择方面的要求也是一件颇为棘手的事情。

道德决策的两难困境焦点最终指向功利主义和义务论两种不同的伦理立场。以边沁为代表的功利主义者认为要以“满足最大多数人的最大幸福”原则为道德决策的指导，主张“两害相权取其轻”；以康德为代表的义务论者则认为不能把人当做目的，坚持在“普遍律原则”的指导下做出道德决策，但两者在实践的过程中都存在不可避免又无法弥补的缺陷。

功利主义的算法设置本质上是一种算术行为，看似最为科学简明有效，实则面临严峻复杂的算法任务。以功利主义伦理立场为指导的内置算法程序要计算出所有可能会出现的结果并对其进行道德排序，以交付人们从中做出正确的即效用最大化的选择。数字伦理研究领域著名学者米歇尔·安德森和苏珊·安德森依据功利主义原则建立了简单的算法程序：通过考量受影响的人数、每个人快乐或不快乐的强度和持续度以及快乐或不快乐在每一个可能行动中出现的可能性，得出最佳行动方案[3]。但由于“快乐能否量化”问题存在争议且其强度和持续性难以考量，功利主义并不具有现实的可操作性。更加需要指出的是，功利主义最大的弊端在于他们自始至终都无法解释“最大多数人的最大利益”何以能够成为道德行为正确与否的衡量标准，以及利益相关者人数最大化和利益最大化何者更为优先的问题。如果把道德选择和利益计算相等同，那么人的内在价值将不复存在，道德也就无处存身。这是功利主义无法承认的。

义务论的核心是考量行为本身是否符合道德规范而不关注其结果。康德的义务论要求我们确立具有普遍性的道德规范，这似乎不难，问题在于严格地执行这种理想的普遍性规范非常困难。每一个规范性理论，如果在实践中得到完全严格的执行，都可能在某些情境下导致人或机器做出违背直觉的、非常不道德的甚至荒谬的行为。因为现实的道德情境和道德主体的行为特征往往是复杂的，这与道德规范理论所阐述的单一性特征相矛盾。比如在“人应该诚实，不能说谎”这一道德规范中，诚实所阐述的是单一性的特征。但是在具体的现实情境中，诚实的道德品质可能会间接导致无辜的人失去生命。这一结果明显不符合我们的道德直觉。同样，在无人驾驶中，如果严苛地按照事先设定好的准则指示内置程序做出符合道德规范的行为，也将会形成类似“诚实间接致人死亡”的道德困境，即基于定言命令的道德准则与现实情景中的道德直觉发生冲突。面对现实的具体情境，我们需衡量坚守原则与允许打破原则的“例外”存在何者更符合我们的道德直觉。比如，若坚守“诚实”的道德原则会致无辜者死亡，那么“善意的谎言”或“描述部分事实”则应该被视为符合道德原则的一种例外。事实上，做出道德判断的过程往往是衡量各个道德原则是否应当被破例以符合人们的道德直觉的过程，也是人们的理性思维和感性直观的博弈过程。人类自身面对如此难题尚且无所适从，若把期望寄托在无人驾驶的内置算法程序上无疑更是过于天真。

无论是功利主义还是义务论，二者在这类道德两难困境中均不具有绝对的道德正当性，无人驾驶的内置程序无论如何设计都有跌入“骑驴困境”的风险。所以，无人驾驶在道德决策过程中的两难困境是无法避免的现实，若无人驾驶汽车可以避免做出伦理选择，那么这一困境就可以得到解决。

从逻辑上来说，无人驾驶汽车可以通过两种途径避免做出伦理选择：第一，无人驾驶汽车可以通过技术发展实现零碰撞。第二，若做不到第一，无人驾驶需要做到在碰撞发生前把决策权交还给人。问题在于，这两者都无法实现。就零碰撞而言，尽管技术乐观主义者认为科技发展可以实现这一目标，但目前来讲这一美好愿景很难达到。一方面探测系统仍然存在很多局限，部分细小物体难以识别；另一方面即便探测系统未来能够识别所有物品，但驾驶过程本身复杂多变，技术无法预测道路行人以及路上其他非无人驾驶汽车的动态轨迹。就决策权的转移而言，在无人驾驶汽车发生碰撞前把决策权交还给人，表面看来确实能避免无人驾驶汽车道德决策的两难问题，但如果无人驾驶技术需要人时刻保持警惕参与驾驶活动，这不仅是对“无人驾驶”语义直觉的违背，也是对“无人驾驶”本身功能的消解，且对于提升驾驶安全、解放人类驾驶员的作用都有限。因此，在遇到紧急情况时，无人驾驶在道德决策方面面临的困境是无法通过上述两种途径得到根除的。

二、道德决策的主体问题

即使无人驾驶的道德决策不存在伦理争议，它也面临另一个困境，即此时道德决策的主体是谁？技术(机器)还是人？这就是无人驾驶中的道德决策主体问题，这一问题包含两方面的内容。

第一个方面，汽车无人驾驶技术是否可以成为道德主体？

既然是机器在自动驾驶，那么人类可否将驾驶过程中道德决策的自主权让渡给机器？这就涉及到机器人是否具有道德主体地位的问题。随着科学技术的发展，汽车无人驾驶技术是否可以成为道德主体进而享有道德权利并且承担相应道德责任引发学界讨论，成为科技伦理的核心问题之一。在讨论无人驾驶技术是否具有道德地位之前，我们有必要明确道德地位的概念，即何为道德地位。

甘绍平对道德地位给出的定义是：“一个实体因其自身而获得人类道德关怀的资格”[4]207。道德地位往往伴随着一定的道德权利(moral right)和道德义务(moral obligation)。一个实体拥有了一定的道德地位，就表明这个实体必然可以享受道德权利，承担道德义务。拥有道德地位的行为主体可以获得人类道德关怀，也应对道德共同体内的其他成员给予道德关怀。

对于无人驾驶技术等人工智能，如果人类以自身拥有的道德意识来对其进行规约，以自身为蓝本，要求其拥有相等的道德地位尤其是承担相等的道德责任和义务，这首先乃是一种对于自然界其他存在物的苛求，是一种道德领域内的人类中心主义。但是即便摆脱道德领域的人类中心主义，从技术工具论角度来看，无人驾驶技术依旧不能成为道德主体，或者说无法拥有其道德地位。

虽然科技发展正在影响着人类生活的方方面面，并且科技在发展的过程中自身呈现出一定的发展规律，这种规律影响着社会的运行方式，无形中改变着社会原本的形态，包括人、科学、政治与经济等诸多层面都会受到科技的影响。科技使得人类对其愈加依赖，而且这种影响的发展往往被大众认为是不可控的。但归根结底，技术由人研发，听命于人类，并最终服务于人类。因此人类应该明白，技术仅仅是一种工具，无人驾驶技术最终是由人制造，由人设定规则，并且服务于人，是人在主导无人驾驶技术的发展而不是相反。尤其重要的是，无人驾驶技术本身不具备道德属性，它无法理解人类所理解的“善”与“恶”，即使能理解也是人类对其设定的程序所致，且其所学习的道德知识——如果它有这个学习能力的话——也是来源于人类。而且，即使它习得了人类的道德规则，也仍然无法理解这些规则的真正意蕴与背后的形而上理由。

因此，本文认为无人驾驶技术不具有道德属性，自然，它也就不具有道德地位，无法成为道德主体。如果无人驾驶技术被人类强行赋予道德地位，人类强行让无法成为道德主体的无人驾驶技术成为道德主体，强行让无法承担道德责任的无人驾驶技术承担道德责任，不仅会导致人类产生恶念，导致本应承担相应道德和法律责任的人利用无人驾驶技术逃脱法律的制裁和道德指责，更会影响乃至改变人类几千年来形成的相对稳定的责任归属和社会规范模式，甚至会导致人类社会形成无责任归属和无社会规范的无序社会模式。

第二个方面，如果只有人才能成为无人驾驶中道德决策的主体，那么应该是谁？

这之所以成为一个问题或困境，是因为，在人类驾驶行为中，驾驶人就是道德决策主体，他依据自己的利益或者良心做出选择；而在无人驾驶中，直接的决策者是机器。但机器既然不能成为道德主体，人们就必须将自己的道德命令事先灌输给它，让它按照人的道德尺度行事。问题是，灌输给机器的道德命令应该是什么人的？与无人驾驶中的道德决策相关的人包括但不限于：驾驶人、乘客、行人、汽车制造商、政府等，在这些人中，谁应该成为道德决策的真正主体？这些可能的主体之间由于存在利益或观念冲突因而可能会做出不同甚至截然相反的道德决策。所以看起来，在这些不同的人中间寻求某种道德共识是一种合理的解决方案。上述麻省理工学院的实验正是为了在世界范围内征集人们的意愿，以评估跨越不同文化、国家、种族、宗教等背景的人们的道德偏好，从而用以指导制定“道德机器”所应遵循的道德规范。

然而，正如伦理学研究早就揭示的，在较大范围人群中取得道德共识是一件十分困难的事，范围越大越艰难。不仅如此，而且，人们在假想的实验中所表露的道德立场往往并不等同于他身处事件之中时会采取的真实道德立场。前者更多地基于理性推导，是抽象的；后者则会因其身份、利益的变化而变化，是具体的。例如，他在实验中支持遇到两难困境时应选择车内乘客优先而非行人优先，但当他真的成为事件中无辜的行人时，他可能会反对自己原来的立场。同时，是否需要征集利益相关者意愿以及在多大程度上采取他们的意愿涉及公共政策与道德偏好之间的关系。收集公众偏好并不意味着这样的道德偏好就是我们设计无人驾驶汽车的唯一依据或标准。公共政策作为事实和价值的统一体，还要考虑到技术层面的可行性以及该技术功用目的的达成度。并且，以道德偏好作为公共政策制定的依据暗含“群体歧视”的道德风险。具体到无人驾驶的道德决策问题上，如果以道德偏好作为内置算法程序的决策依据，可能暗含歧视或牺牲少数群体——特定性别、特定族裔、或特定地区——利益的先置设定。并且，诉诸直觉的道德偏好由于不同社会文化背景的差异，具有极强的道德相对主义。同时，道德偏好的选择仅代表实然层面的“是”，无法提供具有正当性的“应当”。因此，公众的道德偏好不能成为公共政策的制定依据。事实上，往往不是人们的道德偏好决定公共政策，而是公共政策规定人们的道德偏好。

但是，如果在无人驾驶过程中遇到紧急情况时是依据相关公共政策做出道德决策，那么，姑且不论这种政策是否能够穷尽驾驶过程中的一切复杂情况和细节，单就政策的制定而言，我们发现我们仍然处于困境之中——政策的制定者似乎成了最终的道德决策主体，而制定者是谁？官员或者专家？他们制定的伦理依据是什么？甚至可能有人会指责：听取了公众意愿了吗？

于是我们发现问题又循环回来了。在众多利益和价值观念相异的可能主体中，我们既不能只采取其中一部分人的立场，又很难取得他们关于无人驾驶道德决策的共识。

伦理学研究者很难帮助公众做出完美的道德决策，我们能做的只是提出一个道德底线，在此基础之上让公民自由地选择。问题在于这个道德底线究竟是什么？这里首先可以参考契约主义的主张。每一种道德选择都蕴含着各自的价值取向，但我们需要形成一致的解决方案和规则。契约主义在这里为我们提供了启发，它认为规则的订立应当以所有人为满足自己利益而自愿签订契约为基础，这突出了不同主体利益的平衡性、对等性与相互性。这里最为核心的一点就是，规则的制定必须是在“无知之幕”下进行的，在“无知之幕”下，每一个主体都不知道自己将会在无人驾驶的相关事件中充任什么角色。这也符合康德“普遍立法”的道德律，这条道德律令要求人们做出道德决定不能因为场景和身份的转变而随之改变。如此就避免了一种尴尬情形——当某人身为自动驾驶汽车上的乘客时，认为应为保护自己而牺牲行人；但当自己身份转换为行人时，又认为应为保护行人而牺牲车上的乘客。契约主义为包括驾驶人、乘客、行人、汽车制造商、政府等在内的不同主体商谈设立无人驾驶伦理规则提供了可供参考的方法论。当各方在满足自己利益需求的基础上自愿达成共识并签署契约，则我们安排机器按照该契约做出的道德决策就应该被视为符合伦理规范的道德决策。

同时，还可以根据那些我们无法接受的伦理规则来确立道德底线。比如无人驾驶内置程序不能提供个性化的道德选择，因为若如此，则每个人都会根据利己主义做出伦理选择，这将会损害整体利益并有滑向囚徒困境的风险。

三、事故归责问题

大部分讨论，都停留于上述两种道德困境，即侧重于理论层面的探讨。而无人驾驶发生事故后引发的归责问题以及大数据在搜集道路信息乘客信息时引发的隐私安全问题则属于实践层面的困境，这同样需要更为细致的伦理分析。

传统驾驶发生事故后的责任划定可以依据现有的法律规范得出较为清晰的结论，一般来说人类是事故的主体。但无人驾驶发生事故后的归责不仅涉及复杂的技术认定问题，也涉及伦理、法律界对自动驾驶系统的主体地位认定的争议。按照我们上面的讨论，机器人道德主体地位的模糊性使得我们对其判罚行为的正当性大大削弱。并且，人类历史上的责任判罚惩处其执行方式通常是剥夺对象某种权利或价值，比如剥夺政治权利、生命权或者自由。无人驾驶技术作为人造物本身不具备社会属性，不存在自由意志更谈不上生命价值。换言之，无人驾驶技术不具备人类社会的可判罚要求。此时，责任归属对象变得复杂起来。一方面，自动驾驶车辆及其技术可能正是“罪魁祸首”“肇事者”；另一方面，它却无法作为具有自由意志的道德主体承担责任。那么，责任者是谁？是否仅包括汽车供应商和算法设计者；乘客应不应该也被囊括其中？各主体如何认领属于自己的责任以及如何对责任进行划分成为需要多方协商解决的重大问题。

需要强调的是，责任划分要避免出现“道德推脱”的伦理困境。Bandura认为，一个自治的人道的社会根植于道德自我制裁——人们持续地控制自己的行为，且必须承担自己所做的事情和自我评价的结果[5]。无人驾驶事故发生后的责任裁定涉及到多方主体且各主体所需承担责任的比重有待商榷，在此过程中要始终对责任扩散现象保持警惕，责任感可以被分散开来，因为分工而消失。大多数事业需要很多人参与其中，每一项任务都被细分为多种工作，导致大家感觉每种工作本身都是无害的[6]。一方面，汽车供应商、算法设计者以及乘客都应积极承担自己的责任。首先，对汽车供应商而言首要的道德责任就是确保无人驾驶汽车的硬件安全。在无人驾驶汽车出厂之前要严格把关质量安全审查，并且要致力于提高无人驾驶汽车的安全性能研究。其次，算法设计者要时刻谨记阿西莫夫提出的机器人学的“三大法则”——安全是最基本的伦理准则[7]，也是人的基本价值。算法设计者要在技术上尽可能地做到精细化，以不断趋近“零碰撞”的美好愿景(尽管可能永远无法达到)。但是，设计者更要注意的是避免技术自负。当代科技的发展尤其是人工智能技术的发展强化了近代理性主义的传统，这导致乐观主义者关于技术万能的迷信。然而，任何技术都不可能没有漏洞和安全隐患，我们更不能盲目相信技术可以代替人做出合理的价值判断。所以，算法设计者等技术人员既需要不断完善无人驾驶技术，也需要时刻注意用人类的价值理性去规制技术的开发与利用。最后，乘客作为无人驾驶技术的享受者不仅要熟悉无人驾驶技术的性能和局限，在其能力范围内合理使用无人驾驶技术，而且要对不当使用所致的后果负责。同时，根据需要定期对无人驾驶车辆进行维护和保养。

另一方面，加快建立问责制度是解决责任划分难题的有效保障。应从责任伦理的视角出发，明确各责任主体的权利和义务，建立清晰有效的问责制度，避免“道德推脱”的问责难题。目前无人驾驶技术基本采用“人机共驾”模式以应对问责难题，即车内搭载安全员在必要时进行人工操作。但该模式仍存在诸多不足，由于旁观者效应，安全员难以全神贯注时刻保持接管操作车辆的心理准备。2018年美国Uber自动驾驶汽车撞人事件充分证明了这一点。并且，“人机共驾”难以作为消解事故归责难题的根本之策，只能作为无人驾驶技术落地过渡的缓兵之计。

如果说“人机共驾”是对“无人驾驶”语义直觉的违背，只能作为责任划分的权宜之计，那么把人类从驾驶任务上剥离但仍然保留其道德和法律上的主体地位，保留人类最终对算法的设置和接管权，确保人类在事故发生之后的责任补位，并最终确定责任由谁承担归谁负责，则无疑是我们应该划定的道德底线。

四、隐私安全问题

隐私原本指不受他人干扰的自由状态，后引申为人们的一项特有的权利，即隐私权。隐私作为人的一项自然权利，随着人类文明的进步其内涵也在不断丰富发展。在日常生活中，隐私即指个人信息未经本人允许禁止被他人收集、处理以及利用。学界对隐私权的地位有着几种不同的理解，Schoeman认为隐私是实现人类尊严的必要条件，是人类生而有之的一种权利和需要[8]12。有些学者则认为隐私仅仅具有工具价值或者相对价值，Volkman认为隐私权仅仅是从基本权利中派生出来的权利，反对把隐私权当作一种自然权利，并且认为由于其派生性所以它只是相对于某些人类基本权益才有价值，它只是一种工具价值、相对价值[9]。

随着互联网大数据的发展，传统的基于物理空间意义上对隐私权的保护已经不能满足网络空间面临的隐私权的新挑战。具体到无人驾驶的隐私安全问题主要有以下两个方面：第一，对人类网络空间的入侵。无人驾驶汽车依赖的是物联网与大数据共享，做到安全快速的前提是要尽可能多地掌握数据信息。这些数据信息不仅包括车内乘客的行驶、操作记录，同时也包括车内乘客的交谈以及行驶过程中的环境信息。如此，置身于无人驾驶技术下的每个人都有掉入“圆形监狱”的可能，我们失去了相对隐匿的移动能力，无形之中被“监控”起来。并且，在大数据时代这些数据信息蕴含着巨大的价值，最终这些资源由谁监管，乘客是否拥有监督和自治权等问题都悬而未决。第二，算法精准推送限制主体选择，对个人自我决策产生干扰。基于用户数据的“预测性分析”算法推送应用已经非常普及，具体到无人驾驶技术上就是，它会根据搜集到的乘客信息选择符合乘客偏好的路线。强大的数据预测功能意味着我们的未来将会被算法设计和限制，置身于“圆形监狱”之中，不仅我们的过去是透明的我们的未来也是透明的。这种状况的直接后果就是我们无法完全按照自己的意志自由地进行决策，正如《未来简史》为我们敲响的警钟：最终“算法会成为所有人”[10]108。

大数据搜集道路和乘客信息建立数据库会模糊隐私边界，若不对此加以防范，会产生诸多伦理问题。首先，互联网大数据对隐私权的压迫违背了密尔的“伤害原则”——“人类之所以有理有权可以各别地或者集体地对其中任何分子的行动自由进行干涉，唯一的目的只是自我防卫”[11]10，密尔的“伤害原则”在个人和社会之间筑起一道防止对个人造成伤害的壁垒。在大数据时代，个体领域不断被外界“干涉”，基于信息泄漏隐私侵犯所造成的伤害也更为普遍和直接。其次，算法的精准推送有可能违背“公正”和“平等”原则。根据沃尔策的观点，每一种善都是特殊的并且有着自己独特的分配方式、分配机制和分配标准，所以为了维护每个领域的公平，每一种分配原则都应该被限制在自己的领域之内，必须反对一个领域的善越过、侵入和统治另一个领域的善。算法获取信息和数据，只有在生活便捷的边界内才是善的或者合理的，利用收集的数据对个体实行精准推送的行为一旦越过这一边界(比如为了获取商业利益)，便会违反“公平”原则。并且，由于数据资源的监管和掌控权的划分与归属尚不明晰，当前更需要对个人数据信息的获取和流通实施严格的法律与伦理规制。

然而令法律和伦理规制感到为难的是，私域与公域、算法推送的便利性与商业性之间的界限到底在哪？无人驾驶汽车车主的身份、车牌号码、办公地点、家庭住址、常去的地点等信息无疑属于个人隐私，但如果这些私人信息不被汇集入公共数据平台，无人驾驶这一惠及社会的技术就不能发挥任何作用；算法推送的行驶路线、车内音乐让我们享受到便利，但这些推送又在多大程度上控制着我们的自主选择、形成了我们的“信息茧房”？更何况，自由、隐私、便利等价值中，何者更为优先，每一种价值的权重是多少，不同的人会有不同的选择。有关隐私安全的此类难题，构成了无人驾驶在实际应用层面的又一个道德困境。

五、结语

上述无人驾驶道德困境形成的因素是复杂的，如单一伦理立场的局限性及其之间的相互冲突，人们对新技术产物的道德地位尚缺乏准确的认知，人们对这一技术的多种需求之间的伦理冲突，技术本身还不能达到像人一样的自主意识等等。因此，面对和解决上述伦理困境也将是一个系统而持久的工程。但无论怎样，人类绝对不能因为技术应用的便利而放弃人自身的道德诉求。作为一种道德的存在物，人类需要平衡自身对于技术的多种利益需求并在必要的时候放弃某些利益。我们需要审慎对待无人驾驶技术的任何突破性的进展，加强对技术发展的法律规制、伦理审视和人文关怀。我们要筑牢无人驾驶内置算法程序的伦理屏障，让无人驾驶技术在研发、试用以及推广的过程中多一些伦理审视和伦理关怀。汽车可以无人驾驶，但社会之车在前行过程的任何时刻，其方向盘都应牢牢掌握在人类的道德之手中。