别让AI剥夺你的思考能力

朱利安·弗里德兰(Julian Friedland)

在网上为母亲搜索礼物时，我常常犹豫不决。是选择缝有特殊字样的抱枕，还是选择毛绒浴袍抑或其他？最终，我缩小了范围并锁定了目标。不过，这是我本人的决定吗？还是掌握了我永远都无法处理的海量数据，旨在为我提供最“贴心”服务的人工智能算法替我做出的决定？要是最后妈妈不喜欢我为她“精挑细选”的绣花周末旅行包怎么办？是我的错吗？还真不好说。毕竟，让人工智能替我们思考，既省去了我们自己做的麻烦，也免去了本应由我们承担的后果。

人工智能（AI）的确是一种强大的工具。它通过调动海量信息让我们的生活更舒适，工作更高效。有了它，我们不用再为很多费时伤神的琐事烦心。问题是这些烦心事能提高我们的适应能力。没有了它们，我们无法学会调整人与人之间的关系，更无法学会调整人与周围世界之间的关系。例如，与食品超市装袋员的直接接触，能促使我们加深对他的了解。有了这样的了解，当结账的队伍挪动得比预想速度慢的时候，我们也许就不会那么急躁。在你来我往的相互让步中，我们心存善意，竭力克制，学会了化解一时的冲动。人与人之间的摩擦互动可以不断提醒我们进行道德自省。

同样的道理，与大干世界的互动能够迫使我们不断适应新的环境。在拥挤的城市里步行、骑车或开车教会了我们如何克服一些诸如路况变化、突发极端天气等不可预知的障碍。每天，我们就在无数次地改变我们自己以适应世界与无数次地改变世界以适应我们之间寻求最佳平衡。这种相互适应能够激发反思，促进道德自省并提升思想境界。

过度依赖人工智能使得上述互动成为多余，沟通中的摩擦也不复存在。因此，我们的认知能力逐渐下降，情感体验不断钝化，进而导致人类适应能力的萎缩，以及伦理价值观的退化。例如，让人工智能来挑选礼物，我们就无需考虑在与亲朋好友的日常接触中他们有什么样的需求，并花心思为他们挑选真正贴心的礼物。无论身处哪种社会环境、个人环境和职业环境，很多趋势表明，我们正在把认知、情感和道德方面的负担转移给人工智能。慢慢地，我们可能会失去批判性反思的意愿和能力，在认知和情感方面变得更加脆弱，更容作者简介：乔治朱利安弗里德兰，都柏林圣三一大学商学院（Trinity Business School，Trinity CollegeDublin）伦理学助理教授。易焦虑并受到虚假新闻、欺骗性广告和政治话语的操纵。

针对上述问题，本文试图借助方兴未艾的物联网市场中的智能手机以及其他产品和服务的系统升级，为人工智能设计者提供解决方案。这一方案基于两大理论支撑：一是心理学家丹尼尔·卡内曼（Daniel Kahneman）的认知双系统（cognitive dualprocess），二是道德自省。后者是我和福特汉姆大学加贝利商学院（Gabelli Schoolof Business.FordhamUniversity）的本杰明·科尔（Benjamin M.Cole）教授共同开发出的道德认同的四层模式。（参见剐栏“人工智能时代的心智理论”）

便捷导致疏离

人工智能一个最显著的特征是它能够游刃有余地处理日常生活中的琐事。有了它，我们就会将越来越多的时间和注意力投入到我们认为更有意义的活动中来。当然，把这些琐事交给人工智能，就意味着我们在一定程度上放弃了对它们的控制权。当你对这样的放弃安之若素，新的习惯性行为便得以强化，而这种新习惯里包含着某种程度的疏离，即人与人之间的疏离，人与物质世界之间的疏离，甚至人自身的疏离。我们每放弃一分人为的控制，就增加了一分对人工智能系统的信任。在这一过程中，我们将不再依赖卡内曼所说的“反思心智”（reflective mind），而是转向“自主心智”（autonomous mind）。前者做出的决定经过了深思熟虑，后者做出的决定则是条件反射使然。自主心智固然简化了繁琐的日常事务，但不断强化自主心智会导致我们的行为总体上趋向自动化，无需太多思考。这种疏离主要体现在下列六个方面。

1.被动接受 由于我们在完成任务的过程中接受了人工智能的帮助，无需付出太多努力，因此我们有可能成为被动的旁观者而不是积极的参与者。例如，奈飞（Netflix）、亚马逊Prime会员以及脸书（Facebook）所采用的人工智能系统已经帮我们事先设定了娱乐和新闻选项。而当我们习惯于依赖人工智能系统替我们做出决定时，我们便很少接触新的视角，偏见和误解因此根深蒂固。慢慢地，我们不愿花费精力进行深层次的批判性思考，长期记忆逐渐退化。

2.情感疏远 没有了人的参与，情感也会逐渐疏远。最终，我们的行为失去了诚意，甚至具有欺骗色彩。试想，如果客户呼叫中心服务或销售平台的客服在关注客户情绪变化时，不断受到人工智能的实时“指导”会怎样？这样的人工智能系统本意是帮助接线员提高对客户诉求的敏感性，其结果却适得其反。由于过度依赖人工智能，他们在捕捉情感线索方面的训练减少了，兴趣也减弱，反而对客户的情绪变化熟视无睹。

3.主动性丧失 人工智能淡化了我们采取行动的意识，从而削弱了我们做决定的能力。设想一下，一辆事先设计好程序的无人驾驶汽车在发生事故时，会不会从伦理道德的角度权衡不同选择，例如撞人还是撞車？当然不会。车辆保险费是提前设定的，它的高低取决于自动驾驶系统在多大程度上将他人的利益考虑在内。当类似这样的车祸发生时，我们便丧失了自己做决定的主动性。

4.责任减轻 在决策过程中把控制权拱手让给人工智能，我们对于结果（无论是好是坏）所承担的责任也会相应减轻。这是因为从软件设计到交付使用，整套人工智能系统将责任进行了分散。设想一下，你有一款节食软件，它能够根据人工智能所设定的减肥计划为你提供订餐和送餐服务。如果减肥成功，你应该感谢谁？如果减肥失败，你又归咎于谁？

5.无知加深 人工智能技术将我们的需求转换为算法速记或机械化程序，其结果有可能与人为操作大相径庭。当然，这种转换有助于填补我们的知识盲区，但也可能因此强化了这些盲区。诸如位智（Waze）和佳明（Garmin）这样的虚拟导航应用软件无需你识别周围环境。因此，出于对人工智能系统的盲目信任，你有可能在一个地图软件尚未更新的错误地方绕来绕去，而不是依赖你的直觉和判断。到了目的地以后，你也许都不知道自己走的是哪条路。缺少了，人工智能的帮助，你可能回都回不去。

6.技能弱化 借助人工智能这一媒介完成日常事务，会弱化很多我们与物质世界接触时所掌握的技能。一些基本的工作做起来会感觉生疏，至少在没有帮助的情况下显得不那么得心应手。例如，完全依赖导航软件，我们便会忘了如何查看传统地图。将来，自动驾驶技术得以推广，我们在没有应用软件的情况下甚至会忘了怎么开车。不仅如此，我们还会失去掌握新技能的动力，把希望越来越多地寄托在人工智能所提供的外包服务上。

人工智能所带来的上述发展趋势势必会引发道德危机。由于这些行为在我们的一生中不断重复，如果过度依赖人工智能，有可能造成社会关系的疏远和冲突的加剧，扼杀自我反思能力，从而阻碍道德进步。耍缓解这些危机，人工智能系统的设计者应该通过一些内置功能和界面定期激活我们的反思心智。

激活反思心智不能只靠“助推”

在颇具影响力的《助推》（Nudge） 一书中，行为经济学家理查德·塞勒（Richard Thaler）和法学家卡斯·桑斯坦（Cass Sunstein）认为，通過情感刺激（如激发同理心或私欲），认知助推可以促使我们采取行动。然而，这样的助推在实践中的作用其实非常有限。它们只是促使了某些行为的改变，并没有激发人们的反思心智。在对1，509位心脏病人所进行的调查中，各种促使他们谨遵医嘱按时服药的努力（包括智能电子药瓶和求助亲朋好友就可获得5～ 50美元不等的奖励）并没有显著改善病人的服药情况。

人工智能时代，只有激活人们的反思心智，才更有可能解决上述疏离问题并防范能力丧失的风险。人工智能系统的研发者不妨引入“摩擦互动”体验，通过设计“认知减速带”迫使我们思考一些值得深度思考的决定。例如，母亲生日快到的时候，人工智能系统可以提醒我们找一个合适的时间给妈妈打个电话，或者去看看妈妈，而不只是提出购物建议。只有这样，亲子关系才能得以改善，甚至还能借此机会挑选到真正贴心的礼物。

这一做法意义深远。人工智能辅助平台之所以具有吸引力，借用技术伦理学家香农·瓦勒（Shannon Vallor）的话来说，就在于它推进了无摩擦互动。这种无摩擦互动巧妙避免了传统交际，特别是现实空间里面对面交流时常常容易产生的一些负面情绪，如厌烦、尴尬、冲突、恐惧、误解、恼怒以及过度亲呢，等等。这里的互动，瓦勒主要是指社交媒体上的实时对话，但也可以扩展到生活中所有繁杂的琐事，如看地图、开车、关注周围环境、列购物清单、购物以及做饭。尽管大多数人仍然经历着这样的摩擦互动，人工智能辅助平台却承诺将我们的生活体验优化到极致，从而减少用户负面情绪的产生。久而久之，我们的道德意识将逐渐退化，这当中就包括转移重心的能力、延迟满足的能力、控制情感冲动的能力以及避免未经大脑思考就做出反应的能力。

我们需要通过人工智能选择架构（AIchoice architecture）的助推遏制这种趋势。它能够维系用户与广阔世界之间积极健康的摩擦互动。

摩擦互动促进道德自省

大量的摩擦互动有非常大的价值。例如，一项有关儿童自我控制的最新研究表明，一个人想要培养果敢坚毅这些与日后事业成功息息相关的品质，其成长的文化和社会经济环境比遗传因素重要得多。只有学会处理互动中的摩擦，我们才能充分发挥对自我意识的控制。

摩擦互动也能促进道德自省。当我们不断经历摩擦，应对各种刺激的方式便会发生改变，道德身份逐渐形成：对自己行为的意义开始有了不同的思考和感知。

社会心理学的文献研究已经厘清了道德身份的自我认同与符合道德准则的思想和行动之间的关系。更多有关公民意识的文献资料表明，自尊是公民行为最有效的道德推动器。也有证据显示，当遵循道德准则的消费者受到自我道德形象的驱使而不是诸如内疚和同理心这些情绪驱使的时候，幸福感更强，再次购买的意愿也更强。

上述所有这些和人工智能有什么关系？人工智能系统的设计者可以用下述道德自省的四个层面作为指导，设计出鼓励反思行为的应用程序。通过吸纳产生摩擦互动的诱因，这些应用程序能够促使人工智能的用户对他们的行动如何反映个人价值进行思考，同时帮助他们提升道德自省的层次。

第一层次：社会反思 在这个层次，人们的行为改变主要依赖从其他观察者中获得的负面反馈。研究表明，负面反馈能够遏制自私自利的行为。例如，公用品悲剧（tragedy of thecommons）实验中原本自私自利的参与者，在遭到谴责后才逐渐学会约束自己的贪念，将更多的资源留给后来者。最终，所有人都愿意减少个人获利，以保证资源分配的公平公正和长期可持续性。

第二层次：自我反思 在这个层次，人们不再依赖他人的负面反馈来审视自己的行为。他们开始转向自身，进行自我反思。他们这么做通常是看到了别人行为的结果或考虑到自己行为的即时影响。例如，一个人如果注意到房间里的垃圾被清理得干干净净，自己随地乱扔垃圾的可能性就会大大降低。相反，如果房间里垃圾遍地，他也不大可能保持屋内清洁。

第三层次：预期性自我反思在这个层次，人们无需他人提示便开始对其行为可能产生的负面结果进行了预测。之所以如此，是因为人们对先前行为的自我反思已经导致了内心的负罪感和羞耻感。在公用品悲剧出现的关键时刻，其中一个参与者大声问道：“难道我们都是坏人吗？”提出这样的问题并不是指责其他参与者，让他们羞愧难当，而是为了修正自私自利的观念，树立理想的自我道德形象。这样的反思至关重要，它显示出个体希望通过重塑自我以适应世界并实现理想的道德责任。

第四层次：前瞻性自我反思 作为道德自省的最高境界，在这个层次，人们的前瞻性越来越强，既考虑到正面影响也考虑到负面影响。他们有目的地采取一些合适的行动以期达到正面结果。他们内心开始树立起英雄而不是恶棍的自我理想形象。最佳情况是，这些决定的形成是一个习惯成自然的过程，以此推动人们不断靠近他们的理想人格。这样的心理状态直接关系到能否在个体的自我概念的基础上获得更大的幸福。

激活反思心智

在传统的面对面互动过程中，外部的物质世界和社会环境提供了必要的摩擦，能够促使人们通过反思改善行为。由于人工智能消除了沟通中的摩擦，因此设计者需要开发一种能够激发用户道德自省的工具，那就是“展示性提示”（showing notices）。人工智能系统可以用激发本能反应的展示性提示来影响用户的决定，从而有效弥补摩擦互动缺失的问题。（参见副栏“人工智能时代的心智理论”有关展示性提示的详细介绍）

展示性提示为用户快速展示了其行为的结果，如一天的步行数和上网时长。它可以提升人工智能的应用水平，鼓励用户从道德自省的前三个层次，即行为的改善主要依赖内疚和羞愧等负面情绪作为动力，提升到第四个层次，即行为的改善主要依赖正面的预期，行为人清楚地意识到他们的选择不仅会让自身也会让整个社会发生改变。同时，让人工智能用户与社交群体中其他人分享某件事的进度，也能进一步挖掘一个应用软件的潜力。

根据目前的预测，2021年全球物联网花费将达到1.4万亿美元，这为人工智能在展示性提示方面的研究和发展提供了巨大機遇。其中，五种和生活方式有关的人工智能系统在这种创新尝试中发展潜力最大，它们分别涉及身心健康、社会责任、媒体和公民参与、技能维护以及个人启迪。

身心健康身心健康类的应用软件在提供展示性提示方面已经取得了重大突破。它们中有的推动健身，有的训练专注力，有的管理睡眠，还有的控制手机使用时长。智能冰箱为该应用软件开辟了一个全新领域。它可以每天显示用户的膳食结构，如摄入的精加工食品、高糖食品、罐头食品、冷冻食品以及新鲜食品的数量以及每天的卡路里消费量，从而帮助用户平衡营养。这样的应用软件和食品配送服务数据相结合，指导用户根据更健康的食谱进行采购，同时尽量选择当地的可持续来源的食品。

社会责任人工智能系统的另一个潜在应用领域是帮助人们深思熟虑，做出符合其社会价值观的品牌和投资选择。现在的一些应用软件开始关注金融投资组合中可能出现的伦理问题，根据显示的偏好（例如酒、石油和烟草），标注一些用户可能希望避免的行业，并为公司可能会涉及的伦理困境提供更加细致的提示。例如，智能冰箱能够为所购买的食品提供“碳足迹”的提示（人们可以得到碳标签）。这些提示可以延伸至其他领域，提醒用户注意空气和水污染、资源枯竭以及环保包装等问题。

媒体和公民参与媒体应用软件可以使用展示性提示提醒人们注意一些具有误导性或有失公允的新闻来源。这种提示可以逐一进行，也可以统一进行。新工具可以逐渐引入一些其他观点，鼓励用户打破意识形态回音室效应，倾听不同的声音。智慧市民手机应用软件能够让用户绘制本地化的众包地图，从而暴露城市发展过程中的一些问题，如乱扔垃圾、损坏路灯和窗户、蓄意破坏公共财产以及道路坑洼等等。精心设计的此类应用软件能够跟踪用户对于上述问题的介入程度，鼓励市民提高公民意识，积极参与本地以及国际国内事务，在他人需要帮助的时候挺身而出。

技能维护在与外部世界打交道的过程中，主动将一些枯燥的体力活外包给人工智能系统，将在很大程度上导致我们日常技能的丧失。GPS地图和无人驾驶技术便是两个典型的例子。用户在开车时只需注意导航系统的图像和语音提示，无需关注路标，自然也就记不清走过的线路。展示性提示为用户提供了自我矫正的可能性。人工智能导航系统不妨模拟路人指路的场景，但在必须转弯的地方设有关键路标和参照点的三维图像。这样一来，用户便有机会熟悉周围环境并依靠自己的记忆到达目的地，而不是一味机械地听从语音提示。其他的一些人工智能设计则鼓励司机保持警醒，不要过度依赖自动驾驶系统，以防驾驶技术退化，

个人启迪总而言之，精心设计的展示性提示让人工智能系统不再是冷冰冰的技术，而是能够帮助用户挖掘其最大潜能的朋友。例如，人工智能系统能够帮助人们在艺术、美食、时尚和娱乐方面培养更敏锐的眼光。推荐引擎直接让公众接触最能引起共鸣的产品，人工智能系统则不仅基于受欢迎程度，而且根据专家意见以及个人和共同的社会偏好展示具有优质评级的其他产品。包括奈飞视频在内的一些人工智能系统已经开始提供这样的服务，但还缺少一种功能，即显示用户总体观看选择和观看时间如何反映质量评级。

人工智能辅助平台为消费者管理日常生活、从事日常活动和进行人际交往提供了一种超级强大的工具。不仅如此，如果以负责任的态度精心研发这样的技术，还能普遍改善人们的行为习惯。然而，如果设计者较为短视，几乎没有考虑到融入一些应对人工智能负面影响的元素，人性的弱点就会得以滋生，如被动性、依赖性、无知以及脆弱。一旦这样的人工智能辅助平台在普罗大众间得以广泛应用，当今的一些制度将会遭到破坏。

从事人工智能领域开发的企业必须制定一套明确清晰、切实可行的设计方案，让消费者就自己的网上行为模式做出明智的选择。真正的人工智能辅助平台是在维护个人主动性以提升集体福祉的同时，与顾客建立牢固的关系。

人工智能时代的心智理论

认知双系统理论描述了两种主要的决策过程：第一种是直觉，即自主心智，源自对刺激的自动反应;第二种是理性，即反思心智，源自深思熟虑后做出的有意识的反应。

对于任何符合个人兴趣或吸引个人注意力的活动，大多数人工智能辅助平台的存在将我们从反思心智中解放出来。和没有人工智能帮助的直接互动相比，人们能更有效地完成每一个外包给人工智能的新任务。因此，人工智能让我们轻松提高了有效处理外部世界信息的水平。

在研究者看来，人工智能系统通常为用户提供三种类型的提示。

●联想提示 利用用户对某一技术的熟悉和了解，提醒他们注意另一种技术的存在，如智能手机上的相机拍照声和电话拨号音。

●心理反应提示 利用共同的心理反应塑造消费者对于产品或服务的概念。例如，代表诚实与开放的友好“化身”等界面设计。

●展示性提示 通过为用户显示活动结果的方式提升其自我意识，如苹果手机iOS 12系统内显示的屏幕运行时间。

联想提示和心理反应提示激发的都是自主心智，只有展示性提示才能促使摩擦互动，从而激发反思心智。苹果手机操作系统里的屏幕运行时间软件能够提醒自己使用社交、娱乐以及效率应用软件的频率有多高，这有助于用户更好地理解并控制自己的行为。

翻译：张宇