算法决策的认识论不公正及其矫正

刘永谋,彭家锋

(中国人民大学 哲学院,北京 100872)

2021年,《连线》杂志在一篇名为《疼痛难以忍受:那么为什么医生把她拒之门外?》的文章中讲述了这样一则事例[1]:一位名叫凯瑟琳的女士,因患有子宫内膜异位症需要口服阿片类药物来控制病情和缓解疼痛。但医生拒绝为其使用该类药物,理由仅仅是“相关算法系统中的某些评分过高”,几乎未作任何其他解释。两周后,凯瑟琳又收到一封来自妇科医生办公室的信件,称她的个人医生要“终止”与其的治疗关系。理由是因为“来自NarxCare数据库的报告”。NarxCare是一个即时监控阿片类药物滥用风险的算法系统,其基于对患者大量敏感数据的深度分析,自动为每位患者给出一个滥用风险评分,广泛用于指导医生临床决策。面对陌生的算法系统和几乎无从申诉的决策结果,凯瑟琳只得独自承受疾病所带来的巨大疼痛。

直觉告诉我们,凯瑟琳似乎受到了某种不公正的待遇,而且这种不公正体现在两个方面。首先,在道德层面,算法所给出的风险评分直接导致凯瑟琳被迫出院,且药房也拒绝为她提供服务,进而导致她失去了原本应有的医疗援助而饱受疼痛煎熬。这里暂且不论是否存在侵犯个人隐私的问题,仅就本应作为唯一受益者却被完全排除在整个决策过程之外,使得个人诉求得不到表达的情况,就具有明显的道德损害。其次,在认知层面,凯瑟琳作为一个认知者的身份也受到了伤害。决策过程很大程度上也是一个认知过程,需要不同认知主体的积极参与,不断进行信息的输入、分析、反馈和调整。在当前案例中,凯瑟琳原本可以凭借对自身身体状况和治疗经历的了解,为临床决策提供极具价值的认知贡献,但却遭到算法系统的结构性拒绝和忽视。她明明知道自己没有对阿片类药物上瘾,也从未滥用过药物,却无法推翻算法给出的不利结论。也就是说,生成风险评分的算法系统的权威超越了凯瑟琳自身证词的合法性,加之算法的黑箱性质,限制了其理解自身经历和进一步反驳算法系统的不准确评估的可能性。事实上,这种不公正并非仅仅局限于医疗保健领域,而是普遍存在于算法决策应用的各个领域和场景中(如商业借贷领域的信用评级、司法活动中的累犯预测、职场应聘中的简历筛选等等)。值得注意的是,虽然 “算法”可以用来描述“任何程序或决策过程”[2],但本文主要关注那些基于大数据和机器学习技术开发,被用于增强或取代人类分析和决策的自动化算法。

当然,对算法决策的伦理反思一直都是包括学界、政府和产业界在内的全社会关注的重点,比如批判性考察算法应用中的数据获取和数据管理、算法的误用或滥用,以及算法的设计、开发和使用的社会权力动态等等,目的是确保算法的“技术向善”,避免其对社会和个人造成严重伤害。但已有研究大都忽视了如凯瑟琳所遭遇这类独特的认知伤害——威胁到人类作为认知者、解释者和证据来源的尊严。如何概念化算法决策所带来的这种独特的不公正现象的实质将是一项富有挑战性的任务。笔者认为弗里克(M.Fricker)提出的“认识论不公正(epistemic injustice)”概念框架大致可以胜任这一任务。因此,本文将借助弗里克的“认识论不公正”概念及其分类,揭示算法决策何以在认知上给我们带来证词不公正和解释学不公正,进而尝试提出若干解决问题的可能出路。

一、认识论不公正的性质、类型及伤害

作为认识论领域一个相对较新的概念,“认识论不公正”由弗里克在《认识论不公正:认知的权力和伦理》(2007)一书中正式提出。根据弗里克的定义,认识论不公正是“以认知者的身份对某人犯下的错误”[3]1。该术语揭示了一种独特现象——由于社会偏见或刻板印象等原因导致某人的认知地位被不公正地削弱。更宽泛地讲,它是指某类群体或个人的理性或认知能力受到社会或他人不公正的错待。

认识论不公正本质上是一种偏见性不公正,区别于一般的分配性不公正。前者是因偏见性因素使得某人被排挤在认知活动之外或处于认识论的不利地位,比如病人通常被认为不值得相信。后者是指教育、信息等认知商品的获取和分配方面存在的不公平现象,比如剥夺某人接受教育或进入图书馆的机会。虽然对后者的关注同样重要,但弗里克认为“它并没有明显的认识论上的问题”,因为那些被定性为认知商品的东西在很大程度上是偶然的[3]1。所以,真正具有认识论意义的不公正应当是偏见性不公正。同时,这种偏见性不公正具有非蓄意性质。在这种认识论不公正中,听者对说者的可信度做出的误判,实际上是受偏见蒙蔽,以其看似合理的理由做出的“天真误判”。这不同于任何故意将某人的真实或合理信念歪曲为虚假或没有合理根据的行为,因而其发生更让人难以察觉。

弗里克明确将认识论不公正分为证词不公正(testimonial injustice)和解释学不公正(hermeneutical injustice)。证词不公正是指因种族、性别、阶层、宗教等身份偏见导致的听者对说者证词可信度的贬低。比如白人警察因为种族歧视而不愿相信黑人的证词,或者女人的证词被认为不如男人的证词可靠。这些偏见是系统性的,渗透于整个社会之中,证词不公正便是其在认知上的反映。当集体解释资源的差距影响了人对其社会经历的理解和表达时,就会发生解释学不公正。解释学资源可以被定义为认知和语言资源,即我们用来理解世界和相互交流的概念和词语,它们被广泛共享于整个社会之中。当缺乏“集体解释学资源”(即典型的语言类型和概念资源)来谈论和理解某些经历时,经历的人就被剥夺了谈论和理解自身经历的机会。弗里克以“性骚扰”的概念为例:在没有此概念的情况下,被骚扰者无法识别并谈论这种骚扰经历;即使被骚扰者试图谈论他们的经历,听众也无法准确理解被骚扰者的经历和不利境况。

证词不公正与解释学不公正之间具有相互伴随、相互强化的复杂关系,其中一种类型的不公正的发生,往往会引起乃至强化另一种类型的不公正。在这种情况下,说者往往会遭遇双重不公正:一次是由于共享解释学资源中的结构性偏见,一次是由于听者做出带有身份偏见的可信度判断。一方面,解释学不公正会因遭遇系统性证词交流失败而持续并传递:由于试图提供解释的说者的证词没有被听者接收到,产生新理解的早期尝试被阻止或未得到回应,导致了交流双方之间的解释差距形成、维持和传递。另一方面,当因解释学资源的缺乏使得某些声音在相关问题上比其他声音更难以理解(因此更不可信)时,证词不公正几乎不可避免,并且他们试图阐明某些意义的尝试会被系统地视为荒谬(因此令人难以置信)。由于表达和解释某些事物的困难,人们的可信度可能会受到损害;但缺乏可信度也会让人质疑其表述和解释的可理解性。

认识论不公正具有认知和伦理层面的双重伤害。首先,在认知层面,认识论不公正错待特定认知者的认知能力或完全将其排除在知识的生产、获取、传递和修正等认知过程之外,妨碍(个人或社会)认知目标的实现。例如压制认知者的证词或使认知者难以理解其自身经验,会导致扭曲理解或阻碍探究等认知功能障碍,不利于从整体上增进知识和理解。具体而言,证词不公正的主要伤害是由于听者的身份偏见而被排除在认知活动之外,针对的是说者本人;解释学不公正的主要伤害是由于集体解释学资源中的结构性身份偏见而被排除在认知活动之外,针对的是说者想表达的内容。因此,两种认识论不公正所涉及的伤害,具有一个共同的认识论意义——偏见性地将说者排除在知识生产和传播之外。

其次,在伦理层面,由于通过言语沟通等方式向他人传达知识,以及理解自身的社会经验是人类个体的理性能力、身份认同、能动性和尊严等不可或缺的一部分,因此,损害证词和解释能力的不公正将会对人类个体造成伦理伤害。比如,一个理性的人类主体应当被认为是提供和传递知识的能动认知者,但系统性的认识论不公正剥夺了主体这种基本的能力和尊严,主体被排除在受信任的知识提供者共同体之外,这意味着他无法成为认知活动的积极参与者。因此,他从主动认知者的角色降级,并被限制在被动状态的角色中,成为其他认知主体收集知识的对象。这就是认识论不公正对理性主体所造成的认知物化(epistemic objectification)的伦理伤害:当听者否定说者作为知识提供者的身份时,说者就在认知上被物化了[3]133。由此还可能产生进一步的社会恶果,如因在职场或法庭等场合遭遇不公而导致的自信丧失以及对个体或群体社会生活轨迹的负面影响[4]。

二、算法决策的证词不公正

随着大数据、物联网和人工智能等技术的快速发展,算法支持系统开始逐渐被引入教育、医疗、金融、就业等各个领域,并频繁替代人类作出各种社会决策,成为各行各业专业决策的重要来源。其中,证词不公正发生在算法输出与人类证词之间。虽然弗里克的证词不公正被认为是发生在人类听者和人类说者之间,但在作为听者的人类与作为准证词提供者的算法系统之间也存在类似状况[5]。算法系统通过贬低人类证词可信度而成为一种新的认知伤害的来源。对人类自身身份和行为数据的大量收集,导致算法和人类之间产生了一种新的认知权力的不对称性:算法如今被认为比我们更了解自己,从而削弱了我们对于自身可信度的支持。比如,在基于深度学习算法和大数据分析的行为预测和基于人类证词的行为预测之间,不少人倾向于认为前者更可靠,因为我们“偏见”地认为人类的记忆和判断是主观的和糟糕的,相比之下,来自算法系统的“证词”更加准确和客观。在此情况下,证词不公正在整个社会层面被结构性地建立起来。

在一般证词交流中,个人的证词可信度很大程度上是由存在于社会集体想象中的刻板印象决定。虽然可信度包含着能力和诚意两种基本要素,但除非对证词提供者和证据本身拥有大量的个人知识,否则一个人很难对其能力和诚意做出准确判断。因此,当人们衡量说者及其证词的可信度时,更为常见的是依据一种启发式方法和社会流行的刻板印象。这里的刻板印象是一个中性概念,它是整个社会经验的普遍概括,其运用并不必然带来证词不公正。刻板印象可以帮助人们在日常交流中自发和迅速地对他人证词做出可信度判断,从而提高知识传递的认知效率。如果没有这种启发式方法和刻板印象的帮助,人们或将无法顺利实现日常证词交流所需要的可信度判断。但并非所有刻板印象都是积极和正面的,其中往往隐藏着大量身份偏见。比如人类历史上的性别偏见和民族偏见,就体现出对有关社会群体的不可靠的经验概括。当它们持续、系统地在知识传递过程中发生作用,贬低某类个体作为可靠证词提供者的理性能力时,就会造成证词不公正。

当算法越来越多地作为自主性系统参与社会决策时,它也在以知识提供者的身份同人类个体进行认知互动。在此过程中,算法逐渐被赋予精确性和客观性的外衣;相较于人类提供的证词与判断,整个社会层面开始形成一种刻板印象:算法比人类更加可靠。这种刻板印象是一种结构性的偏见,主要源自于两种原因。

其一,人们对算法抱有过度理想化的文化想象和承诺。身处算法时代,我们基本上接受了算法在线处理关于自身的各种数据并塑造我们大部分的认知活动这一事实,但我们基本上不知道具体操作过程是如何进行的,也几乎不了解算法对我们生活的影响。我们自愿但不知情地同意各种算法在我们生活中运作,其中隐含地假设这些算法程序是良性的和无偏见的,只执行理性计算。我们相信算法推荐或提供给我们的结果真实地反映了世界和我们的选择。数据不会说谎,而算法只是处理数据,所以算法也不会说谎。这种算法文化之所以变得有意义和被接受,并不是因为它们是古典意义上的超然事物,而是因为它们以一种更新、更内在的方式发展了这种可接受性。而这种可接受性就是拉什(S.Lash)所谓的算法“通过性能合法化”而获得的。[6]在实际运用过程中,算法隐含或明确地声称它们不仅具有成本效益,而且在认知和道德意义上都是客观的:算法直接工作,提供各种问题的解决方案,中立和公正是其默认设置吉莱斯皮(T.Gillespie)也指出:“算法不仅是工具,还是信任的稳定器、实用和象征性的保证,确保其评估是公平和准确的,没有主观性、偏见或错误。”[7]因此,将算法的客观性与其合法性等同起来,是对更高理性的追求,其中算法自主行动并超越人类能力,由此强化了算法文化的客观性偏见。当算法系统被广泛认为(或至少被视为)体现了一种特殊的、权威的可靠性或可信度时,任何反驳证词证据的力量都会被削弱。

其二,自动化偏见也会加深算法决策中的相关刻板印象。弗里克强调了身份偏见在日常认知交流实践中产生的不公正危害,比如针对有色人种,给予其证词更低的可信度。在算法决策中,还存在另一种形式的偏见,即“自动化偏见(automation bias)”。我们可以简单将其理解为人们倾向于降低自己获取的信息的可信度,而更愿意依赖自动化算法系统提供的信息[8]。自动化偏见是影响人类与自动化算法系统交互的一个重要因素。当使用自动化算法作出决策时,人们很少会利用全部可用信息来仔细甄别和检验算法系统所给出的结果。对此可能的解释是,由于自动化系统往往非常可靠,因此更多的使用经验会强化这样一种观念,即其他提示是多余和不必要的;相反,与自动化系统完全不一致的线索可能会被大打折扣[9]。换言之,当自动化算法被引入决策时,决策者的注意力主要集中在算法及其提示的相关信息和线索上,其他信息不太可能被决策者接收到,进而难以影响决策结果。此外,“算法欣赏(algorithm appreciation)”也趋向于强化“算法比人类更加可靠”的刻板印象。哈佛大学肯尼迪学院的研究人员通过实验研究发现,在各种需要执行评估和预测任务的决策条件下,人们实际上更喜欢来自算法的建议而不是来自人类的建议[10]。即使对算法的描述和了解很少,人们也会表现出对算法的欣赏。因此,当人们倾向于赋予算法更多“欣赏”(即更高可信度)时,来自人类自身的证词可信度就会被相应地贬低,出现证词不公正的现象。

算法决策所带来的证词不公正将会在以下三个方面对人类产生不利影响。首先,在某些重要的认知活动(比如知识生产、证据提供、理论验证等)中,人类的参与能力和地位将会被削弱甚至被完全排挤出去,人类不再被认为是认知活动的合格参与者。同时,这种重视算法决策和忽视人类证词的不利状况,将使我们错过向人类个体学习的机会。其次,由于算法决策被赋予比人类证词更多的权重,人类可能会逐渐失去其作为认知主体的信心和尊严。人类在继续拥有其认知能力的同时,因其证词长期受到质疑和忽视,很可能会失去交流和理解自身经历的动力,最终选择保持沉默。最后,数据缺失问题将加剧对相关群体的证词压迫。缺乏关于特定社会事件或现象的数据并不意味着该类事件或现象实际上不存在。算法总是基于过去已有的数据对未来做出预测性判断,这通常会有意无意地忽视某些未被数据化的关键因素或者强化已有偏见,从而对特定群体造成证词压迫。

三、算法决策的解释学不公正

在算法决策中,还存在解释学不公正问题。它主要是由算法的认知非透明性造成的。“认知非透明性(epistemic opacity)”是由汉弗莱斯(P.Humphreys)较早引入的概念,用于表征某些计算机系统的潜在过程和属性的不可访问性。他给出的定义是:一个过程在时间t相对于认知主体X在认知上是不透明的,当且仅当X不知道该过程的所有认知相关元素[11]。汉弗莱斯专注于计算模型和模拟,但该概念同样适用于决策算法。由于运用了大量复杂的程序、方法和参数,同时还掺杂着许多社会因素,使得算法具有明显的认知非透明性特征。该特征主要源于两个方面。

一方面,技术本身具有认知非透明的特征。当前的主流算法是机器学习算法,它与老式的基于规则的算法不同。从某种意义上说,老式算法在设计上是透明的,因为它是由人类程序员明确编码的规则组成,其代码和输出均可得到检查和验证。即使用户不了解程序的工作原理,其代码是由人类编写这一事实也意味着在原则上不存在透明性障碍。机器学习算法却颠覆了这一特征。人类只提供数据,机器本身则可以自动生成一组规则或映射函数,用于描述该数据集中的模式和相关性,目标是发现了潜在的模式并将其应用于对其他数据点的预测或建议。机器学习成功的关键在于系统本身能够“自主学习”,不断根据新的输入修改这些类似规则的映射以提高其准确性。但这也使得其缺乏透明度。随着这些规则不断被修改,人类(包括技术开发人员)很快会失去理解算法内部运作的能力,最终整个算法成为一个技术“黑箱”。

另一方面,算法的保密性和专业性等外部因素也使其具有认知非透明性特征。保密性是指有目的地尝试对分析事实保持无知。算法保密性可以分为对算法模型存在的保密和对算法操作过程的保密[12]。前者是指在诸如商业领域,存在大量消费者根本不知道的算法系统,受影响者几乎意识不到算法决策的存在。这主要是因为提供此类算法系统的公司是为其客户企业服务而不是为消费者服务。后者是指已知存在算法决策,但其实际操作未知的情况。受影响者可能知道他们受制于某类算法系统,但对决策过程的运作方式知之甚少。事实上,公司有时有相当的动机对算法模型及其操作过程进行保密。如果算法模型和决策过程具有财务和竞争价值,并且其开发需要大量投资或独创性,公司可能会要求将其作为商业秘密进行保护。算法的专业性是指对算法的技术性理解需要一些基本的专业知识。比如确保对算法决策负责的一种常见做法是要求披露底层源代码。虽然这样的披露可能有助于弄清楚如何实现自动化决策,但理解所披露源代码的能力取决于一个人的专业素养水平。阅读代码至少需要最低程度的计算机编程技术,普通公众根本无法满足这一要求。那么,在缺乏理解源代码所需的专业知识的情况下,披露对受影响者和监管机构的价值和意义不大。而且,有学者指出,公开算法的相关架构和代码并不必然对普通的非技术用户有利,反而可能会带来恶意操纵或玩弄系统的风险[13]。

因此,算法可以被视为一个复杂的非透明性系统,对其内部过程和输出结果的理解远远超出单个人的认知资源和能力,对其经验有效性也缺乏认知控制,由此导致人们(至少是非技术专家)在质疑其结果或理解其操作方面变得异常困难。尤其是当算法作为权威系统应用于社会决策领域并产生负面影响时,处于不利地位的群体明显缺乏适当的概念资源来表达、概括和理解自身所经受的伤害。这就在个体经验与向他人传递解释之间形成了一条解释学鸿沟,导致各决策主体不平等地参与社会意义的生产实践。

首先,算法的认知权威地位可能排斥人类个体的意义建构。虽然算法决策系统的开发者与使用者一再声称,该系统旨在辅助而不是替代人类决策,最终的决策权应当始终掌握在经验丰富的专家手里,但现实中往往倾向于将其作为决策的权威来源,在决策过程中直接依赖并考虑其输出。当相关算法系统被应用部署到社会之中(尤其是银行、医院、法院等机构)时,它往往就在行政或程序规范上成为合法的强制性系统。因此,即使在理论上,它们应该作为辅助决策的工具,但在实践中却强烈限制了决策者和相关利益方质疑其结果的可能性。这就导致算法决策容易忽略边缘性群体的知识——他们的证词、价值观和生活经验——在决策过程中可能具有的重要意义。此外,算法系统为决策提供合法知识的方式是单向的,使用者无法根据可能推翻它的相关信息修改其输出结果。也就是说,使用者无法将有价值的信息反馈到系统中;他只能作为一个未知来源的知识的接受者,而不能成为一个积极影响知识生成和意义建构的生产者。最终,使用者难以对决策结果产生异议,加之算法系统强制嵌入决策过程,反过来进一步强化了算法决策的认知权威地位。

其次,算法的认知非透明性阻碍决策相关主体间的理解与沟通。如前所述,算法是一个非透明性系统,它容易导致决策参与者或受其影响者缺乏准确理解其输出所需的解释性资源。因此,他们往往无法评估这些输出结果是否合理,也不明白应该对其采取怎样的合法行动,以及如何质疑它们。事实上,对于算法系统的一般使用者及其影响者而言,双方均处于上述这种认知上的不利位置,都缺乏对相关结果的普遍理解,进而使得决策相关主体间难以产生富有成效的理解和沟通。以凯瑟琳的事件为例,当医生告诉凯瑟琳无需再服用阿片类止痛药时,他或许只是简单接受了权威系统给出的结论,可能并不清楚结论背后真正的原因究竟是什么。这使得双方的沟通和理解受到极大限制,进而破坏患者和医生之间本应保持的良性互动,最终可能导致双方采取以下两种沟通方式。一是回避性的沟通方式。这意味着因算法系统的权威地位而完全切断了患者和医生之间的沟通,患者几乎不理解为什么她被拒绝药物治疗,也没有机会分享一些可能推翻结论的信息和个人状态,完全被排除在交流实践之外。二是对抗性的沟通方式。这意味着医患双方处于一种不信任的关系之中,医生将患者的异议视为对权威系统的挑战和不诚实的表现,由此倾向于降低患者证词的可信度并削弱他们的认知地位。以上两种不利的沟通方式均是由于算法决策系统的介入导致。

最后,解释学资源上的差距可能导致技术专家权力过大。解释学不公正不仅是由集体解释学概念资源的缺乏或扭曲造成的,还可能由现有概念资源的不公平分配和应用所致[14]。在算法决策中,除了算法技术本身的认知非透明性造成的概念缺失之外,还存在许多集体可用的相关概念资源问题。其中大多是描述算法的技术性概念(比如模式匹配、子串、向量机、监督学习等术语),但这些概念通常只由算法专家掌握,一般用户及相关者基本没有能力充分使用它们。这种解释学资源上的差距往往会使算法决策的最终解释权掌握在技术专家手中,因此,决策结果不可避免地会受到技术专家的价值观念和利益等方面的影响。同时,由于专家的权力是被行政性赋予的,来源于其掌握的技术专长,这就容易导致他们的决定不易受到审查和追责。正如奥尼尔(C.O’Neil)在批判性分析再犯算法模型时指出:“一个再犯模型的运作完全是由算法独立完成的,只有极少数专业人士能理解。”[15]一旦算法主导了大多数(重要)社会决策时,谁处于优势地位和谁处于劣势地位的问题就出现了。算法将会以自己的方式,围绕“谁能读懂数字”产生新的等级结构[16]。这意味着,当算法专家掌握越来越多的解释权和算法控制权后,对技术细节一无所知的利益相关者将更难理解和质疑算法决策的结果,进而因解释学资源和能力上的劣势导致其在整个经济社会中处于不利位置。

四、矫正算法决策的认识论不公正

如果仅将算法应用于电影、音乐和美食推荐等一般领域,我们或许不会过多关注由此产生的认识论不公正问题,因为其影响似乎并不突出或重要。然而,一旦算法被用于预测或评估个人商业信用、工作绩效考核、招聘、药物成瘾和累犯概率等重要的社会决策时,其产生的认识论不公正就会导致许多深层次的道德和社会后果。因此,我们迫切需要考虑如何矫正算法决策带来的认识论不公正。

(一)算法层面:构建可抗辩性的算法决策系统

若要矫正算法决策中的认识论不公正,首先需要关注算法决策系统本身。如前所述,算法决策系统本身具有认知非透明性特征,它往往会导致人们很难理解和解释其自身经历,进而难以对决策结果提出反驳。常见的应对措施是提高算法的透明度。但是,即使抛开算法的保密性和专业性等外部因素不谈,仅就技术本身的复杂程度和认知非透明性特征而言,想要设计完全透明的算法系统也是不切实际的。一个合理的替代方案是构建可抗辩性的算法决策系统。严格来说,可抗辩性并不要求透明度,因为人们不需要确切知道决策是如何做出的,就可以质疑它的是非对错、公平与否。可抗辩性意味着参与而非被动,质疑而非默许[17]。构建可抗辩性的算法决策系统,至少可以采取以下两种方式:

一是采取一种“人在环路”(human-in-the-loop)的设计思路。在算法决策中,无论是证词不公正还是解释学不公正,均表现出利益相关者被偏见性地排除在决策相关的认知实践之外,无法参与那些与自身利益息息相关的重要决策。“人在环路”是当前促进机器学习算法的重要方式,旨在通过整合人类知识和经验,以最低的成本训练准确的预测模型[18]。我们可以将此思路用于构建可抗辩性的算法决策系统,将利益相关者纳入技术设计和循环之中,赋予其对基于自动化决策提出异议的一般权利,最终使其免受算法决策带来的认识论不公正伤害。

二是引入一种能够提供反馈循环的强化学习机制。在使用强化学习的算法决策系统中,人们可以设计一种“奖励”信号并设定系统的目标,以使其最大化,类似于行为心理学中的“操作性条件反射”。对系统输出的质疑可以被视为错误信号,表明产生了有问题的输出。因此,将有争议的决策编码为负反馈,以便系统可以更新其映射功能并避免将来出现类似的错误。目前,许多算法推荐系统使用了强化学习机制。当用户提供具有“抗辩性”的建议反馈时,系统会对用户的偏好有更深入的了解,并逐步改进其推荐。然而,在更具道德分量和社会意义的算法决策系统中,似乎没有引入基于可抗辩性的反馈机制。正如前面凯瑟琳的遭遇所呈现的那样,在面对NarxCare系统时,她根本没有对决策结果提出异议的机会,故而反馈也就无从谈起。因此,引入强化学习机制或能提高算法决策系统的可抗辩性,矫正其存在的认识论不公正。

(二)个人层面:培育决策者的认知正义美德

认识论不公正之所以发生,主要是由于在认知交流中听者因身份偏见等因素,未能将说者当作一个合格的认知者来对待。说者无法运用自己的理性能力参与知识生产、传播和修正,从而被完全排除在认知活动之外。弗里克针对证词不公正和解释学不公正两种具体情况,建议以证词正义和解释学正义两种美德对其加以矫正[3]。其中,证词正义要求消除身份偏见对个体证词的可信度的贬低,通过向上补偿来提高其可信度,中和偏见的影响,进而达到与证据相匹配的理想程度。在某些可信度判断不确定的情况下,我们可能需要完全暂停判断,或者通过寻找进一步的证据来做出更负责任的判断。解释学正义要求听者对说者在试图提供解释时可能遇到的困难保持警觉或敏感,要充分意识到其说法或观点难以被理解,可能并不是因为它们是无稽之谈或说者智力上存在问题,而是由于集体解释学资源上的某种差距所致。为了减轻解释学不公正并努力实现解释学正义,我们需要培养良好倾听、开放思维和自我批判的能力,这可以使我们更加关注解释学相关的盲点、空白和解释学失败。

算法决策中的认识论不公正则表现为,在权威性的算法决策系统面前,整个人类尤其是部分受压迫群体的理性能力受到系统性贬低,无法有效参与那些与自身利益极其相关的重要决策。这就需要决策者拥有认知正义美德,在算法决策过程中准确评估所有利益相关方的理性能力和可信度,使得各方获得平等参与决策的机会,做出积极的认知贡献。首先,决策者需要培养自身的证词正义美德,对决策各方尤其是处于劣势地位的一方所提供的证词给予认真对待。决策者要更多地意识到自己对他人的可信度判断容易受到客观性算法文化和自动化等算法偏见的影响,避免在毫无根据的情况下贬低他人乃至整个人类的知识提供能力,剥夺其参与决策的权利。仅仅因为“算法比人类更加可靠”就在决策中先验地排除人类个体的认知参与,这显然是一种结构性的认识论不公正。其次,决策者还需培养自身的解释学正义美德,对决策中处于不利地位的个体或群体保持解释学敏感性。语言和概念是人类表达自身经历和诉求的重要方式,当我们缺乏必要的概念和语言时,就难以把自身的经历和诉求传达给他人,并获得他人的理解和关注。算法的认知非透明性特征使人们很难完全理解决策的具体过程,一般公众更是缺乏相关概念来描述自身遭遇,这就容易导致决策者忽视或无法察觉处于不利地位者的利益和诉求。因此,决策者需要学会倾听,积极回应他人诉求,知道何时暂停对可理解性的判断,批判地看待自己或他人有限的表达习惯和解释期望等。

(三)制度层面:回归算法辅助决策的工具性地位

当然,培育决策者的个人美德并不足以完全矫正算法决策中的认识论不公正。鉴于算法日益取代人类成为社会决策的权威实体,我们需要重新审视算法应用于社会决策的合理性及其限度,使其回归至辅助而非取代人类决策的工具性地位。

一方面,需要纠偏社会流行的客观性算法文化,破除算法自动化偏见。算法文化的倡导者认为,算法可以消除决策过程中的人类偏见[19]。但算法也可能会复刻或强化社会已有的许多偏见,并在伪客观性中“自然化”它们。算法的好坏取决于其所使用的数据,而数据经常是不完善的,这使得算法会继承先前决策者的偏见或反映整个社会中普遍存在的偏见。不加批判地依赖算法决策可能会剥夺处于不利地位的群体对社会重要议题的充分参与。因此,需要理性客观地看待算法的力量,把握其限度所在。我们需要面向公众普及相关算法知识,提升公众的算法素养,从而在整个社会文化层面纠偏过于理想的算法文化。关于如何破除算法自动化偏见,一个可能的建议是增加对决策者的问责制(accountability)。社会心理学研究发现,许多认知偏见可以通过实施问责制而得到改善[9]。问责制将使决策者对所有可用信息更加敏感,对他人证词的评估更加谨慎,主动为其选择提供令人信服的理由而非被动接受算法输出。

另一方面,需要进一步完善落实相关的伦理规范和法律条例。目前,世界各国已经出台了一系列涉及算法决策的相关伦理规范和法律条例。比如欧盟的《通用数据保护条例》第二十二条规定,在应用自动化决策时,数据主体有权反对那些具有法律影响或类似严重影响的决策,以及“数据控制者应当采取适当措施保障数据主体的权利、自由、正当利益,以及数据主体对控制者进行人工干涉,以便表达其观点和对决策提出异议的基本权利”。我国《个人信息保护法》也包含了类似的规定。联合国教科文组织的《人工智能伦理问题建议书》也明确要求,在将人工智能应用于医疗保健等领域时,需要“确保人工护理以及最终的诊断和治疗决定一律由人类作出,同时认可人工智能系统也可以协助人类工作”。但算法决策的日常实践往往与这些规范存在不小的差距:决策完全由算法作出,利益相关者无法对决策提出异议。算法逐渐脱离其辅助决策的工具性地位,而成为决策的权威来源,进而导致一系列包括认识论不公正等伦理和认知上的危害。因此,应进一步推动落实相关的伦理规范和法律条例,确保算法回归至辅助决策的应有地位。