人工智能算法歧视的法律治理

陈昕明,沈开举

〔郑州大学 法学院,河南 郑州 450001〕

数字科技的核心是算法,数字治理的关键是算法治理,在这个意义上甚至可以说,数字治理归根结底就是算法治理[1]。算法治理不仅是国家治理现代化的重要体现,也是全球数字科技治理规则制定的话语权竞争抓手。但随着算法滥用的风险逐步增大,算法歧视、算法安全、算法黑箱等法律、伦理和社会问题促使社会重新思考算法技术。算法歧视可能导致各种各样的不利后果,如损害公平机会、限制个人自由、损害公共利益等。2021年5月,Twitter的研究团队发表了一篇论文,通过实验证实了Twitter的缩略图算法在裁剪图片时更偏向白人以及女性,在裁剪多人照片时会更多裁掉黑人[2]。2022年4月,北京市消费者协会启动了互联网消费大数据价格歧视问题调查活动,其发布的报告显示,76.77%的受访者认为存在价格歧视现象,64.33%的受访者表示有过被大数据歧视对待的经历[3]。

一、算法歧视法律治理的问题缘起

1.算法决策中的歧视

算法歧视是指算法在分类、预测、决策等过程中对某些特定个人或群体产生不公平或不合理的影响。歧视行为主要有直接歧视和间接歧视两种形式。当通过人为判断做出决定时,可能会根据具体情况做出有偏见的决定,这种直接歧视可能是因为算法使用的数据存在偏差或偏见,也可能是因为算法本身存在漏洞或错误。数据挖掘和机器学习算法产生决策规则或决策模型,可能会使某些群体中的个体与其他群体相比处于劣势地位,此时便产生了间接歧视。

行为是歧视的表现形式,情形是歧视的作用领域,歧视的理由描述了可能受到歧视对象的特征[4]。算法歧视并非都是有意为之,更多是基于无意识或错误而产生。机器学习基于数据挖掘,在理论设定中只要模型背后的假设与数据完全匹配,决策便与其构建的模型一样客观,但实践中很少能够完全相符。在基于数据的运算中,这种情况尤其明显,二者的结合很可能会产生错误与偏见[5]。历史数据中可能有偏见、不完整或记录了过去的歧视性决策,往往会导致这些决策十分轻易地转移到预测模型中,并在新的决策中得到强化[6]。这些未被发现和解决的潜在偏差可能会妨碍机器学习实现其提高自动化决策系统的准确性和公平性的初衷,它们还可能使这些系统的开发者和使用者因无意识的不当行为承担法律责任。

2.算法歧视冲击法律伦理秩序

平等、自由及尊严是法治社会价值的基础。我国《宪法》第33条第2款规定:“中华人民共和国公民在法律面前一律平等”,体现了平等权在我国基本权利体系中的重要地位。作为一项基本人权,平等权可以在人权普遍性原则下寻找逻辑根源。人权普遍性之要旨是建立在人之为人的尊严与价值之上,建立在人类具有共同利益与共同道德之上。但是算法技术的产生使得这种平等理念受到了极大的挑战。在算法治理的社会里,具有社会人文意味的价值被数字化程序化分类,技术的应用关系着每个人的命运[7]。例如,美国政府使用的一项自动化决策系统将公民任意排除在食品支持计划之外,错误地减少了原本专属于残疾人的福利,以及毫无根据地指控他们欺诈[8]。这种不合理的差别对待已经造成了实质的不平等,受其影响的群体也更难以获得权利救济。此外,平等权作为宪法规定的基本权利,没有自身的具体内容,只有在权利主体行使其他权利的过程中得以实现。在近年频发的“大数据杀熟”案例中,算法所判别出的“高收入”群体要比其他普通用户为相同商品或服务支付更多的溢价,技术鸿沟的设置使得歧视行为更加难以识别,此时便需要法律通过规制市场经济领域的不平等或其他民生领域可能出现的歧视保障公民在宪法上的平等权[9]。

公正是法治的生命线,公正是法律的本质,法律是公正的外化[10]。算法歧视对于正义的妨碍主要体现在程序正义和实体正义两方面。对于程序正义来说,在互联网这一虚拟世界中,代码意味着秩序,使法律具有了虚拟特质,法律思维范式正日益凸显出虚拟性的层次和特点[11],算法正在演变为一种“执法者”的角色,对决策相对人进行判断、评价甚至处以惩罚。伴随人工智能技术快速发展而出现的网络去中心化现象加强了歧视的隐秘性,也增强了算法对歧视监管的反制能力[12]。实体正义强调每个人都应享有平等的权利和机会,但算法歧视会导致某些群体被不公平地对待,例如美国司法部使用的预测联邦拘留人员再犯风险的评估工具高估了一些有色人种的累犯风险,在一些暴力累犯评估上低估了一些有色人种的累犯风险[13]。此外,在具有歧视或偏见色彩的决策中,不能否认受到此种对待的相对人所面对的算法自身可能就被设定为非正义的,例如美国残疾法律学生协会表示担心由于残疾人特定的访问需求(例如需要更长的休息时间或使用屏幕阅读器或听写软件),远程AI监控系统更有可能把他们标记为潜在作弊对象[14]。

3.算法歧视有违以人为本理念

算法歧视对知情权、隐私权和尊严权都有不同程度的威胁和侵害。

算法对知情权的威胁主要体现在“算法黑箱”的不可知性与“信息茧房”的信息窄化中,原因在于算法黑箱的运行过程隐蔽没有公开。个人在算法逻辑的支配下,即进入拟态中某一种模式化的归类。这种不透明性会导致用户感到无法掌握自己的数据和个人信息,也无法有效地行使控制权和监督权。

个人信息作为隐私权的重要组成部分,其机密性、完整性和可控性必须受到保护,以维护人的自由和尊严。现代科技发展使许多信息以数字化方式表现出来,成为信息财产。这种数字化个人信息或者隐私内容,更加容易被侵犯[ 15]。2012年,一位父亲发现高中女儿的邮箱里收到了Target网站婴儿用品的优惠券,投诉后得知网站部署的人工智能算法根据女儿的在线活动,比家人更早地得知了她怀孕的消息[16]。算法推荐技术涉及无法审查数据收集和使用的问题。信息收集的前提是蕴藏着丰富的财产属性和商业价值的个人信息被曝光[ 17],但让与隐私数据的尺度和使用并不是完全被知晓和控制。事实上,收集行为、收集范围及使用范畴并不为用户个人所了解,甚至用户在使用前还会面临界面提示“不授权读取个人信息则不提供服务”的问题。另外,平台对用户个人信息的收集往往超出它们提供正常服务所调用的必要权限。数字技术成为社会控制的工具,在越来越不透明的虚拟世界中,个人越来越透明。

此外,算法歧视在一定程度上损害了尊严权。从人的尊严价值考察出发,算法歧视有将人类物化之嫌,弱化人的主体地位,偏离其价值内核、目的及意蕴。例如在英国实施的基于算法的自动化社会保障系统中,尽管支付系统的效率大大提高,但在公民所享受的社会保障方面设置了数字障碍,因此可能会排除掉科技素养低的申请人,影响弱势群体的工作、食物和住房等基本人权[18]。用于儿童社会关怀的预测系统也存在意外纳入和延续对少数群体的歧视风险[19]。在算法时代人类的“物化”凸显为“数据化”,人和人的关系变成数据和代码,数字演变成一种新规范。对算法决策过度依赖而忽视了人类的多样性和复杂性,必然会削弱人的尊严价值。

二、算法歧视法律治理的学理基础

1.算法歧视的成因分析

(1)设计者的歧视倾向。在算法的设计和开发中,设计者出于维持积极的自我认同及维护尊严的需要,将贬义的刻板印象赋予外群的行为是根深蒂固的[20]。在某些情况下,设计者的歧视可能是故意的,比如由个人来创建一个有歧视的算法。但有时设计者的歧视是无意的,由其本身无意识的成见和有限的观点造成了歧视后果的产生。与主观认知相比,被算法歧视的群体更有可能通过消费和其他行为突破识别障碍,这是算法设计者设计歧视性算法的主要目的之一。事实上,这是人类思维主导的算法歧视,而不是算法发展的必然结果[21]。当这些算法延续和扩大现有的偏见和歧视时,它们可能助长系统性歧视,从而加剧现有的权利失衡。

(2)数据来源的非中立性。算法受制于数据的输入,当不具有代表性、缺乏有效信息、存在历史偏见或是其他不良数据输入时,固有的歧视通常被算法保留,甚至在输出中延伸。数据既有真实的,也有虚假的,而且真实的也不等于是客观的,即数据并不具有天然中立性[22]。目前算法的一个关键特征是能够通过摄取用户数据来学习和响应用户,但其经验和数据不能完全考虑到新环境下的突变性,出于算法系统的数学严谨性和高级建模完备性,“偏见进、偏见出”的现象无法避免[23]。即使算法能够解决提高效率的问题,也不能避免历史数据本身造成的缺陷[24]。这种习得性负面关联进而会导致更严重的算法歧视问题。

(3)算法的不可解释性。机器学习可以被简化为单纯的算法模型,虽然人们可以知晓一个算法模型的输入和输出,但深度学习的路径却无法加以预测。经过多层网络和多个节点不断的反馈和放大,深度学习的初始条件或权重即使微调幅度很小,也能对其未来状态引发巨大的差异。这意味着,即便是开发者可能也难以理解他们所开发的人工智能系统。在这种运行模式下,人类无法有效地控制算法的每一个编译步骤,也无法明确了解每个特征变量在系统中的作用,难以准确设置每个变量的权重,更无法理解成千上万的连接值如何相互作用并构成决策树的工作机制。此外,由于算法的动态性,变量之间的关系和权重会随着输入数据的变化而不断变化,深度学习算法的运行已经完全脱离了人类的理解和控制。不同的个体是否受到不同的待遇是完全随机的,因此无法预测算法歧视的产生[25]。

2.实现科技向善的理论关照

(1)国家保护义务的正当性。国家义务构造论认为,国家有尊重、保护、给付义务。我国宪法确认“国家尊重和保障人权”的原则,说明在人权保障的义务主体中,国家处于最重要且最优先的地位。这是国家存在的价值和合法性基础,是国家制定各项立法和政策的出发点和归宿[26]。“尊重”注重国家对私人生活的不得侵害,它是基本权利主观防御功能和国家消极义务的反映;“保障”更加注重平等权客观方面功能,突出了国家保护与给付义务。包括要求国家通过立法等公权力行为积极规制算法歧视行为,保护基本权利主体不受歧视性对待或者落入服务提供者所造成的风险或者危险之内。这两类义务又可统摄于我国《宪法》第38条对公民的人格尊严保护中[27]。算法歧视侵犯了平等权等公民基本权利,进一步触动了“人格尊严”这一共同的权利保障基础,故国家保护义务理论能够为算法歧视的综合治理提供最根本的法理支持。

国家保护义务理论适配算法歧视治理的衔接桥梁为“社会契约”的失衡。通常来说,在基本权利的保护问题上,国家优先尊重“私人自治”,即私人在不受国家干预的情况下有权自主决定与其他社会个体之间关系的自由,在社会自身无法平衡相关利益时,公民才有要求国家介入的意愿[28]。在算法歧视这一状态之下,算法服务提供者与算法使用者之间存在着实质上的势力对比不平衡。服务条款的强势地位和双方在信息、资源等方面的差距,凸显了“契约一方明显表现出典型的结构性弱势”“契约后果能够使处于弱势的一方承受极大的负担。”[29]而且已在一定程度上侵害了人格尊严,弱化了人的主体性地位。对于国家而言,被私有资本笼罩的数据信息的封闭性运行弱化了国家的数据汲取能力,私有算法控制权力植入算法,引发了算法歧视,导致社会公平正义缺失,进而对国家政治权力和政治生活加以渗透和干预[30]。从这一点上来说,国家也具有介入和干预的必要性。

(2)平台经济健康发展的可行性。算法可被视为平台上主导价值生产的行为和机制,充分的竞争使得商品和服务价格越来越接近边际成本,只有规模效应才能产生利润。这时,基于数据的营销竞争变得极其重要,之前深受托拉斯垄断之苦的商家们被如今平台把持的数据流量垄断所压迫。目前平台已经不再扮演单纯的网络服务提供者角色,而是一个兼具多重角色的社会经济组织概念。然而,似乎平台的自动化不可避免地导致了更少的平台主观过失,因此也排除了更多的平台责任。这样一来,在人工智能时代,数字平台基于其作为社会基础设施的支配力,实施滥用其市场支配地位、排除竞争和妨害竞争等行为时,平台的主观过错识别机制就显得模糊不清[31]。

技术的应用是包含主观意图的,平台在算法设计、部署、运行中包含的主观意图与平台是否尽到合理的注意义务,是平台算法追责的根本指向[32]。国家市场监督管理总局公布的《互联网平台市场主体责任指南(征求意见稿)》中明确提出应当遵循公平和非歧视原则,在算法歧视问题多元协同治理的背后,平台参与越发显得至关重要。

(3)捍卫人之主体地位的必要性。当下数字时代遇到了一个前所未有的问题,即人类法权体系的主体性条件正在通过网络空间发生改变[33]。首先,算法的滥用容易导致人的主体功能的退化与消解。随着技术的不断发展,算法越来越多地取代了需要人工干预的工作,人类与机器成为竞争关系。也由于此种原因,人与各类应用深度绑定,使得自身也被数字技术构建的大网所笼罩。原本接收外部的感性信息需要理性思维的处理加工后才能转变为对主体有用的信息内容,被数字洪流所裹挟,在接收信息时处于被动状态,逐渐丧失独立思考的能力,人的理性面临被弱化的危险,人的主体性被物的主体性所反噬。其次,算法存在的歧视问题有去人性化的风险。生动的、鲜活的个体的人被作为冰冷的进制符号存在于计算机的数字世界当中,群体的人被放在可控制、分解、归类、交易的数据库中,被算法所物化。人也在此过程中从决策的主体,沦为被决策的客体[34]。马克思认为,在人的社会实践过程中,物质生产和精神生产出的产品成为了人类的异己力量,从有利于人类、为人类统治,反过来出现统治人类的趋势[35]。

在数据的世界里,人的主观能动性和人格性利益演变成了无尽的代码,包含个人信息的数据成为商品,被市场流通、交易。算法的应用逻辑使得只需在人为定义的自洽系统内部运行演算,在“技术中立”“技术无罪”的保护伞下肆意横行。但算法歧视等违背人类道德和伦理的问题一再出现,作为活动的主体,人们应该警惕自己的行为可能带来的后果和必须承担的代价。

三、算法歧视法律治理的路径优化

1.推动国家保护义务的履行

如前所述,算法歧视行为是“社会契约”的失衡,损害了公民的平等权。在基本权利的国家保护义务学说中,立法者对保护义务的履行负有首要责任,即先由立法者就所要保护的情境制定保护规范,然后由行政部门具体执行该法律规范,以促成保护措施的落实,最终则由法院依一定标准判定行政权与立法权的作为或不作为是否符合保护义务作为末端控管的要求[36]。履行保护义务首当其冲的国家机关非立法机关莫属,只有将国家意志转化为立法权,才有开启保护义务履行的可能[37]。明确算法治理的立法定位,是构建算法治理体系的关键,有助于将立法与整体治理相结合,发挥制度性规范的作用。算法规制的目标不在于手段方式、工具理性,而在于正当标准和价值理性[38]。算法规制的对象指向以算法歧视为代表的危害乱象,并非算法技术本身。2022年印发的《关于加强科技伦理治理的意见》是我国首个国家层面的科技伦理治理指导性文件,强调塑造科技向善的文化理念和保障机制[39]。其后,《互联网信息服务算法推荐管理规定》《生成式人工智能服务管理暂行办法》《互联网信息服务深度合成管理规定》等一系列规范性文件的出台,无一不承继着“科技向善”的精神。随着人工智能算法性能的提升,算法伦理可持续调整完善,或提升为效力更高的法律形式,以实现算法通行治理的有效性,并符合中国社会发展的战略目标和应用边界,建立国家发展利益优位的法律体系和规则[40]。现有规则缺乏体系性,算法治理规范之间存在着衔接和适用的困难,仍需要进一步厘清。此外,《个人信息保护法》《电子商务法》《数据安全法》等单行法中也蕴藏着丰富的法律价值,算法立法与现行法律存在权利保护内容不同、规制对象不同、规制目的不同等原因,在平衡算法立法与数据信息等立法的异同基础上,也需要未来立法与现行立法的衔接补强。

不同于立法权以制定抽象规范的模式履行其保护义务,行政权的履行手段则是将法律中所内含的抽象保护转换为具体的行政行为,并确实执行保护任务。2017年,《新一代人工智能发展规划》[41]在国家政策层面上明确了“全流程监管”的顶层设计。此外,行政权力的治理应侧重于算法工具在对人们的公民权利和社会福祉中的影响。将注意力和治理目标集中在可能产生高风险决策后果的影响上,而不是集中在任何特定技术工具的某些细节上,既可以推进技术创新蓬勃发展,同时也保有能够面向未来的必要保护措施。在算法开发及运行的前、中、后三个阶段以及许多重要的算法使用场景中政府拥有巨大的市场影响力和控制力,能够制定标准、提供指导,并强调减少算法歧视的实践。公开披露哪些算法涉及重要决策,是政府实现有效治理和建立公众信任的关键步骤。在算法部署之前,执法部门应做好备案与评估工作,并披露在影响个人的重大决策中使用算法的情况。例如在英国,执法部门有一个不可委托的职责,即在使用前记录预期和潜在的算法歧视情况[42]。在算法运行阶段,应做好监测和监督工作。监测算法歧视的工具在初期可以模拟其他行业,例如对于算法的合规性检查,政府可以使用审计、认证和授权工具等方式,也应因行业和情境而异。执法部门必须将原则与规则的阈值精确结合,以避免极端的差异性影响。在歧视产生后的阶段,应拓宽问责渠道。扩大算法歧视投诉渠道,重视受歧视群体的投诉与反馈,明确歧视的责任承担主体和义务,遵循公平原则、合理原则和比例原则进行判定,建设完善算法歧视问责机制[43]。

司法权在国家保护义务履行过程中担任末端控管工作,即对于履行保护义务的国家行为进行事后审查,透过对实定法的解释与涵摄,确保行政权是否确实发挥其执行保护措施的任务。我国目前并没有针对公民平等权利救济的特定情况、途径、程度等作出明确的规定,司法救济手段方面有所缺失。算法决策差异性结果的产出并不能完全归咎于歧视倾向,不能否认在市场交易行为中存在的竞争和策略浮动的正常商业行为。因此,在司法实践中应当引入差别性影响审查标准,在审查歧视后果时,注重合理性、合比例性差异原则,这也是维护公平正义的体现。另外,可探索建立算法侵权公益诉讼制度,充分发挥公益诉讼制度的优势。

2.促进平台运营规范化的实现

为了避免技术失序及歧视性后果的产生,应结合具体的使用目的和规范,对算法运行进行合理限制。算法能否被用于特定的决策领域,必须考虑此领域的决策在多大程度上依赖于人的理性判断,区分原则的适用必不可少。从公正、合理、高效的角度来看,算法存在歧视缺陷,价值扭曲风险大,可限制某些类型算法的使用。考虑到算法所产生的积极影响及其引发的质疑和挑战,有必要引入并构建算法影响评估机制。其作为一种强制性风险评估工具,在算法决策作出前依据特定的评价标准完成,降低算法决策系统相关的风险,并提供治理、监督和报告或审计要求[44]。算法影响评估机制贯穿算法运行全过程,有利于预测算法歧视的风险可能,增强算法的可解释性。

2022年国务院印发的《“十四五”数字经济发展规划》中提出应推进建设行业服务标准和行业自律,为引导企业在法律合规、数据管理、算法应用等领域完善自律机制,《算法推荐管理规定》第五条也提出鼓励算法行业组织加强行业自律,依法接受社会监督,算法治理应当充分发挥行业自律的作用[45]。因此,为了防止算法歧视带来的负面影响,不仅需要对算法进行外部监管,还需要加强算法服务行业的内部自律水平。涉及算法与人工智能技术的企业需要初步建设和完善算法与人工智能伦理体系,同时需要厘清在相关高风险人工智能技术应用中企业所承担的“研究开发、设计制造、部署应用和使用”四个维度下的具体角色和职责。为了确保企业的稳健运营,需在识别相关高风险算法技术应用场景的基础上,进一步深入开展自评估和备案工作。

3.加强公民个体权利的保障

技术产生于人的需要,人是技术的发明者和创新者[46]。人民性高于商业性是算法逻辑必须要坚持的顶层设计。虽然在算法的设计、编写和应用过程中需要注重效率,也要允许算法进行自主学习和优化,但必须强调坚持“以人为本”的价值立场,确立人的价值主体地位,维护人的本质、利益、人格和尊严始终处于优先考量。算法的设计、编写、应用和升级,都要以此为基础,严格依法依规,忠实履行职业道德,尽可能限制并最终消除算法歧视,确保算法技术始终为人类福祉服务,为人类的自由平等发展创造条件。算法运行结果必须经过人为审查与综合价值判断,方能作为决策正当性、合理性的证成基础得到使用。运行算法并不能取代人的自主判断与分析,更不允许算法的结论被自动实现。要靠决策环节中体现“人”因素中“职责—权利”的法律机制弥补算法技术的不足,用法律价值修正算法的工具价值。

习近平总书记指出要“不断增强意识形态领域主导权和话语权,更好构筑中国精神、中国价值、中国力量,为人民提供精神指引”[47]。来自算法决策中的歧视风险是意识形态的重要表现场域,在信息中夹带偏见歧视并通过算法进行传达正在成为现实[48]。因此,注重主流意识形态话语供给与传播,是克服算法歧视风险的有效路径。应以正确的价值取向控制和引导算法逻辑,将主流价值渗透到算法的运行逻辑中。要增强我国主流意识形态话语传播的广度与深度,也需要鼓励生产优质内容,创新传播话语[49]。平等是社会主义的本质要求,也是社会主义的理想价值,更是衡量人类文明进步的重要标准。提倡工具理性与价值理性相结合的技术理性、算法理性和算法伦理,以适应法律和社会治理体系中的歧视挑战是当前人类自身面临算法时代的必要升级。

四、余论

人工智能技术的发展将改变人们对法律的认知,重塑法律的规则形态,乃至法律的价值导向[50]。算法治理不仅是国家治理现代化的重要体现,也是全球数字科技治理规则制定的话语权竞争抓手。从目前全球各国政府、企业、研究机构以及社会组织的实践探索来看,算法治理正在走向国家、行业、用户与法律、伦理、技术协作互动的路径。推动法律与技术的融合,回应人工智能时代面临的全新挑战,确保公平正义、科技向善,以促进我国人工智能法治体系的完善构建,并进一步探索和揭示我国数字法治建设的未来趋势。