数字时代下算法歧视的表现、产生原因与法律规制

程 蕾

（华东政法大学 法律学院，上海 200000）

一、数字时代下算法歧视的表现

（一）数字时代下算法歧视的产生

人工智能在当前的技术革命中发挥着重要驱动作用，一系列新生事物与行业随之产生。随着人工智能与大数据的深度结合，我们的生活发生着翻天覆地的变化。此次的技术革命相比于之前的工业革命，其适用领域更广，影响程度更深，全新的数字生活时代正在被重构，新的生活理念与生活方式正在形成。在2017年我国发布的《新一代人工智能发展规划》中，明确提出确保人工智能的深度发展，制定与人工智能发展相匹配的法律法规等内容。

算法是人工智能的三要素之一，也是对人工智能发展至关重要的因素，数字时代的到来，让算法在人工智能中的应用不断增多，使得我们每个人都处于算法带来的便捷之中，也使得人们的隐私信息处于算法的漩涡之中。比如，公司在招聘时以算法筛选简历；外卖平台通过算法推测顾客的喜好进行精准推荐；银行通过算法决定是否通过借贷人的信贷审核；法院和检察院可以通过算法辅助生成法律适用方案等。算法在商业与公共治理场景下被广泛使用，在带来便捷与准确的同时，也会给个人甚至社会带来不利影响，增加侵犯人们权利的风险。

在人工智能算法带来的诸多挑战中，“非歧视”是高度关注的风险话题之一。算法决策是大规模使用相关数据做出决策，通常认为，流程式的算法决策相比于人工决策会更加客观公正。但是在算法运用的过程中会出现隐形的歧视偏向。美国的“数字济贫院”便引起了许多学者的关注，以算法的公正掩盖了实质产生的不平等。看似能高效解决社会问题以及救助穷人的算法，不仅会泄露个人信息，还会带来一系列伦理道德问题。目前我国关于人工智能算法歧视的问题尚未在公共媒体上引起激烈讨论，但其隐匿的歧视确实存在，且影响着社会的公平正义。算法歧视的表现形式可分为平权语境下的算法歧视以及经济法语境下的算法歧视。算法歧视产生的本质原因是原有社会已存在的歧视，加之算法程序设计本身，算法歧视随之产生。算法歧视并不是新技术的产物，而是当前数字社会对传统矛盾的延伸。数字时代下的歧视相比于传统的歧视虽显得更加隐蔽，但数字时代下效率背后的正义更是值得我们关注的，对数字社会公平正义的影响是不能忽视的。

（二）算法歧视的表现形式

近几年来，越来越多的学者开始意识到人工智能领域在算法决策方面存在的歧视与偏见问题，表示出对人工智能算法产生歧视的担忧，并且产生了许多关于算法歧视的研究成果。

有学者将算法歧视分类为偏见代理型的算法歧视、特征选择的算法歧视以及大数据杀熟类型的的算法歧视。偏见代理是指算法程序虽客观公正，但是由于过于强调某个数据特征而造成的算法歧视，特征选择的算法歧视是原有社会中传统歧视的延伸，大数据杀熟是对消费者进行差别定价的算法歧视［1］。此种分类是从算法歧视产生的原因入手，分析算法歧视的种类。算法歧视的表现形式直接以表现形态进行列举，以性别歧视、种族歧视、消费歧视、弱势群体的歧视以及年龄歧视为代表，不明确算法歧视分类的特征。

算法歧视大致可以分为两种类型，其一为涉及平等权情况下的算法歧视，其二为经济法情况下的算法歧视。算法歧视的研究不仅包括在平权运动研究［2］中关于平等权的算法歧视以及在经济法语境下［3］与价格歧视相关的算法歧视，还包括了涉及伦理学、金融学等和法学相结合的研究。在伦理学语境下，有学者将算法歧视与算法的公平性以及算法所带来的身份污名化做联系［4］。

1.平权语境下的算法歧视

首先，算法的运行在形式上看起来会更加客观公正，但实际在程序运行以及结果上会产生一定的不平等。平等从最开始的道德准则到现在由宪法规定的权利，都表现出人类朴素的情感以及对个人尊严的渴望。平等权从原先宪法所规定形式平等到现在所赋予的实质平等，是人类对平等正义孜孜不倦的追求，平等权也成为人类公认的一项基本权利［5］。我国宪法所涉及的平等权分为两类，其一是法律面前人人平等的一般平等权，其二是涉及民族、信仰、性别平等的特别平等权。算法在运行中不能损害公民所享有的平等权［6］。

其次，与平等权有关的算法歧视主要涉及性别、种族等有一定特定身份的带有个人情感偏见的歧视。这种损害社会公众权益的算法歧视有着受害群众不确定以及损害程度不确定的特点，主要表现在性别歧视和种族歧视以及司法裁判过程当中。例如，公司招聘时会使用人工智能算法自动筛选简历，在此过程中对特定人群形成隐形的就业歧视。对于女性工作者的歧视更多表现为隐形歧视。算法设计者以及用工单位决策者的固有性别歧视，可能会通过工作的劳动要素算法化被带到算法决策当中［7］。劳动用工过程中的算法决策是通过对劳动者的受教育程度、工作经验、工作强度以及工作能力等要素进行分析，以期找到最符合用工要求的劳动者，这种用户画像分析在《信息安全技术 个人信息安全规范》中有相应概念分析。为了节约人力以及时间成本，各类企业越来越倾向于使用人工智能算法在众多应聘者中寻找符合条件的完美劳动者。例如，亚马逊在进行招聘时，算法对女性会有隐形歧视，在对应聘者信息进行处理时，对于和女性相关的一些词如女子俱乐部、女子大学等比较敏感，以至于此类女性的简历排列顺位就会靠后［8］。

最后，算法歧视可能导致的教育平等权现象也会有发生。早期美国在进行大学入学申请时会有申请模型的运算，但其模型的训练数据大多为已经成功的男性，因此，女性在教育平权上也会受到歧视［9］。算法训练的数据不仅仅在教育领域有所缺失，在产品设计等涉及日常生活的方方面面都有女性数据的缺失。例如，对于声音识别，男性的准确率要高于女性；对于温度的适应，市面产品更符合男性的体感温度［10］。算法歧视导致的男女不平等若不加以规制可能会导致更加严重的不平等，导致社会固化。例如，在推荐高薪水的工作时，算法决策向男性推荐的次数要远高于向女性推荐的次数，以此会加剧就业的不平等［11］。除了对性别、民族这种看得见的歧视，还有对穷人等群体产生的看不见的歧视，在自动化算法驱动下，可以更好地锁定特定人群、针对特定人群。

算法歧视在平权语境下会损害宪法所规定公民的基本权利——平等权，尤其是在性别歧视、民族歧视等方面。

2.经济法语境下的算法歧视

首先，经济法语境下的算法歧视主要是价格与消费歧视，例如数字时代的大数据杀熟现象。众多购物平台如淘宝、亚马逊以及外卖、在线旅游平台均被曝光存在价格歧视的现象。大数据杀熟现象的本质为利用人工智能算法对消费者个人信息以及消费喜好进行分析以达到差别待遇，实现自身利益。这不仅有悖商业伦理，更是违反了诚实信用原则，侵犯了消费者权利。涉及竞争性利益的算法歧视损害，主要是经营者滥用市场支配地位、进行不正当竞争的算法歧视。损害个体权益的算法歧视与前两者相比具有特殊性，主要表现为大数据杀熟、千人千价的差别待遇［12］。大数据杀熟行为不仅是对社会公平正义的损害，其算法不透明的特点更是让算法形成“算法黑箱”。

其次，对大数据杀熟的本质，有着不同的看法，主要是欺诈说、价格歧视以及滥用算法歧视。价格欺诈说的理由是商家以直接或间接的故意不告知消费者真实价格，使得消费者造成财产损失，侵害消费者的合法权益［13］。反对欺诈说的学者主要认为，商家未告知其他消费者的价格不属于欺诈行为［14］。主流观点是价格歧视说，但是并非所有的价格歧视都需要受法律规制。

最后，价格歧视一般可以分为针对所有消费者的一级价格歧视，因购买多少而定价不同的二级价格歧视，以及针对特定群体消费者的三级价格歧视［15］。大数据杀熟是对消费者的消费能力、消费次数以及消费习惯进行分析，以此来定可以让消费者接受的价格。价格歧视在经济学上是对市场资源的合理分配手段，因此大数据杀熟应是价格歧视中的非合法行为。

二、算法歧视产生的原因

（一）算法歧视产生的本质原因

1.社会中原有的不平等

算法社会本身就是不平等的、会产生歧视的社会，算法是拥有权力的人与高科技人才对普通人的支配，因此算法社会的不平等会直接导致算法歧视的产生［16］。算法歧视的产生本质为人类社会原有歧视的延伸，可将歧视根源分为因个人认知不同的内心偏见歧视，以及因社会资源分配、统治权力关系产生的歧视［17］。个人认知在无意识中会参与算法决策，本该客观公正的算法决策因个人意识而受到影响［18］。例如，人们对老年人、同性恋、残障者的接受度就小于年轻人、异性恋和健全人，这种个人无意识的选择会影响算法决策。结构性歧视使得个案中的歧视发生成为社会的常态化歧视，借助社会制度加剧歧视的发生，导致女性、携带病原体以及残障者等特定群体受到歧视。

2.嵌入算法中的不平等

社会原有的歧视在算法到来时嵌入并形成算法歧视。算法歧视的产生从人工智能的起点开始，平台利用算法的目的是从利益和效率出发，将所要达成的目标用计算机可以量化表达的语言表达出来。社会所需要的公正是算法设计者无法找到具体的衡量标准的，但是利益与效率是可以进行某些元素的量化的。算法设计者会将目标的抽象性表达转化为具体的衡量，比如企业在选择优质客户或者判断是否信贷时，会综合考察客户的年龄、消费以及是否是残障人士，这便在无形中对残障人士进行了歧视。

3.结构性歧视

从问题解决角度去看，其不仅包含了个人内心的隐形偏见还包括了结构性歧视，在互联网行业，多处数据表明互联网行业对男性以及年轻人较为优待，女性在互联网的从业比例远低于男性，这不仅仅是社会选择的结果，更是在学习阶段之初，就有男女生对学习分科的偏见。算法对于性别以及种族的歧视使得公司职工的同质化严重，也是个人偏见与结构性歧视作用的结果。从算法所依据的数据来看，主要是由于所选用的相关数据不足以及过往数据代表性的过度集中。从特征的选择与个人信息的角度下来看，算法歧视因个人信息的暴露以及特征选择产生。

因此，算法歧视产生的本质是原有社会就存在的不平等观念以及不平等现象的延伸。人们总会有意无意地将原有的人类不平等带入算法当中，自此形成了算法歧视。当然，算法歧视的产生也不完全是由于原有社会的歧视，也有一部分因素源于算法设计的程序问题。

（二）算法歧视产生的程序原因

有国外学者将算法歧视的缘由分为四类：第一类是运用于算法决策的数据存在的歧视问题；第二类是算法在运行开始时就有表现不同的区分，以此形成算法歧视；第三类是算法模型的滥用所产生的算法歧视；第四类是反馈数据的循环方式会导致算法歧视［19］。有学者指出，算法歧视形成的原因可以追溯为三类，其一为算法形成之初的设计者，其二为算法运行所依据的数据，其三为机器后天学习中产生的歧视［12］。算法歧视产生的程序原因大致可分为所依数据样本、研发人员以及算法本身三种。

1.算法依靠的数据与样本导致的算法歧视

在算法运行当中所依据的数据以及训练所用的样本可能会导致算法歧视的发生。数据以及训练样本的多少、数据特征的分布、数据是否具有代表性都会影响算法决策的结果。在人工智能算法的运算过程中，需要依靠大量的相关数据作出决策，若出现偏差，会使得结果出现假阳性以及假阴性，这样的偏差在结果上就显得非常重要。以司法领域为例，判定为假阴性，是将有罪的人员判定为无罪；判定为假阳性，是将无罪的人员判定为有罪。因此无论哪一种偏差都会影响社会的公平正义［20］。

2.算法研发人员导致的算法歧视

研发算法人员与算法所属主体以算法来实现自身的利益而产生的算法歧视。例如，公司在招聘时更加倾向于能为公司带来更高效益的劳动者，商家能够通过算法分析出消费者的消费习惯以及消费能力，以此实现商家的利益最大化。

3.算法自身的原因所产生的算法歧视

算法由于自身的特性，也是算法决策产生歧视的重要原因之一。“算法黑箱”现象使得人们更难了解本就复杂的人工智能算法，会导致对于算法决策的监管力度下降，不能从源头上对算法歧视进行预防。

三、算法歧视的法律规制

无论为哪种算法歧视，均不同程度存在“算法黑箱”以及侵犯个人隐私权、知情权的情况。算法已经被广泛运用到社会生活中，其引发的算法歧视发生在数据收集、处理与使用的各个环节。为防止算法权力异化，减少算法歧视发生，需要我们从法律层面进行分析与规制，以实现更好的数字正义，维护数字时代下人的尊严，保护公民权利。算法决策在各个领域的使用，要求完备的法律制度，在算法歧视领域的立法亟须完善，人工智能从业人员的伦理规范更需要提高。

（一）国外算法歧视的法律规制——以美国为例

首先，美国在处理算法歧视时，会引用禁止歧视的一般原则来对其进行规制，这种原则性规制在多个立法中都有体现。除了对算法歧视进行原则性规制，还有对算法特定的规制。原则性与特定方向的规制可以多方向地预防算法歧视的发生。美国将非歧视列为人工智能算法的标准，以算法程序来限制算法，以减少算法歧视发生［21］。

其次，美国在算法领域的立法力度较大，《2019算法问责制法案》等都对算法歧视进行了规制与防范。美国的《大数据报告：算法系统、机会和公民权利》强调了对司法领域、信贷领域等算法歧视的治理，其中法律规制、伦理建设以及科技提升都是重要的解决方法。将伦理嵌入算法之中也可以防范算法歧视的发生。算法程序的设计过程与细节经专家、民众、政府审核评估之后才可以进入到算法决策，同时还要对数据收集可能产生的算法歧视进行事前预防。对于事后追责方面，美国立法规定，存在歧视且有损害后果，可以对其进行事后追责。

（二）算法歧视法律规制的路径

1.算法歧视的传统规制

算法的传统规制方法，其一是算法公开，针对不同主体、不同情况、不同范围内的公开。对算法进行公开透明的解释可以减少算法歧视的发生。弗兰克·帕斯奎尔的著作《黑箱社会》对算法歧视进行了研究，尤其是个人隐私保护方面，对于如何披露信息阐述了相关公开标准。对于算法的公开，不仅是公开算法的代码，更要关注算法形成的训练数据以及模型［22］。其二是对个人数据的赋权，在我国《民法典》《个人信息保护法》《网络安全法》等多部法律规范中对个人信息以及个人数据进行了保护。欧盟的数字保护委员会也发布了相应的数据保护法则。算法所使用的个人数据，应当获得主体的同意，不能在未经同意的情况下使用他人数据用于算法决策。

2.算法歧视时间维度上的法律规制

时间维度上，可以分为算法歧视的事前规制、事中规制以及算法歧视发生的事后规制。在算法歧视的规制中，主要是对算法设计者、训练数据以及算法本身的规制。对于训练数据方面，数据的来源、内容以及处理都应该是可查、透明的。对于算法本身，应设立相关的审查机构或者形成可制约的权力关系，以保证算法的设计不会偏离法律应有的价值。事前对算法进行监督，从第三方的角度进行审查，以减少算法歧视的发生。有学者指出算法解释是解决“算法黑箱”的有效途径，算法本身要坚持算法解释原则。算法歧视的规制要有可责性，对于算法设计者以及使用者都应有事后的责任承担机制。

3.算法歧视总体价值上的伦理规制

对总体价值伦理上的规制。算法需要有德性，以公平为算法设计的基本价值，严格遵守诚实信用原则，创造公平公正的数字社会环境。数字平权是从根本上进行非歧视的解决办法，净化社会环境。国外学者阿努帕姆·钱德也提出算法歧视的根本治理之法在于对平权运动的重视，而不是单单关注算法透明，对人们的平等对待才能从根本上解决算法歧视。在算法技术的伦理规范方面，权力统筹人员以及算法技术人员的责任意识以及责任承担需要加强。

4.算法歧视法律规制的相应制度

算法歧视的规制需要有相应制度的保驾护航。目前，我国对于算法歧视没有专门的制度规制，但是算法歧视一直在损害公众以及个人的合法权益。首先，可以在算法歧视领域引入公益诉讼制度，借鉴原有的公益诉讼制度来保障可能因算法歧视引发的不良影响［23］。算法歧视在某些领域所引发的不良影响范围是不确定的，相比于单独侵害个人利益，其受侵害的人群更广，因此，设立公益诉讼有一定的可行性。其次，在经济法语境下的垄断以及大数据杀熟现象中的举证责任需要由商家承担。最后，登记备案制度也是我们可借鉴的方式之一，但是登记备案审查的繁杂度导致的可行度我们要视情况而定。对于人工智能算法的使用我们要尽可能进行事前预防，事前登记备案制度可以让相关机关以及算法使用人尽到相应的注意义务。

四、结语

数字时代的到来，为我们的社会生活带来了便捷，看似客观公正的算法，也会产生不公平的结果，因此对算法歧视的研究成为必要。算法歧视在当下社会的表现形式主要以平权语境下的性别歧视、种族歧视、年龄歧视以及经济法语境下的“大数据杀熟”为代表。算法歧视产生的本质原因需要从现实社会的歧视入手，只有把公平正义真正作为社会的基本价值准则才能减少算法歧视的发生。同时，算法设计本身也是算法歧视产生的原因。对算法歧视进行规制可以借鉴国外的制度方向，以公平正义为整体准则。算法设计应在最大程度上保持公开透明，完善算法歧视的审查监督以及事后追责制度。减少算法歧视的发生，构建良好的社会法治环境，实现公民所期待的公平正义。