“算法歧视”法律规制的路径研究

严梦婷

青岛科技大学，山东 青岛 266061

一、算法歧视的表现形式

算法歧视也称算法偏见，指算法把相同事物给予不平等、不合理的区别对待。歧视问题的出现是一个长久且难以克服的社会现象，这也是我们现代社会亟需解决的。算法技术通过大数据和深度学习能力进行数据的自动化整合，在一定程度上克服了人们自主决策的主观性。由于实践中算法决策者数据采样的片面化、算法黑箱等人为因素的原因，将已有的偏见编写进算法中，由此得出的运算结果不可避免地产生了歧视，其中包括价格歧视、种族歧视、身份歧视等。我国虽然在一定程度上抑制了算法歧视的产生，但是算法歧视的规制体系仍不完整。在不同情境之下，算法歧视行为存在不同的表现形式，对个体权利也造成了不同形式的损害。

在信息获取层面，首先，依赖算法技术所产生的个性化推荐会阻碍个人对于不同类型信息进行自由选择的权利，个性化推荐带来的信息“过滤气泡”问题影响对个人判断、决策的抑制，进而不可避免地产生人的视野狭窄、立场固化等认知能力问题；其次，算法技术的深度学习能力很大程度上依托于大量数据的收集和整合，而信息收集过程中极易导致对个人信息权益的侵犯，例如一些不愿意被他人所知的搜索浏览记录却可能被大量传输出去，获取位置等敏感信息，甚至进行跨平台的行为追踪。

在市场消费层面，“算法杀熟”是目前对作为消费者的个人影响最大的算法歧视行为，其最初是指以平台用户为侵害对象，多表现为消费者在短时间内对某个内容频繁搜索，算法就会因为该行为采取个性化定价策略从而进行价格歧视。例如，在一家餐馆中，顾客根据其所使用的菜品、价格、位置等因素在APP 中选择了一家餐馆并进入餐馆进行就餐，该APP 的算法就会根据该顾客所选择的菜品以及其所使用的位置等因素来进行个性化推荐。此时，如果顾客在进入餐馆后选择了一款价格较高的菜品并进入餐馆就餐，那么此时该顾客就受到算法歧视的影响。且经营者往往会为了提升自身的竞争力，利用“算法杀熟”等手段，打破博弈规则，改变市场运行结构，扰乱社会市场经济秩序，因此对企业进行监管具有必要性。从整体来看，算法歧视会导致不同主体间利益受损。

二、算法歧视的产生原因

（一）算法程序本身存在局限性

首先，算法是一种在计算机上构建和运行的程序，其运行过程和结果受计算机的算力限制，采用固有的算法逻辑属性，无法做到真正的“随机”。然而，人类会根据某个事件的特殊性，根据经验判断作出具有针对性的决策。其次，算法在实际应用中需要大量的数据进行训练才能形成自身的智能，但由于数据本身存在较多的限制（如数据样本的大小、样本分布情况等），导致算法所需数据难以满足。最后，算法对现实世界中复杂因素的分析往往有一定滞后性，难以及时有效作出相应调整。

（二）算法具有预置性偏见

一方面算法设计者主观上存在认知的偏见价值融合形成算法歧视，因为人类根据思想意识固有的对各个方面的偏见，使得算法在一定程度上具有预置性偏见。例如，一个人在很长一段时间内每天都吃巧克力，那么该算法就会认为该人“喜欢吃巧克力”，但如果这个人某一天突然喜欢上了喝咖啡，该算法则不会认为这个人“喜欢喝咖啡”，依然认为他“喜欢吃巧克力”；另一方面算法技术运行过程中存在缺陷，学习功能的算法过滤标准过于宽松。当前，算法通过对人类的信息和数据的收集、分类、学习将问题分解，建立数据集，予以标签化，再根据算法自身的学习对个体进行归类与预测。如果恰好是依据带有偏见的数据所作出的决策也会具有偏见性，无法对信息进行甄别和筛选，利用历史数据训练算法会加重歧视的产生，出现例如种族歧视、性别歧视或就业歧视等问题。

（三）算法黑箱的负面影响

当今数字经济不断发展，算法的问题愈发复杂，甚至连设计者都无从解释算法的自主决策的结果是从哪里得出的，就如，时下最火的ChatGPT是美国人工智能研究实验室OpenAI 新推出的一种人工智能技术驱动的自然语言处理工具，适用了神经网络架构——GPT-3．5 架构，这是一种处理序列数据的模型，拥有语言理解和文本生成能力。设计者们基于该结构对其进行训练，判断这个是A，那个不是A 的过程，该过程体现出复杂性和不透明性，且由于高度的专业性会产生巨大的“数字鸿沟”问题［1］。算法设计者不会将数据输入及决策输出过程的源代码公之于众，正是由于一些神经网络技术性问题，人们无法充分了解算法内部的决策归责，导致透明性和解释性不足从而产生了算法黑箱，引发歧视的出现。

三、算法规制的路径探索

（一）算法规制的境外经验

早在我国使用算法技术之前，以欧盟为代表的欧美国家对算法相关问题进行深入研究，相对来说我国关于算法规制水准的起步是较落后于这些国家的。欧盟大部分学者都认为，数据是算法的基石，具有支撑作用［2］。2018 年欧盟已经出台《通用数据保护条例》（General Data Protection Regulation，以下简称“GDPR”）对人工智能（AI）有着极大的约束作用。首先在前言中就肯定了个人信息保护是一项基本权利，GDPR 的管辖范围很宽，既能规范欧盟境内个人信息处理的活动，也能规范欧盟境外的相关活动。2022 年欧盟颁布的《数字服务法》（Digital Services Act，以下简称“DSA”），其主要是规制企业和平台追责问题。DSA 对数据的采集、存储等各方面问题都做了相对明确的规定，其中还特别说明了对数据要公开透明提供解释，要将数据责任落实到位。

美国采取了一条与欧盟算法不同的路径，就是用风险管控模式对算法进行有效规制。美国政府期望能够借助各个行业通过自身约束来减少算法歧视，与此同时应当对算法规制原则进行强化。

（二）我国算法歧视的法律规制路径

1．强化算法权利意识和个人信息权益保护

我国已通过相关的法律法规对算法权利进行了相应的规定，例如《中华人民共和国个人信息保护法》（以下简称《个人信息保护法》）、《中华人民共和国数据安全法》以及《信息安全技术—个人信息安全规范》（GB/T 35273-2020）。但是，这些法律法规的规定过于笼统，在实际操作过程中仍然存在较多问题。

一方面要明确算法权利的内涵与外延。首先，对于算法权利的内涵需要进一步界定，应将其从一般权利中分离出来，同时明确其与其他权利之间的关系。其次，对于算法权利的外延需要进行一定的扩充。算法权利应包括但不限于以下内容：算法知情权、算法选择权、算法解释权、算法撤回权、算法救济权、算法终止权等。另一方面要完善个人信息权益的保护机制，详细规定公民数据携带权以及对被遗忘权的保护。数据携带权可以明确数据权利的归属，可以因此规制数据控制者，且主体可以根据自己的意愿携带个人数据进入到不同的算法决策体系中。个人信息被遗忘权是指用户可以删除个人数据的权利，亦有学者称之为删除权。被遗忘权不仅可以通过对个人信息的保护，避免一些带有隐私性的信息流通，还可以抵御算法的规制，允许主体对被获取的数据进行删除。如“李某鑫案件”中，由于其被大众误解受到各种指责和歧视，严重影响其日常生活，尽管已澄清事实，但是网络上留下的痕迹仍然存在，因此赋予被遗忘权利大于弊。

2．加强企业合规体系建设

随着数字经济快速发展，我国持续加强企业相关法律法规建设、压实企业主体合规责任，鼓励企业创新发展、提升服务质量、加大反垄断监管力度［3］。

加强企业合规体系建设，首先，企业要加强设计者的职业道德水准，定期组织法律法规的学习，对关键环节进行重点审查，避免偏见；其次，企业应当建立起完善的数据采集制度，将收集到的数据进行分类管理，制定规范细则要求，避免因数据缺失或不均而产生算法歧视问题。最后，建立数据安全管理制度和安全保护技术措施，定期进行数据安全风险评估。针对算法在设计过程中的技术缺陷问题，企业在进行数据处理时，进行再监督审查，防止数据泄露、篡改、丢失，防止未经授权的访问，防止利用数据分析结果从事违法犯罪活动等，做好风险防控及风险预判。对于具有学习功能的算法，企业在收集和使用个人信息时，应告知其收集和使用的目的、方式和范围，并经被收集者同意，不得违反法律法规的规定和双方的约定收集、使用个人信息，应当公开处理规则，并保障个人的知情权、选择权等合法权益，从而减少算法歧视带来的损害。

3．加强对算法歧视行为的审查监督

要完善算法应用的审查监督制度。数字算法公开性、透明性的问题，是数字时代的核心问题。算法黑箱造成的隐患已经引起了公众的广泛重视，当这种现象成为一种隐性规则时，只有通过对算法歧视行为进行外部施压，用社会法制规制“黑箱”问题。虽然，我国在2021 年施行的《个人信息保护法》中对个人信息处理者和数据处理者提出了相应的审查义务，但没有对算法歧视设计主体的行为规范进一步规定［4］。因此，在算法投入应用阶段必定要进行审查监督。

首先，由行业协会对企业算法的设计、运行等过程进行事前审查和事中评估。进行事前审查保证价值导向，从而在价值上引导避免算法决策歧视性结果的发生；对企业事中评估防止偏见的产生，通过存在偏见性决策的结果，评估企业是否具有完善的合规体系以及有效避免该风险发生的能力；对违法违规行为进行纠正、督促整改，促进算法伦理和法治建设。其次，基于算法涉及的内容广泛，建立单一的算法部门不能够把握算法控制权的主动性，且无法适应现代社会发展，应当由多个部门协同监管。因此笔者认为应当在立法中明确监管的相关主体，加强对算法歧视行为的审查监督，正确引导算法的价值导向［5］，以提高算法透明度达到可解释性的标准，对经营者的算法安全评估进行审查，确定其具有控制算法风险的能力。

4．明确算法歧视行为的责任分担

算法歧视容易引发一系列对公民权益损害、侵权的风险，因此需要确定侵权行为发生时各方主体之间的责任，使受害者的救济落实。应从法律责任主体、法律责任的归责原则两个方面进行界定［6］。

对于算法歧视的责任主体而言，首先，应明确网络服务提供者的责任。网络服务提供者在算法设计、运行、应用等过程中对用户权利造成侵害的，应当承担相应的责任。其次，应明确相关监管主体的责任。在事后监管环节，可以依据法律法规、标准等对算法所造成的侵权行为进行处罚。

在算法歧视的归责原则方面，有学者将算法歧视原则归责为无过错原则，对网络服务提供者过于严苛，且不利于算法技术的发展。有的学者认为直接采取过错推定原则，亦无法保护公民的合法权益。笔者认为应当根据过错推定原则和无过错原则来确定算法歧视的责任主体。首先，在算法歧视的过错推定方面，应明确在算法设计阶段，网络服务提供者未履行“告知义务”或者“公平、合理的注意义务”的，应推定网络服务提供者存在过错。其次，在算法运行阶段，网络服务提供者应当采取有效措施对算法运行情况进行监测，发现算法有歧视或歧视行为的，应及时纠正或采取相关措施。