打破算法歧视：健全平等权的保障机制

马露露

中南财经政法大学

一、问题的提出

“‘平等’是近现代以来最具有动员力、最震撼人心的观念，并通常被赋予‘社会公平正义’的核心地位，乃至与‘公平正义’画上等号。”然而，偏见、歧视和刻板印象一直存在于人类社会中法治阳光无法普照的角落。因此，为了营造反对歧视、平等、关爱的社会环境，人们寄希望于一种绝对理性客观、排除人类主观因素影响的工具。随着人工智能时代到来，数据、算法和建模等数学方法似乎使这种理想照进现实，算法技术让人类决策更量化、客观及“平等”，在广为流传的“技术中立论”的包装下，“人类现在对计算机、数学、算术法则和构建模型的信任超过了对人性、自我感受和主观判断的信任”。

但实践中越来越多案例表明，人们在享受着看似“技术中立”的算法带来红利的同时，也承担着其隐形的更加严重和广泛的危害，其中的算法歧视的问题逐渐浮出水面。如2000 年初美国司法系统使用的预测被告未来再犯可能性和人身危险性的COMPAS 算法，经一家非营利机构ProPublica 对COMPAS 算法结果分析，得出结论“黑人被告再次犯罪的可能性以及自身危险程度高于白人45%”。不仅在算法的结果当中会产生歧视，我国有学者指出算法社会的不平等是自始至终的多形式不平等，因为算法社会对人的科技素质要求极高，这就决定了只有少部分能够精通算法，科技能够位于算法之上掌控高新技术，而大部人只能成为被高科技掌握的“鱼肉”。[1]带有偏见的不合理区别对待是对公民平等权的侵犯，算法歧视不仅具备传统技术和制度手段难以识别的隐蔽性，还可能伴随算法的扩展应用广泛复刻并蔓延至其他场景之中，对平等权的宪法保障提出了新的难题。

从当前我国算法歧视治理现状来看，早在2019 年3 月，我国科技部成立了专门委员会针对数据垄断、算法歧视等人工智能治理的重点领域，监测人工智能带来的各种社会风险。吴汉东教授在对人工智能作学术探讨时强调“面向人工智能时代，科学技术文明的建设需要社会制度文明的促成，我们需要创设出保人工智能安全、可靠、可控的法律制度”。[2]由于算法歧视是近年来出现的市场乱象，一些大型企业正在利用大数据、算法与制定规则对用户“磨刀霍霍”，我们迫切需要一个清朗的网络空间，这就要求对算法治理建立规章制度，特别是以宪法所保障的平等权作为基本导向，建立健全平等权的保障机制，展开推进我国算法治理体系与治理能力现代化。

二、算法歧视产生法律风险的原因

2014 年邱仁宗等学者就指出“大数据技术本身无所谓的好与坏之分，在伦理学上技术是中立的”。[3]而创造算法、使用算法的人具备很大的主观能动性，再加上人工智能深度学习可以加强偏见意志数据化，因此数据中立论很可能不再适用，当前有必要结合算法歧视的特征和类型梳理算法歧视的肇因，从技术层面解释算法歧视对平等权产生的法律风险。

（一）数据自身带有偏见

算法的个体化的规制是法律针对不特定群体一般性规制的突破。法律的一般性原则在法治原则体系中举足轻重，其被称为是法治的“阿基米德支点”，主要体现为意志的一般性，对象的一般性和适用的一般性，平等权作为基本权利，是法律一般性规定的具体体现，平等权的特征在于它强调一视同仁对待的原则渗透在个体、群体之间，而算法对个人的个性化定制看似人性实际是上一种不平等的体现，它的个体性规则并没有基于一般性规则之上，而是基于一种私人定制的不具有合理性的特殊规则，是建立在贫富差距、强弱分化的不平等基础上的。如此一来，算法制定的个体性规则便会形成强者愈强、弱者愈弱的马太效应，产生实质不平等的危害结果。

（二）算法异化权力-权利配置

宪法通过公民平等权、公民的政治权利和自由、社会经济权利等基本权利是为了防止国家公权力滥用，保护公民的基本权利不受到公权力的侵犯。算法作为“非人类行动者”占有海量形式的大数据，通过电脑建模实现对人的认知感知能力、分析处理能力和决策判断能力“模拟仿真”并在此基础上超越，逐步实现对人的规则“代码化”，脱离人的掌控并演化成为对人霸权的“准公权力”主体，这给平等权在应对公权力的侵害时又增添新的危机。算法权力的取得源于自身的无形拓展和权力-权利的双向互动，算法曾被称为是人生十字路口的“无形手”，其决策以潜移默化的形式影响到人们的日常生活，无形中决定着人们的选择，在人工智能时代，算法可以突破物理空间的局限，涵盖到人们生活的每个方位、每时每刻，突破时间和空间的维度，以更加隐蔽的方式完成对个人自由的限制，增强了算法权力对平等权的危险。

（三）算法深度学习强化偏见

人工智能算法已经不局限于单向的数据输入-数据分析-预测产生的过程，而是对现有数据库进行特定数据的特征提取，反复学习增强数据之间的关联度，按照相应的算法逻辑搭建初始的数据特征模型，自主分析出数据之间的密切程度和发展规律，最终生成高级的认知能力。在输入带有歧视性质的数据时，算法会将这种实质上是社会偏见数据化转变为数据偏见，在反复学习过程中形成定性的算法逻辑偏见，最终产生的偏见决策结果又反馈于社会之中强化歧视，这就是“回音壁效应”。但即便是在数据特征模型的搭建过程中能够完全摒弃法律禁止的歧视性特性，这种做法也是徒劳无功的，因为算法具有极强的数据挖掘能力，数据特征中往往也存在代理，算法在深度学习和训练数据过程中能在隐藏的相关关系中来寻找与个人敏感信息相关的代理，保证输入的数据不存在偏差对消除算法歧视作用较小。

三、算法歧视下平等权传统保护危机

当前传统保护机制不足以治理算法歧视的乱象，我国宪法所保障的平等权面临的危机不断，因此有必要对当前问题进行梳理，并前瞻性预测未来算法歧视带来的风险和挑战，根据问题导向探索保障平等权的具体路径，减缓法律滞后性所造成的制度鸿沟之变故。

（一）算法固化实质不平等危机

这种实质不平等主要体现在以下两方面：一方面，人工智能算法主体资源占有的不平等。人工智能、算法、机器学习、区块链、大数据，这些概念在当今数字时代不断涌现，深度理解这些概念的人往往只会是社会上少数的拥有良好教育背景或者是专业领域的精英人才，而往往也正是这些人占据了数字时代中最重要的资源——数据。以数据为基础的算法进行深度学习，能够实现似人类自身智能的增幅与扩容。

另一方面，人工智能算法决策过程“偏见进，偏见出”。数据是算法深度学习的基础，算法掌握数据越多，决策结果越精准，但是当数据不全面、不准确时，即数据缺乏均衡性和代表性，则决策结果就会存在出现歧视的高度可能性。例如谷歌公司的图片软件曾将黑人的照片标记为“大猩猩”，这就是因为数据库中缺乏对黑人的特征模型。算法还会利用人们产生的电子痕迹结合其他数据库的信息，挖掘其中潜在的价值，比如评价商业平台中人们的消费能力和偏好，完成对消费者的数据画像。商业平台依据不同的算法结果针对不同消费者的消费水平显示出不同的价格，这就是严重侵犯到消费者的知情权、隐私权、平等权与公平交易权的“算法（大数据）杀熟”。[4]

（二）算法歧视识别危机

算法技术的复杂性在源头上增加歧视识别难度。算法属于当今数字时代的新兴产物，一个正常运转的算法的背后除了高新技术的支撑外，还有当前无数条数据的联结，这无外增加了算法的神秘性，人们在节约探索成本的导向上往往会顺从算法的决策。同时，算法运算的反馈循环不但深度挖掘出被摒除的歧视因子，通过回音壁效应在无形中更加深了社会歧视。

在运算过程中，算法无法准确区分相关性和因果性。当前的人工智能仍属于弱人工智能，即便是处于发展前沿的模拟人脑“神经网络”的人工智能，无论它再怎么“深度学习”“自我改善”，都不会有“人类情感”“人类意识”。算法可以对不同的变量进行相关性、显著性检验，但相关性不同于因果性，这种定性的存在需要依靠大量的数据基础。因此这种情况下提高了小概率事件无法被识别的几率，[5]宪法对妇女、残疾人、儿童、难民等特定主体的特殊保护很可能因无法被识别而遭受到算法歧视。

算法最终的决策结果不具有外部公开性。算法的个性化推荐基于个人电子痕迹的不断累加而产生，而个性化推荐针对的对象只针对唯一个体，在个人信息保护下公民的自我隐私保护意识觉醒后不断增强，导致个人信息更加隐蔽，这极易引起“信息茧房”效应，很多学者批评这种行为对个人的算法选择权构成威胁。

（三）平等权保护机制危机

如今世界各国保障平等权多采用“事前立法规范”“事中行政监管”和“事后司法救济”构成的三位一体的机制。平等权作为我国宪法保护的基本权利，相关的理论体系早已健全成熟，在理论指引下我国宪法建构了对应的法律保障体系。但在算法社会，在不同算法的表现方式下，算法歧视的高速变化发展给我国传统的平等权保护机制带来巨大挑战。

首先是平等权立法保护机制的滞后性。立法产品和算法技术同为满足人们对美好生活的需求，当立法者的立法速度无法跟上算法技术发展的脚步时，人们急切需要另一种形态的社会治理规则，而传统的立法权威将会一步步被瓦解。与此相比，人们对算法依赖感和信任度逐步增强，给歧视带来更大的生存空间，这时候形式上新的立法生效实质上是针对旧算法的规制。

其次是行政监管算法歧视的盲区。一方面，算法技术的专业性要求行政主体作为综合素质人才全方位掌握人工智能和法律知识，然而高级算法的体系庞大到难以理解其中的内部逻辑和运行过程，这是因为算法是协作的整体，是众多计算机科学家和程序员在算法的不同阶段贡献了不同力量的聚合体，个人在监察时仿佛“管中窥豹”难以掌握全局，同时算法更新的速度之快使监管更加困难。[6]另一方面，算法黑箱的存在成为算法使用者的遮羞布，有意利用技术壁垒将算法移转到法律的真空地带以脱离现有的法律规制，更加导致了行政机关外部监管的难度。

最后，司法救济存在困境。2021 年我国“大数据（算法）杀熟”第一案的判决结果是将杀熟行为认定为欺诈行为，法院对算法的理解程度的浅薄让法官更偏向于保守的判决，恰好本案原告属于消费者，法官最终依据《消费者权益保障法》未认定该行为属于算法歧视行为。但问题在于大部分主体在意识到算法歧视时不属于消费者的身份，并且在算法歧视有强大的科技公司靠背时，私主体与之对抗的力量过于单薄，极少部分私主体会主动向法院提起诉讼，维权途径的狭窄和对受害者的高要求两方面因素让救济受到层层阻碍。

四、健全算法歧视下平等权保障机制

在平等权面临算法歧视挑战的背景下，形成与算法社会相匹配的平等权保障机制、推动权益保护和算法创新共同发展尤为重要。有学者预判，在超强算法能力、大数据的影响下，未来十年至二十年法律行业将迎来巨大变革。

（一）平衡平等权保护和算法创新

当前我们面临的矛盾是算法权利主体和其他权利主体之间的博弈，有必要寻求二者平衡长远发展的支点，既不磨灭算法技术创新的激情，又能增强法律的稳定性，保障权利主体的平等权免受算法歧视的危害。[7]这要求既要防范算法权利滥用风险，将其限制在民主法治框架中，涉及到重大公共决策时，应取得权力机关的授权许可，也要在算法公权力制衡基础上对算法私权力制约，建立起明确的算法设计者、控制人、技术使用者等监管机制，明晰算法权利主体的权利与义务。

如上文所述，法律对算法歧视的规制并非空白，但侵权责任主体极易混淆导致算法权利主体义务缺失。即便是算法自主决策的结果引发歧视危机，但归根结底在弱人工智能时代算法开发者和使用者的控制影响因素是首位的，应当明确区分算法的开发者对算法本身内部的责任，算法使用者区分上层和下层使用者，分别对算法的宏观结构层面和明显消极的算法歧视负责。同时，还需要对不同侵权主体承担的责任类型进行划分，判断其行为是违反了刑法规定还是民法规定；不同算法行动者之间的分工配合是否构成共同犯罪；承担的主要法律责任和次要法律责任如何划分。

（二）赋能算法技术

国家公权力机关在治理算法歧视乱象时陷入算法识别困囿，原因在于智慧化法治社会要求治理主体的专业性更高、针对性更强。为解决这一困境，有学者主张应该技术赋能，在算法歧视的背景下，我们需要形成算法代码治理的特殊范式，通过法律治理驱动代码规制上升到法律规范。[8]技术赋能要求我们进行算法数据样本的预处理。要求增强输入数据的代表性、平衡性和公平性，以便从根源上使算法的运作满足法律要求的平等属性。实践中有研究学者探究出一种生成公平综合数据的方法，即对于随机挑选出的一组数据，都能运用数据合成技术以此数据为基础再生新的数据，这样算法无法分辨出任意输入的数据是真实数据还是虚假数据，避免算法模型过度拟合到非代表性数据。

算法本身的隐蔽性也是产生算法歧视以及我们无法识别出算法歧视问题的因素所在。因此打开算法黑箱、识别不可理解和解释的算法是打破其中的算法歧视的方法之一。英国议会人工智能委员会报告中指出提高算法的透明度对增强算法的可解释性尤为重要。我国学者张凌寒指出，自动化决策的算法解释的内容并非形式上的技术概念，而是实质意义上具有法律意义的程序性要求，她提出了二层次具体解释内容，包括理由说明层次和行为指引层次。因此在不危及胁迫到企业商业发展和泄露商业秘密的情况下，让具备可解释性的算法在法治的阳光下运行能够有效保障社会的公平正义。

（三）健全保护平等权法律机制

“社会的进步离不开先进技术的开拓者，更离不开基本价值的守望者。”通过在立法、行政、司法层面形成适配的法律闭环有效消除算法歧视对公民平等权的侵害。

第一，构建智能化多元保护平等权的机制。单一的部门法无法满足对平等权这一基本权利的全方位保障需要，特别在当前新型的算法歧视语境下，亟须构建多元法律保护机制，形成不同部门法之间的联动全面保障公民的平等权。在平等权保护机制构建过程中，算法飞速发展的同时，推动在算法治理中立法的科学化、精细化和智能化极为重要，善于利用算法去解决算法自身带来的歧视问题，将立法工作与算法技术深度融合，通过大数据分析立法过程中存在的问题，增强立法的精确度、科学性和适度超前性。[9]

第二，构建专门的算法歧视监管机关。算法黑箱的隐蔽状态使行政机关对其监管存在真空区域，而技术层面上的漏洞我们可以通过强化互联网信息监管部门的监管职责进行填补，同时可以邀请专家学者和专业技术人员进行技术辅导援助，适当吸纳专业学者和其他行业组织的意见建议。行政监管部门应当转变事中监管的传统职责，将监管引入到算法运行前，在源头上打消算法歧视结果产生的可能性，维护真正的公平正义。

第三，建立配套的司法审查机制。由法院充当司法审查机制的主体偏向于事后的救济机制，需要明确规定算法歧视的审查标准，算法歧视具有不同类型，大体上可以分为直接歧视和间接歧视两类，不同的歧视类型对公民的平等权损害程度不同，理应采取不同的审查标准。对于直接歧视，也称为有意歧视，算法主体需要具备形成歧视的主观要件，因此可采取目的审查标准，法院通过判断算法主体是否具备这一前提条件来决定是否应该承担相应责任。间接歧视是一种无意识的歧视，可能是算法的训练数据中可能无意间产生歧视，因此法院审查时不应以算法主体的主观过错作为承担责任的要件，而是应该采用效果审查的标准，审查算法决策对社会的负面影响，对公平平等权的侵害程度来裁判算法主体是否应该承担间接歧视的法律后果。[10]