算法决策场景中就业性别歧视判定的挑战及应对

胡萧力

摘要：就业性别歧视对女性求职者受宪法所保护的平等权、劳动权造成现实的侵害风险。对就业性别歧视判定标准问题，学界已有较为丰富的研究，但传统判定标准在算法时代遭遇适用困境。算法掩盖下的就业性别歧视具有自主性、隐蔽性、延续性和结构性等特征，这不仅可能对求职者的权利主张造成过重的举证负担，亦无法解决算法供应商等第三方主体的归责问题。因此，应当从事前与事后两个维度，探讨对算法就业性别歧视进行有效规制的路径。在概念界定上，应通过扩充就业性别歧视概念的外延，将算法就业性别歧视纳入到反歧视法的规制范围内，使新加入的算法供应商等第三方主体参与到责任分担过程。通过在算法决策过程中引入技术性正当程序理论及其机制框架，搭建起权力主体配合下的“理解—参与”模式，借助合规审计追踪、算法解释等方式，有效控制算法就业性别歧视的风险，保障女性求职者平等权和人格尊严等权益。

关键词：算法歧视;算法雇佣决策;就业性别歧视;技术性正当程序

中图分类号：DF931.1 文献标志码：A DOI：10.3969/ j. issn.1001-2397.2023.04.05

一、问题的提出和界定

反就业性别歧视，尤其是反针对女性的就业歧视，是反歧视法领域经久不衰的议题。其关涉女性宪法上平等权与劳动权，以及由此派生出的平等就业权的实现，亦关乎女性社会地位与自我价值的实现。而就业性别歧视的判定标准，即“什么样的行为会被判定为法律上的就业性别歧视”则是反就业性别歧视基础性也是关键性的问题。该问题一方面取决于立法所制定的判定标准，另一方面也受司法上判定规则、举证规则的影响。在女性求职就业的过程中，招录环节是整个就业过程的起始，在此阶段发生的性别歧视被称为狭义上的就业性别歧视。由于该类歧视直接影响女性就业机会的取得，因此，本文将讨论对象限定于狭义就业性别歧视的判定标准问题，下文所称就业性别歧视即指狭义上的就业性别歧视。

2023 年1 月，新修订的《中华人民共和国妇女权益保障法》（以下简称《妇女权益保障法》）正式施行，该法进一步强调了保障女性劳动权的重要性，其中，第43 条就招录环节用人单位不得实施的行为进行了规定。从某种角度来看，该条可以被视为以列举加归纳的方式在立法上确立了我国的就业性别歧视判定标准。然而稍作比较就会发现：该条虽然对《中华人民共和国劳动法》（以下简称《劳动法》）第13 条、《中华人民共和国就业促进法》（以下简称《就业促进法》）第27 条第2 款，以及部分位阶较低的规范性文件所规定的以直接歧视为规制对象的判定标准有所细化，但对于如何判定因表面中立的行为所导致的结果上的间接歧视，却并未作规定。即便仅从直接歧视的角度进行审视，上述立法所规定的判定标准亦存在过于抽象、宽泛的问题。从司法实践来看，人民法院对就业性别歧视判定规则同样缺乏共识性的统一标准，只是在劳动争议、侵权责任和缔约过失等不同案由下形成了不同的审查基准，这削弱了司法在反就业性别歧视中应有的作用。随着时代的发展，老问題尚未得到解决，新问题又悄然涌现。特别是随着算法技术逐渐应用到用人单位雇佣决策的过程中，算法歧视这一新形态的歧视出现在了就业领域，其无论是对已有的判定标准还是相关研究都构成了极大的挑战。在上述背景下，如何利用我国反歧视法律制度的后发优势，更好地应对算法对就业性别歧视现有判定标准所带来的挑战，是一个值得关注的重大理论和实践问题。

二、就业性别歧视在算法雇佣决策中的生成

根据《1958 年消除就业和职业歧视公约》第1 条第1 款，就业性别歧视是指：基于性别的原因，具有取消或损害就业或职业机会均等或待遇平等影响的任何区别、排斥或优惠。在此基础上，间接歧视概念的出现又使表面中立，但实际上可能或已经导致某一性别的群体在就业上处于不利地位的行为被归入就业性别歧视的外延中。算法歧视的诞生使歧视的形态更加隐蔽、多元，其形成过程所涉及的主体、行为也更加复杂，增加了判定就业性别歧视的难度。应对算法歧视对传统就业性别歧视判定标准所带来的挑战，首先需要理解算法就业性别歧视与传统的直接、间接歧视在生成原理上存在何种区别，进而有针对性地探究解决方案。

算法歧视诞生于算法决策的过程中。算法决策运作的基本原理是利用算法对大数据中的特征、关系、类别进行挖掘识别，而后借助算法模型来预测对象的行为，并以此为基础作出响应的决策。具体到算法雇佣决策的语境下，首先需要由用人单位等算法使用者制定决策目标，同时，收集合适的训练数据集;随后，算法程序员根据问题的类型选择并优化算法，并将用人单位的招聘需求转译为具有相关性的可测量特征或称“结果变量”，与现有员工情况等训练数据集一起输入到算法中。随着算法的迭代更新，新模态的“机器学习算法”甚至无需借助程序员所输入的知识与程序，而是利用“深度学习”等方式自主地筛选数据中有意义的特性并学习其中的决策模式，并通过反复的训练和调适，获得无限逼近需求目标的数据模型。这套数据模型最终被用以预测哪些求职者可能在公司内创造更大的价值，从而实现对求职者数据的分析并做出筛选。

算法具有中立的外表，而歧视则来源于人的主观认知，是对不同人群的偏见在具体行为上的反映。观察算法雇佣决策中主观偏见的来源及其融入决策过程的方式，可以将算法就业歧视进一步区分为因抽样偏见导致的算法就业歧视和因设计偏见导致的算法就业歧视。前者源于训练数据集中样本的“质”和“量”，或者说样本在中立性与代表性上的偏差。如果训练数据集中原本就存在对某一群体的偏见，或其中某些群体的代表名额不足或过多时，算法就业歧视就可能发生。例如，如果用人单位过去长期对男性劳动者作出了较女性劳动者更高的评价，或是雇佣了远多于女性职员的男性职员时，算法就可能会识别出历史数据中的偏好与选择模式，并在无意中复制这种偏见，形成对男性劳动者的偏好。而因设计偏见所导致的算法就业歧视同样可以被分为两类：其一，硬件、软件、设备等技术所存在的客观限制，可能导致模型和决策不准确，进而产生算法歧视;其二，算法程序员将用人单位对岗位及求职者的需求进行“转译”并输入算法时，对目标、需求等因素的转译可能出现偏差，从而导致算法就业歧视的出现。在很多情况下，用人单位决策目标中的某些词汇往往缺少具体、客观的定义，例如，“优秀”“忠诚”等，此时算法程序员在进行转译过程中，难免掺杂个人的偏见或是陷入“伪中立的陷阱”。又如，以“出勤率”作为挑选“忠诚的”员工这一目标需求的结果变量，表面上看是合理且中立的，但《妇女权益保障法》规定，孕期女职工享有休产假的权利，因此，相较于男性职工，女性职工请假的需求及时间就会更多。此时，如果算法通过数据挖掘识别到结果变量与性别这一受保护特征之间的关联性，就可能使与“怀孕”“母婴”等词语相关的数据成为“出勤率”的表征数据，导致就业性别歧视的结果。

至此，我们可以归纳出算法就业歧视的三个特征。第一，在使用机器学习算法的情况下，算法雇佣决策的核心步骤几乎完全由算法自动完成，由此产生的算法就业歧视具有明显的自动化决策的特征。第二，机器学习算法可以自主地完成数据挖掘、选择与模型建构，这使得人们难以判断算法在学习过程中识别到了哪些数据，又提炼出哪些特征，因此，很难对算法决策的过程及原理进行完全准确的解释，导致算法“黑箱”，形成了算法就业歧视隐蔽性的特征。第三，算法就业歧视具有延续性、结构性，这种特征在性别的语境下又更加突出。无论是因抽样偏见还是因设计偏见产生的算法就业歧视，本质上都是既存的结构性偏见在算法决策过程和结果层面的投射。就本文所讨论的性别平等问题而言，长期以来，女性的不平等地位深深地扎根于传统观念和刻板印象之中，这种内在的偏见通过人与人之间的互动交往，影响到资源在不同性别群体间的分配，最终构建出一个对男性群体整体有利的社会权力结构。这种结构性不平等具有延续性，可能伴随代际更迭延续存在，并对相关的信息和数据产生影响。这意味着，结构不平等和观念上的刻板印象，本身就可能对数据源造成“污染”。由于算法决策需要通过分析数据而进行预测和决策，因此，一旦在就业领域的数据受到不平等权力结构的影响，算法对这些数据的学习，将可能“复制”隐藏于数据中的不平等因素，延续甚至强化就业场景中的性别不平等，陷入算法的“自我强化困境”。目前，技术尚无法完全消除算法训练数据集中的偏见，亦难以有效排除结构性不平等对新数据的影响。正如学者梅森（Mayson）所指出的，算法歧视实际上成为一个“偏见进，偏见出”的过程。在这个意义上，算法如同一面用以观测未来的“预测之镜”，但对未来的预测需要依据过去的数据和结构化框架，因此，在逻辑上和实践中，这种预测很可能将过去的不平等投射到未来。

三、算法就业性别歧视对传统就业性别歧视判定标准的挑战

面对包括算法就业性别歧视在内的就业歧视问题，有学者提出可通过借鉴域外法中就业歧视判定标准的方式加以应对。的确，域外尤其是欧美国家由于平权运动的发展和技术先发效应，已形成了一套较完整的就业歧视判定体系，而就业性别歧视的判定便是其中一个方面。就业性别歧视的判定以直接歧视与间接歧视为基础，设置了较为完整的判定标准及举证规则，总结出了一套包含主体要件、行为要件、因果关系、行为后果要件、主观要件以及合理抗辩事由在内的就业歧视构成要件体系。虽然不同国家的判定标准存在或大或小的区别，但从整体上看，可依据歧视的成立是否要求原告证明被告具有歧视的故意这一要素，可以将就业歧视的判定标准大致分为两类：其一是以美国为代表的“主观主义”模式;其二是以英国、欧盟为代表的“客观主义”模式。然而，进一步的分析将发现，面对新形态的算法歧视，欧美传统的就业性别歧视判定标准力有所不逮，不仅可能给求职者或用人单位施加过重的举证负担，亦无法解决新加入的算法供应商等第三方主体的归责问题。

（一）直接歧视判定标准及其面临的挑战

直接歧视又被称为“差别对待歧视”。针对女性的直接歧视表现为基于性别，剥夺、限制女性的就业权利。例如，以对女性的刻板印象拒绝雇佣某人，或缺乏合理理由对男性和女性进行差别化招聘等。由于直接歧视是一种较为明显、直观的歧视，因而无论在英国还是美国，其判定的核心都在于是否存在非基于合理事由的差别对待或歧视行为，且对该法律事实的证明责任通常由原告承担。

不同的是，采取“客观主义”模式的英国对用人单位是否存在歧视动机并不考虑，而采取“主观主义”模式的美国则恰好相反。在此基础上，美国还进一步根据是否可以直接表明被告具有歧视的故意，将就业歧视案件分为“直接证据”案件、“間接证据”案件以及“混合动机”案件三类，并匹配不同的举证规则，但原告依然要承担证明被告存在歧视动机的最终责任。与直接歧视不同的是，算法歧视往往形成于外观上中立的数据，在技术理性的外衣之下，这种歧视具有隐蔽性特征。因此，在讨论算法歧视对直接歧视判定标准构成的挑战之前，我们首先需要追问：在算法歧视的语境下，直接歧视的概念及其相关判定规则是否仍然适用？回答好这一问题，需要回溯至判定直接歧视的根本要点，即被告是否基于性别等受保护特征而对不同主体加以区别对待。上文提到，在算法雇佣决策的过程中，存在一个将目标需求转译为关联特征，并进行特征选择的过程。此时，如果被告方公然在特征集合中纳入性别等受保护特征，就可能“教唆”算法输出歧视性结果。或者，即便被告方尝试剥离数据中的性别等受保护特征，算法也可能识别到数据与性别等受保护特征之间的潜在关联，进而做出具有歧视性的决策，此时亦可以认定差别对待行为是基于性别等受保护特征而作出的。因此，在判定算法歧视场景中，直接歧视判定标准依然存在适用空间。

不过，算法歧视对直接歧视判定标准所带来的挑战也显而易见，因为二者在歧视行为的表现上存在根本差异。直接歧视是明显的、易于感知的，而算法歧视是隐蔽的、不易察觉的。在直接歧视的举证规则中，原告方证明的核心任务是“歧视行为存在”和“歧视行为非基于合理理由”;在“主观主义”模式下还需要证明被告“具有歧视的意图或动机”。但在算法雇佣决策的情境下，求职者作为被动方难以了解用人单位对自己的哪些信息进行了收集，算法程序员又利用了什么样的算法技术进行雇佣决策。算法歧视的隐蔽性又进一步使求职者难以证明算法在作出决策时依据的是什么标准，该标准又是否与性别等不合理理由相关。同时，随着机器学习技术被普遍应用于算法模型，算法决策的自主性不断提升，很多时候算法歧视的生成并非源于用人单位或者算法程序员的歧视故意。此时，如果要求求职者证明这种主观恶意的存在便成为一种苛求。可以说，在算法权力日益扩张的当下，求职者等个体必然处于“信息差”的弱势一方，这种弱势地位在就业这一特殊语境下又被进一步放大。求职者为获取就业机会，只能被动地默许算法对个人信息的分析、选择和决策，但却无法获知雇佣决策过程中的关键步骤与信息。因此，面对算法歧视，传统的直接歧视判定规则施加于原告方的证明责任显然过重，甚至是不可能完成的任务。

（二）间接歧视判定标准及其面临的挑战

相比较而言，间接歧视或称“差别影响歧视”，与算法歧视更为类似。依据反歧视法的一般发展规律，随着反歧视法的适用与普及，明显且带有恶意的直接歧视逐渐减少，而以更隐蔽的方式存在的间接歧视日益增多。受历史沿革与传统观念的影响，人的认知可能在不存在明确动机的情况下，潜移默化和不知不觉地将人群归类，并在此过程中形成偏见和无意识的歧视。这种无意识的歧视被表面中立的制度、社会规范确认后，就可能形成结构性不平等，进一步加大间接歧视发生的可能性。具体到就业问题上，尽管性别平等在我国已经成为不言自明的规范准则，但受历史惯性、社会习俗、文化多元等因素的影响，我国的女性就业平等权保护制度仍然呈现出“轻机会平等保护、重特别权益保护”的特征。女性在就业领域所处的不平等地位更多地受到机制上的路径依赖、有关两性社会角色的刻板印象等因素的影响，就业性别歧视也逐渐呈现出隐蔽性、延续性、结构性等特征。类似地，算法歧视同样是一种无意识的、隐蔽性的歧视，且往往是长期存在的结构性歧视在算法中的投射与转译。由此可见，间接歧视与算法歧视之间存在明显的相似性。也正因为此，间接歧视判定规则在反算法就业歧视中的适用已引起一些学者的关注。

具体来说，在间接歧视案件中，对歧视的判定有两个关键步骤。首先，一般应由原告提出表面证据证明不利状态或差别影响的存在，而这一证明步骤主要借助有关雇佣结果的统计数据来完成。就国外情况而言，目前广泛适用的是美国法院的“五分之四规则”，即如果用人单位所采取的招聘条件将导致女性雇员比例与男性雇员比例之间的最高比率低于五分之四时，即视为存在差别影响。其次，间接歧视判定规则的特殊性在于，当原告完成初步证明后，将发生一次举证责任的转移或称“倒置”，被告必须提出合理的抗辩事由，如证明其采取的雇佣行为存在业务上的必要性等，否则，将由被告承担举证不能的后果。另外，在美国法上，即使被告可以证明自己的某项行为存在业务上的必要性，原告仍然可以继续证明存在被告可以采取的、具有较小歧视性影响的其他选项，但被告并未采取这样的行为。总体上看，在间接歧视的判定过程中，存在一个由歧视结果推定歧视故意的过程。由于间接歧视通常是无意识且不显著的，因此，其判定标准只关注雇主的行为造成的歧视性结果，而不关注雇主的主观故意，由此降低了原告举证的难度。

在应对隐蔽性的就业性别歧视时，这种将主观故意要件的重要性下调，并将举证责任倒置的方法，无疑具有重要意义。然而，相较于传统的间接歧视，算法歧视在形成过程中新增了算法供应商等第三方主体，这一关键性的差异使得传统间接歧视判定标准遭遇新的难题。在传统举证规则下，举证责任仅在求职者和用人单位之间进行分配，此时，正如有学者指出的“降低举证责任往往是一个零和博弈”，原告的举证责任降低了，被告的举证责任自然就提高了。但由于算法歧视的隐蔽性，用人单位也无法完全参与到雇佣决策的过程，因此，难以完全控制并理解算法决策的方式和理据。此时，如果仅由用人单位来承担举证责任，将抑制用人单位开发、使用算法进行雇佣决策的积极性。事实上，由于相关主体数量的增加，算法歧视场合下的归责问题愈加复杂。算法程序员，以及作为算法提供者的第三方机构是否需要承担责任？ 用人单位之外的数据提供者是否应承担责任？ 传统的间接歧视判定规则下这些问题均无法得到有效解决，这可能导致间接歧视相关判定标准和责任规则的失灵。

四、算法就业性别歧视危机的应对

通过上述分析可见，算法就业性别歧视实际上是社会结构中性别不平等在算法决策过程中的投射，皆源于传统的性别刻板印象、社会结构及性别角色定位。但由于算法歧视的特殊性，传统的判定标准与举证规则难以有效应对。而且，算法技术本身所蕴含的经济、社会效用及第三方机构等主体的利益，与传统就业歧视语境中所存在的平等就业权与企業用工自主权等法益相叠加，使算法就业歧视中的价值权衡更加复杂。从根本上讲，算法就业性别歧视的“治本之道”仍需回到社会性、结构性的层面，例如，通过合理分配生育成本等制度，实现就业性别平等，但这显然不是短期内可实现的目标。因此，应对算法就业性别歧视所带来的现实挑战，需要根据算法就业性别歧视的特征，有针对性地进行法律规制的优化，以克服和缓和算法就业性别歧视所带来的问题。

（一）赋能必要性与归责正当性

基于上文梳理，笔者认为，面对算法就业性别歧视对传统判定标准所带来的挑战，需要从原告方和被告方两个角度思考可能的应对方案：一是如何降低原告方，即女性求职者的证明负担，同时提升其对抗算法权力的能力;二是如何在用人单位、算法供应商等被告方之间合理分配法律责任与合规成本，实现激励与监管的平衡。

首先，应对算法就业性别歧视问题，需要对数字化时代的求职者进行数字赋能。在算法雇佣决策的过程中，求职者被化约为一组数据，他（她）们以数据的形式存在并被客体化。用人单位与算法供应商在自身利益最大化目标的驱动下，运用算法实现对求职者的分析、评级、选择与控制，而求职者则被动地成为算法决策所支配的对象，失去了对个人数据的主动性与对决策过程的知情权。由此产生的算法就业性别歧视，一方面，侵犯了求职者受宪法所保障的平等权与劳动权;另一方面，则可能进一步固化结构性的性别歧视，最终使女性求职者不得不面对基本权利与人格尊严等法益受损的危险。此时，要使女性求职者获得针对算法歧视的防御能力，关键在于凸显其主体性，而这正是数据赋能的核心要旨。数据赋能的规范要求，旨在通过对用人单位等数据处理者、控制者施加法定义务，例如，保证数据的准确、客观、平等等要求，进而充分保障求职者的个人信息权益等合法的数字权利，从而增强个人信息主体的权利。例如，个人的知情权、决定权、查询权、请求修正权、删除权等权利，有助于抑制求职者个人数据的偏差和被滥用所导致的风险，提升个人的信息自主性。在反算法就业性别歧视的语境中，这种数据赋能可以抑制用人单位和算法提供者对数据的垄断，在一定程度上缓解“数字鸿沟”的负外部性效应。数字赋能还可要求用人单位提升算法决策的透明度和可理解性。总之，通过充分保障求职者个人信息权益以及提升算法透明度和可解释性要求，可以对求职者进行相应的数字赋能（digital empowerment），从而缓解个人权利与资本、技术所叠加的雇佣者权力之间的不平衡态势。

其次，应对算法就业性别歧视，需要考虑归责逻辑的正当性，以合理分配法律责任与合规成本。在算法雇佣决策的场景中，一方面，算法就业歧视的自动性、隐蔽性特征往往成为相关主体拒绝担责的借口;另一方面，过重的举证负担与对算法效益的偏好也可能成为相关主体避责的考量因素。因此，我们需要认识到，算法雇佣决策不可能完全脱离人为干预因素而存在，算法就业性别歧视产生的根源仍然是人的利益动机和主观偏好等因素。例如，目标设定、特征选择等明显存在人为主观因素介入，显然会受到人为影响;即便是学习型算法，也会因为训练数据集内含的立场与偏见，将人为影响传递到算法决策结果中。有学者指出，近年来普遍存在一种过度强调算法技术理性的倾向，但其问题是：忽视了数据对人工智能系统决策质量的重要影响。算法作为一套计算机制，无法离开数据，算法需要通过对历史数据的挖掘和处理进行学习。如果数据出现偏见，算法可能“习得”或复制偏见。而不管是数据最初的采集，还是随后对数据所进行的清洗、筛选、标注，都离不开人的参与。因此，无论是依据对算法就业性别歧视根源的考察，还是出于保护女性求职者合法权益的目的，对用人单位等可能影响算法雇佣决策过程的主体进行归责都具有正当性。

依据上述逻辑，下文将以对数据主体的数字赋能和对用人单位等相关主体的合理归责为基本方向，从就业性别歧视判定标准自身的完善以及标准之外的规制措施入手，探讨如何应对算法对就业性别歧视所带来的挑战。

（二）就业性别歧视概念外延的扩展

就业性别歧视的概念界定不仅是就业性别歧视判定过程中的基础性问题，亦構成探讨数据主体赋能和成本责任分配的重要前提。当前，我国不仅在立法上没有对“就业性别歧视”进行明确界定，相关司法实践中亦没有形成一套统一的救济审查标准，且几乎忽视了有关间接歧视等隐蔽性歧视的问题。在算法时代，这些缺失将进一步导致具有隐蔽性的算法就业性别歧视逃逸出反歧视法的规制框架。因此，有必要通过重新解释或更新基础概念及判定标准，对就业性别歧视概念外延进行扩展，将算法就业性别歧视纳入其控制范围内，从而在合法的范围内降低女性求职者的证明难度。

首先，从现有的规则表达来看，我国法律中对就业性别歧视的判定仍囿于“以性别为由”的范围内。考虑到算法所处理的数据的内在关联性，笔者认为，宜将此处的“性别”这一受保护特征解释为既包含“生理性别”，又包含“社会性别”，同时适当扩张解释至“与性别有关的因素”。这是因为：一方面，消除社会性别不平等是当前保障女性就业权的关键。社会性别是以生理性别为基础，在社会文化、人际交往的影响下产生的。它使得劳动性别分工“正当化”，形成了例如“男主外，女主内”的性别刻板印象，这是结构性性别歧视的根源。因此，将基于社会性别的就业歧视纳入就业性别歧视的范围内，对于消除就业性别歧视以及算法就业性别歧视都至关重要。另一方面，有必要将“性别”适当扩张至“与性别有关的因素”，此时因代理变量替代性别参数使用而产生的差别对待就会被纳入歧视的范围内，例如，上文所提及的将与“怀孕”“母婴”相关的数据作为代理变量就属于这种情况。事实上，《妇女权益保障法》第43 条也并未将“以性别为由”仅限于依据“男”或“女”的生理性别，该法条明确禁止调查婚育情况、进行妊娠测试等行为，呈现出将“性别”扩张至“与性别有关的因素”的倾向。但值得注意的是，该条文中所禁止的行为都与婚育相关，进而与性别产生了极为紧密的联系;但在算法就业性别歧视的场合下，歧视性决策所依据的代理变量并不一定与性别存在足够明显的关联，这就需要在司法实践中进行个案式的判定。尽管在这一判定过程中可能需要面对算法决策的隐蔽性等问题，但并不能因此而否认对就业性别歧视概念外延进行扩展解释的积极意义。

其次，具体到就业性别歧视的判定标准及其构成要件上，由于算法歧视具有隐蔽性特征，且女性求职者与用人单位之间的关系往往处于不对等地位，故应当继续沿用间接歧视判定标准下的举证责任倒置规则，即由被告方承担举证责任。但前文提到，传统的就业性别歧视判定规则与责任机制之所以无法有效应对算法歧视问题，关键变量即在于算法供应商等第三方主体的介入。依据《妇女权益保障法》的规定，当前就业性别歧视公认的歧视主体是“用人单位”。即便不讨论算法歧视的情形，这一歧视主体要件所涵盖的主体范围也是不全面的。例如，有学者指出，由于现实生活中存在不同的用工形式和招录方式，就业服务机构、劳务派遣中的用工单位等也可能对求职者的就业机会公平产生影响。因此，宜将实施就业性别歧视的主体拓展至对就业机会有决定性影响的其他用人单位和个人。在算法歧视的场景下，这种观点同样具有价值。在利用算法进行雇佣决策时，用人单位往往将雇佣决策算法的优化与设计工作委托给算法供应商等第三方机构，用人单位通常仅负责制定抽象目标与收集、提供训练数据集;第三方机构的算法程序员除了设计算法并进行调整、优化外，还负责特征选择、设备维护等关键工作，从而对算法雇佣决策过程和结果具有关键性影响。可见，尽管用人单位提供了作为决策基础的训练数据集，但相较于算法程序员，用人单位依然缺少对算法雇佣决策过程的充分参与，其对算法内容的理解也可能不如算法程序员般深入。此时，若仍然由用人单位作为就业性别歧视的单一主体，有违公平原则与权利义务对等性的一般法理。因此，在判定算法就业性别歧视的过程中，应当将对求职者就业机会可能产生重要影响的算法供应商等第三方机构纳入歧视主体的范围内，使其参与到算法解释、举证质证、责任分配的过程中。这样不仅能使法律责任的分配更加合理，也有助于女性求职者与人民法院等审查主体对算法内容形成更为准确的理解，有助于争议和问题的解决。

（三）算法权力规制与技术性正当程序的引入

判定是否存在就业性别歧视，是对女性平等就业权进行事后保障和救济的步骤，但在算法雇佣决策场景中，由于算法就业歧视的隐蔽性、结构性、延续性等特征，事后救济并不能充分落实对女性求职者平等就业权的保障。这是因为：算法雇佣决策涉及对事实的转译和大数据的处理，一旦造成歧视结果，因果关系链条将非常复杂，当事人举证将变得非常困难。如果一味强化用人单位的责任，表面上看似乎可以保护女性求职者的平等就业权，但企业等用人单位的合规成本将不断增大，反过来抑制企业的发展，挫伤用人单位等主体合理开发利用数字技术的积极性。因此，反歧视法所施加的社会规制，需要保障女性求职者的平等就业权，也需要避免形成对市场机制的抑制以及对算法等新技术的应用。

从这个逻辑来看，在算法时代，从法律责任维度对就业性别歧视判定标准及责任规则进行优化固然重要，但遵循技术逻辑，针对算法雇佣决策过程而设置新的事前、事中规制更为重要。通过对用人单位等主体在算法雇佣决策过程中的各项行为进行事前、事中规制，可实现合规成本与法律责任在不同阶段、不同主体之间的合理分配，尽可能防止算法就业性别歧视的“风险”（risk）转化为“危险”（danger）或“损害”（damage）。这一规制路径既可以避免事后救济环节相关主体承担过度证明责任，控制损害结果，同时也有助于实现对女性求职者的全过程保护。沿着这一过程规制路径，笔者尝试引入“技术性正当程序”概念及其相关机制，为应对算法就业性别歧视的过程规制提供一种新思路。

1. 引入技术性正当程序的可行性论证

二十一世纪以来，自动化系统在行政决策中得到广泛应用，也引发学界关注。支持者认为，自动化行政可以节省行政成本，提高行政效率，促进决策标准统一;反对者却指出，自动化行政可能造成个案裁决与规则制定的混同，剥夺个人在行政决策过程中享有的各项程序性权利，如获得通知、参与评论等权利，侵蚀了传统正当程序原则的基础。在这样的背景下，美国学者西特伦（Danielle Keats Citron）提出了技术性正当程序的概念及其机制框架，主张将自动化系统的适用范围限制在适用规则———而非适用标准———进行行政决策的范围之内，并通过提升自动化决策系统嵌入规则透明度、可问责性与准确性等要素，保障個体获得有意义的通知，充分参与到听证等程序环节中，从而拥有对抗自动化偏见及其损害的能力。技术性正当程序概念框架为解决算法就业性别歧视的判定与规制问题提供了一种思路。但在具体讨论这一思路之前，我们首先需要简单分析将这一概念引入到本文所及论题范围内的可行性。这是因为，技术性正当程序的适用背景是为了解决自动化行政领域所出现的程序正义问题，所涉及的法律关系是个体与公权力主体之间的关系;但在算法就业性别歧视场景中的法律关系，并非行政法律关系，而是用人单位、算法供应商等主体与求职者之间的关系。尽管在某些情况下用人单位或第三方机构也可能是公权力机关，但私营企业等私主体作为用人单位居多，这就提出了是否可以将技术性正当程序框架引入到就业歧视场景中的问题。

行政决策是行政主体行使行政权力的一种方式，行政法律关系源于这一过程中所产生的各种权利义务关系。在行政权行使过程中，行政主体往往享有处罚、强制等职权，而行政相对人在享有知情、申辩、参与等权利的同时，也具有配合、服从等法律义务。相较于民事法律关系，行政法律关系中的当事人在许多情形下无法自由处分权利，权利行使受到公共利益等因素的制约。因此，行政法律关系呈现出意思表示上的单方性，双方的权利义务也处于不对等状态之中，这就使得行政法律关系在本质上区别于私主体之间的民事法律关系。但在算法应用场景中，私主体之间的平等关系受到了冲击。例如，通过掌握大数据与算法技术等“数字权力”，许多大型平台和企业等私主体获得了“准公共权力”，得以单方面控制、处理个人信息，进而影响到个人信息主体的其他合法权益。在算法雇佣决策语境下，用人单位可以通过各种途径掌握大量有关求职者的数据，并借由人工智能算法对求职者进行画像、筛选，决定其是否能够获得就业机会。而求职者虽然表面上拥有选择是否提供个人信息的自主权，但个人难以完全理解算法雇佣决策的全部技术细节，无法充分考察算法雇佣决策可能导致的歧视风险，并据此作出迅速且准确的反应。与此同时，用人单位与求职者之间固有的不平等地位，使得求职者为获取就业机会不得不面对数据和算法技术导致的“技术鸿沟”，失去对个人信息及相关权益的决定权。

具体到性别歧视问题而言，女性长期以来在就业领域所遭受的结构性不平等，在上述技术鸿沟背景中被进一步放大，女性求职者更加难以获得自主选择和防控歧视风险的能力。

上述基于数字权力和“技术鸿沟”的观察表明，虽然就业场景中的法律关系不同于个人与行政机关之间的法律关系，但从现实角度看，二者均呈现出权利义务不对等的特征。这种特征使技术性正当程序与反算法就业性别歧视在价值目标上产生了一个明显的交汇点，即对处于不对等关系中的弱势一方给予倾斜保护，以实现对就业平等权的保障。技术性正当程序通过技术对技术进行制约，从而实现对“人”的赋能②，这延续了传统正当程序的价值理念。美国学者杰里·马肖（Jerry L. Mashaw）曾总结并提出了正当程序“尊严理论”。该理论指出，政府制定决策的方式或程序，决定了人的内在价值是否得到尊重。他认为，主张正当程序的当事人所提出的实体法律请求是什么，与其程序权利无关，关键看程序是维护了人格尊严还是相反。技术性正当程序的理论建构与机制设计，是面对“工具理性”可能侵蚀“价值理性”的情形而对正当程序的更新升级。自动化决策技术不仅应用于行政过程，也大量应用于其他场景中，算法雇佣决策便是一个典型的场景。引入技术性正当程序的概念框架，对算法雇佣决策的过程进行控制，具有必要性和可行性。

首先，反就业性别歧视法与人的尊严、平等权等核心价值相联系，通过排除性别这一在多数情况下与劳动能力无关的特质，赋予个人平等就业机会，进而保障人的生存权、发展权、人格尊严等基本权利。

其次，通过技术性正当程序对算法就业歧视进行规制，可进一步强调求职者作为人的主体性，避免求职者沦落为被工具所支配的对象。因此，在所调整的法律关系与基本价值目标上，技术性正当程序与反算法就业性别歧视法存在高度耦合，这为二者的结合提供了较为充分的合理性依据。事实上，在提出技术性正当程序概念后，西特伦（Danielle Keats Citron）与帕斯夸里（Frank Pasquale）就将这一理论的适用场域，从行政过程延伸至自动评分系统及自动预测算法下的个人决策，以将正当程序透明、准确、问责、参与和公平的基本价值引入到对评分系统的审查中，防止产生不公平的结果。这也佐证了借助技术性正当程序原理对算法就业性别歧视进行规制的可行性。

2. 权力主体配合下的“理解—参与”模式

在早期技术性正当程序的框架中，其核心机制是要求行政机关在自动化决策系统中嵌入透明度与可问责性的要求，从而使行政相对人获得被告知的机会，并且在能够理解自动化决策系统基本原理的前提下进行陈述和申辩，以实现对自身权益的过程性保护。随着自动化决策技术的广泛应用，上述机制框架与技术性正当程序相关理论不断拓展，延伸出更为多样的价值原则与程序机制。综合相关研究，笔者认为，可以将技术性正当程序的核心机制归纳为一种“理解—参与”模式。该程序模式的第一步是“理解”，其具体要求是：以对算法的合规审计追踪为基础，要求算法供应商向公众或其他适合主体公布算法的源代码，并对算法系统进行测试，以帮助当事人和公众能够理解算法所使用的数据集与运算逻辑。第二步是在理解自动化决策原理和逻辑的基础上，当事人能够有效“参与”到程序中，这包括当事人获得充分的、有意义的告知、陈述、表达意见，以及获得救济的程序设计。也就是说，当事人不应该仅仅成为自动化决策的被动接受者，而应该具有必要的主动参与决策过程的机会和程序保障。这实际上是要求：针对个人的自动化决策，必须辅以行政官员的审核和干预;为了防止行政官员对自动化的过度依赖及偏好，应要求行政官员对应用自动化系统决策的必要性和合理性进行说明，并对由自动化系统处理的事实或法律依据进行解释，尽可能克服自动化偏见的影响。回到本文所讨论的问题，同样可借鉴这一套机制框架，结合反就业性别歧视的特殊要求，引入权力主体配合下的“理解—参与模式”。此处的权力主体指的是用人单位等算法权力主体，该模式以对女性求职者的程序赋权为核心，兼顾对企业等主体所负成本与责任的合理分配，通过合规审计追踪、算法解释等方式，帮助女性求职者尽可能地理解算法雇佣决策的运作过程，并在此基础上充分获知算法雇佣决策的结果及其理由依据。同时，通过拓宽参与渠道，使女性求职者能够有效表达其对决策结果的意见，甚至是参与到算法决策规则的调整中，获得更充分的对话、交涉等能力。该模式的操作机制包括理解和参与两部分。一是尽可能提升算法决策系统的原理、逻辑、数据集等要素的透明度和可解释性，便于当事人理解算法决策的过程和逻辑;二是在理解的基础上，保障求职者获得知情和参与的机会，有效参与到算法审查、算法雇佣决策规则与系统的设计过程中。同时，作为上述措施的制度保障，应对用人单位进行的雇佣决策活动进行合规审计追踪，要求其保存合规审计轨迹。

“理解—参与模式”是技术性正当程序的核心机制，但以数据和算法为核心技术的自动化决策具有很强的专业性和很高的技术门槛。对算法决策的过程中，一般公众既难以“理解”，更难以“参与”。因此，将技术性正当程序嵌入到自动化决策的过程中，需要引入专业的、技术的手段，以技术制约技术，从而间接地实现对个人的技术赋能。

首先，合规审计追踪（audit tracking）是技术性正当程序机制的基础。判断用人单位所适用的算法系统是否可能或已经输出了就业性别歧视，需要审查该系统所使用的训练数据集及源代码，必要时还需要算法程序员就目标转译、特征选择等步骤进行说明，这构成了合规审计追踪的内容。在美国，广泛使用的申请人跟踪系统（applicant tracking system， ATS）为算法雇佣决策下的合规审计追踪提供了一定的可行性支持。ATS 最初的作用是保存记录以及证明公司在招聘过程中的合规，而后发展出过滤与筛选简历的功能。公司借助ATS 可以记录求职者的身份，进行日程、面试等信息的管理，并密切关注求职者的性别、种族等信息，用以证明没有发生歧视。ATS 甚至可以跟踪求职者访问招聘网站的次数、曾经浏览过的帖子等信息作为招聘的依据。作为参考，当用人单位使用与ATS 类似的人工智能系统进行雇佣决策时，也可以要求相关算法权力主体记录所有求职者的个人身份，以及其借由大数据所收集到的求职者的相关信息，以明确数据的来源与内容。还可以要求相关算法权力主体记录算法在预测过程中所建构的模型、进行的推论与得出的结果，从而在最大程度上提升人工智能算法的可验证性。对算法权力主体提出合规审计追踪的要求具有多重意义。一方面，在“理解—参与”模式的机制框架内，该措施可以帮助女性求职者形成对算法雇佣决策过程的理解，并为源代码公开、算法审查等措施提供基础。另一方面，就事后对歧视的判定与救济而言，合规审计追踪使算法合规证据最大限度地得到保存，为被告方后续的举证提供了便利，降低了其重新搜集证据的负担与无法举证的风险，也为法院等主体的审查提供了依据，在一定程度上有助于消除自动化偏见所带来的影响，最终促进对女性求职者个人权益的保障。

其次，通过公开算法源代码，抑制“算法黑箱”。在合规审计追踪基础上，要使求职者获得有意义的通知和参与机会，关键在于提升算法决策系统的透明度，这有赖于算法源代码的公开以及充分的算法解释。鉴于源代码的公开与商业秘密保护之间可能存在冲突，且普通公众往往难以理解源代码的原理与逻辑。因此，算法源代码将主要是对行政机关委托的第三方专业机构公开，由第三方机构在技术条件允许的范围内审查并判断算法权力主体是否对训练数据集进行了充分的处理，算法所生成的模型是否与性别这一受保护特征产生了联系，以及是否可能输出带有歧视性的结果等内容。在此基础上，可委托审查机构生成审查报告并予以公示，其中包括审查的内容、算法决策系统可能对求职者产生的不良影响以及算法优化建议等，以帮助求职者对算法决策系统形成更为全面的理解。

再次，通过算法解释的义务性实现对算法决策进行监督。算法解释应面向当事人、公众、第三方审查机构以及人民法院等主体。区别于以模型为中心的算法解释，实践中的算法解释应当以主体为中心，其内容不仅涉及算法模型的性能指标、算法架构设置的全局逻辑等内容，更应聚焦算法与数据可能对主体带来哪些影响②，从而将算法可解释要求区别于算法源代码公开。整体而言，算法解释应围绕算法决策的过程展开，该过程既包括目标的制定、训练数据的收集与选择等算法开发前的预备工作，也应包括算法本身的优化设计与后期的应用等步骤。在这一过程中，不同的利害相关方可能承担着不同的任务，为实现责任的合理分配，减轻相关主体的合规负担，可以根据不同利害相关方的角色，設定具有差异性的解释义务。例如，用人单位作为算法的使用方，需要解释使用算法决策系统的目的并证明其正当性;同时，应解释由决策目标所转译出的可测量特征及结果变量与目标之间的相关性，满足“真实职业资格”等相关要求。根据个案具体情况，用人单位如果是政府等训练数据集的提供方，应说明训练数据集的来源以及数据经过了什么样的处理，从而证明其已尽可能地排除了数据本身所内含的、既存的结构性偏见，使数据满足性别中立性、代表性等要求。又如，算法供应商或算法程序员作为算法优化设计过程中的关键主体，应对算法优化设计的方案进行解释，并对使用算法决策系统可能产生的风险进行评估，也可以要求其对不同方案的公平性进行比较，并说明最终方案所具有的优势等。

最后，通过对传统雇佣决策过程的技术和流程改造，提升求职者在算法雇佣决策全过程的参与和利益竞争能力。在传统的雇佣决策实践中，作为利益主体的用人单位在制定招聘标准、选择招聘方式时不可避免地受经济效益驱使。但雇佣决策同时涉及求职者，特别是女性求職者这一弱势群体的重要利益，影响女性求职者平等权与就业权的实现。传统的雇佣决策过程已经发展出一套多方利益权衡机制，在算法时代，我们不应当完全抛弃传统和经验理性而另起炉灶，而应当在考虑技术变迁基础上对传统机制的优化。在算法雇佣决策场景中，法律制度的优化，恰恰需要重申和坚持价值理性立场。数字化和算法技术所代表的工具理性，应当有助于价值理性的落实，而不是损害传统的价值理性。这意味着算法雇佣决策的处理模式应当维护公平、平等等社会价值。结合价值目标和算法技术的特征，可以对传统的雇佣决策程序进行优化，除了委托第三方机构进行审查之外，应充分保障利益相关主体的知情权、表达权、参与权，例如，参与到招聘标准以及算法雇佣决策系统的设计和优化过程。遵循这一思路，用人单位可联合算法供应商等主体，在充分解释算法雇佣决策系统的基础上，通过公开收集意见、举办见面会等方式，就招聘的方案及目标、算法雇佣决策中应予排除的信息类别等内容进行协商，充分收集求职者、专家和公众的意见，借助广泛的社会协商民主机制抑制歧视风险。在招聘过程中和招聘程序完成后，应接受求职者的申诉与反馈意见。鉴于用人单位所面对的是十分庞大的求职者群体，在所参与的技术实现路线上，除接受上门询问、电话咨询外，在国外已经有用人单位使用人工智能聊天机器人对求职者意见或问题进行答复。借助类似技术对有关算法雇佣决策的基本原理、逻辑、录用人群比例等问题进行解释，可有效保障求职者的知情权、表达权、参与权和监督权。同时，在对算法供应商等第三方机构进行合规审计跟踪或人民法院进行审查的过程中，也可以要求审查主体充分说明其结论在多大程度上受到算法雇佣决策系统的影响，确保求职者的诉求得到了充分的、无偏见的考量。

需要注意的是，在上述场景下，无论是委托第三方机构等主体进行审查和解释，还是要求用人单位等算法权力主体进行源代码披露、算法解释，这些反就业性别歧视的义务落实都可能需要付出高昂的成本，进而影响到技术性正当程序机制在实践中的应用。但正如西特伦（Citron）提到的，对自动化决策相关案件中正当程序的要求进行成本—收益分析，需要重新考虑“固定成本”和“可变成本”的关系。

在自动化决策相关案件中，在少数个案中引入技术性的合规审计、专家证人，以及对系统中的软件缺陷与无效规则进行识别和处理，意味着更大的固定成本;但是，一旦数据特征得到合理化，算法模式得到改进，未来的算法决策中对上述改进的复制和应用几乎不会增加可变成本。这意味着，考虑算法决策程序改进的成本，不能局限于个案，而应该从规模效应上对程序改进的成本进行核算。如前文所指出的，技术性正当程序的“理解—参与”模式，可以带来更好的社会规模效应。在该模式下，用人单位等算法权力主体承担了与其角色相匹配的合规成本，但通过落实合规义务，可以降低算法决策中性别歧视的发生风险，从而降低诉讼成本以及承担高额赔偿的风险，并维护良好的社会声誉，增加企业竞争力和影响力。而女性求职者也因此得以从性别歧视案件沉重的举证责任中得到解放，在获得知情权、表达权和参与权的基础上最大限度地免受歧视行为的侵害。这一综合成本收益分析框架可在一定程度上缓解“制度优化阻碍算法技术发展”的担忧。

五、结论和讨论

可以预见，新一轮科技革命和算法技术的不断发展及其在雇佣决策中广泛、深入地应用，将进一步改变我国传统的雇佣决策模式，提升企业雇佣决策质量。在这一大趋势下，技术的工具理性如何与社会的价值体系之间保持一致性，这不仅是一个理论问题，更是一个法治实践问题，亟待获取理论和制度的回应。从根本上讲，这是一个“数治”与“法治”如何深度融合的问题。在用人单位的雇佣决策场景中，算法技术已经开始得到应用，但算法雇佣决策的技术逻辑及性别偏见的刻板印象，决定了算法决策中就业性别歧视现象不仅难以避免，而且可能被放大。算法技术在雇佣决策过程中的应用，对传统的就业性别歧视法律制度，特别是性别歧视判定标准、责任分配等关键问题产生了严重冲击。笔者从就业性别歧视的判定标准这一微观角度切入，围绕对性别歧视过程规制和事后救济，提出对就业性别歧视的概念进行扩容，引入“技术性正当程序”对算法雇佣决策的歧视风险进行控制等主张，并设想了相应的操作性机制改进路线图。但毋庸置疑，无论是新型判定标准的适用，还是笔者所提出的权力主体配合下的“理解—参与”模式的建构，都有赖于相关制度的系统性协同，如算法监督机构、第三方审查机构的设立，算法决策程序的运行规则、技术伦理等规范的制定完善等，这些问题仍有待进一步讨论。

与此同时，也应当注意到，新技术带来的新问题固然需要解决，但我们身处的生活世界中原有的结构性问题所导致的困境，或许更具有根本性。例如，如何通过合理分配生育成本与社会资源以增强女性的职场竞争力，仍是消除算法就业性别歧视无法回避的重要议题。

本文责任编辑：林士平

青年学术编辑：杨尚东