性别视角下算法权力异化的治理路径

董少平,马丽欣

(1.中南财经政法大学 国家治理学院，湖北 武汉 430073 2.中南财经政法大学 法学院，湖北 武汉 430073)

数字时代,数据成为社会生产要素,而算法决定了数据的价值[1]。算法在一定程度上替代了传统的决策模式,通过指令、学习即可在短时间内做出相应的决策,给社会治理结构带来了影响。针对此,有学者提出了“算法权力(algorithmic power)”的概念。“算法权力”不同于“国家公权力”,是拥有算法技术的主体利用自身的技术优势与海量数据收集,最后指引或直接代替主体做决策[2]。通过条件套入式的自动化决策,将“人”作为客体,对人进行“预测”“画像”“评估”。在就业过程中,算法自动化决策会对劳动者进行画像,构建出“完美劳动者”的形象,然而数据模型难以依据特定人进行变化,算法决策也往往会在这种模型构建中嵌入无意识的性别歧视[3]。这样的歧视隐藏于算法之中,难以通过传统的判断方式或者识别手段进行认定。

算法权力的出现打破了原有“权利”制约“权力”的平衡,使得公私二元界限变得更加模糊。从“权力-权利”的失衡出发,以算法决策带来的女性在劳动与就业中的性别歧视现象为视角,以“权力-权利”的再平衡为基本路径,坚持算法技术的蓬勃发展与权利平衡的双重驱动,从而实现算法权力异化的有效治理。

一、算法性别歧视视角下劳动就业领域法律保护的失灵

人类社会最初的劳动分工就具有很强的性别分工态势,女性负责生育、照顾家庭成员,男性则负责为家庭提供物质来源,从而形成了“男主外女主内”的最初分工印象[4]。随着工业革命的到来,男人成为工厂、矿山、铁路等社会生产空间内的主要劳动力, 进一步加深了社会对性别认知的刻板印象。这样的性别画像认知长期主导了劳动就业市场,并且由于生理原因,女性不得不担负一定的生育孩童的社会职能,这就导致女性很容易遭遇“职场天花板”。以往的性别歧视是显形的,通过在就业时招聘公司以性别为筛选标准等方式呈现,当前算法智能决策下的性别歧视则更加隐蔽。

(一)劳动就业领域算法性别歧视的形成机制

算法决策即以算法作为运行工具展开的智能化自动化决策。算法在劳动就业领域中的自动化决策主要包括三个阶段,一是数字化处理劳动者的基本信息;二是根据劳动者的信息分析、预测其个人特征,即画像预测;三是评估结果,对其是否满足该岗位的需要进行匹配或薪酬划定。劳动者获得的就业机会、薪酬标准等都依赖于算法自动化决策。在理想情况下,算法应当具备技术中立性,但事实是算法不仅没有中立理性地做出决策,反而加剧了隐蔽的性别歧视。

算法从开发到投入使用需要经历录入需求、数据处理、数据集构建、模型设计、模型训练、测试、部署应用等步骤[5]。虽然算法技术是中立的,但是人工智能在运行之前依赖于人的设定与制造,即代码需要人编写,而算法的数据也来源于现实社会。在算法设计至产出结果的周期之中,蕴含着性别歧视的风险。笔者将企业依靠算法自动化决策进行用工决策的过程划分为两个阶段,一是“完美劳动者”形象的生成阶段,二是将应聘者的“画像”与“完美劳动者”形象进行匹配的阶段。

首先,算法对“完美劳动者”进行塑造的过程需要借助现有的数据集以及模型,其前提就是拥有足够庞大且客观的数据集。由于数据集的缺失,目前算法训练开始使用合成数据,合成数据的使用在很大程度上弥补了边缘群体不被记录的问题。从底层运行逻辑来看,合成数据仍需借助原始数据,原始数据之中反映的过去社会的价值也依然嵌入于合成数据之中。长期以来存在男性主导工作领域的现象,依据“成功人士”的标准所收集到的数据集及构建的标准并不完善,表现为女性相关数据缺失。训练数据或馈入系统的数据存在偏见,系统输出的结果也不客观,当决策结果作用于被缺失数据所代表的个体时,就会对之造成不公[6]。若某一群体长期处于弱势,即便数据是客观的、准确的,并且算法架构并无异常,自动化分析系统也会产生甚至扩大偏见。

其次,招聘阶段的又一重要步骤即将应聘者的“画像”与“完美劳动者”形象进行匹配,这就需要算法对求职者的个人特质及行为进行深度学习形成“数字画像”。对企业而言,求职者已成为“透明人”,算法对求职者行为的预测可以直接影响其未来可预期的工作机会与获得更高薪酬的可能性。这就使得一个“处于适孕年龄”的女性首先成为被重点关注的对象,并处于资源分配中的劣势。算法的自动化决策无需通过劳动者所提供的信息而是通过其他数据进行预测与推断,而企业借此规避被判定为性别歧视甚至是违反法律的风险。

(二)算法决策下性别歧视法律规制的困境

各国对反对性别歧视、争取平等的劳动权进行了相应的立法规制。我国《宪法》《劳动法》《就业促进法》《妇女权益保障法》等法律规范也通过成文法的形式确认了对于劳动关系中性别歧视的基本态度与法律规制措施,主要包括三个方面:招录阶段的录用标准及行为、劳动阶段薪酬及资源保障方面的基本要求、发生歧视后的制裁。

首先,在录用标准方面,我国法律禁止以歧视因素作为拒绝录用的理由。例如,《劳动法》第十二条、第十三条规定了性别不得成为影响就业的因素,《就业促进法》第二十七条规定了不得以性别为理由提高录用标准或者拒绝对妇女的录用,《妇女权益保障法》规定了不得在招聘录用中规定男性优先。我国法律规定,在招用过程中不得询问求职者与工作无关的隐私情况。《妇女权益保障法》明确提出,“不得进一步询问调查女性求职者的婚育情况”。其次,我国法律关注女性在劳动过程中是否受到公正对待。《劳动法》第四十六条规定,工资分配应当遵循按劳分配的原则,实行同工同酬。“同工同酬”是平等原则在劳动条件与劳动报酬方面的基本要求。根据《女职工劳动保护特别规定》,企业应当为女性提供相应的基础性保障,不得因女职工怀孕、生育、哺乳降低其工资、予以辞退、与其解除劳动或者聘用合同。最后,从救济与制裁措施方面来看,我国法律通过事后制裁的方式来对违反规定的用人企业进行规制。《就业促进法》第六十二条规定对于实施就业歧视的用人单位,劳动者可以向人民法院提起诉讼。在举证责任方面,《劳动争议调解仲裁法》规定,发生劳动争议,当事人对自己提出的主张有责任提供证据。若在招聘信息发布过程中构成性别歧视,用人单位也需要承担行政责任。

我国现有的法律体系与规章制度,虽然对于算法的应用做了一定的基础性规定,但是仍存在较大的局限性。算法自动化决策具有隐蔽式、嵌入式、不可解释性等特点,这些特点改变了原有用工与招聘方式下的法律规制模式,使得法律规制存在失灵的风险。首先,隐蔽式、大规模的数据收集与提取是进行算法决策的前提,也是实现算法创新的核心[7]。数字时代,人们的一言一行都会通过数字化的形式记录于网络空间,这就使得数据主体对许多算法自动化决策所分析的数据何时产生并不知情。对于女性来说,其在不经意间浏览购物端的“母婴用品”专栏,将可能成为被算法判定为“具有离职风险”的依据。算法将此类数据运用于招聘决策后,无需“询问”即可推算求职者的婚育情况,直接规避“不得进一步询问调查女性求职者的婚育情况”的法律约束。这种隐蔽式的算法决策使得歧视更难以被发觉,即便在实践中被大量的求职者或劳动者所感知,也难以获得证据。其次,算法嵌入式的特点就在于其在网络处理平台的实时数据收集中进行无意识的歧视嵌入。算法嵌入劳动就业的决策中,使得其可以借助自有的决策力与约束力干预企业的决策行为。企业往往会通过对员工的劳动成果进行绩效评估,从而决定未来的资源配置与工作机会,算法决策的全过程嵌入使得数字化逐渐成为评定的依据,甚至唯一的依据。这种资源分配在目前互联网灵活用工平台上更加突出,在企业自由用工环节中优先将有限的工作机会交于男性。这表面上看似符合了我国《劳动法》第四十六条的规定,即“按劳分配”“同工同酬”,但实际上将女性群体逐渐边缘化,使女性难以获得同等的工作机会与劳动机会,“同工同酬”亦无从谈起。最后,算法的不可解释性是企业通过算法自动化决策规避因用工歧视行为导致的风险的有效抗辩,然而目前设立算法解释权仍然有很大难度。其一,算法架构与运用是一项高科技,无论是数据的处理还是结果的生成都无法轻易接触,即形成不可回溯的“算法黑箱”,即便是赋予公民要求网络平台进行算法解释的权利,其往往也难以充分理解与运用。其二,互联网平台收集用户数据往往是以“用户协议”的方式进行,通过“协议”展示,以知情同意的通行说辞,规避平台运营风险[8],从而基于算法自动化决策对用户产生侵害也无需承担责任。其三,算法具体的运算架构仍属于互联网平台的核心机密,因此,自动化决策的设计平台或是使用单位都可以以“商业秘密”为由拒绝公开决策内容与条件。

二、算法性别歧视视角下算法权力与劳动权利的互动失衡

随着大数据技术的迭代,算法技术逐渐演变为具有智能化决策能力的力量,应用者往往是掌握了海量数据要素的主体。基于算法的自主决策能力,可以逐步影响甚至操控人们的行为。海量的数据资源使这种决策能力处于一定的支配地位,于是算法具备了一定的权力外观,即“算法权力”,算法权力的形成使得权利与权力的关系呈现新的态势。

(一)缘起:算法权力与劳动权利的失衡

大多数情况下权力被视为某个主体所产生的影响力或者支配力,通说认为应将权力与统治力视为一体,权力应当作为某一主体成为该领域的中心。在福柯的权力观中,权力并不必然具备公共调动等范式要求。如果一项技术能够改变决策走向乃至对个人利益产生直接影响,其就失去了中立性从而具备了权力属性[9]。因此,算法决策作为权力而存在,打破了原有的个人权利与国家权力二元结构基础上的理论范式。即在权利本位范式中,权力来源于权利,服务于权利,应以权利为界限,必须由权利制约[10]。算法的介入将权力引入了私人场域,算法歧视语境下的劳动就业,破坏了公民获得劳动权与国家保障公民劳动义务的平衡。劳动权不仅表现为劳动者可以通过劳动报酬维持基本生活,还表现为国家与社会应当承担为劳动者提供就业机会的义务[11]。从性别角度出发,实现劳动就业权是女性获得经济独立、获取社会地位的重要手段和重要指标[12]。

权利与权力之间可以相互转换,即“通过权力来确认、保护权利,使得权利得以实现和不受侵犯”[13]。算法权力在劳动领域的应用,体现出基本权利在私人间的效力。算法权力的出现,并且将算法自动化决策应用于劳动权的行使之中时,事实上就已经实现了基本权利在私人间效力的推进。进而言之,公权力主体成为基于个体让与的权利的集合,即共同体权力。这种结构向我们展示了权力与权利的动态平衡规律:权利需要赋予主体足够的权力以保障权利,同时,也应当对权力进行必要的约束,以控制权力行使的范围[14]。在劳动关系领域,当权力行使涉及劳动权时,应当以法规进行侵害救济,加以权力主体以积极给付义务。在公权力与个体权利的平衡状态下,以第三方力量为主体加入原有的“权力”与“权利”的互动之中,从而改变原有的格局[15]。算法自动化决策应用于劳动就业领域,改变了“公权力”与“权利”的二元平衡结构,算法权力的异军突起在权力(利)博弈中逐渐占据了优势地位[16]。由此,权力与权利互动下的算法权力异化,不仅打破了权利与权力的平衡,还对其他权力(利)的行使造成压迫。

(二)焦点:规制语境下的算法权力制约

算法权力的异化在一定程度上将会引发社会的变革,应当意识到算法权力异化语境下应当将算法作为一项“权力”而非“技术”进行规制[16]。目前算法规制可以分为人防、权防、责防、技防几类。人防即以人工审查的方式进行算法评估,例如,欧盟《通用数据保护条例》中对数据保护专员的职责规定:数据保护专员在履职时需要考虑通过算法而实现的数据处理是否具有法律风险[17]。权防是运用最广泛的算法规制路径,即通过设置算法基础权利的方式进行算法规制。责防即以算法责任的制度性安排进行算法规制,而法律责任的分配在法律制度安排中的重要地位也成为理论界的共识。算法责任的分配主要在算法设计者、应用开发者、算法平台、监管人员之间展开。其中,监管人员的责任伴随着权责统一的原则在法律法规中进行了同步设置。在我国,《网络安全法》《电子商务法》《密码法》《电信条例》等都有关于监管部门或监管人员法律责任的专门规定。技防主要是以算法设计的方式对算法本身进行技术性防范,通过深入算法架构层面,从算法设计的源头防范算法风险。

随着算法技术的发展,算法权力在我国的公私场域之中带来多维度的复杂性影响,传统的算法规制机制陷入困境。无论是赋权还是赋责,在人工智能算法阶段,均有可能因主体受制于信息茧房,而无法实现在算法全生命周期的权利。目前的算法规制已不同于互联网规制,以《网络安全法》《数据安全法》《电子商务法》为代表的互联网法律规制框架的最终路径仍然是对行为的规制。然而,很多产生算法权力异化的行为本身是合法的,单纯地以行为为约束对象的规制思维难以适应当下算法发展的现状。同时,目前算法规制的主体主要为负有监管职责的公权力机关,但算法技术的普及意味着简单依靠公权力机关一方力量客观上已无法满足目前发展的需要。

(三)进路:由规制理念向治理理念的过渡

刚性的规制目前难以适用于蓬勃发展的算法技术,“算法权力”作为一项独立于传统二元规制结构的准公权力,其实现资源配置的主体不再是公权力机关,更多资源配置的主体甚至不具有目前法律关系体系中的主体属性。从共同行动的角度出发,先进算法技术主要由各互联网头部企业所开发,算法在劳动就业领域的自动化决策主要应用于第三方有用人需求的企业单位,而现有的监管主体主要是以网信办为中心的行政机关。算法异化风险的主体及责任复合性,需要各主体以共同体的形式承担责任。面对算法风险的不确定性和算法技术与运用的复杂性,若仍以传统的压制为实现规制的路径,则会出现“刚而无力”的现象。从法律制度规范体系建构来看,目前的算法立法规范仍散见于其他法律制度之中,从而出现了体系性不足以及碎片化的现象,难以发挥法律规范的规制功能。因此,治理理念的嵌入,无疑是面对算法自动化决策与法律管控之间互动的优化选择。现代治理更多将视角放置于多元主体并存的条件下,讨论公权力主体与其他社会主体在公共事务管理中的分工,引导不同主体展开协同治理。而在处理社会分工这种复杂的网络关系时,社会主体之间通过相互适应,达成彼此固定的关系,形成一定的社会规范。规范不仅仅是一种习惯上的行为模式,而是一种义务上的行为模式,即在某种程度上不允许个人任意行使[18]。同时,道德规范与法律制度在本质上表达了自我同一性的要求。应建立多元主体参与公共事务治理的系统,并通过一定的规范体系约束合作的形式及内容,即走社会治理法治化道路。

算法在应用于人们的生产生活的同时基于互联网头部企业所拥有及衍生的信息构建了人类社会的权力关系。由于支配性权力的存在,算法自动化决策瓦解了劳动就业中劳动者获得更多工作机会与资源的自由,简历信息筛选也在一定程度上瓦解了劳动者信息获取的自由。许多学者从算法生命周期的视角讨论算法对于社会的影响,认为有效解决算法权力异化的关键就在于在不同周期从算法的主体性与人行为的社会性的互动关系中获得平衡。实现权力的规制需要依靠向公民赋权的方式,由于算法应用场景的不同,不同层次的规制力度也各有不同。权利规制都会在一定程度上造成效率的牺牲,限制技术的发展。因此,以多层次、多领域、多主体、多方式为特征的治理路径则能适应目前算法权力扩张的现状。

三、权力与权利的再平衡:劳动就业领域中算法性别歧视的治理路径

目前,大多数网络社会治理学派的学者都认同社会治理的先进经验同样可以应用到网络社会。但是,对治理理念作用于算法权力异化泛泛而谈难以产生实质性意义,也无益于算法技术创新与算法治理之间的平衡。从现阶段来看,若想在实现算法权力与公民权利的平衡的同时促进算法技术的创新,需要构建算法权力异化的治理路径。

(一)外部:用于劳动的自动化决策三方对话机制的搭建

算法权力的生成包含三方主体,一是代表原始权力所有者的公权力机关,二是掌握海量数据资源与算法技术的互联网企业,三是劳动权的所有者,即劳动者。目前的治理实践中,大部分国家也都关注到多元主体的参与。美国《算法问责法案》开创了对公共事业机构领域算法进行问责的先河,建立了以自动化决策工作组为核心的算法问责实施主体。该主体不仅包括各领域的专业人士,也包括一线工作人员。加拿大《自动化决策指令》也以外部加内部的方式搭建了算法问责机制。然而,在实际治理中,建立三方对话机制仍然受制于算法黑箱等抗辩理由,技术鸿沟未得到根本解决。除此之外,公众所关注或讨论的往往已是算法所控制的,充分的参与机制最终仍然演变为受制于算法的控制形式。

算法治理中多元主体的对话机制仍然需要解决算法技术本身所带来的治理困境,而在劳动就业领域,这种多元主体的共存则更为突出。基于此,应当基于对话机制逐步推进建立治理路径。首先,应当建立可供多元主体对话的制度空间。对话机制的构建已在多国的算法实践中践行,我国在网络领域立法与治理中也同样广泛征求专家学者与社会公众的意见,即积极搭建协同治理模式。例如,在“快播案”中,技术中立成为技术开发方的一项重要抗辩理由,但是技术人员进行算法模型搭建、数据训练等无疑是推动科技创新与产业发展的重要方式,其正当性不应受到质疑。这种抗辩理由的正当性旨在让“技术归技术、市场归市场、法律归法律”[19]。话语平台的搭建应当以主体的准确沟通为目的,打破不同主体的认知壁垒,改变不同利益视角驱使下的主体在算法治理中的相互不理解与自说自话现象。认知壁垒的打破可以从三个方面展开,一是提高算法的可解释性;二是通过向公民赋权的方式提高民众意识;三是通过场景化的方式提升公民对算法的认知与理解,并在此基础上进一步展开分级精细化管理。

(二)内部:反算法性别歧视规范体系的结构性扩容

各国的算法治理制度设计难以形成长效机制,无法将制度优势转化为治理效能,其中,监管力量不足的问题凸显。笔者并不认同以单一的立法论的视角审视每一次科技创新。面对劳动就业领域的算法歧视等,从长远来看,需要从多领域实现对算法性别歧视规范体系的结构性扩容。我国算法治理体系呈现出国家管制与平台责任、个体赋权的复合性治理模式,但算法治理的精细化程度仍有很大的提升空间。以我国2019年发布的《数据安全管理办法(征求意见稿)》第11条为例,该条例在发布后受到社会各界的广泛关注,其回应了长期以来社会公众广泛讨论的“App违规收集信息”“大数据杀熟”问题,打破了传统格式条款授权模式,给予用户与服务提供者协商的空间,规定了若对格式条款中涉及“收集个人信息”的条款不予认同,服务提供者则需要提供其他版本的可供使用的产品的相关条款。然而,该条款对行为模式的规定欠完整,对于不同应用服务中“核心业务功能”与“收集个人信息”之间的必要性并未进行不同场景下的规定,落地难度较大。同样,民众参与算法治理虽然体现了立法与监管程序的合理性,但难以避免地出现舆情裹挟立法与监管的方向的现象。例如,目前涉及算法相关的立法中,部分场景化立法更多着力于民众舆论所关注的“大数据杀熟”“算法监控”上面,并未对公民劳动就业中基础权利的维护进行规范化设计。因此,应当积极推进算法的分级监管机制,将涉及重大民生利益、试错成本极高的情形进行严格管制,以立法的方式进行场景化、精细化管控,而对相对来说并不涉及最紧急的民生利益、不会危害公共利益的情形,则可以辅之以其他治理手段。例如,欧盟即将颁布的《人工智能法案》,将运用AI的场景进行风险等级划定,从而划定出“禁止类AI”与“八个高风险类AI”,并以法律的确定性,促进人工智能的投资与创新。因此,面对越来越广泛应用于不同领域的算法决策治理,不同类型以及不同场景的算法类型决定了算法治理的规则设定不应为单一的标准,单一的赋权路径或单一的监管路径都无法满足算法治理的需要。应在建立多方对话机制的基础上,将真正涉及重大公共利益的领域进行场景化规制,并将监管主体设定为更具有专业性的主体及公权力主体。同时,为了克服单一赋权路径下个体行动存在困境的问题,可以将并未直接对公共利益造成重大风险的领域交由行业协会等私权利主体监管,从而搭建以精细化、场景化治理为内核,以个体赋权与外部监管为路径的多方对话机制。

(三)展望:人的主体性与算法信任的搭建

任何治理路径都需要进行不断迭代升级从而持续释放治理效能,因此,应当从根本上摆脱算法以权力的形式对社会的控制,从而构建不受算法自动化决策控制的治理体系。与其说是算法权力的异化操控了人的行为,不如说是拥有相当数据资源与资本的个体操控了个人的行为,从而形成了“个体屈服于技术”的陷阱。这种技术与数据不仅可以用于传统观念中的核心服务的改善,还能通过用户数量的累积与行为的收集,创造一个符合商品化需求的海量数据库,进而通过数据库开展算法训练以预测甚至操控用户行为,即“监视资本主义”。正如希尔德·布兰特所指出的,这个世界具有双重的面貌:“一个前端(我们看到并主导的世界)和一个后端(为前端提供支持与信息的基本上不可见的计算架构)。”[8]通过后端的运行,可以做出有关于价值衡量、利益选择、可预测的决策,从而主导前端,建立分配特权。随着算法自动化决策在社会生活中的运用更加广泛,平台的自动化决策将对人类社会深度嵌入,产生人的主体性与自治性的难题。

算法治理中人的主体性的建立,需要对算法的角色进行明确的定位,算法技术目前仍无法做到人机共生,因此人机共生的治理主体无从谈起。基于此,从目前来看,发挥算法治理中人的主体性需要对算法应用的界限进行规定,搭建可信赖的算法应用模式[20]。例如,欧盟人工智能高级别专家组起草了《可信赖人工智能伦理准则》,列出了“可信赖人工智能”的7个关键条件。这样伦理底线的设立,强调了人的中心地位,同时将公平正义的理念融入了算法的架构之中。“批判的武器不能代替武器的批判”,同样,算法信任的建立与人的主体性在算法时代的重塑,仍然需要将完善国家制度作为保障人的主体地位与人类自治的基础路径。在算法权力异化时代,资本对劳动的异化是进一步加剧还是消失,不同的政治制度选择也许会导致截然相反的结果。只有通过人民民主制度以及坚持人民治理主体中的人的地位,以人民作为国家的主体,将公共权力始终掌握在人民的手中而非受资本裹挟的算法技术之下,才能避免资本权力与算法权力异化合谋从而形成的“技术利维坦”。

四、结语

人类历史上一次次文明的创造都带来了对现有制度规范的冲击与重塑,算法权力异化带来了原有的权力-权利结构的失衡,同时在一定程度上冲击了社会生活原本的稳定性,也验证了原有规制语境在算法风险中的失灵。面对算法权力的异化,如何寻找到科技创新与算法治理的“平衡点”,是目前算法治理的焦点。本文从“权力-权利”的失衡出发,以算法自动化决策在劳动就业领域的性别歧视为视角,提出治理语境如何应用于算法权力异化之中,从而实现算法时代“权力-权利”的再平衡。本文研究的对象主要为算法自动化决策,或许在不久的将来,人类社会将踏入强人工智能时代,此时,“技术”的主体性是否会进一步增强,社会又将以何种治理方式应对,这都是亟待各方探讨的话题。