人工智能时代算法歧视的程序法规制研究

李梦瑶

西安交通大学新闻与新媒体学院，陕西 西安 710048

国内学者对算法治理的探讨观点众多，石颖从三维视野将算法歧视的规制挑战分为技术建构上的结构性挑战，算法运行上的功能性挑战，平等权消减、算法权力扩张以及法律功能异化的隐藏性挑战。曹博以二元逻辑从内外规制的体系结构、算法运行的“黑箱化”与内部规制的冲突、算法逻辑的相关性本质与外部规制的本质角度分析了传统范式下算法歧视规制的结构缺陷和制度难题。已有的研究对算法失当治理和算法责任规制具有参考价值，但尚有不足之处：第一，缺乏从程序法角度科学界定算法责任的内涵、范畴边界、内容构成；第二，缺乏从歧视生成全周期视角下的系统性、权威性的算法歧视程序法治理范式；第三，结合案例研究较少，对现实观照不足。由此可见，现实困境、理论缺陷和政策风向都呼吁着算法责任治理的程序法规制进一步发展。程序法规制研究在算法伦理治理视阈下典型且聚焦，对算法伦理危机和算法归责制度构建是一种有效思考。

一、人工智能时代算法歧视的内涵演进

（一）算法歧视的生成缘起

20 世纪，计算机科学之父艾伦· 图灵开发出现代计算机的雏形并预见了现代算法的定义：在有限的步骤中产生问题的答案或问题解决方案的系统程序。而歧视指针对特定群体或成员的无理负面、有违公平的不道德行为，算法歧视是数据收集和分析过程本身的产物，即使设计者有最佳意图，数据驱动的算法决策也可能导致歧视性做法和偏见结果。人类社会的歧视多来自消极态度（如历史沿袭的陈旧价值观、阶级不平等带来的差距等）和无意识偏见（如组织或群体文化），人际歧视有迹可循。算法系统中的歧视更抽象、更微妙、更无形，不存在人类歧视的等效信号机制（如愤怒和道德义愤）。带有歧视的算法程序会复制和继承现存的歧视模式，加剧、新增社会根深蒂固的偏见。

（二）算法歧视的类型界分

算前歧视即机器在执行设计者指令的过程中反映了人类的自身的意见和偏见，算法运行隐含着明显的、可复制性的、程序性的缺陷，且这些缺陷导致输出端不公平、歧视性的结果。

算中歧视归咎于机器智能本身，使用者提前植入的算法逻辑和划分规则是正当的，但通过计算机不为人所明析的算法运作，最终出现对不同群体的区别对待，“由数据分析导致的对特定群体的系统性的、可重复性的不公正对待［1］”，通常发生于计算机读取、收集与分析数据时段，也被称作自动化歧视［2］。

研究基于此视角将算法歧视分为歧视发生于算法前（人类建模）、歧视根生于算法（机器建模）、歧视发生于算法后（算法应用）三类，并深度分析算法歧视的滋生原因、规制困境，提出程序法规制策略。

二、人工智能时代算法歧视的滋生肇因

（一）歧视先行于算法设计——有限理性、社会规训与数据偏差

第一，算法歧视是人类意识的延伸，是人类社会的偏见、歧视和刻板印象在计算机这一虚拟世界的映射和转化，是对现有文化中存在的歧视进行归纳或“同构”后形成的数字社会下的文化禁锢和社会禁锢；第二，数据样本质量参差不齐是算法外来歧视的另一重要源头。在算法系统中，数据大多被默认采集，缺乏对最终用途或集体含义的明确取向，从而走向普遍数字行为主义。

（二）歧视根生于算法设计——标签化归纳的技术逻辑、算法黑箱与人机差异

第一，算法的智能化体现在对新数据的归类预测功能，这一功能的底层逻辑是从现有的样例特征中提取、归纳、总结出普适规则。算法歧视就生发于系统不完全归纳和不合理归纳行为下。

第二，代码的编写和审阅高度专业化，技术壁垒会造成算法不透明。算法黑箱是造成算法歧视难以审计、难以监管的重要原因［3］。人工智能的学习能力有限，无法辨别并拒绝语料库中的偏见，如族裔歧视、区域歧视、性别歧视等。算法决策的黑匣子在某种意义上剥夺了公众的选择权和参与权，侵犯了公民基本权利，而无需被问责。

（三）歧视后行于算法设计——数据杂糅、信息茧房与非中立性评估导向

算法在实际运行时会基于不同的数据条件或运行环境产生差异性决策结果。在数据动态交互情境即实施过程中，造成算法歧视的原因可归纳为数据杂糅、信息茧房和非中立的数据评估导向三类。

一是隐私信息和公开数据的杂糅使用。信息化时代，公民的人口学信息和隐私被商业算法平台非法收集、存储并用于开发营利。算法在运行中的决策已超出人为控制，系统会通过挖掘数据样本的标志性特征进行匹配性归纳，并输出差异化指令，将未经科学验证的相关关系强加于主体；二是算法的信息茧房效应。算法通过个性化和差异化服务为平台吸引黏性用户，但过度投用户所好剥夺了用户全面了解信息的机会，平台资本的逐利性不断与算法进行着相互改造、协商与建构。精准刻画用户画像、把握用户心理的手段往往造成过度攫取用户隐私信息，引发标签化分类的算法歧视；三是算法应用主体的非中立性评估导向。信用评估通过交易记录的批量分析来预测用户的违约概率，这一思路多见于自然科学领域的概率统计（如工程师用一千座桥统计接下来可能会塌方的桥），调查结果对调查客体没有影响，但测试违约概率的信用评估会影响评估客体（人）的违约概率。

三、人工智能时代算法歧视的程序法约束困境

（一）歧视生发于设计前——价值偏差、能力偏差与制度偏差难审查

来源于算法开发者、设计者、部署者和应用者（人或组织）的算法歧视均属于人为型算法失当，算法开发行为主要受到主体价值认知、道德判断和制度文化的影响。价值偏差上，算法使用平台多秉持纯粹自立原则，追求自我利益最大化，完全忽视算法对利益相关方诉求和社会价值的关切，甚至不惜踏破社会道德底线牟取暴利；能力偏差从算法设计者出发，要求其不仅要有算法编码技术，还有具备审视算法是否符合社会利益的能力，对于敏感议题、引诱型设计、伦理缺陷设计有感知力，减少问题算法程序的诞生。制度审查上，当前广泛部署的算法多采用商业逻辑，缺乏社会责任制度约束，算法开发者完全处于相对“自由”状态。

（二）歧视生发于设计中——算法逻辑与商业秘密难公开

在数据保护适用惩罚性赔偿案中，数据类经营信息符合商业秘密构成要件的，应予保护，审查中应结合数据组成和行业特征认定其保密性、秘密性、商业价值。网络原始数据组成的衍生数据或大数据，或网络公开数据结合其他尚未公开的内容组成新的数据信息，可依据秘密性要件审查其是否构成商业秘密。数据类信息应结合行业现实状态及载体的性质，保密措施的可识别程度，认定保密措施应以适当为标准。直播平台中奖数据反映经营者特定经营策略及经营效果，体现用户打赏习惯和消费习惯等深层信息，可为经营者提供用户画像，吸引流量，获得竞争优势，具有商业价值。

1.先期的完全成本保险试点。2018年4月，按照我国农业农村部、财政部发布的2018年财政重点强农惠农政策，玉米、小麦、水稻三大粮食作物完全成本保险试点已经正式实施启动，与之配套的《中央财政农业保险保险费补贴管理办法》也明确了对三大粮食作物的更大支持力度。在原有农业保险风险保障主要覆盖直接物化成本的基础上，先期于13个粮食主省200个县试点保障金额纳入地租的完全成本类型农业大灾保险基本已经成为共识。

（三）歧视生发于实施中——算法损益与责任主体难明确

规制算法歧视最基本的考虑是归因和责任分配，让相应实体对其决策和算法输出负责。算法歧视层面的约束难度在于：第一，算法歧视造成损失伤害难以具象量化；第二，跟踪算法歧视的输出路径不易，当前技术无法对算法黑箱彻底解密；第三，责任分配不易，全球化背景下，算法的设计涉及多方主体的共同努力，在负责设计算法的实体没有预料到的情况下，其他实体可以出售、复制、修改或使用算法的核心源代码。一旦算法造成伤害或损失，往往难以划分、识别和追究算法相关责任主体的责任。

四、人工智能时代算法歧视的程序法规制路径

（一）针对算前歧视的伦理审计与公平性约束

1．正当程序原则

公权力领域，智能化进程加快也催生了算法歧视。提高公权力领域算法运行的正当程序要求是从制度偏差规制算法歧视的有效途径。在算法决策参与司法活动时，不同应用场景的算法要遵循严格适配的程序要求，例如犯罪风险预测算法会导致犯罪治理活动启动时点前移，对侦查前带有预测性证据的使用应当作出严格限制；在审判电商平台检索服务的算法是否公平时应充分考虑电商平台的功能定位、人工智能的发展阶段等因素，既要考虑到消费者对平台推荐结果的依赖性进而严格审查检索算法的合理性，也要充分尊重电商平台的经营自主权。

此外，算法黑箱的善意使用应该被尊重和允许，例如为保护高校贫困生的自尊而利用算法黑箱进行的扶贫助学，高校通过后台算法来监测学生每月在食堂的消费频次、每顿消费金额来判定是否贫困，依据算法结果为贫困生打入补助。即利用算法“歧视”规避公开评定与资助引起的歧视。

2．实施过错举证责任倒置

在我国民事纠纷中，商品交易中的诉讼一般由被侵权人举证，但是人工智能下的算法歧视纠纷，公民相较于开发者、使用者处于弱势地位，算法歧视诉讼程序的取证步骤难以实现，可以尝试利用举证责任倒置原则，从“法无规定不可为”到“法无禁止皆可为”，让算法程序的设计者来举证证明自己算法程序的正当性，通过自己披露各项信息、报备数据以及其他平台条例，证明自己设计的算法是合理正当地获取数据，帮助用户决策，并对可能出现的算法歧视自律自查。如果设计者不能充分证明，就存在违法的可能。

大数据产品或服务提供者使用公共数据时，应遵循来源合法原则、注重信息时效原则、保障信息质量原则、敏感信息校验原则。对公共开放数据的不正当使用没有尽到必要的注意义务，导致法人或自然人等原始数据主体的合法利益受损，公共数据使用者应承担相应的法律责任。平台可以通过委托鉴定的方式推演算法逻辑，必要时可通知鉴定人和双方的技术辅助人员出庭做出专业解释，辅助司法程序顺利运行。

（二）针对技术本身的涉密证据保护制度与算法解释制度

1．建立涉密证据的保密制度

第一，如有必要法院要依据实际情况限制证据交换范围。如果平台或者算法设计者提供的证据包含了企业机密，这部分证据可以规定不允许原告，即对方当事人查阅、摘录或者以任何方式复制。但法院作为司法机关有权裁决证据的证明力，这在一定程度上可以打消被告方公开数据的担忧，又能保证事关算法歧视的证据不因既定的交换程序而给企业带来损失。

2．算法解释制度

保证公私领域算法决策的可见性，即数据主体享有“知情同意原则”，数据主体应当充分意识到自己的法定权利，数据控制者应当充分遵守自身的法律义务。平台行使算法需事先披露治理机制、管理规则以及算法相关技术原理，而且应当保障用户的知情同意，同时亦应赋予用户对算法自动化决策提出质疑和申诉的权利。当事人对算法参与环节、干涉方式和程度有知情权，且有权合理怀疑算法歧视的存在，算法必须征得当事人对于自身数据的合理采用的明确同意。

（三）歧视生发于算法设计后——引入庭前会议、认定责任主体、拟行公益诉讼

1．引入庭前会议制度

庭前会议适用于“证据材料较多，案情重大复杂，控辩双方对事实、证据存在较大争议的以及社会影响重大的案例”中，算法歧视诉讼案可以借鉴这一思路。庭前会议的工作涉及明确当事人诉求、调查收集证据、组织交换证据、归纳争议焦点、进行庭前调解等等。考虑到算法歧视案件的特殊性，法官可以通过庭前会议制度梳理基本案情，对于有意思自治的双方当事人可以进行调解，当算法歧视诉讼案件的双方当事人争议过大，或案件较复杂需进一步审理，再将案件转入审理程序。

2．认定算法歧视的责任主体

明确算法歧视案件的责任主体是规制算法歧视的必要步骤，但由于算法领域本身的复杂性，责任主体认定难以落实。参考《中华人民共和国民法典》侵权责任编的思路，算法歧视案例的责任主体可以分为三类，即算法开发者、算法使用者和侵权责任人。

纠纷因算法内部造成时，责任主体为算法开发者；纠纷起于算法使用过程，甚至是使用者恶意滥用算法，需追究算法使用者责任。在利用程序法规制时，单独数据利用行为，应当结合行为的方式、手段、目的、后果等综合分析。适用《中华人民共和国反不正当竞争法》“一般条款”判断数据不正当竞争行为，可以结合原告主张保护的数据类型及程度、被控行为给原告造成的损害程度、数据获取行为突破原告限制措施的情形、数据利用行为的创新程度进行判断。若算法的开发者即使用者，二者一致，那就基于《中华人民共和国电子商务法》来追究经营者，即使用者的责任。

3．建立算法侵权公益诉讼制度

主观上，大数据算法歧视的技术门槛决定了大多数用户群体难以真正深度了解和直接接触，甚至对于事后的救济途径都缺乏了解。所以开通算法救济渠道、建立行之有效的算法诉讼公益制度、为算法歧视受害者提供专业的救济是直接且行之有效的解决办法。

客观上，我国程序法的当事人适格理论，是指对于特定的诉讼可以自己的名义成为当事人的资格。适格当事人就具体的诉讼作为原告或者被告进行诉讼的权能。算法可能因未实际享有实体权利、承担实体义务被判定为非正当当事人，算法歧视案件难以被受理。在现有法律救济手段存在盲区的环境下，公益诉讼制度立足于启动对特定侵权公益行为的国家追诉。在现今算法歧视治理法律缺位及失灵情况下，算法歧视公益诉讼有望成为人工智能时代公益诉讼制度在算法歧视治理层面的预设性尝试。

在我国，公益诉讼制度分为民事公益诉讼和行政公益诉讼两类，当算法设计者和使用者的算法侵权行为被起诉，原告要求被告停止侵权行为、赔偿相关损失、消除或者降低算法歧视带来的消极影响时，适用民事公益诉讼；当算法歧视行为的过错更多在于行政管理部门的不作为甚至放任，原告要求追究管理部门责任，要求管理部门履行职责时，适用行政公益诉讼。

在立案模式上，算法歧视公益诉讼可仿效环境公益诉讼采取综合立法与分散立法相结合的立法模式，算法歧视的公益诉讼可以对两部基本法的司法解释进行延伸应用；受案范围要结合层出不穷的新型算法歧视不断扩展，学者刘玉绰主张应该将以催化算法歧视为目的的个人信息侵犯行为，算法产生的族群歧视、性别歧视、年龄歧视、大数据杀熟、算法定价共谋纳入算法歧视公益诉讼范围。启动主体资格层面，因为我国现行程序诉讼法未赋予公民公益诉讼的原告资格，且权力下放可能导致滥诉，故将启动主体限定为法定机关、有关社会组织和检察院，同时结合《中华人民共和国网络安全法》《中华人民共和国数据安全法》《中华人民共和国电子商务法》等单行法，将算法歧视公益诉讼的启动主体及“辖区”判定标准具体化、标准化。算法歧视公益诉讼的诉前程序应采取公益行政公益诉讼诉前程序优位，给予行政机关更多自主权，从而实现经济、效率和尊重。

五、结语

在算法日益涉足人类决策尤其是司法决策的时代，尽快建立相应法律责任机制，预防、削弱或杜绝算法歧视乃当务之急。本文从程序法规制视角出发，从算前歧视、算中歧视、算后歧视三个阶段总结规制困境，提出伦理审计与公平性约束、涉密证据保护与算法解释度、设立庭前会议、认定责任主体、拟行公益诉讼等路径，在司法实践中构建更加具体可行的应对措施，避免算法成为异化的决策体系，让公平公正照进虚拟，实现科技进步与平等权保护的平衡。