论算法权力异化的法律规制

○ 曲天明，陈慧婷

（青岛科技大学 法学院，山东 青岛 266061）

一、问题的提出

随着大数据和人工智能技术的广泛应用，算法正以一种悄然又迅速的方式渗透到人们的日常生活之中，甚至是无处不在。在商业领域里，企业可凭借其掌握的数据和算法技术优势既可对消费者提供个性化服务及信息推送，也可借助大数据及算法及时调整经营战略方式，在避免自身受到损失的同时促进市场经济的良好发展。例如，新冠肺炎疫情防控期间，淘宝、京东、美团等平台与超市合作，为用户提供个人用品和蔬菜水果等上门送货服务，解决了菜农的销售困难和超市经营不善的问题，对我国经济在此期间的发展有所助益。在公权力领域，算法通过对居民信息的合理收集使用，不但能够为政府科学制定相关政策提供技术支持，还能够在重大公共事件发生时利用算法助力公共秩序的维护。例如，政府在新冠肺炎疫情防控期间利用算法查询患者的运行轨迹，从而确认传染源和传染范围，为疫情防治提供了保障。可见，无处不在的算法具有便利生活、提高效率、促进经济发展、维护社会秩序的积极功能。

算法代表着影响和控制。从技术层面上看，算法被认为是中立、公正的，但随着算法技术的不断发展，越来越多的学者意识到，算法蕴含价值判断和价值立场[1]。实际上，算法设计者和使用者会将其自身的价值理念和目的代入算法之中，使算法成为符合其要求的工具，进而通过算法加强对其他主体的影响和控制。从法学视角看，算法由此形成了 “算法权力” 一说。持此观点的学者认为算法权力未脱离传统权力的概念，代表的是一种社会关系，是某个主体凭借自身拥有的资源对他人形成一种强制性的控制力[2]。但学术界也有种观点认为，算法不是权力，而是在社会运行中发挥作用的工具[3]。诚然，从技术层面看，算法不能产生 “权力” 。但在社会关系中，权力是通过支配受体实现主体意志而形成的，具有天然的 “支配力” ，而算法就是借助其技术优势并在社会各个领域行使其支配力。正如有学者所言，算法 “在微观层面上引导、支配着人的认知模式和行为方式，在宏观层面上控制着社会运行方式。”[4]因此，只要具备数据信息和算法技术优势地位的主体都有可能成为算法权力的主体。算法权力主体可分为公权力主体和私权利主体。其中，公权力主体除了可以利用算法权力进行社会治理外，还可能会出现过度收集使用个人数据信息、侵犯公民隐私权以及借算法推卸自身责任等情形。同理，作为私权利主体的企业，在使算法便利消费者的同时，也会出现故意制造信息茧房、数据杀熟等现象，侵犯公民个人数据权力。因而，算法权力若被滥用会带来一系列危害后果，算法权力需要被规制。目前我国尚不存在兼具针对性和可操作性的算法规制法律，企业也未形成算法行业自律，需要公权力对算法权力进行监管。对此，有学者提出个人数据赋权、算法公开等一系列规制措施[5]，然而，这些措施存在规制层次单一的问题。因此，本文拟通过对算法权力的表现形式及其在应用中异化现象的分析和阐释，探讨我国算法规制的现状和不足，以及算法权力规制的可能进路，希望在利用好 “算法红利” 的同时，能够防止算法权力异化带来的风险，为引导并促进算法技术的有序发展提供参考。

二、算法权力应用中的异化

权力虽在政治学中被解释为是一种关系，但却是以一种单方行为而影响他人的一种能力。超级智能算法技术被深度嵌入社会的运行之中，并对个人产生影响，因而具有了权力的效果。算法权力同样具备传统权力的强制性、稳定性特征。两者不同的是，传统权力具有显性特征，而算法权力具有隐蔽性特征。算法权力的隐蔽性是通过算法应用而表现出来的，具体为计算机代码，另外就是企业基于营利目的对算法所进行的加密处理。由此衍生出算法权力还具有预测性和歧视性的特点。算法技术的目的就是通过大数据的分析，前瞻性地预判被动主体的选择，且这种预测极其精准。而企业正是通过利用算法权力，反向对个人数据信息进行筛选而产生歧视性。因此，如果算法权力被异化，就会不同程度地损害公众权益，违背公平、正义等法律原则。

（一）算法权力的隐蔽性侵害了公众的知情权和自主选择权

算法权力作为一种新型权力形态，具有复杂的技术性表象，此表象会使权力的强制性特征得以隐藏[6]。在私权利领域，算法权力逐渐成为企业自身商业秘密的一部分，谁拥有更先进和精准的算法技术，谁就能够实现利益最大化，换言之，谁就具有了同业竞争的显著优势。基于此，作为以营利为目的的企业，披露算法不但不利于其自身利益的实现，甚至会导致商业秘密的泄露而丧失竞争优势，披露成本和所获利益不成正比，因此披露算法不会成为企业的主动追求；即使企业出于某些原因披露算法，也会因披露方式的不正确以及相对人对算法知识储备的不足，而致使相对人无法识别有损害自身权益的行为，算法黑洞便由此形成，并会成为企业规避法律责任的借口。因此，算法权力主体和相对人存在极大的信息不对称，而企业也正是凭借这种信息不对称的优势损害了公众的知情权和自主选择权。例如，近些年出现的大数据 “杀熟” 现象，就是企业针对不同消费者采取不同定价，即通过表面上的明码标价，但实际并非是真实价格的做法侵犯了消费者的知情权。在自主选择权方面，即便人是决策的主体，但很多时候，算法本身也存在不为人所控制且无法解释的逻辑黑洞。此时，机器往往会取代人成为决策的主体，潜在地侵犯人们的自主选择权，从而强化算法相对人的弱势地位，加剧算法控制者和相对方利益格局的失衡。

（二）算法权力的预测性妨碍了自由正义的实现

算法权力的预测性主要体现在以下三个方面：一是体现在社会公共领域。算法是以数据为依托而进行个体的喜好预测。当它用于用户搜索时，会针对不同个体而采取不同的推送内容，虽美其名曰是进行个性化推荐，但实际上却是将用户限制在一个巨大的 “信息茧房” 中。因此，用户所能搜索到的 “信息” ，不过是经过算法 “精心挑选” 后而呈现出来的。而不具有中立性、广泛性和随机性的信息，会使公众接受的信息渠道变窄，长此下去，用户会丧失独立思考和反思自身的能力，个体自由也就难以得到真正的实现。具体到外卖行业，例如美团饿了么等企业会利用算法对外卖小哥的送餐时间进行预测调整，以提高送餐效率。但实际上，送餐人员为了缩短送餐时间可能会采取闯红灯、逆行等错误方式，这就使得算法所收集到的路程时间变短，而算法就会默认此时间是充裕的，进而将送餐时间逐步压缩。而根据外卖行业的行业规律，送餐人员往往会形成一种极力缩短送餐时间的不良竞争，无形中会加速形成一种恶性循环，严重威胁送餐人员的生命安全，从而违背社会保障人权的正义理念。二是体现在司法领域。算法权力的预测性同样也存在违背正义价值的表现。如美国部分法院在司法审判过程中所采用的犯罪风险智能评估系统COMPAS，将黑人具有高犯罪风险的概率错误地评估为是白人的两倍，因此在犯罪情节相似的情况下，黑人罪犯更有可能因系统的预测而被法官判处更重的刑罚[7]，严重地违背法律的正义价值。三是在案件预测应用中发挥着重要作用。目前，我国各地法院开展 “类案类判” 的改革试点，就是依赖于算法权力来实现的。但是，算法权力只能机械地通过前期的 “要素” 提取后的 “认知” ，对已上网的裁判文书进行归类，形成 “类案” 判决的相对一致。因为存在 “数字孤岛” 或者 “数字鸿沟” ，有些 “类案” 中影响判决结果的关键要素被忽略，所以算法权力对案件的预测不可避免地出现缺乏公平的现象。可见算法权力的预测性在实际应用中因受到数据以及算法本身漏洞的影响，而使得预测结果并不具有科学性，甚至会妨碍自由正义的实现。

（三）算法权力的歧视性违背了平等和公平原则

有人认为，算法的技术特征使得算法始终处于中立地位，算法能够最大限度地维护公正，但实际上，算法暗含偏见，甚至会放大偏见[8]。一方面，算法是由人设计的，设计者在算法设计时必然会将自身价值取向带入。例如，商业算法的任务是最大限度地促进交易的达成以追求企业利益最大化，而不是为用户提供更好的服务产品[9]。因此，在企业和消费者的天平上，企业算法必定是倾向企业一方而非保持中立，绝对的公平是无法实现的。但企业的某些做法实质上会违反平等和公平原则。例如，企业为了收集个人数据，向用户提供用户协议等格式合同，使得消费者被迫接受算法的规制而承担不利后果，出现消费者被大数据 “杀熟” 的现象，而此现象就是算法权力歧视性的一种表现。算法歧视在除了商业领域外的其他领域均有体现，前文提到的COMPAS系统，是司法领域中歧视的表现，而某些企业设置的不符合《中华人民共和国劳动法》标准的录用门槛，就是就业领域中算法权力歧视性的体现。

平等的内涵随着时代的变迁而不断变化。现代社会的平等指的是一种全面的、综合的平等，既强调基于民主权利的政治平等，也强调经济资源和社会福利的平等，还包括机会平等和能力平等[10]。而算法权力则产生了一种新的基于知识获取的不平等，即 “信息不对称” ，进而导致了信息地位上的不平等，这不但会影响处于信息弱势地位者的认知能力，使之判断能力出现偏差或降低，而且会不断加剧这种不平等，违背了平等公平等价值理念。因此，为使使算法技术服务于社会，规制算法权力势在必行。

三、我国现行法律对算法权力的规制

（一）现存法律规制缺乏针对性和可操作性

我国目前涉及算法和数据规制问题的法律总结见表1。

表1 我国算法和数据信息法律规制现状

由表1可以看出，我国针对个人信息保护问题作出了较大努力，对算法权力也起到了一定的规制作用，但还是存在针对性和操作性不强的问题。首先，原则性规定较多。例如在数据收集上，法律规定了合目的性、最小范围等原则，但如何准确界定范围和合目的性是实践中需要面对的问题。其次，涵盖的范围极为广泛。算法权力涉及个人信息收集、价格定价以及算法技术设计等众多方面，目前我国虽针对个人信息以及价格定价设置了专门法律加以规制，但依旧存在法条表述模糊、适用性不强等问题。例如，《中华人民共和国价格法》看似可以针对大数据 “杀熟” 问题进行规制，但所描述的价格歧视行为对象为 “经营者” ，因此消费者是否可以纳入保护对象不得而知；企业的算法权力可能涉及行业垄断，但《中华人民共和国反垄断法》规定垄断行为成立的前提是企业具有市场支配地位，这在实务中的判定十分复杂，且某些小企业在不成立垄断的前提下其行为依然会损害消费者的利益，无法用《中华人民共和国反垄断法》进行规制。可见现存法律针对算法权力规制的可操作性不强。再次，针对算法的立法规制缺乏。我国虽然针对个人信息保护制定了较为完善的法律，但针对算法问题专门性的法律法规却鲜有涉及，这会导致算法凭借其本身的技术性优势逃避法律规制，无法起到正确引导算法行业发展的作用。而一部专门性的法律法规，不仅能够为算法权力的规制提供法律依据，最重要的还能通过立法体现国家意志在此问题上的倾向性[11]。最后，相关立法涉及法律部门众多。当发生算法权力主体利用算法侵害相对人权益的行为时，常常因为法律位阶、监管主体混杂，而出现责任分工不明确，部门之间产生相互推诿的 “踢皮球” 现象。

（二）新方式规制层次单一

针对算法权力的规制问题，学者们提出了算法公开、个人数据赋权、反算法歧视等措施[12]，虽能够对算法权力起到一定程度的规制作用，但总体上存在规制层次单一的问题，即没有将具体的情形进行区分，而是一概而论进行规制，从而导致算法优势无法得到充分发挥。

首先，主张算法公开的学者认为，应当将算法的架构及运行机理向公众公开，以防止 “算法黑箱” 的出现。但 “算法黑箱” 并非是人为因素导致，而是由算法的技术性特征所导致[13]。因为公开算法的源代码或架构并不能起到规制作用，且算法技术具有极强的复杂性，专业人员对算法的逻辑运行尚存在不理解之处，普通人受制于专业知识水平的制约，更加无法对算法加以理解。所以，单纯的算法公开对算法权力的规制无实际意义，而且不加区分的算法公开还会导致知识产权侵权和算法抄袭的问题而妨碍算法行业的健康发展。其次，持个人数据赋权、反算法歧视的研究者认为，应当禁止利用算法中的身份因素，以消除一切身份偏见。但实际上，禁止运用身份因素，不一定会实现身份平等，因为某些情况下歧视的发生不只是算法本身的原因，而是普遍隐含在社会规范之中。此外，很多带有身份因素的 “歧视” 并不是真正意义上的歧视，而是一种信息的统计区分，是面对信息匮乏情况下的一种理性筛选。这种群体区分对市场正常运行与社会规范建构具有一定意义[14]。因此，带有身份因素的数据作为一种筛选依据，不但能够为相关决策者提供参考，还能提高决策的科学性和效率性，从而避免无依据筛选所带来的不公。

由此可见，算法应用的不同领域、架构和场景需要不同层次的规制力度与个性化的制度设计[15]，而不是将所有规制手段一概而论地适用所有场景。

四、算法权力规制的可能进路

（一）从个人信息保护角度规制算法权力

1.个人信息赋权区分场景和对象

个人信息的收集利用存在于不同领域之中，不同领域的个人信息收集有着不同的功能和弊端，因此对个人信息赋权的类型与强度要区分不同的场景与对象。具体来说，如果数据信息的收集利用有利于个体或者公共利益，那么就应当放松对相关数据收集者权力的限制；反之，如果数据的收集利用是单纯用于对个体的支配，则应当对数据收集者的权力作出严格限制[14]。例如，新冠肺炎疫情期间政府部门根据所收集的民众的行动轨迹和身体健康数据制定疫情防控措施，目的是维护公共利益。在国家扶贫实践中，扶贫主体利用相关数据对真正贫困人群实施精准扶贫，同样也是维护个体和公共利益。因此，此种情况就要放宽甚至免除信息收集者的权力限制。但如果是某些网络平台利用用户信息向用户推送低俗信息或者进行数据 “杀熟” 等行为，则应当最大限度赋予用户信息权，限制数据收集者不合理利用数据的行为。这就要求相关部门加强对大数据 “杀熟” 行为的监管，使之与个人信息保护相协调。

2.信息保护和算法规制相结合

个人信息实际上是数据的来源，保障个人信息权力在一定程度上能够控制对数据的收集利用。数据又是算法的一大支撑，因此，从规制数据作为规制算法的出发点不失为一种良策。我国近几年对于个人信息保护问题关注密切，在2021年8月20日表决通过的《中华人民共和国个人信息保护法》将《中华人民共和国民法典》《中华人民共和国网络安全法》《中华人民共和国刑法》等法律中关于个人信息保护的规定衔接起来，形成了民事、行政和刑事三个层次的法律责任配置，是我国在个人信息保护上迈出的具有重大意义的一步。笔者认为，在个人数据保护的基础上要注重个人数据与算法权力规制相结合，因为单纯的数据信息不会导致个人权利的侵害，只有数据结合算法才会产生相应的风险，所以不仅要针对数据收集进行规制，还要更加关注数据的利用，将规制方向朝数据利用偏移。具体来说，要加强算法在数据利用方面的限制，在总体上需遵循公平正义自由、维护公民基本权利的价值理念，并在此基础上设置专门针对算法程序的法律法规，使数据的利用合法化、合理化和科学化。

3.完善数据退出机制

《中华人民共和国个人信息保护法》中规定了信息处理者必须在取得个人同意的前提下处理个人信息，个人有权限制或者拒绝他人对自己的信息进行处理。此条文对应了实践中的 “知情同意” 原则。比如应用软件使用前会和用户签订服务协议，并向用户征求各种应用的使用权限，若用户同意，软件可以正常使用，同时系统也会默认用户知情并同意记录搜集本人的相关数据信息；若用户不同意，此软件则无法使用。这实际上是企业利用算法权力对知情同意原则的一种架空，违背了自愿公平原则。因此，在算法权力如此盛行的今天，必须要对公民个人的信息权力和信息处理者的义务进行细化，要完善数据的退出机制。例如，个人有权决定选择无数据服务，法律可以要求搜索引擎明确告知其用户要受算法约束，并向用户解释算法如何过滤搜索结果，指定算法考虑的数据点及其意义，并通过设置数据使用和拒绝数据使用两个模块供用户自我选择，允许用户可以随时切换。其中，选择和切换的行为就代表用户的知情同意。同时，在搜索主页和结果页面上增加显示搜索过滤选项[14]。

（二）从完善算法责任角度规制算法权力

1.严格限制算法应用场景和范围

算法凭借其技术和逻辑的严密性，能够对海量数据进行筛选提取，在保证效率的同时得到主体想要的数据或达到自身追求的价值目的。但实际上，算法在某些领域中的任意应用极易出现严重损害人权等无法挽回的后果。例如，在法律领域，若凭借算法对罪犯进行风险预测而决定对其量刑幅度，则无疑违背了罪刑法定原则。因此，算法应用的场景范围需要进行严格限定，在法律以及其他关涉人身权益的重大领域中，必须保证人作为实质决策的主体和地位。虽然算法权力具有预测性，可以凭借已有的数据进行行为的预测，并制定规制方案，但此预测性算法决策需要被限制。因为预测性算法的决策过程只依赖数据与推断结果之间的相关性，而这种相关性本身就是一种人为构建的认知模式，而且仅为认知方法中的一种，整个预测过程可能会忽略其他众多社会、文化及偶然性的因素，从而会造成用实然推断应然，以过去判断未来的谬误[16]。

2.坚持算法正当程序原则

算法需要正当程序加以规制，才能防止算法滥用。首先，正当程序的核心要求就是 “公开” ，因此坚持算法正当程序也就要求算法的公开，这也是增加算法透明度的要求。但公开必须是有意义和有特定指向的公开，即以信息主体为中心，尽可能采取普通人可以理解的方式，注重解释算法的运行、改变，以及如何对信息主体产生影响、会产生怎样的影响[17]。其次，要针对不同情形实施不同程度的算法公开要求，注重灵活性与科学性。例如，公权力机关利用算法实施的行为关涉公民以及社会重大利益，因此应当以公开为原则，不公开为例外。商业领域中企业的算法因牵扯到知识产权保护等问题，可以不采取主动公开原则，但相关部门应当加大对企业的算法监管审查，一旦出现滥用算法权力问题要及时进行惩处；当消费者发现企业实施数据 “杀熟” 行为时，也可要求企业进行算法公开以保护自身利益。此外， “算法黑箱” 可能会导致算法无法按照传统正当程序公开的要求进行公开，此时，应采用结果倒推过程的办法，若结果违反了大多数人的公平正义价值理念，则代表其程序是不正当的。因此在算法领域，应当将公平正义、人类尊严等基本价值理念作为检验算法权力是否正当的底线标准，不能让 “算法黑箱” 成为危害社会的 “挡箭牌” 。

3.实施多元治理，注重算法问责

算法的应用涉及算法制定、实施、验证修改以及监督等众多领域。因此，要实现算法的可持续发展需要整合社会多方力量，以形成立体的协同合作体系来助力算法的演进[18]。具体来说，政府、专家、企业和社会公众应当共同参与到算法权力治理中来，政府要起引领带头作用，创建研究算法相关的咨询机构或处理人工智能问题的专业组织[8]，设置专业监管部门，并通过专业力量打破技术不平衡现象，助力对算法权力的规制；专家学者可以从技术领域改进算法，增强算法逻辑严密性，减少 “算法黑洞” 的发生；企业应当坚守底线原则，杜绝利用算法侵犯消费者权益；社会公众可通过多种途径学习基本算法常识，当发现相关主体有滥用算法权力的行为时，及时向监管部门反映。另外，也可以通过行业协会制定相关伦理规则以及设置第三方独立监管机构等方式加强对算法权力的监管。

算法权力具有强大的控制力和影响力，算法的权力应当与责任相匹配，权力大则责任重。因此，应通过针对算法规制的相关法律的制定，将算法责任的主体、问责标准以及责任承担等问题通过法律的形式规定出来，为算法权力的规制提供科学、具体，又具备可操作性的依据。