治理算法：算法风险的伦理原则及其治理逻辑

孟天广，李珍珍

一、引言

以大数据、人工智能等为代表的新兴信息通信技术推动全社会快速地数字化和智能化，人类社会正走向智能时代。近年来，随着人工智能发展进入快车道，智能化应用浪潮席卷而来，以数据为原料、以算法为引擎、以算力为支撑的智能社会快速来临。算法作为人工智能技术的核心，在提升社会经济运转效率和国家治理效能的同时，也重构着市场秩序与治理体系，深刻地影响着国家与社会、技术与社群之关系的演变。

伴随着智能社会的到来，人们逐渐注意到算法技术的负外部性，如算法致瘾性推荐与认知窄化、大数据“杀熟”与歧视性定价、机器自动化决策与社会圈层化加剧等智能时代的新型社会风险。算法的滥用不仅危害着用户的合法权益，还可能使社会为之付出高昂的成本。算法的两面性意味着智能时代的算法治理不仅涉及使用算法进行治理，更要包括对算法进行治理，使其能够合乎伦理地释放巨大价值。

现阶段，算法风险治理已经成为国际趋势。一方面，多国政府对人工智能和算法监管走向实际的立法和执法，譬如欧盟、中国均将算法监管作为人工智能监管的关键维度；另一方面，全球范围内的科技社群和科技企业也越来越关注算法的伦理问题，开始制订多元化人工智能与算法应用的伦理指南。从作为法律法规的“硬法”和作为伦理准则的“软法”两方面来看，算法治理的既有框架大多包含自主决定、公平公正、安全可靠、透明公开、责任担当、隐私保护等伦理要素。这一趋势也体现在学术研究中，近年来学术界从技术、应用、过程、结果等多个视角分析了智能时代算法驱动所带来的新生社会风险及其产生的伦理问题。

本文基于既有研究对算法风险的认知框架，从算法治理的价值和路径两个维度，初步构建一个基于“权力—权利”和“技术—社群”的算法治理理论框架。算法治理的价值维度在于确立算法权力与用户权利之间的平衡，算法治理的路径则主要涉及技术机制与社群机制。基于这一理论框架，本文基于算法治理的自主、安全、公平、透明四个关键伦理原则，阐述了这些原则的内涵及其治理逻辑。这能为正处于探索阶段的人工智能算法的监管实践和制度设计提供一个理论思路，有助于在算法技术的效率优势和伦理价值之间寻求平衡。同时，本文也试图为算法风险及其伦理的理论推进，尤其是从“技术—社群”两个系统互动的关系视角提供一个理解算法风险及其治理逻辑的类型学框架。

二、算法风险：智能时代社会风险演化的新样态

在计算机科学意义下，算法通常指“为了解决一个特定问题或者达成一个明确目的所采取的一系列步骤”①DIAKOPOULOS N.Algorithmic accountability：journalistic investigation of computational power structures［J］.Digital journalism，2015（3）：398-415.，其目的是达成给定情况下的最佳行动或者对给定数据作出最佳理解。譬如，数据挖掘就是使用算法来理解数据的一门学科，即“利用数据发现新的模式和知识，并生成可以用来对数据进行有效预测的模型”②VAN OTTERLO M.A machine learning view on profiling［M］//HILDEBRANDT M，DE VRIES K.Privacy，due process and the computational turn：the philosophers of law meet philosophers of technology.Abingdon：Routledge，2013：41-64.，而算法设计是数据挖掘的关键环节。

在智能时代，算法作为人工智能技术的核心，已经不可逆转地渗透到日常生活乃至国家治理领域，全方位重塑着社会经济运行。然而，由滥用人工智能算法而产生的社会风险与伦理事件也不断冲击着人们的神经，引发社会热议。譬如，新闻个性化推荐中低俗、同质化内容增多，搜索引擎竞价排名，购物平台利用大数据“杀熟”，外卖系统算法变成监工试探配送时间底线，等等。这些现象不断将算法及其掌控者推向风口浪尖，引发社会的广泛关注。简言之，算法在全面赋能人类社会发展，为人类生产生活带来效率和便捷的同时，也引发或激化了技术与社会系统之间分歧和冲撞。人们担心算法会导致用户过度沉迷而丧失自主性、社会公平性缺乏，乃至隐私安全等危及人类社会的严重后果。

人工智能算法风险已经成为哲学、政治学、法学、智能科学的热点议题。学界从人工智能算法的技术逻辑和权力属性角度，讨论了其应用于商业领域及嵌入国家治理与公权力使用之中的风险，并提出诸如“信息茧房”、算法“黑箱”“算法利维坦”等新概念，试图阐述算法的嵌入对社会经济运行产生的深远影响。

首先，从个体角度看，人们日常使用的新闻服务和信息分发智能化算法伴随着造成“信息茧房”的认知窄化风险。当前，数据爆炸与个人信息系统容纳量不足，很容易导致个人信息超载，因而愈发需要基于习惯和偏好的差异化信息消费③喻国明，曲慧.“信息茧房”的误读与算法推送的必要——兼论内容分发中社会伦理困境的解决之道［J］.新疆师范大学学报（哲学社会科学版），2020（1）：127-133.。在此背景下，基于智能推荐算法的个性化信息服务开始兴起。智能推荐系统运用协同过滤推荐、内容推荐、关联规则推荐等技术，帮助用户降低信息噪音、提高信息消费效率④喻国明，韩婷.算法型信息分发：技术原理、机制创新与未来发展［J］.新闻爱好者，2018（4）：8-13.。然而，智能推荐算法也有可能导致“信息茧房”，即用户只听他们选择的、令他们愉悦的内容⑤桑斯坦.信息乌托邦——众人如何生产知识［M］.毕竞悦，译.北京：法律出版社，2008：8.。智能推荐算法对信息的过滤，可能阻碍异质性信息消费与多元化观点交流，导致用户处于算法打造的“无菌环境”或者一个性化的“过滤气泡”中。不论是“信息茧房”还是“过滤气泡”，都直指算法时代个性化信息服务下的“信息偏食”，造成用户信息视野狭窄并对其观念与行为产生影响①彭兰.导致信息茧房的多重因素及“破茧”路径［J］.新闻界，2020（1）：30-38，73.。虽然目前学界对“信息茧房”作为一种现象的证实与证伪、现实中是否存在理论上的形成机制等问题还有不同观点，但相关探讨无疑反映出人们对由算法充当“把关人”的信息传播风险的一种担心。

其次，从市场角度看，基于大数据的人工智能算法因遵循商业逻辑而酝酿着“监控资本主义”的风险。人类社会的信息化伴随着个人的属性、关系、地点、行为、情绪、偏好等信息被全方位地以数字化的方式表示、记录、存储。海量个人信息汇总而成的大数据有其经济属性，而大数据分析算法则是挖掘大数据商业价值所必不可少的工具。“监控资本主义”是数据经济环境下的新兴资本主义经济秩序，形成于大数据、算法能力与资本力量的联合，其核心是以攫取利润为目的的科技企业对个人数据的商业化利用②武青，周程.资本主义条件下大数据技术的政治经济学批判——《监控资本主义的时代》述评［J］.科学与社会，2020（1）：113-124.。大数据企业通过对互联网上个人数字痕迹的大规模监控以获取数据，将算法作为生产工具实现了数据从原材料到价值的转化。这些企业大规模收集用户点击、浏览、逗留时长的数字痕迹，利用大数据分析技术对用户信息进行统计分析并建立预测模型，通过数据持续积累和模型不断优化越来越准确地判断用户心理和喜好，做出诸如精准的价格歧视、劳工剥削、定向营销等行为，最终实现企业利润最大化。“监控资本主义”的典型例子是商业平台滥用用户数据进行“杀熟”。在这种经济秩序下，用户在大数据企业面前迅速透明化，退化为免费的数据来源与被反复实验的对象③ZUBOFF S.Big other：surveillance capitalism and the prospects of an information civilization［J］.Journal of information technology，2015（1）：75-89.。

最后，从国家与公权力角度看，人工智能算法的技术力量日益嵌入国家权力运行与国家治理过程，不仅孕育着“技术赋权”的巨大机会④孟天广.政府数字化转型的要素、机制与路径——兼论“技术赋能”与“技术赋权”的双向驱动［J］.治理研究，2021（1）：5-14.，也隐藏着被特定利益集团用于社会控制和政治权力再生产的政治风险⑤王小芳，王磊.“技术利维坦”：人工智能嵌入社会治理的潜在风险与政府应对［J］.电子政务，2019（5）：86-93.。利维坦是《圣经·旧约》中记载的海怪，一种神话生物，英国哲学家霍布斯用之比喻凌驾于所有人之上的强势的国家。面对国家治理算法化态势，有学者用“算法利维坦”比喻智能时代的一种强制性治理方式与算法接管治理的潜在风险。人们在通过算法治理获得便利的同时，也被置于算法程序的监控体系之下，而国家则通过算法技术来施加秩序、延伸权力、贯穿意志⑥张爱军.“算法利维坦”的风险及其规制［J］.探索与争鸣，2021（1）：95-102，179.。这种能力需要配合数据才能达到，国家借助公权力和资源优势收集个人信息，通过数据系统对社会展开全景化的了解、执法与审查⑦帕斯奎尔.黑箱社会：控制金钱和信息的数据法则［M］.赵亚男，译.北京：中信出版社，2015：61-69.。不少文献讨论过类似观点，即数字技术导致国家控制强化，一些相似的表述包括“技术利维坦”“数字利维坦”等。尽管数字技术赋能国家治理会显著提升国家采集和处理信息的能力⑧孟天广，张小劲.大数据驱动与政府治理能力提升——理论框架与模式创新［J］.北京航空航天大学学报（社会科学版），2018（1）：18-25.，但其风险在于，“国家依靠信息技术的全面装备，将公民置于彻底而富有成效的监控体系之下，而公民却难以有效地运用信息技术来维护其公民权利”⑨肖滨.信息技术在国家治理中的双面性与非均衡性［J］.学术研究，2009（11）：31-36.。

简言之，算法尽管极大地提升了生活便利化程度、生产经营效率和治理精准性，但是对经济社会运行和国家治理的逻辑产生深远影响。面对算法给人类带来的新型社会风险，围绕着算法风险治理正在形成多元视角的理论讨论。从新兴产业监管视角看，薛澜和赵静认为，包括智能算法技术创新在内的新兴产业具有高度不确定性，传统监管模式不适用于其产业风险管理。新兴产业的监管在目标、内容、节奏、力度、思维以及规则上都有别于传统产业，应该建立以敏捷为核心的治理框架：在治理原则上，以抽象的法律原则配合灵活的政策工具；在治理关系上，在监管者与被监管者之间建立互动、相互依赖的关系；在治理工具上，选择“下手快、力度轻”的治理措施①薛澜，赵静.走向敏捷治理：新兴产业发展与监管模式探究［J］.中国行政管理，2019（8）：28-34.。从算法生命周期视角看，从模型的开发、部署到使用，要将标准、测试和控制嵌入模型的生命周期的各个阶段，在不同阶段采取针对性措施来限制特定风险。比如，在建立模型阶段，可以采取模型稳健性检验、数据泄露控制、标签质量评估等风险控制方法②BAQUERO J A，BURKHARDT R，GOVINDARAJAN A，et al.Derisking AI by design：how to build risk management into AI development［EB/OL］.（2020-08-13）［2021-12-29］.https：//www.mckinsey.com/business-functions/mckinsey-analytics/our-insights/deriskingai-by-design-how-to-build-risk-management-into-ai-development.。

本文从算法风险及其治理的视角出发，认为“信息茧房”“监控资本主义”“算法利维坦”等不同层面的算法风险，充分反映着算法“黑箱”、不确定性和安全、歧视与支配的广泛存在，进而对人类社会的自主、平等、知情、安全等核心价值造成威胁。因此，我们迫切需要确立算法伦理以规范算法使用与监管，使人类社会有能力防范与化解算法风险的潜在危害。

三、算法伦理：定义算法风险的治理原则

算法风险、算法伦理与算法治理之间存在内生性关系，这源于人工智能算法风险产于算法应用没有受到伦理约束，因此需要算法伦理来确立与重申算法风险的治理原则。算法伦理是对算法活动施加的伦理道德要求。随着人工智能监管制度化进程的加快，软性伦理规范也有可能演化为刚性法律规制。无论是讨论算法的伦理约束，还是经由立法以规制算法，首先要确立算法伦理。算法伦理涉及算法本体（自身）、算法与人类的关系、算法与环境之关系三个层次，其实质是阐明智能时代人、机、物之间的交互关系，识别三者之间互动关系中存在的社会风险，进而构建相应的治理原则。

（一）比较视角下的算法伦理主张

2016年以来，随着人工智能算法开发及应用逐步进入快车道，算法伦理相关讨论显著增加，各国政府、非政府组织和科技企业纷纷开始关注“合乎伦理的”的人工智能和算法，旨在发挥算法的技术潜力的同时，降低算法产生的风险③TSAMADOS A,AGGARWAL N,COWLS J,et al.The ethics of algorithms:key problems and solutions[J/OL].AI&society,2021:1-16[2021-11-10].https://doi.org/10.1007/s00146-021-01154-8.。然而，算法伦理还不是一个成熟的研究领域，所涉伦理主题不明确、界限不清晰。综合来看，已有文献从技术、原则、应用、过程、结果等角度讨论人工智能算法的风险、伦理与治理。比如，贾开根据人工智能算法的技术逻辑和应用方式的特性，认为深度学习等算法本身的复杂性导致算法“黑箱”以及难以监督与问责，基于历史数据的训练与学习会导致固化、偏差与歧视，而且算法在各类应用场景下替代人类行为难以避免引发事故归责、知识产品版权等方面的争议。他认为，算法治理的公共政策框架应该包括提高公众的人工智能认知、推动算法伦理的专家对话，以及有优先级地制定相关政策④贾开.人工智能与算法治理研究［J］.中国行政管理，2019（1）：17-22.。刘培和池忠军认为，算法作为技术手段，其排序、分类、关联、过滤的标准负载着设计者的知识背景、社会文化与价值判断，因而内在地关涉伦理问题；而且，算法因其技术的复杂性与后果的不确定性而天然地具备不透明性与失败的可能；面对算法歧视等伦理问题，认为应该从算法设计本身及外部约束来解决⑤刘培，池忠军.算法的伦理问题及其解决进路［J］.东北大学学报（社会科学版），2019（2）：118-125.。丁晓东从算法引起的法律后果出发，认为算法崛起会挑战知情权与自主性、隐私与自由、平等保护的基本原则，应该基于算法应用的具体场景构建算法公开、数据赋权、反歧视的制度①丁晓东.论算法的法律规制［J］.中国社会科学，2020（12）：138-159，203.。

米特尔施泰特等人从人工智能算法过程的角度，提出了算法伦理争论的六重维度②MITTELSTADT B D,ALLO P,TADDEO M,et al.The ethics of algorithms:mapping the debate[J].Big data &society，2016（2）：2053951716679679.。他们根据算法如何将数据转化为结果以及算法所触发的行动，提出算法伦理的六个方面。一是非决定性证据，指通过推断统计和机器学习技术从数据中获取的结论，不可避免地具有不确定性。非决定性证据只能指示相关关系，不能揭示因果关系。非决定性证据可能导致不公正的行动。二是难以理解的证据，指不了解机器学习算法如何从数据中生成结论。难以理解的证据可能会导致不透明。三是误导性证据，此则伦理强调“垃圾进、垃圾出”。输出永远不会超越输入，只有输入的数据是可靠的，算法产生的结果才有可能是可靠的。误导性证据会导致偏见。四是不公平的结果，指算法驱动的行动可能是不公平的，会产生歧视性后果。五是转换效应，指算法决策是充满价值判断的，影响着我们如何理解与概念化这个世界，并基于算法生成的洞见驱动行动。转换效应给自主性和信息隐私带来挑战。六是可追溯性，指算法活动造成的损害可以调试，也能够确定谁应对损害负责。可追溯性可以明确道德责任。在这六个方面中，前三者属于证据质量不良引发的伦理问题，发生于算法将数据转化为决策（结果）的过程；不公正的结果和转换效应则属于算法决策（结果）的社会后果，源于算法驱动的行动未能体现伦理中立；而可追溯性关切算法驱动的行动可能导致的失败风险及责任分配问题。

在实践中，全球范围内国家和各类组织也开始出台自己的算法伦理准则或指南（表1）。

表1 算法伦理规范的跨国比较

当前，较有影响力的算法伦理原则主要来自于欧美国家，提出者涵盖政府、专业社群、科技企业等各类主体③贾开.人工智能与算法治理研究［J］.中国行政管理，2019（1）：17-22.。譬如，2017年1月，美国计算机协会公共政策委员会专门发布了《关于算法透明度和问责制的声明》，倡议在算法开发和部署中落实知情、访问与救济机制、可问责、解释等七个原则④Association for Computing Machinery US Public Policy Council.Statement on Algorithmic Transparency and Accountability［EB/OL］.（2017-01-12）［2021-12-29］.https：//www.acm.org/binaries/content/assets/public-policy/2017_usacm_statement_algorithms.pdf.。2019年4月，欧盟人工智能高级专家组发布《可信赖人工智能伦理指南》，根据该指南，可信赖的人工智能应该是合法的、道德的和稳健的，并满足人类能动性和监督、技术稳健性和安全性、隐私和数据治理等七项关键要求⑤European Commission.Ethics guidelines for trustworthy AI［EB/OL］.（2019-04-08）［2021-12-29］.https：//digital-strategy.ec.europa.eu/en/library/ethics-guidelines-trustworthy-ai.。

我国也高度重视算法伦理。作为人工智能发展大国，我国于2019年6月发布《我国新一代人工智能治理原则——发展负责任的人工智能》，强调人工智能发展相关各方应遵循和谐友好、公平公正、包容共享、尊重隐私、安全可控、共担责任、开放协作、敏捷治理八项原则①科技部.发展负责任的人工智能：新一代人工智能治理原则发布［EB/OL］.（2019-06-17）［2021-12-29］.http：//www.most.gov.cn/kjbgz/201906/t20190617_147107.html.。2021年1月，全国信息安全标准化技术委员会发布的《网络安全标准实践指南——人工智能伦理安全风险防范指引》，是我国首个国家层面的一般性、基础性的人工智能伦理和安全风险的指引文件②贾开，薛澜.人工智能伦理问题与安全风险治理的全球比较与中国实践［J］.公共管理评论，2021（1）：122-134.。文件指出人工智能存在失控性风险、社会性风险、侵权性风险、歧视性风险以及责任性风险，并将人工智能研究开发、设计制造、部署应用、用户使用都纳入安全风险防范的范畴③全国信息安全标准化技术委员会秘书处.网络安全标准实践指南——人工智能伦理安全风险防范指引［EB/OL］.（2021-01-05）［2021-12-29］.https：//www.tc260.org.cn/upload/2021-01-05/1609818449720076535.pdf.。

（二）算法伦理的核心关切

本文从算法治理的价值与路径两个维度重新阐述了算法伦理的核心关切（表2）。一方面，算法风险的治理价值是约束算法权力以及保障用户的权利，即实现“权力—权利”关系的平衡；另一方面，在算法风险的治理路径上，每一个伦理原则都可以通过技术机制和社群机制来实现，即“技术—社群”双重约束的治理路径。由此，算法治理的价值约束和路径选择共同构成了表2 所呈现的算法伦理的四种类型学，即算法可控、算法透明、算法安全和算法公平。

表2 算法伦理的二维分析框架

首先，算法治理的价值是限制算法权力以及保障用户权利，即实现“权力—权利”平衡。上文已经讨论过人工智能算法风险的多种形态，不论是“监控资本主义”“信息茧房”还是“算法利维坦”，算法应用引发的各类风险都指向算法背后的权力逻辑。换句话说，算法接管了人类的决策，开始实质性地融入和重塑社会、经济、政府治理系统，掌握算法的人或机构施展着广泛的影响力和基于技术的控制力。甚至有学者断言：“掌握了数据，就意味着掌握了资本和财富；掌握了算法(Algorithm)，就意味着掌握了话语权和规制权。”④马长山.智慧社会的治理难题及其消解［J］.求是学刊，2019（5）：91-98.事实上，当算法从数学和计算科学，向政治学、社会学、法学等社会科学领域扩散时，社会科学家就开始思考算法与权力的关系⑤BEER D.The social power of algorithms［J］.Information，communication&society，2017（1）：1-13.。权力是实施支配与控制的关键力量，而算法的规则属性⑥贾开.人工智能与算法治理研究［J］.中国行政管理，2019（1）：17-22.使其实质上具备支配与控制的能力。代码是算法的载体，莱斯格就鲜明地提出代码的权力属性：代码作为网络空间的法律，它与立法机构颁布的法律有类似的规制作用，是网络空间的向导和强有力的规制者。代码作为网络空间中的预设环境，反映了代码制定者的选择和价值理念，对网络空间中的人拥有某种程度的强制力⑦莱斯格.代码2.0：网络空间中的法律［M］.李旭，沈伟伟，译.修订版.北京：清华大学出版社，2018：132-150.。

文化研究专家拉什指出，社会中权力越来越多地存在于算法之中⑧LASH S.Power after hegemony：cultural studies in mutation？［J］.Theory，culture&society，2007（3）：55-78.。算法权力就是以算法为工具实施的影响力或控制力，看似理性中立的技术性的行为，实质上是规则的施加⑨赵一丁，陈亮.算法权力异化及法律规制［J］.云南社会科学，2021（5）：123-132.⑩陈鹏.算法的权力和权力的算法［J］.探索，2019（4）：182-192.。类似的，帕斯奎尔①帕斯奎尔.黑箱社会：控制金钱和信息的数据法则［M］.赵亚男，译.北京：中信出版社，2015：13.和迪亚科普洛斯②DIAKOPOULOS N.Algorithmic accountability reporting：on the investigation of black boxes［R］.New York：Columbia Journalism School，Tow Center for Digital Journalism，2013.指出，社会生活中的关键决策越来越多地依靠数据驱动的算法来裁定，算法的决策地位是其具备潜在权力的基础。这样的视角开启了一系列关于算法在权力的部署和表达中作用的讨论③BEER D.The social power of algorithms［J］.Information，communication&society，2017（1）：1-13.。比如，张凌寒认为，算法在海量数据运算的基础上发展成为一支新兴力量，它调配着社会资源，规范着人的行为，甚至辅助或替代公权力进行决策，从而形成事实上的技术权力④张凌寒.算法权力的兴起、异化及法律规制［J］.法商研究，2019（4）：63-75.。可以说，算法是构建和实现权力的新途径，掌握算法的人或机构在这个意义上拥有更高的权力和地位⑤宋锴业.“算法”与国家治理创新——数据、算法与权力的知识生产与逻辑呈现[J/OL].科学学研究.[2021-04-08].https://doi.org/10.16192/j.cnki.1003-2053.20210407.001.，可以通过调整算法参数来执行自身意志⑥喻国明，杨莹莹，闫巧妹.算法即权力：算法范式在新闻传播中的权力革命［J］.编辑之友，2018（5）：5-12.。相比之下，用户权利在日益强大的算法权力面前岌岌可危，算法下的个体甚至可能沦为智能时代的“囚徒”⑦彭兰.假象、算法囚徒与权利让渡：数据与算法时代的新风险［J］.西北师大学报（社会科学版），2018（5）：20-29.。

其次，算法治理的有效实现依赖于“技术—社群”双重路径的同步演进。算法“黑箱”、算法歧视、算法操纵等算法风险的治理需要运用综合手段，这些手段可以分为技术路径和社群路径。对于算法所呈现的技术面孔，算法治理的技术路径旨在优化算法设计来实现算法伦理原则。比如，当前算法决策和数据挖掘建立在相关关系而非因果关系基础上⑧MITTELSTADT B D，ALLO P，TADDEO M，et al.The ethics of algorithms：mapping the debate［J/OL］.Big Data &society，2016（2）：1-68［2021-12-08］.http：//papers.ssrn.com/sol3/papers.cfm？abstract_id=2909885.DOI：10.1177/2053951716679679.，并且由于历史的或者算法设计者的原因，用于训练模型参数的数据本身分布如果是有问题的，而依赖相关关系和分布有偏的数据得出的决策结果就可能是错误、不公正的。对此，可以通过发现因果机制以及改善数据分布结构来缓解此类技术问题⑨汝绪华.算法政治：风险、发生逻辑与治理［J］.厦门大学学报（哲学社会科学版），2018（6）：27-38.。需要指出是，算法作为一个内涵广泛的概念，在技术原理、应用场景等方面可以进一步分类。不同算法有不同的技术特点，其风险存在差异，在治理价值和治理路径上也各有侧重。换言之，算法的技术治理应遵循分类治理原则，在实践中可以结合本文理论框架审查算法风险并形成差异化的治理对策。

社群路径则以强调立法与监管为主，同时促进科技行业自律以及培养大众的算法素养等⑩汪怀君，汝绪华.人工智能算法歧视及其治理［J］.科学技术哲学研究，2020（2）：101-106.。比如，欧盟《通用数据保护条例》、英国《解释AI 决策的指南》、美国《过滤泡沫透明度法案》、加拿大《自动化决策指令》、日本《改善指定数字平台上的交易的透明度和公平性法》等，都对算法应用的规范提出要求。我国从2021年来针对网络空间算法活动采取了一系列措施以增进算法活动的透明度、公平性，保护数据安全和主体权益。比如，《国务院反垄断委员会关于平台经济领域的反垄断指南》禁止平台通过算法来实施垄断行为，《中华人民共和国个人信息保护法》以下简称《个人信息保护法》对自动化决策行为进行规制，以及国家互联网信息办公室等部门印发算法治理的指导意见，旨在规范算法推荐活动，厘清算法滥用的边界。

四、治理价值：“权力—权利”的重新分配

人工智能算法风险反映了算法权力和用户权利之间的不平衡，它折射出算法权力的运行忽视对用户的权利的关切，算法设计过分关注技术理性、执行效率和预测准确度。不同于作为控制和支配的权力，权利是现代社会中人们所拥有的自由、隐私、知情、平等、自主、尊严等资格或价值。算法伦理的核心价值在于约束算法权力，保障用户权利。譬如要求算法透明以保障人们对算法过程的知情权；要求算法公平以防范歧视和偏见，确保社会不同群体在算法面前平等；要求算法可控以约束算法支配与操纵的权力；要求算法安全，包括个人数据和利益安全，以制约算法过度收集与滥用个人信息的权力。总体而言，可控和安全更侧重制约算法权力，透明和公平更强调保障用户的权利。

（一）透明

算法不透明指的是算法处于一种“黑箱”状态。“黑箱”指一个神秘的、不可观察的运作机制，对其我们只能获得输入和输出，不了解输入转化为输出的逻辑和过程①帕斯奎尔.黑箱社会［M］.赵亚男，译.北京：中信出版社，2015：6.。算法“黑箱”有两层含义。一是指源于算法本身的技术复杂性而导致的模型不可解释，这类问题存在深度学习等算法中。例如，在计算机视觉、自然语言处理中被广泛使用的卷积神经网络（convolutional neural networks,CNN）算法，是一种包含卷积计算、具有深度结构的前馈神经网络（feedforward neural networks）。卷积神经网络通常具有很多隐含层，形成多个计算层级，每一层级里都设置了很多计算节点；各个节点之间会交叉传递和处理信息，并且每一节点的计算参数又是多变的，这使得整个神经网络具有相当高的计算复杂度。因此，即便知晓整个网络的结构和每一节点的计算方法，仍然无法通过公式进行说明，故而连算法的设计者也无法充分解释神经网络的运作原理。这类“黑箱”问题根植于深度学习等算法固有的技术特性，是机器学习在某些领域（如风险评估）应用的最大障碍。二是指算法设计者不向用户公开其算法原理与机制，导致用户对算法特征与运算过程毫不知情。例如，欧盟曾指责谷歌不公开其搜索引擎算法，称此举是在制造“扭曲的棱镜”。此外，互联网平台所采用的算法通常具有不稳定性，算法开发通常以连续、分布式和动态的方式重新编程，设计者对算法不断修正，导致后来的使用者不了解前期算法开发的历程②TSAMADOS A,AGGARWAL N,COWLS J,et al.The ethics of algorithms:key problems and solutions[J/OL].AI&society,2021:1-16[2021-11-10].https://doi.org/10.1007/s00146-021-01154-8.。这类算法黑箱问题很容易导致算法用户处于信息不对称中的劣势地位。这一方面导致用户知情权受损，由此降低用户对算法决策结果的信任与遵从；另一方面也造成对算法决策问责的困难。算法透明的意义在于既有利于监督算法决策过程，实现算法操控者的可问责性，又赋予用户知情权，以便于检验或审查算法决策结果的合理性③沈伟伟.算法透明原则的迷思——算法规制理论的批判［J］.环球法律评论，2019（6）：20-39.。虽然算法透明原则因其可行性仍存在诸多争议，但是算法透明被普遍认为是算法规制的重要维度。

（二）公平

公平即非歧视与无偏见。现代社会在政治价值上强调规则面前人人平等，并以法律的形式反对歧视和偏见，公平是善治的基本目标之一。然而，在特定情景下，数据驱动的智能算法可以通过隐形、难以察觉的方式潜移默化地实现系统化、静悄悄的歧视。既有研究发现，算法正在基于年龄、性别、种族、收入等社会特征对特定群体实施系统性的、可重复的不公正对待④刘友华.算法偏见及其规制路径研究［J］.法学杂志，2019（6）：55-66.，挑战着作为当代权利体系基础之一的平等权⑤崔靖梓.算法歧视挑战下平等权保护的危机与应对［J］.法律科学（西北政法大学学报），2019（3）：29-42.。譬如，卡内基·梅隆大学的研究人员做了一项实验，他们模拟谷歌用户访问就业网站，然后统计了谷歌推送的广告，结果发现男性组收到谷歌“20 万美元+”职位广告推送达1852次，而女性组只有318次⑥MILLER C C.When algorithms discriminate［EB/OL］.（2015-07-09）［2021-12-30］.https：//www.nytimes.com/2015/07/10/upshot/when-algorithms-discriminate.html.。亚马逊以10年中收到的简历为训练数据集开发简历筛选算法，因为训练数据有偏，简历大多来自男性，导致根据训练出来的算法，所有带有“女性”相关特征的简历均受到惩罚⑦DASTIN J.Amazon scraps secret AI recruiting tool that showed bias against women［EB/OL］.（2018-10-11）［2021-12-30］.https：//www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G.。这是就业场景下算法系统“偏见进，偏见出”的典型案例。除了就业歧视，“评分社会”⑧CITRON D K，PASQUALE F.The scored society：due process for automated predictions［J］.Washington law review，2014（1）：1-33.中的算法歧视屡见不鲜，譬如价格歧视、信用歧视、教育歧视等。造成算法决策结果不公平与算法歧视的原因很多，包括数据维度权重不一、使用有偏的训练数据集、将模型误用于特定场景、研发者存在的偏见、企业的逐利动机，甚至算法所执行的自动分类本身就是一种直接的歧视①LEPRI B，OLIVER N，LETOUZÉ E，et al.Fair，transparent，and accountable algorithmic decision-making processes［J］.Philosophy&technology，2018（4）：611-627.②汪怀君，汝绪华.人工智能算法歧视及其治理［J］.科学技术哲学研究，2020（2）：101-106.。算法歧视损害了公众在就业机会、工作待遇、享受公共品等方面的公平机会和合法权益，算法“杀熟”更是凸显了算法歧视直接损害个体经济权益③刘友华.算法偏见及其规制路径研究［J］.法学杂志，2019（6）：55-66.。随着大数据“杀熟”成为流行词汇，算法歧视被广泛视为智能时代算法规制所要破解的基本问题。

（三）可控

20世纪60年代，马尔库塞曾批判现代新技术形态对人进行操纵与控制，半个世纪之后，科学史学家戴森讽刺道：“脸书决定了我们是谁，亚马逊决定了我们想要什么，谷歌决定了我们怎么想。”④帕斯奎尔.黑箱社会［M］.赵亚男，译.北京：中信出版社，2015：22.当前自动化智能化决策系统业已广泛进入经济交易和公共治理等场景，在金融、就业、新闻、政治、健康和公共服务领域，越来越多的预测模型潜移默化地影响着人们的命运，干预甚至控制着个体的选择。当算法结合了公共权力与资本权力，对社会施加系统化、高精度的控制与规训，很容易使个人在社会认知、社会流动、生产劳动等方面沦为算法的“囚徒”⑤彭兰.算法社会的“囚徒”风险［J］.全球传媒学刊，2021（1）：3-18.。首先，如果将互联网媒体作为认知世界的工具，用户所获取的信息就可能被这些媒体的个性化算法过滤，导致用户对现实世界的多样性和复杂性的简化、片面理解，从而限制个体的判断和决策力。上文提及的“信息茧房”和“致瘾性推荐”即是互联网媒体运用算法干预和控制用户信息选择的重要机制。其次，算法亦有可能固化社会分层，通过对个体施加结构性的歧视，影响个体获得稀缺资源和向上流动的机会。尤班克斯在《自动不平等：高科技如何锁定、管控和惩罚穷人》一书中指出，公共服务项目中的资格自动认证系统、排名算法和风险预测模型，构成一张控制、操纵与惩罚之网，对人们进行精准画像与分类服务，并且通过不公正的信息反馈系统，将边缘化群体特别是弱势群体排斥出去。个体一旦被算法锁定，就会面临更密集的受监测和追踪的负担，甚至会妨碍其申请维系生计所必需的公共资源，被打入“数字济贫院”⑥尤班克斯.自动不平等：高科技如何锁定、管控和惩罚穷人［M］.李明倩，译.北京：商务印书馆，2021：1-10.。最后，在生产劳动方面，以外卖骑手的劳动控制为例，平台算法持续地收集和分析骑手数据，并根据分析结果建立起井然有序的劳动秩序，实现了资本对劳动的精准控制⑦陈龙.“数字控制”下的劳动秩序——外卖骑手的劳动控制研究［J］.社会学研究，2020（6）：113-135，244.。因此，如何摆脱算法的支配、拥有使用算法的自主性，对处于数字化生存时代的人们，特别是算法身份意义上的弱势群体，是一项严峻挑战。

（四）安全

安全原则约束着算法权力，保障算法使用者的人身、信息与财产安全不受智能算法威胁。随着智能算法在社会生活、生产交易和公共治理中的广泛应用，算法系统的设计安全隐患时有暴露。譬如，自动驾驶汽车作为能够综合体现人工智能发展高度的复杂智能系统，因算法缺陷而引起的安全事故近年来时有发生。可见，复杂智能系统的本体安全尚未能完全实现，仍然存在一定的脆弱性和不确定性。除了确保自身安全，智能算法系统还需要具备防范外部威胁的技术韧性。由于智能系统所处环境的开放性，在从输入到输出的过程中都有可能遭遇外部攻击⑧陈宇飞，沈超，王骞，等.人工智能系统安全与隐私风险［J］.计算机研究与发展，2019（10）：2135-2150.。譬如，亚马逊某款智能语音助手在维基百科上读取了经过恶意编辑的文本后，对使用者进行危险行为诱导，甚至建议使用者自杀①CROWLEY J.Woman says Amazon’s Alexa told her to stab herself in the heart for‘the greater good’［EB/OL］.（2019-12-24）［2022-01-10］.https：//www.newsweek.com/amazon-echo-tells-uk-woman-stab-herself-1479074.。安全原则是一项底线原则，它要求算法系统是安全可靠、不作恶的，其基本原则是不能伤害人类。此外，对于众多算法产品和算法服务的用户而言，个人隐私保护和数据安全成为当下安全感的重要构成。在当前技术环境下，用户经常面临着个人隐私或个人信息一揽子授权、网站强行留痕、软件内置后门程序、APP 超范围收集用户信息等问题，严重威胁着个人隐私保护和数据安全。尽管利用这些数据，智能算法可以对用户进行深度计算，推理用户的兴趣、偏好、需求等，以此向用户精准推送新闻、商品与服务，但是对此类数据的过度收集与滥用不仅侵犯了用户的数据权利，而且有可能对社会秩序和公共安全造成潜在威胁。因此，智能时代算法使用如何实现从个体安全到公共安全、从本体安全到环境安全的底线保障就成为算法治理的基本维度。

五、治理路径：“技术—社群”的双重约束

算法在一定程度上继承并放大了人类社会固有的不透明、不公平、操纵与安全风险②郭毅.“人吃人”：算法社会的文化逻辑及其伦理风险［J］.中国图书评论，2021（9）：45-53.，相应地，约束算法权力以保障用户的权利，应着力于技术改进与社群约束两条路径，以有效防范算法“黑箱”、算法歧视、算法支配所带来的风险，以及保障用户使用算法的安全性。

（一）算法计算的可解释性

算法透明的呼声一向很高，但是绝对的透明或简单公开算法源代码的可操作性不高。首先，因技术固有的复杂性而导致的算法“黑箱”当前还无法透明，解决这一问题有赖于技术的突破性进展。其次，对于因平台不公开算法特征及运算过程而导致的算法“黑箱”，要求其透明虽然可以为用户提供关键信息，但也会导致用户信息过载。并且，算法属于科技企业的核心技术，强制算法公开会导致引发业界效仿、损害科技企业创新、引发动机不良者操纵等问题③徐凤.人工智能算法黑箱的法律规制——以智能投顾为例展开［J］.东方法学，2019（6）：78-86.。譬如，谷歌曾经公开著名的PageRank 网页排名算法的排序标准，但是一些恶意网站却利用谷歌披露的算法与其博弈，操控搜索结果排名，导致谷歌不得不对排名算法进行保密，谷歌搜索服务只得又成为一项“黑箱”业务④沈伟伟.算法透明原则的迷思——算法规制理论的批判［J］.环球法律评论，2019（6）：20-39.。谷歌搜索引擎的案例非常经典地展示了“黑箱”文化的演变过程⑤帕斯奎尔.黑箱社会［M］.赵亚男，译.北京：中信出版社，2015：92.。这就是所谓的“透明性悖论”，即透明性在增进信息对称性与保障知情权的同时，也可能引发某些非预期的负面后果。在此情况下，提高算法的可解释性被视为增进算法透明的有效路径。近年来，可解释的人工智能（explainable artificial intelligence,XAI）已经成为计算科学研究的前沿主题。XAI指所有能够帮助人类理解人工智能模型行为的技术丛，使用解释作为模型与人类之间的接口，使模型的运转能够被人类简单、清晰地理解⑥孔祥维，唐鑫泽，王子明.人工智能决策可解释性的研究综述［J］.系统工程理论与实践，2021（2）：524-536.。XAI是打开算法决策黑箱的可行路径，向用户解释算法决策的依据和原因，保障用户的知情权，提高用户对算法系统的认知和信任。一些大型算法公司已经开始介入XAI实践，通过提供相关开源工具箱来帮助开发者和普通公众理解机器学习算法。例如，IBM 的AI explainability 360 帮助使用者了解机器学习算法的推理、规则以及事后解释⑦MOJSILOVIC A.Introducing AI explainability 360［EB/OL］.（2019-08-08）［2022-01-10］.https：//www.ibm.com/blogs/research/2019/08/ai-explainability-360/.；谷歌的What-if tool 帮助人们用最少量的代码来探索、可视化以及分析机器学习系统⑧WEXLER J，PUSHKARNA M，BOLUKBASI T，et al.The what-if tool：Interactive probing of machine learning models［J］.IEEE transactions on visualization and computer graphics，2019（1）：56-65.。

（二）算法应用的公平性

面对智能算法决策在日常消费、劳动雇佣、政府监管和司法裁定等领域发挥的作用越来越大，算法歧视或偏见会对特定社会群体造成实质性损害，因此约束算法歧视成为必然选择。要限制算法歧视，除了数据审计和算法审计等技术进路，更重要的是将传统的反歧视法律规制有效地延伸到智能算法。譬如，美国《算法责任法案》认为应对年收入超过5000万美元或拥有超过100万消费者数据的公司进行算法影响评估，试图最小化机器学习系统的算法偏见。在伊利诺伊州，《人工智能视频面试法》规定雇主在使用人工智能分析视频面试时，需向申请人解释人工智能的工作方式及其使用了哪些特征来评估申请人，雇主要事先征得申请人同意，以及依申请人要求在30 天内销毁视频。欧盟《通用数据保护条例》实行“数据清洁”原则，要求在自动化决策中移除种族、性别、基因等敏感数据，以防止对特殊群体的歧视①章小杉.人工智能算法歧视的法律规制：欧美经验与中国路径［J］.华东理工大学学报（社会科学版），2019（6）：63-72.。加拿大《自动化决策指令》要求政府部门在使用算法决策系统时，就算法决策对个体与群体的权利、健康与福祉、经济利益以及生态系统的可持续性影响进行评估。日本《改善指定数字平台上的交易的透明度和公平性法》和韩国《在线平台公平交易法》均致力于提高数字平台交易的透明性和公平性。在我国，新落地的《个人信息保护法》禁止大数据“杀熟”的差异化定价行为，要求自动化决策的透明度，保证决策结果公平公正。另外，规制算法的社群路径还包括算法公司的自我规制和科技社群的行业自律。譬如，谷歌倡导监督学习中的“机会均等”原则，以审查与防止基于种族、性别、残疾或宗教等敏感属性的歧视②HARDT M.Equality of opportunity in machine learning［EB/OL］.（2016-10-07）［2022-01-10］.https：//ai.googleblog.com/2016/10/equality-of-opportunity-in-machine.html.。

（三）个体对算法的自主性

算法应用产生了人困于算法的异化现象，反映了人的自主性和独立性受到严重影响③张凌寒.自动化决策与人的主体性［J］.人大法律评论，2020（2）：20-48.。自主性要求用户能够摆脱算法控制，人的决策应优先于算法决策，而非被算法支配。这意味着让算法回归工具性角色，强化人对算法的主体地位，保护使用者免于沦为算法的奴隶。在算法应用实践中，算法可控是指“人们可以有效规制算法或者自主决定算法是否继续执行”④袁康.可信算法的法律规制［J］.东方法学，2021（3）：5-21.。被算法计算的对象应该有选择的机会，能够不需要付出高昂代价就可以拒绝自动化决策算法，摆脱算法的预测模型。为此，需要在机器学习的计算过程中引入人的意见和价值。譬如，近年来倡导的“人在环中”（human-in-theloop）的算法系统是一种结合了人类智能与机器智能的方案，允许用户监督与控制算法决策过程，调整或优化算法决策的输出。另外，一种增强用户自主性的技术改进路径是，算法系统给被决策对象保留退出选项。就像飞行员能够关闭自动驾驶并重新获得对飞机的完全控制一样⑤FLORIDI L，COWLS J，BELTRAMETTI M，et al.AI4People—an ethical framework for a good AI society：opportunities，risks，principles，and recommendations［J］.Minds and machines，2018（4）：689-707.，科技公司的算法产品与服务需给使用者提供类似的选择，譬如可以修改自己的标签、免于被画像、可以关闭算法推荐服务等。同理，公共部门算法也不能凭借其数据收集与关联优势，对公众进行道德分类与社会控制。各种算法决策系统通过在不同程度上赋予用户退出机制，还原人在决定自身事务上所享有的自主权利。

（四）算法使用的安全性

为识别和防范算法系统的安全风险，全球主要国家从战略、技术标准、法律法规等方面寻求对策。例如，美国《国家人工智能研发战略计划：2019 更新版》将确保人工智能系统安全可靠列为一项核心战略，欧盟《可信赖人工智能伦理指南》把技术稳健性和安全性视为可信的人工智能系统的关键要求。对人工智能系统进行安全监管的法律法规经常出现于具体领域。譬如，在自动驾驶领域，美国制定了《联邦自动驾驶汽车政策》《确保车辆演化的未来部署和研究安全法案》，将自动驶汽车安全监管纳入法律框架，对自动驾驶系统提出安全规范。此外，在个人隐私保护及数据安全方面，针对算法驱动的侵犯与滥用个人信息行为，传统的规制思路是个人数据赋权，即通过赋予个体一系列数据权利来强化个体对自身数据的控制，数据控制者与处理者则承担维护个人数据安全的责任①丁晓东.论算法的法律规制［J］.中国社会科学，2020（12）：138-159，203.。譬如，欧盟《通用数据保护条例》旨在让数据主体重新获得对个人数据的控制，其对个人数据的界定涵盖了个人身份、生物特征、电子记录等数据，规定了个人数据收集应当具有具体、清晰、正当的目的，要求数据采集者通过恰当的方法告知数据主体，赋予数据主体被遗忘权、限制处理权、可携带权等数据权利。美国加州《加州隐私权法案》规定企业智能系统要在合理、必要、具有特定目的的条件下收集、处理、使用、存储个人信息。我国《个人信息保护法》规定了个人信息收集应仅限于处理目的的最小范围，不得过度收集个人信息，且全面规定了个人在个人信息处理活动中享有决定权、限制权、拒绝处理权等权利。《个人信息保护法》出台后，工业和信息化部等部门下架一批超范围、超频次强制收集非必要个人信息的App。除了法律规制，还应向社会普及个人数据被窃取、泄露、滥用的潜在风险，让用户在享受智能化所带来的便利性和精准性的同时，具备算法安全风险意识与个人数据权利意识。

六、结论与讨论

在人工智能算法蓬勃发展的今天，学界从多个视角围绕算法伦理及其风险治理形成了广泛讨论。可以说，算法应用应该在提高效率和合乎伦理这两个目标之间取得平衡已经成为普遍共识，而自主、透明、公平、安全也被视为算法治理的四项基本伦理原则。本文从算法治理的价值和路径两个维度提出了一个算法治理的分析框架。算法风险反映了算法权力与用户权利二者之间关系的失衡。换言之，算法权力无序扩张以及用户权利不受保护，导致算法控制、算法黑箱、算法歧视以及算法安全风险。因此，算法治理的价值是通过制定与践行算法伦理原则，以达到约束算法权力与保障用户权利的目的。相应地，算法风险的治理路径包括技术内生路径与社群外生路径。

在此基础上，本文讨论的四个伦理原则在不同程度上都可以通过技术或社群路径来实现。譬如，算法安全风险治理既要依赖赋权与监管等社群约束，也需要经由优化深度学习和提升算法韧性来达成。基于自主、透明、公平和安全四项伦理原则，率先进入智能社会的美国、欧洲以及日韩等国正在探索算法治理的多样化路径，作为算法大国的我国也是全球算法治理的开拓者。本文分析表明，现阶段算法治理正在汇聚多元治理主体，未来可进一步基于“权力—权利”的治理价值和“技术—社群”的治理路径构建算法的多元治理框架。首先，随着国家层面硬性法规出台，应加快推进算法监管体系建设。国家互联网信息办公室等监管部门已经就算法推荐管理出台规定，并宣布利用三年左右时间建立起算法综合治理体系，以保护公民的合法权益、维护国家安全和社会公共利益。针对各类算法活动，相关部门要加快探索算法测试、评估与审计的启动条件和技术标准，将监管目光直接投向算法的设计与运行。其次，科技企业作为算法研发、部署与推广的首要主体，应主动承担主体责任，成立算法伦理部门，建立算法安全责任制度、科技伦理定期审查和结果披露制度，强化科技企业的伦理责任意识。再次，大力开发第三方科技社群的算法治理作用，制定行业算法伦理规范推进行业自律，依托专业力量就平台算法风险进行评估，测试算法的透明度、识别算法是否存在歧视与损害性后果。探索算法审计报告向社会公布制度，并与平台信用挂钩，倒逼平台改进算法。最后，通过政府、科技企业、科技社群和社会参与构建协同治理体系，使得全社会在发挥算法红利、用算法进行治理的同时，充分考虑个人权利和公共利益，对算法风险进行识别和防范，实现对算法的治理，从而构建一个以人为本、公平公正、公开透明、安全可靠的算法治理生态。