算法决策规制

摘 要：算法决策正成为经济与社会体系的一部分，一方面，它创造了显著的社会与经济价值，但另一方面，不公不义的预测或推断会损及个人自主与尊严从而使算法备受质疑。由于算法无法解决自身导致的妨害问题，且算法控制者与数据主體间存在明显的信息或权力不对称，因此，有必要赋予个人一项具体的数据权利——算法“解释权”，以强化其对于己不利的算法决策提出异议的权利，进而促进算法正义、保护个人自主与尊严。不过，利用“解释权”对抗算法妨害虽然必要但并不充分，其在技术上面临可解释性难题，且与商业秘密存在紧张关系。因此，算法决策需要统合规制，需要进一步增强算法决策的社会控制，优化算法应用监管。

关键词：算法决策;算法妨害;解释权;算法正义

中图分类号：DF52  文献标志码：A

DOI：10.3969/j.issn.1001-2397.2020.01.13 开放科学（资源服务）标识码（OSID）：

一、引言

何谓算法，目前并无统一定义。严格地说，它也不是法律上的概念。从技术角度看，可将算法理解为一种数学结构以及这一结构转化而来的程序、或将其视作为实现特定任务的技术应用。①它具有形式化特征，包括大规模收集个人或环境数据，且借由数据分析从而揭示特征与结果之间的相关性。②这也揭示了算法与数据之间的紧密关系——“没有数据的算法是空洞的，没有算法的数据则是盲目的”。毫不夸张地说，在数据驱动的社会与经济体系中，数据就是“全新的货币”。 对它们进行系统加工或阐释，算法控制者（算法使用者、设计者等，下同）即可对算法决策相对人（本文亦称“数据主体”）及其行为进行预测或推断。因此，如果说算法起初是指基本的运算，那么随着大规模数据采集及分析能力的提升尤其是机器学习的崛起，算法开始超越其初始含义，具有了明显的社会及经济意义，其已被广泛地用于解决社会或经济问题，诸如个人的期望、观点以及工作表现、健康状况、行为偏好、信用评级等重要事项正在从人类之手转至算法之手，进而形成各式各样的自动化区分、评级、排序和决策，以至于越来越多的商业机构或公共部门开始依托算法解决一些复杂问题，包括雇佣、借贷、定价以及量刑、福利资格认定、国家安全审查等商业及司法或行政决策。此即“算法决策”或“自动化决策”（本文所称的“算法决策”或“自动化决策”系指依据自动化处理/算法作出的且对相对人产生法律或类似重大影响的决策，这些决策一般不包含人为干预，或者即便有人为干预但不对决策结果本身产生实质性影响）。

公平地说，大多数算法应用有益而无害。它们能带来显著的社会或经济价值，包括效率的显著提高、更加便捷的消费体验以及技术中立论者所认为的客观公正等。因此，在不少人看来，“算法只是简单的数学原理。”然而，另一方面，算法决策的客观公正并非完全如我们所预期，对它的一系列疑问尚存我们脑海之中。算法决策真的能排除人类偏见从而能保持公平或中立吗？当它们怀着不可告人的目的寻求隐性利益或涉嫌对个人作出歧视性甚至是错误的评估时，如何向算法决策相对人提供救济？算法控制者应在何种程度上对其算法或算法生成的不良结果负责？所有这些都是人们普遍担心的问题。鉴此，如何让“那些对结果抱有怀疑的人可以掀开‘引擎盖子看个究竟”是人类立法者或裁判者面临的严峻挑战。

二、算法妨害——算法“解释权”的缘起

算法虽被认为是客观且中立的，即致力于在数学规则和事实基础之上而非基于社会舆论、价值观或主观判断来组织并呈现信息，但事实上，它们也时常给当事人带来损害。

其一，算法“操纵”妨碍数据主体的自主且有损他们的尊严以及经济利益。目前，商业机构正利用各种建模或算法精巧地将人们的生活转化成他人的商机，致使参与数据化生活的个人几乎都成了“被算法定义的人”。通过追踪用户的日常活动数据或其经常前往的商业场所，这些商业机构便能识别出潜在消费者的个人偏好、生活方式或消费习惯等，继而进行精准的市场推广或广告投放。这种数据画像使得定向广告无比精准地在特定时间和场景达到目标客户，诱发冲动消费……这不啻是一种消费操纵。此时，受益的往往只是算法控制者，被诱导的个人却无利可图甚至会遭受利益减损。例如，在滴滴与携程等公司接连爆发的“大数据杀熟”事件中，那些被认定为“高价值”的目标客户就被动或盲目地接受算法控制者推荐的更高价格商品或服务，从而承担额外成本。此外，脸书公司与剑桥分析公司爆发的“算法丑闻”再次表明，算法控制者完全有能力左右某个网站或服务的排名，而用户却浑然不知。不得不说，无形的“算法之手”正以一种难以觉察的方式塑造或左右我们的言行或选择。虽然“它们声称在向我们‘展现世界的原貌，但其实这个世界是由它们创造出来的”。诸如此类的“操纵”意在误导或左右被操纵者做出并非基于自己自由意志的某些决定。最终，这些不明就里的数字产品与服务的消费者/数据主体恐将沦为他人意志的工具。

其二，无形的“算法之手”对特定个人或群体进行不公平推断或将他们“标签化”。现今，大数据分析技术已经赋予了算法控制者超乎想象的预测能力，它们极可能基于分类筛选而形成所谓的“大数据黑名单”，从而不恰当地将个人或群体标记为具有某种风险或倾向，进而限制或排除他们的权利或机会。加之，算法“黑箱”以及数据买卖使得上述分类筛选得以便利化甚至秘密化，以至于那些被列入“黑名单”的当事人很多时候既无从知晓亦无法摆脱。此种不公平或隐性歧视并不鲜见。美国法院广泛采用的评估罪犯再犯风险的算法工具（COMPAS）就被认为将黑人被告贴上了再犯风险高的标签。另如，在保险实务中，借助大数据分析能力，汽车保险公司基于投保人毕业学校的等级与汽车事故之间的相关性分析，从而向那些受教育程度低的司机收取更高保费，即便这些驾驶人拥有良好的驾驶记录且大数据分析所考虑的因素与保险风险并无逻辑及直接的关系。不得不说，许多算法模型就“像上帝一样隐晦不明……它们得出的结论往往惩罚社会中的穷人和其他受压迫的人，而富人却因此更加富有”。

其三，算法所谓的客观公正存在某种程度上的迷惑性或虚幻性，而且，较之于人类决策，其不仅缺乏自我纠错能力，而且更具系统性影响。乍一看，算法决策似乎更可靠，因为它被认为不受人类判断中非理性因素的影响。然而，算法系出自容易犯错的人类设计者，他们可能忽视数据中的系统性偏见或结构性歧视。纵使这些都是无心之过，仍将导致更大范围的不公。而且，很多时候，即便存在系统不准确的证据，算法控制者仍会相信这一自动决策系统生成的评估结论。因为，我们中的大多数人都是认知的吝啬者——多愿选择只需付出最小认知努力的路径甚或选择相信直觉而放弃对每项决策进行系统分析。研究表明，在有其他合作者共同担责的情形下，人们会表现出松懈的一面。因此，一旦人们把自动决策系统视为“团队成员”，上述“社会惰化效应”将会出现，他们就会把完成任务的重担交给自动决策系统，而自己也就放松懈怠了。不仅如此，人们甚至会把自动化算法视为“决策权威”，从而盲目遵从。更重要的是，与个人偏见只会影响少数人不同，算法偏见可能对成千上万人产生影响。一旦如此，算法决策将导致更大范围的不公或歧视，算法控制者与用户间的信息与权力不对称也将随之加剧。美国广泛采用的自动化信用评分系统就被认为对女性与少数族裔等弱势群体构成了系统性负面影响。

综上可见，算法很难不偏不倚，它们总包含着一定的价值判断或特定的价值立场，即便是根据最佳技术实践编写的代码或程序也会在某些情形下失灵。于此情形之下，算法决策也就难免会置算法决策相对人于不利地位。不可否认，算法能够提升效率并在一定范围或程度上实现客观公正，包括消除人为错误，从而使越来越多的人受益。然而，“重点不是有没有人受益，而是有很多人受害”，算法应用已经为一些新的形式或种类的错误创造了机会。接连发生的“算法丑闻”表明，算法的隐性歧视或操纵在雇佣、借贷、定价、教育乃至司法量刑等多种算法应用场景中普遍存在。这些“数学杀伤性武器”有时只是因为一些微不足道的理由从而关闭了人们的机会之门，且不予他们申诉的机会。这似乎“是一场无声之战，穷人首当其冲，中产阶级也难逃一劫”，而人们却无法“指望自动化系统自行解决问题。尽管机器功能强大，但它们目前还不能照顾到公平，至少它们自己不能。筛选数据并且判断什么是公平对它们来说是完全陌生且极其复杂的”。尤令人担心的是，算法并未把“我们”当作权利主体，而是可计算、可预测、可控制的客体。因此，当算法被广泛运用于“人”的领域之时，就需建立一个适当的道德与法律框架，以维护“人”的主体性、自主性以及自由与权利。

三、对抗算法妨害：域外算法“解释权”立法考察

作为算法决策的一项规制手段，算法“解释权”已与其他新型数据权利一样渐入立法视野，其中以欧盟与美国较具代表性，下文即以欧盟及美国法为样本进行分析。

（一）欧盟“一般性禁止”例外下的算法“解释权”

1. 欧盟法对算法决策的“一般性禁止”

对于算法决策，欧盟《一般数据保护条例》（ GDPR，2018年5月生效）第22条第1款规定：“个人有权不受完全依据自动化处理作出的且对其产生法律或类似重大影响的决策的约束”。从语义上理解，这一规定要么意味着算法决策相对人被赋予了一项针对完全算法决策的“反对权”，要么那些对个人具有重大影响的算法决策将被“一般性禁止”。若将第22条第1款解释为“反对权”，那么算法控制者将被允许完全依赖算法进行决策，直至算法决策相对人提出反对;相反，若将该条解释为“一般性禁止”，那么算法控制者就应该对禁止之外的例外情形进行评估，并采取“适当措施”保护例外情形下算法决策相对人的自由或权利。针对上述歧义，GDPR“解释性指南”明确将第22条第1款界定为对完全自动化决策的“一般性禁止”，而非仅仅是“反对权”。较之于“反对权”，“一般性禁止”或能更好地保护算法决策相对人利益，使其免受自动化数据处理的可能侵害，这也意味着算法控制者不得在例外情形之外进行完全的自动化决策。

文义上，GDPR第22条第1款并未指明何谓“完全根据”及“法律或类似的重大影响”。因此，“完全根据”既可解释为自动化处理不包含任何的人为干预或影响，也可解释为虽有人为干预但对自动化处理结果本身不产生实质性影响。对此，欧盟立法者强调，算法控制者不得通过编造的人为干预而规避对自动化决策的一般性禁止，任何名义上或象征性的人工干预均不对自动化决策构成实质性影响。所谓“法律影响”，则指纯粹的自动化决策对个人与他人交往、投票或参加选举、采取法律行为的自由以及个人的法律地位或合同权利等法律权利构成了影响，如合同撤销、社会福利丧失、被拒绝给予公民身份等;“类似重大影响”则指，即使个人法律权利或义务未因自动化决策而改变，但如果该决策对个人的境遇、行为或选择产生显著影响，或导致其被排除在某种机会之外而受到歧视（如金融服务、就业或教育机会丧失），那么该决策即可视为构成了“类似重大影响”。据此，备受质疑的在线行为广告或价格歧视、涉嫌消费操纵的诱导性广告以及根据用户“画像”作出的差异化定价等，都被涵盖在一般性禁止之列了，以便保护个人权利或其尊严及自主等重要利益不因自动化决策而受到损害。

2. 例外情形下的规制——算法“解释权”

为缓和“一般性禁止”之规定，同时也为促进数据利用尤其是算法决策的合理应用，GDPR第22条第2款规定了“一般性禁止”的例外情形，一是“合同例外”，即算法决策为数据主体与算法/数据控制者订立合同或履行该合同所不可或缺;二是“同意例外”，即算法决策已获得数据主体的明确同意;三是“法律授權例外”，即算法决策获得法律授权且算法控制者已采取适当措施保护数据主体的权利、自由及正当利益。值得注意的是，GDPR第22条第3款进一步规定：在“合同例外”或“同意例外”情形之下，算法控制者更应采取适当措施，确保公正、非歧视与准确性，以保障数据主体的权利、自由及正当利益，且至少应保证数据主体有权请求对算法决策进行人工干预、表达其观点以及对决策提出异议的权利。“至少”一词的语义表明，GDPR第22条第3款赋予算法决策相对人请求人工干预并就对其不利的算法决策表达意见或提出异议的权利只是欧盟立法者对算法控制者提出的最低要求，这也为要求算法控制者采取进一步措施（包括向算法决策相对人提供相应解释）以保护数据主体权益提供了立法解释的空间。

除上述“至少”应履行的义务外，欧盟立法者还要求算法控制者根据GDPR第13条第2款（f）项、第14条第2款（g）项之规定，向相对人提供关于算法决策的具体信息。尤为重要的是，算法决策相对人“有权获得算法决策的解释并据此提出异议”。此即GDPR“序言”第71条规定的算法“解释权”。与此相比，GDPR第22条第3款之规定则显得“委婉含蓄”。尽管如此，该条款仍被认为包含了针对算法决策的事后“解释权”。毕竟，算法决策相对人享有的请求人工干预、表达意见或提出异议等权利与其充分理解算法决策是如何以及根据何种基础作出的密不可分。只有这样，相对人才能针对于己不利的算法决策有效地行使异议权或发表意见。这也正是GDPR“解释性指南”的基本立场。况且，GDPR第22条第3款中“适当措施”与“至少”之表述，与“序言”第71条规定的算法“解释权”具有体系上的一致性与完整性。不过，应予注意的是，GDPR第13条第2款（f）项、第14条第2款（g）项只是规定了数据处理开始前应向数据主体提供的信息，意在创建算法控制者的“通知义务”，从而使数据主体了解预期或未来的自动化处理，以便他们决定是否允许自己的个人数据被处理、评估自动化处理的合理性或行使更正权与反对权等其他数据权利。然而，与之不同，GDPR第15条第1款（h）项之规定，不仅包括算法系统功能的一般性事前解释，包括算法目的、架构与功能以及基础数据与算法输出之间的相关性说明等，而且还内含着针对具体算法决策的事后“解释权”。更重要的是，鉴于GDPR的目的在于增强对数据及数据主体权利的保护，因此，在立法逻辑上，也应对GDPR第15条第1款（h）项所规定的数据处理开始后算法控制者应提供的“有意义的信息”作宽泛解释，它意味着“相当高标准的可理解性”，对具体算法决策进行解释则是实现这种“可理解性”的最佳途径。

综上，欧盟GDPR第22条第3款以及第15条第1款（h）项虽都未在字面上规定算法“解释权”，但目的解释加上体系解释，以及对欧盟立法中“序言”解释性功能的正确理解，已使算法决策相对人享有这一权利变得清晰可见。

（二）美国法中的算法解释问题——兼与欧盟比较

整体上看，源自欧洲人权公约与基本权利宪章的人的尊严、自由与自我决定等“权利话语”已深深植根于欧盟数据保护立法之中，因此，即便如信息自由这一如此重要的价值也得让位于它们。不难看出，“权利话语”下的欧盟数据保护立法赋予了数据主体对其个人数据较强的控制力，以尊重他们的尊严及自主性。鉴此，欧盟“一般性禁止”完全算法决策也就不难理解了。不过，为促进大数据产业的发展，欧盟立法并非绝对禁止算法决策，而是允许存在例外。只是，例外情形之下，欧盟立法者仍要求算法控制者确保数据主体免受操纵、歧视或不公平对待。这也是立法者赋予相对人算法“解释权”的根本出发点。与欧盟“‘一般性禁止+例外”式算法决策规制思路不同，美国法律并未对算法决策作出严格限制，而是采用市场主义的开放数据观，即在“市场话语”下，将个人数据视为一种应受保护的市场利益，立法着眼点在于数据公平交易，并将个人视为数据的交易者进而由联邦贸易委员会等执法机构保护其不受市场欺诈和不公平对待。实践中，除一般性要求算法决策不得违反平等原则外，美国法还要求在算法决策中排除种族、性别、肤色、信仰、国籍等可能构成歧视的敏感因素，这与欧盟法的要求相似。

更值得注意的是，与欧盟综合式立法不同，美国数据保护及算法规制立法呈现“碎片化”状态，其针对不同行业或领域单独立法，算法解释亦因此而有所不同。其中，最突出的要数金融领域的信用评分与量刑领域的风险评估两类算法决策的解释问题。

对于信用评分算法，美国《信贷机会均等法》（ECOA）与《公平信用报告法》（FCRA）专门规定了“不利行动告知”条款，其要求貸方就不利的算法评分向金融消费者进行解释，包括拒绝提供信贷、拒绝录用或提供保险服务等其他信用评估输出结果的具体原因，并告知消费者有权就信用报告中不准确或不完全的信息提出质疑。这一规定授予了那些受算法评分不利影响的个人“自动获知被拒绝的原因的权利”。关于拒绝原因的通知，美国联邦储备委员会B条例进一步规定：该通知必须是具体的且应指明采取不利行动的主要原因，仅仅表明不利行动建基于内部标准/政策、或仅表明申请人未能获得信用评分系统中的合格评分都是不充分的。就其目的而言，“不利行动告知”力图实现：第一，警示消费者一项对其不利的决策已然作出，以便消费者知晓他们的个人数据正在被自动处理系统使用;第二，教育消费者未来如何改变该不利结果;第三，防止歧视。所有这些恰恰也是欧盟GDPR创建算法“解释权”的部分目的。然而，美国法上的“不利行动告知”仅着眼于对特定输入如何产生特定输出进行解释，旨在提供与算法决策相关的事实而非对支配决策的算法规则本身进行描述。与之不同的是，欧盟GDPR采用“基于逻辑的解释”模式，即对自动决策系统的逻辑而非仅仅对决策结果本身进行解释说明，希望借此帮助个人理解算法决策并为其向于已不利的算法决策提出质疑，或确保个人获得更好的算法结果奠定基础。比较而言，美国法上的“不利行动告知”之要求或能对传统的线性算法输出进行解释，但对非线性的机器学习算法也许就无能为力了。因为，当前的信用预测因大数据分析的加持从而转向相关性分析而非因果关系判断，简单的原因列举自然就无法对基于机器学习的自动化决策之成因进行解释了。这意味着如果缺乏对系统逻辑的理解，那么算法决策相对人就无法审视决策进而判别是否存在歧视。

至于盛行于量刑领域的风险评估算法，美国并无成文法要求对该类算法决策进行解释。实践中，对是否以及如何对风险评分算法进行解释存在争议，“卢米斯案”就是最好例证。案中被告认为：法院裁判借助了再犯风险评估算法报告（该算法全称为“以替代性制裁为目标的惩教犯管理画像”，其利用个人犯罪记录等公共数据以及当事人对137项问题所作回答而提供的信息，预测其再犯风险从而为其量刑或假释提供依据），且该算法作出的风险评估不充分并侵犯了他的正当程序权利。被告因此提出了“打开”再犯风险评估算法之请求。然而，上诉法院（威斯康星最高法院）并不认同卢米斯的诉请，相反，“在算法公平与商业秘密之间，法院……站在了商业秘密一边”，拒绝支持卢米斯“打开”算法的请求，并最终驳回了他的上诉。即便如此，其中有多数派法官还是坦承：对再犯风险评估算法缺乏理解仍是本案一个重大问题，虽经法庭反复询问，但当事人对再犯风险评估算法的原理或功能要么三缄其口、要么片言只语;事实上，对这一算法进行解释仍是必要的。批评者更是指出：“正当程序权利不仅包含知情权……而且还包括一项真正的‘解释权——被告毫无限制地获取源代码以及算法结果所依赖的逻辑的权利”，因此，如果“法庭承认‘解释权，那么被告将能获知到底是何种机制在支配这一量刑算法。”然而，纵观“卢米斯案”，无论是初审法院还是上诉法院，均未对再犯风险评估算法的使用作出任何实质性限制或采取措施要求算法控制者让渡其算法所有权，包括公开量刑算法的源代码或用简朴语言对算法的原理、功能及目的进行解释。显然，这难让公众真正地信服利用算法作出的某项决定是公平公正的。毕竟，算法到底是“彻底根除了人类偏见，还是只不过用技术包装了人类偏见”尚存疑问，而且，与人类证词的易读性与可解释性相比，“再犯模型的运作完全由算法独立完成，顶多只有极少数专业人士才能够理解。”

四、作为规制手段的算法“解释权”理论画像

通过上文分析，可以看出算法“解释权”已初步被欧美立法者接纳（较之于欧美，我国正式立法虽尚未涉及算法“解释权”，但2018年5月实施的《个人信息安全规范》第7条第10-11款初步规定了这一内容：即数据主体有权对“仅依据信息系统自动决策而做出显著影响个人信息主体权益的决定”提出申诉，数据控制者应于30天内或法定期限内给予“答复及合理解释”）。此外，司法裁判者亦逐渐意识到算法解释的重要性。例如，在“Patel诉Zillow案”中，美国联邦第七巡回法院即要求案中被告Zillow公司对其房屋估价算法进行解释，且强调算法决策过程应能被有效解释。同样，我国亦有法院在审理与算法决策有关的侵权纠纷案件时，对算法解释给予了足够的重视。只不过，在理论层面，立法者或司法裁判者尚未对算法“解释权”进行充分论证。为此，有必要进一步对算法“解释权”的内涵及价值等进行阐释，以强化其在立法或司法上的正当性基础。

（一）算法“解释权”的内涵

数据时代，算法控制者基于海量数据运算从而配置社会资源并逐渐掌握了一种新兴的“算法权力”。为对抗这种复杂而又难以理解的技术权力，一个行之有效的途径就是增强算法决策的透明度进而提高其可理解性与问责性。算法“解释权”就是通过赋予个人对算法决策的解释权利进而实现对“算法权力”滥用的适度制约。不过，作为一项规制不当算法决策的法律工具，算法“解释权”应被理解为个人数据“权利束”的一部分，其内含于“个人数据保护权”（“个人数据保护权”不是绝对权，它强调本人对其个人数据及其处理的控制，但这种控制利益反过来不得阻碍信息自由、公众知情等其他权利;实现方式上，“个人数据保护权”主要通过赋予个人对其个人数据的访问权、更正权、删除权等一组具体的权利来保障个人对其个人数据使用的合理控制），且可从以下三个方面来认识这一权利：

第一，本质上，算法“解释权”是一种请求权，即当一项算法决策對相对人构成法律或其他类似重大影响时，该相对人即有权向算法控制者提出异议，并可要求其提供关于算法决策的解释进而请求更正错误或不当的算法决策等。另根据欧盟立法经验，“法律或其他类似重大影响”主要指纯粹的算法决策对相对人法律地位、权利或自由构成了不利影响，或者在此之外，对算法决策相对人个人境遇、行为或选择、社会评价等产生不利影响，并因而使其受到歧视或被限制/剥夺某种权利或机会。这一限制性要求旨在提高权利行使门槛，避免“解释权”被滥用，从而保障算法决策的合理利用，实现个人权利保护与大数据产业发展的平衡。进一步而言，算法“解释权”与个人其他数据权利，例如知情权、更正权、反对权、删除权等紧密关联：首先，作为知情权的一部分，算法控制者应于数据收集阶段以及数据处理启动后，告知数据主体是否存在算法决策;其次，若因数据错误导致不利算法决策，那么相对人可要求算法控制者根据其提供的准确数据或在删除错误数据后重新进行决策，此时，算法“解释权”与数据更正权或删除权发生交错;若不利决策系由不当的或错误的算法所致，那么相对人既可要求算法控制者修正算法，亦可拒绝进行该项算法决策，从而与数据主体的反对权发生交错。

第二，就权利义务主体而言，算法“解释权”权利主体为受算法决策不利影响的相对人（该相对人仅为自然人，法人不在此列）;相应地，新兴的网络服务提供者以及保险公司、信贷机构等传统的算法应用平台等系义务主体。另外，若算法非这些算法使用者自行设计，那么它们可请求算法设计者承担相应的协助解释之义务。

第三，算法“解释权”中最核心的问题当属解释的标准与内容。通常，向几乎等同“算法文盲”的数据主体披露源代码或算法工作原理的复杂数学解释几乎没有实际意义，要求算法控制者以简明的自然语言解释算法决策相关信息才是关键所在。正如欧盟《一般数据保护条例》第12条第1款所规定的，算法控制者有义务以“简洁、透明、易懂和易获取的形式并以清晰直白的语言”向数据主体提供必要的信息。简言之，算法控制者应以易于理解的信息向算法决策相对人作出解释说明，以便后者能自主地理解算法决策。这些信息包括算法决策所需数据及其类别、权重、相关性解释，以及个人“画像”如何建立、它与决策过程相关性的说明以及是如何被用于涉及个人的算法决策等。算法控制者还应考虑采用可视化与交互技术等技术手段来增进算法透明度，保证这些信息既是充分的也是可被理解的。总之，算法控制者应以简便方式将算法决策背后的基本原理及依赖的标准告知算法决策相对人，虽然这些信息不一定是对算法的复杂解释或将算法的全部予以披露，但至少它们应能保证相对人充分理解决策的原因。这也意味着算法“解释权”力图实现的并非算法的完全透明而是一种适当的高质量透明度。

（二）算法“解释权”的价值

算法“解释权”之于算法决策相对人乃至算法控制者自身而言，均具重要意义：

其一，它关乎个人的自主、尊严及人格。如上所言，人类决策者往往会过于强调自动化决策的客观性，进而依赖甚或盲目遵从这一所谓的“决策权威”，直至放弃自己本应承担的审查责任。但另一方面，人们对缺乏解释的系统的担忧通常都是发自内心的，尤其是将解决问题或作出决策的任务托付给算法系统将导致人际关系冻结、人类自由与自主被剥夺以及人类最终将被排除在劳动力市场及决策任务之外。质言之，对自动化决策“缺乏任何有意义的参与将导致人们的无力感与脆弱感”，从而产生丹尼尔·索洛夫所称的“非人化”状态。通常，人格某些方面的不可计量性更多是人类状态使然而非仅仅是算法建模不足的结果，这在很大程度上决定了自动化决策通常只是建基于自然人不完整的“画像”。因而，有必要让那些受算法决策影响的个人对算法所呈现或塑造的生活方式保留某种程度的控制，从而“确保人类在建构自身的过程中由其自己而非他的‘数据阴影发挥关键作用”。概言之，既然算法控制者可能利用优势地位操纵或歧视数据主体，导致他们无从知晓或参与算法决策以至于无法提出异议，那么立法上就应赋权他们，以使这些“数据化”的个人了解自己如何被算法评价或排名，且有权要求算法控制者放弃或修改对其不利的自动化决策，这不仅是算法解释的应有之义，也是算法正义的内在要求，更是对人的自主、尊严及自由人格的尊重。

其二，算法“解释权”便于个人对算法决策是否公平公正提出质疑，是实现算法正义的重要途径。一般认为，正义观念包含程序正义（关注决策过程及逻辑）、分配正义（根据个人的环境、表现或贡献公平地分配积极或消极的决策后果）、互动正义（人们受到有尊严的对待、获得决策者的尊重）以及信息正义（就决策程序及结果向当事人提供相应的信息与解释）等具体方面。很多时候，人们不仅仅关心决策结果是否惠及于自己，更在意决策结果是否符合公平正义标准，而决策过程信息在证明结果是否公正方面发挥着异常重要作用。可见，算法控制者提供算法的解释符合信息正义的要求，也有助于人们对系统逻辑（即程序）是否公正进行评估。一旦某项决策被认为符合程序正义，那么该决策更大可能也会被认为符合分配正义。其实，无论机器学习能力有多强，希望它能理解公平正义的概念都为时尚早。因为，公平正义是一个抽象的、难以量化的概念。这不仅意味着公平正义概念难以被置入算法之中，而且更难以指望算法决策系统自身提供用以判断正义与否的信息。因此，唯有依靠算法控制者输入公平公正的数据来实现正义，且在必要时对算法输入与输出进行解构。正所谓：“如果我有更正权，那么我就需要看得出错误;如果我有权反对歧视，那么我就需要知道哪些要素被用于决策。否则，信息不对称就会使这些重要的法律权利变得毫无意义。”

其三，算法“解释权”有助于消弭个人与算法控制者之间的数字鸿沟，不仅是个人对抗“算法霸权”的有效工具，而且也是算法控制者赢得消费者信任的重要手段。算法社会中，算法控制者不仅设计算法、进行编程，而且还能决定如何使用、何时使用以及出于何种目的使用算法。他们掌控着“算法权力”，并利用这一权力对个人进行分析、预测进而作出分类、筛选或其他重要决策，提供算法“燃料”的数据主体将因此受到显著影响以及那些难以觉察的算法妨害，但很多时候他们对此却无能为力。这种由算法塑造的新兴社会关系已非单纯的市场关系，而是一种支配关系。很大程度上，这是因为算法这种极为复杂的技术拉开了个人与算法控制者之间的能力差距，且后者享有某种独有的知识性权威。因此，赋权个人在遭遇不当算法决策时请求算法控制者进行解释的权利，能有效弥补个人面对算法控制者时的弱势地位，进而实现两者之间的权力再平衡。相反，若无从了解算法决策“有意义的信息”，那么相对人也就难以对于己不利的算法决策提出质疑，从而无法寻求损害救济，包括要求算法控制者更正决策结果、停止自动化处理等。随之而来的，将是他们逐渐丧失对智能算法的信任，直至以拒绝使用那些数据驱动的产品或服务的方式主动化解可能遭遇的权利或隐私危机。这意味着算法应用平台赖以生存的基础——“数字信任”——行将崩溃，最终受损的终将是算法控制者自身。很多时候，人们访问网站、搜索查询、网上购物并提供他们的个人数据时，是因为他们相信这些交易相对方在提供数字商品或服务时不会损及他们的利益。若算法控制者过度利用甚至违背这种信任，消费者显然就会“用脚投票”。因此，可以肯定地说，公众的信任关系到智能算法这一颠覆性技术应用的未来走向，而要求算法控制者承担解释说明义务正是建构此种信任关系的途径之一。

五、算法“解释权”的限度

诚然，通过对算法决策背后的逻辑或决策过程乃至决策背后的原因与理由进行解释说明有助于防止错误并增加信任，而且发生争议时，还可通过这一解释来确定所适用的某种标准是否适当。然而，较之于一般性对象的解释，算法的解释有其特殊性，其受技术及法律的双重影响，这将对算法“解释权”功能的发挥产生一定程度的制约。

（一）技术挑战——动态算法的可解释性难题

与公开源代码相比，以自然语言对算法预测所依赖的逻辑以及算法输出等进行解释才是真正有意义的。这是个人就对其不利的算法决策发表意见或提出异议的基本前提。本质上，算法“解释权”建基于算法的可解释性。后者可分为两类：一是算法模型是如何运行的，此谓“功能解释”;二是算法行为的事后解释，即算法模型到底带来了什么，包含自然语言的解释、算法模型的可视化并能通过举例进行解释。一定程度上，算法可解释性乃至可视化是一个可以用技术解决的问题。谷歌公司最近公布的一项研究成果表明，算法可解释性至少在技术上是可行的。研究人员指出，由于神经网络正在不断取得成功，所以，能够解释它们的决策就变得至关重要。为此，研究人员探讨了如何运用可视化技术以及其他可解释性技术来解构神经网络如何进行决策，初步解决了这种难以捉摸的算法的可视化问题。尽管如此，仍不能忽视算法尤其是机器学习等动态算法可解释性的技术挑战。

正如我们所知，解构“算法黑箱”是如此不易，即使數据控制者愿意披露他们的算法，现代互联网也为我们理解这些算法设置了巨大障碍……不管是职员的工作绩效、网络相关性还是投资回报率，都是基于工程师们设计出的复杂算法并由大量律师保驾护航。由于透明度本身，包括算法的运行规则、创建及验证过程的完全公开，并不等同算法解释，因此，有时即便所有这些信息都被公开，仍可能无法理解算法过程的结果，披露源代码虽有助于对系统设计进行审计，但对系统输出可能就无能为力了。如果是动态算法，那么可解释性问题将更趋复杂。因具有自我学习能力，机器学习等动态算法一定程度上能自行“感知—思考—行动”，这将构成算法可理解性的障碍或增加算法的解释难度。此时，即便最初公开的代码与数据是可解释的，也将不再有意义。然而，无论如何，算法的复杂性不应成为算法控制者不提供任何解释的借口，更不意味应该放弃承认或授予个人算法“解释权”。所谓“机器学习模式下根本不可能要求算法控制者‘解释具体决定的逻辑和个人数据的权重”的看法过于悲观。相反，如果算法过于复杂以至于无法用简易语言进行解释，那么这一点就应披露，只有这样，人们才可了解这是一个可能与任何明确解释或因果理论无关的黑箱。而且，即使无法具体解释算法是如何产生结果的，算法控制者也应对其所使用的算法决策负责。

（二）法律挑战——“解释权”与知识产权的紧张关系

不可否认，披露算法决策系统“有意义的信息”面临着商业秘密保护的法律挑战。实践中，几乎所有的算法系统都被算法控制者视作为商业秘密，它们一般会拒绝将算法决策系统得以运行的方法与逻辑公之于众。正如索尼娅·卡塔尔指出的，“算法虽已在不同群体之间造成了大规模歧视，但因算法被认为具有客观性且蕴含着商业秘密，所以法律对此无能为力……这已成为增强算法问责制与透明度的主要障碍之一。”立法者甚至也承认，毫无限制地要求算法控制者披露自动化决策系统的信息可能会对它们的知识产权构成不利影响。因此，有立法者强调：作为例外，数据主体行使知情权或访问权不应对其他当事人的权利或自由构成不利影响。但矛盾的是，立法者也不忘指出：算法控制者不得以保护商业秘密为借口拒绝数据主体的访问或向其提供信息。显然，立法者正竭力缓和数据主体的知情权以及算法“解释权”与算法控制者享有的知识产权之间的紧张关系。

不得不承认，某种程度上的算法秘密具有合理理由。然而，较之于知识产权，保护个人隐私与数据权利等不因算法决策而受到减损则更为重要，因为它们关乎个人的自主及尊严。况且，也没有证据表明算法的“失密”一定会阻碍创新;因此，至少应该向受算法决策不利影响的当事人进行充分且有意义的说明，使其有机会介入算法评估过程，了解算法预测类型、输入数据以及算法逻辑等信息，以便他们对阻碍其获得信贷、工作、住房或其他重要机遇的算法决策提出质疑或挑战。这也是“技术正当程序”的必然要求。相较于算法控制者，一般公众几乎都是“算法文盲”，很多时候，他们都是在被动接受算法控制者推荐的服务、产品或某种对其构成重大影响的评估结论。显然，这与正当性原则相悖，并将因此引发算法的合法性危机。因为，如我们所知，合法性一般以正当性为基础，这样，合法性信念就退缩成为一种正当性信念，满足于诉诸作出一种决定的正当程序。

进一步而言，若算法源代码及其功能的大范围披露会损害商业秘密，那么仅在个案中向单个数据主体披露并不会对算法控制者的商业利益构成影响，况且，个案中的当事人还会被要求遵守保密规定。更重要的是，算法“解释权”意在使算法决策相对人有机会在充分知情的情形下主张自己的权利，其只是要求算法控制者以自然语言或可视化技术对算法逻辑尤其是输入数据与输出结果之间的相关性进行解释，而非将包含商业秘密的算法工作原理或源代码直接向当事人公开。事实上，这样做也无实际意义，因为普通人几乎都无法理解高度专业的源代码或算法工作原理的复杂数学解释，且算法固有的模糊性亦非披露源代码这种简单透明度要求所能完全解决。正因如此，立法上并未简单要求算法控制者披露其源代码或限制他们可以使用的算法类型。而且，就证明决策过程是否公平而言，披露源代码既不必要也不充分。当然，为回应因公开源代码或算法逻辑而引起的知识产权、数据隐私以及安全原因等方面的担忧，可考虑通过可信的第三方作为数据仲裁者介入算法的决策过程，由其对可能造成隐私或其他权利损害的算法进行核查并对算法决策提出质疑。如此一来，既可回应算法控制者对商业秘密或数据库权利的关切，也能兼顾公众尤其是受算法决策不利影响的当事人的正当权利。

毋庸讳言，行使算法“解释权”面临一定挑战：一是以人类可理解的形式表达机器逻辑仍存在一定困难;二是算法控制者还有强烈动机拒绝披露更多的算法信息，以保障权自身商业秘密或避免损害其他当事人的隐私等权利与自由。此外，若无外部法律或专业援助，那么仅靠算法“解释权”来保护数据主体权利意味着他們在质疑算法决策时要承担首要且繁重的义务。然而，这些挑战并非不可克服，更不能因此而放弃或拒绝赋予个人要求算法控制者提供算法解释的请求权。整体上看，算法“解释权”仍是一种用于质疑算法决策的重要法律工具，既能为相对人反驳于已不利的算法决策提供法律支撑，而且还将增进他们乃至整个社会对算法技术与算法决策的信任。总之，算法“解释权”虽存在上述挑战，但赋予相对人这一权利的社会及伦理价值并未受到影响，它不仅“符合公平正义的价值取向，也符合人工智能时代的需求和特征”，更是实现算法正义的重要路径。

六、结语

与一般决策相比，那些可能对个人自由或权利产生重大影响的决策，如法庭裁决、雇佣或解雇、入学、升职、金融服务供给等，经常饱受争议，因此，它们需要更高水平的问责制。人类决策尚且如此，算法决策就更不例外了。然而，那些旨在避免人类武断决策并保证该决策可信与正当的传统制度安排，包括资质要求等声誉机制以及通知、参与、异议、救济等决策约束程序，在算法决策面前均显失灵。加之，人类大脑一定程度上虽也是“黑箱”，但较之于冰冷的“算法黑箱”，人们更可能容忍前者。毕竟，人类决策的“黑箱”往往是随机而非系统的。而且，人类的道德感使之具有一定程度的自我纠错与反省能力，而冰冷的算法则不然。就此而言，立法上赋予个人对一项于己不利的算法决策的解释请求权也是理所应当。只是，赋予数据主体法律上的“解释权”只是一个好的开始，但绝非结束，其必要但并不充分。因此，不仅需要围绕算法“解释权”建构知情、参与、异议等新型的数据“权利束”，还需要更多元的算法决策规制手段，其中包括：

第一，建立算法决策事前评估机制。鉴于事后救济的滞后性，因此，加强事前评估可能更有助于保护个人免受算法妨害。可资借鉴的立法例是欧盟GDPR第35条之规定。该条款要求算法控制者进行事前的“数据保护影响评估”：即当数据处理尤其是适用新技术进行的数据处理，包括建立在自动化处理基础之上的个人评价或评分且对个人产生法律或类似重大影响的数据处理、大规模个人敏感数据处理以及系统性数据监控，可能妨碍个人行使权利、阻止其订立合同或获得服务时，算法控制者即应提前对数据处理行为对个人数据保护造成的影响进行评估。作为一项关键的问责工具，“数据保护影响评估”可促使算法控制者对所有的算法决策，包括完全依赖自动处理而进行的决策以及部分的自动化决策可能导致的风险进行评估，进而将算法决策及其适用逻辑告知数据主体、解释自动化处理的意义及可能后果并为他们提供反对算法决策的方法或手段，包括允许其表达意见。

A29WP： A29 WP， Guidelines on Automated Individual Decision-making and Profiling for the Purposes of Regulation 2016/679， 17/EN. WP 251rev.01 （Feb. 6， 2018）.

第二，授权算法监管机构访问算法控制者的自动化决策系统，通过官方力量而非完全依赖个人对算法决策系统的偏见、随意性以及不公平性进行监督或监测，包括对算法控制者用于算法决策的数据库、源代码以及被嵌入算法系统的那些变量、相关性以及推论等进行审查。为使该等审查更具意义，算法监管者或其技术专家须能有效地对算法的逻辑进行评估，并能查验与群组区分紧密相关的模式与相关性是否不适当地考虑了种族、国籍、性别以及性取向等涉嫌歧视或造成不公平的因素，

Danielle Keats Citron & Frank Pasquale， The Scored Society： Due Process for Automated Predictions， 89 Washington Law Review 1， 24-25 （2014）. 并且具有适当的权力与能力改变不当的自动化决策。尤其是，鉴于算法评估的敏感性以及对弱势人群的负面影响，因此，算法决策应用于就业、保险以及医疗卫生等领域时可要求其符合许可与审计要求，而非仅依靠算法控制者自律。

Danielle Keats Citron & Frank Pasquale， The Scored Society： Due Process for Automated Predictions， 89 Washington Law Review 1， 20-22 （2014）.

第三，当发生算法决策系统性歧视等大规模侵害事件时，可考虑由代表机构代替个人行使救济权利。例如，欧盟GDPR第80条第1款、第2款规定：数据主体有权委托第三方机构提出申诉、行使司法救济权以及获得赔偿的权利，成员国法律也可规定第三方机构无须获得数据主体同意即可向数据监管机构提出申诉，行使司法救济权。另外，在算法决策侵权诉讼中，

当事人因算法决策而遭遇歧视或其他类型算法妨害时，可将导致妨害的算法决策行为作为权益侵害类型而主张权利。参见丁宇翔：《跨越责任鸿沟——共享经营模式下平台侵权责任的体系化展开》，载《清华法学》2019年第4期，第118-119页。 还可借鉴上海金融法院针对群体性证券纠纷而采用的“示范案例”判决机制（“示范案例”判决机制的核心在于：“示范案例”认定的共通事实和确立的共通的法律适用标准对平行案件具有扩张效力），以降低算法决策相对人维权成本、提高算法决策纠纷解决的效率。

总之，为确保算法控制者以理性方式将算法运用到各种场景之中，在算法“解释权”之外，还应要求其增强内部治理、强化算法决策监管或第三方的监督检查等，以实现最大程度的算法正义，这也是算法驱动的大数据产业可持续发展的客观要求。

Regulating Algorithmic Decision：

Focusing on the Right to Explanation of Algorithm

XIE Zhengshan

（Law School， Shanghai University of International Business and Economics， Shanghai 201620， China）

Abstract：

As a part of economic and social system， algorithmic decisions are creating remarkable social and economic value; on the other hand， they are often questioned by the public， because some unjust predictions or deductions have been made by them， even individual autonomy and dignity have been impaired by their decisions. Seeing that algorithm cant resolve nuisance created by itself， and that there is information or power asymmetry between algorithm controller and data subject， it is necessary that right to explanation of algorithm should be granted to data subject， so as to strengthen its right to object adverse algorithmic decision， then to promote algorithmic justice and to protect individual autonomy and dignity. However， right to explanation may be necessary but insufficient， because its hard to be interpreted and there are tensions between right to explanation and trade secrets. Because of this， algorithmic decisionmaking should be synthetically regulated， including the enhancement to social control and optimization of algorithmic application regulation.

Key Words：  algorithmic decision; algorithmic nuisance; right to explanation; algorithmic justice

本文責任编辑：李晓锋

收稿日期：2019-11-03

作者简介：解正山（1973），安徽六安人，法学博士，上海对外经贸大学法学院副教授，法学博士。

①Brent Mittelstadt et al.， The Ethics of Algorithms： Mapping the Debate， Big Data & Society， 2016， pp.1-21.

②Robert Brauneis & Ellen P. Goodman， Algorithmic Transparency for the Smart City， 20 Yale Journal of Law & Technology 103， 113 （2018）.