算法规制的迭代与革新

张凌寒

(东北师范大学 政法学院，吉林长春 130021)

人工智能时代，“算法”从只有计算机专业人员熟悉的术语，成为了人尽皆知的时代热点。人们猛然发现，算法已经渗透到了社会生活的方方面面：Facebook的News Feed算法决定了大部分美国人的日常新闻阅读内容，广泛普及的手机导航算法指引着路上的无数司机，法官利用算法辅助对犯罪嫌疑人的量刑和假释决定，[注]Northpoint公司开发的犯罪风险评估算法COMPAS对犯罪人的再犯风险进行评估，并非出一个再犯风险分数，法官可以据此决定犯罪人所遭受的刑罚。Kirchner, Julia Angwin Surya Mattu, Jeff Larson, Lauren. 2016. ‘Machine Bias: There’s Software Used Across the Country to Predict Future Criminals. And It’s Biased Against Blacks.’ ProPublica. https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing. 2017年11月1日访问。政府公共部门利用算法进行行政管理以提高工作效率降低支出……算法正在全方位地推动着人类社会日常生活的运转，改变着人类的社会面貌。

究竟什么是算法？算法本质是以数据为填充，通过计算步骤得到具体结果。算法的运算结果与算法设计、算法部署及应用有关。算法看似是艰深的计算科学概念，实际上在计算机科学家看来，通过一系列步骤，用输入的数据得到输出的结果就是算法的本质。从这个意义上来说，一份祖传的食谱，一项招生政策，甚至人早上起床后决定穿什么出门的思维过程，都是具备了输入、输出、明确性、有限性和有效性要素的算法。[注]参见[美]克里斯托弗·斯坦纳：《算法帝国》，李筱莹译，人民邮电出版社2014年版，第21页。

本文旨在讨论应对算法法律地位的变化，法律如何做出因应性变革。早在30年前，美国华尔街的股票商就开始利用算法进行证券交易以获得更高利润。因此，有必要回溯对于算法造成的不利法律后果，当时的法律是如何应对规范的？近年来算法的技术发展和角色变化，又对既往的法律规制提出了哪些挑战？法律应如何回应这些挑战？

一、互联网时代算法规制与其法律地位的迭代

人工智能时代，算法凭借其在数据驱动下调配资源的力量，新晋为立法与理论关注的焦点。然而在此之前的互联网时代，算法始终存在并发挥其作用。随着算法技术发展与作用不断更新，法律对算法引起的不利法律后果的调整规则也在不断迭代。从算法规制迭代的梳理中，可以一窥算法法律地位的变迁。

(一)互联网1.0时代：以传统规则应对技术化的算法

互联网1.0时代具体指网络发展的前期，互联网的主要特征是“联”，互联网作为信息传输的渠道。此时算法技术刚刚开始利用互联网传输的数据的速度优势，改变传统行业的运行规则。如算法直接运用于证券交易，以及利用自动内容分发算法影响互联网信息传输。

1.规制原因：算法技术初现于法律视野。法律规制算法应用的事件最早发生于1987年。华尔街的证券交易商托马斯·彼得非构造了分层算法用来模仿证券交易员的操作，分层算法包含了交易员在决策时要考虑的全部因素。因为电脑运行算法、核实价格和执行交易所用的时间要远远少于人为操作，彼得非获得巨大的利润。[注]参见[美]克里斯托弗·斯坦纳：《算法帝国》,李筱莹译，人民邮电出版社2014年版，第22页。纳斯达克交易所注意到了彼得非在当时非同寻常的交易速度、稳定性与利润率，因此派出调查员到其交易所，发现了装有世界上第一台全自动算法交易系统的IBM电脑。这套算法交易系统自动读取纳斯达克交易数据，全权决定并执行交易，再将交易单传回纳斯达克终端。

纳斯达克交易所面临的问题是：没有相关规则的前提下，用算法代替人进行交易是否合法？最终纳斯达克交易所并未回答此问题，而是沿用原有规则要求必须通过键盘打字逐条输入交易指令。但是彼得非用六天时间造出了自动化打字手柄，由手柄敲击键盘以保证交易速度，规避了此条规则。随后二十年算法自动交易系统逐渐统治了华尔街。

此时的法律并未将算法作为在设计法律制度时需要考量的对象，而是仅从技术的角度来讨论算法技术应用的行为是否合法。换句话说，此时算法还仅仅具有技术上的意义，而并不享有法律为其设定的规则。

2. 调整方式：沿用传统严格责任制度。自动算法交易系统的险些夭折，充分显示了互联网1.0时代法律滞后性，法律规则并未作出因应性调整，而是沿用该传统规则。这也同样体现在网络服务提供者的侵权责任认定规则的发展历程中。网络服务提供者用算法来处理、排序用户上传的海量信息，而其中可能包括侵害著作权的文件。网络服务提供者没有进行人工逐一严格审查而被诉侵权。1995年美国立法主张对网络服务提供者适用关于传播媒介的版权法规定，承担直接侵权的严格责任。德国法院早期的判决也认为网络服务提供者有义务确保任何侵犯版权的行为不会在他的服务器中发生。[注]参见王迁：《论“信息定位服务”提供者“间接侵权”行为的认定》，载《知识产权》 2006年第16期。这一规定加重了网络服务提供者的法律责任，遭到了强烈反对。

3.算法地位：仅具技术上的意义。在互联网1.0时代，算法尚未得到法律的针对性调整。算法应用与人的行为被法律合并评价，即采用传统规则来应对算法的应用。此时算法仅仅具有技术上的意义，而并不具有法律上的地位。这种规制模式带来两种截然相反的后果：其一，法律放任算法在某一领域的应用，算法应用在这一领域得到蓬勃发展进而颠覆了整个行业。其二，法律用对行为人的评价机制来评价算法应用，忽视了算法应用的特点，阻碍了技术和行业的发展。这些都为互联网2.0时代法律的变迁提供了驱动力。

(二)互联网2.0时代的第一次迭代：产品化的算法与技术中立原则

互联网2.0时代大约始于2000年，主要特征是“互”。网民之间、网络与网民之间实现了“点对点”的互动，每个网民都可以成为信息来源，网站的角色从提供信息者变成了提供网络服务者。互联网2.0时代，法律逐步建立起一套完整的原则、规则与制度，来调整算法造成的不利法律后果。

1.升级原因：互联网产业发展的抑制效应。彼时由算法引发的不利法律后果的情况，多是网络服务提供者提供算法(软件或程序)，供用户或自身使用，造成对第三方的损害结果。此阶段尤以版权侵权案例居多。WEB2. 0 技术的应用和普及，使原来自上而下的网络服务提供者集中控制主导的信息发布和传播体系，逐渐转变成了自下而上的由广大用户集体智能和力量主导的体系[注]参见胡泳：《众声喧哗:网络时代的个人表达与公共讨论》，广西师范大学出版社2008年版，第116页。。经过反复理论探讨和实践探索，立法者逐渐认识到，原有的严格责任制度造成了互联网产业发展的抑制效应，以DMCA为里程碑，美国法律对网络服务提供者的著作权侵权责任规则原则上经历了“严格责任”到“过错责任”的转变[注]参见王迁：《信息网络传播权保护条例中“避风港”规则的效力》，载《法学》 2010年第6期。，以减轻网络产业的负担。

2.调整对象：算法设计。网络服务提供者设计出算法后，或者提供给用户使用，或者在自身网站上使用。算法如在这两种情况下产生不利法律后果，法律均只评价网络服务提供者在算法设计阶段有无侵权的故意，如果没有则无需承担直接侵权责任。如2002年著名的Grokster案，被告公司开发的P2P软件(算法)被用户使用从事版权侵权活动，多家唱片公司起诉被告指控其提供软件并获利，应承担侵权责任[注]参见Metro-Goldwyn-Mayer Studios, Inc. v. Grokster, Ltd., 545U. S. 913 at948 (2005).。但法院认为，P2P软件具有“实质性非侵权用途”，不能推定两被告提供软件的目的是帮助用户进行版权侵权，因此不承担侵权责任。

即使是网络服务提供者自身使用算法造成了不利法律后果，法律也倾向于以算法设计时的主观过错状态为标准，判断其是否构成侵权。如2006年百代公司诉阿里巴巴案中，涉诉的算法应用为搜索蜘蛛程序“自动在索引数据库中进行检索及逻辑运算，以链接列表的方式给出搜索结果”[注]见北京市高级人民法院《(2007)高民初字第 1201号民事判决书》。。阿里巴巴辩称其只是提供了搜索和链接服务，第三方网站提供歌曲，因此自己并无侵权故意。据此，法院认定被告涉案行为不构成对信息网络传播权的直接侵权。案件经二审后维持原判。

以上案例均显示，在互联网2.0阶段，法院将算法设计作为调整对象。从时间节点上，法院只评价算法设计时是否具有侵权的故意；从因果关系上，只考察算法设计是否造成了损害结果，而不将算法应用造成损害结果作为判断要件。

3.调整方式：技术中立与间接责任。互联网2.0时代，秉承既往索尼案确立的技术中立原则，逐步发展出间接侵权责任制度，以减轻网络服务提供者负担。技术中立的规则得到了国际广泛认同，在提供深层链接[注]如美国、澳大利亚等国版权法学界与实务界均认为，提供指向侵权文件站点的链接并非“直接侵权”。有关搜索链接行为法律性质的认定对于信息定位链接行为不是“网络传播行为”、不构成“直接侵权”的结论，在国际上是高度一致的。参见梁志文：《论版权法之间接侵权责任》，载《法学论坛》 2006年第5期。，提供信息定位服务[注]“信息定位服务”提供者一般有监视被链接信息内容的能力。因此，在早期的网络侵权诉讼中， 法院通常会基于“信息定位服务”提供者没有发现并及时制止他人利用自己的服务实施侵权而推定其至少存在过错，应当承担侵权法律责任。但随着信息网络技术的飞速发展， 法院这一“过错推定”的做法极大地影响了网络服务业的发展。法澄清适用于网络环境的“帮助侵权”规则。美国《千禧年数字版权法》以及欧盟《电子商务指令》均一致规定：网络服务商没有监视网络、寻找侵权活动的义务。对此， 尽管我国尚未有法律明确承认这一规则，但相关判例却认可了该规则。，空白搜索框[注]“空白搜索框”的搜索模式是，“信息定位服务商”通过设置搜索框向用户提供其所选定的关键词的搜索链接。在这种搜索模式下，搜索引擎按照用户输入的关键词进行自动查找并列出指向第三方网站或其中文件的链接，用户选择输入什么样的关键词直接决定了其搜索信息的精确性，而不能决定该搜索出的信息是否侵权。换句话说，它可以搜索出任何内容，搜索出的信息既可能是侵权的，也可能是公有领域的信息，或者经权利人许可传播的不侵权的内容。因此，从这种意义上说，“空白搜索框”是一个中立的技术工具，具有“实质性非侵权用途”。等多项技术的应用是否构成侵权时，均会引起一波理论探讨热潮，但最后各国一般均认为这些算法应用并不构成网络服务提供者的直接侵权。正如学者指出，如果将一项特定技术作为版权立法的依据，由此产生的规则很难经受技术发展的考验，因此技术中立原则是立法所必须遵循的原则。[注]参见王迁：《“索尼案”二十年祭——回顾、反思与启示》，载《科技与法律》2004年第4期。

法律责任的设置则根据算法设计时主观过错不同区分为直接侵权与间接侵权。[注]参见梅夏英、刘明：《网络侵权归责的现实制约及价值考量——以侵权责任法第36条为切入点》，载《法律科学(西北政法大学学报)》2013年第2期。美国《千禧年数字版权法》以及欧盟《电子商务指令》也均一致认定“帮助侵权”规则的前提：网络服务商没有监视网络、寻找侵权活动的义务，此规则在我国也得到了相关判例的认可。这充分体现，算法运行后，网络服务提供者只承担运行环境的安全保障义务。当算法应用造成了不利后果时，网络服务提供者只承担未尽到注意义务的间接侵权责任。

4.算法地位：产品化的算法。将算法设计作为调整对象，确立技术中立原则和间接责任体系，体现了算法作为技术产品的法律地位。算法一旦“生产完毕”，其部署和应用即不再对侵权行为的认定产生直接影响。如此，一方面能够鼓励技术发展；另一方面能减轻网络服务提供者为算法应用和部署承担的责任，促进互联网产业的发展。纵观互联网2.0时期的诸多知识产权领域的经典案例，基调是各国立法者和司法者疲于应对层出不穷的最新算法技术。

(三)互联网2.0时代第二次迭代：工具化的算法与平台责任扩张

2008年之后，互联网2.0进入自己的平台时代，大型网络服务提供者演化为网络平台逐渐崛起[注]互联网平台，也被称为互联网服务提供商。相关研究可参见周汉华：《论互联网法》，载《中国法学》2015年第3期。。如果说互联网时代的关键词是“互”，平台时代的关键词则是“融”。网络平台逐渐超越了互联网服务提供者的角色，成为了网络空间规则的制定者和执行者。算法实质上主宰了网络空间日常运营，其角色和地位的变化催生了一系列理论与实践的变化。

1.升级原因：平台私权力的崛起。互联网平台经济大规模崛起， Facebook、Twitter、阿里巴巴、腾讯等一系列大型互联网公司快速崛起，社交类平台和电商平台迅速升温。平台影响日益深远，网络空间成为了虚拟场域。在此虚拟场域中，算法实际上承担了网络空间的日常治理。而公权力此时由于技术力量和手段的限制，疲于应对网络空间监管。对网络交易中的违法行为或自媒体中的失范言论，网络平台拥有最便利的发现和限制能力，它是成本最低的违法行为的控制者。为加强对网络空间的监管与治理，实践中立法与司法逐渐摒弃了算法作为“技术产品”的中立性法律地位，通过加强平台与算法之间的关系，要求平台承担法律责任。

2. 调整对象：算法设计与算法部署应用。在网络平台时代，法律的调整对象除了算法设计，也扩张至平台对于算法的部署和应用。当算法不利法律后果发生后，法律不再秉持技术中立理念。除了考察算法设计的行为外，也要求平台对算法部署和应用的不当承担法律责任。如2015 年，国家工商总局发布 《关于对阿里巴巴集团进行行政指导工作情况的白皮书》(以下简称《白皮书》)[注]转引自赵鹏：《私人审查的界限——论网络交易平台对用户内容的行政责任》，载《清华法学》2016年第6期。，直指阿里巴巴纵容平台用户销售侵权和违禁商品。虽然未直接启动行政处罚，这一行为仍然引发阿里巴巴市值在四天内蒸发367. 53 亿美元，并导致针对阿里巴巴的证券欺诈诉讼等连锁反应。国家工商总局在《白皮书》中指出阿里存在“涉嫌在明知、应知、故意或过失等情况下为无照经营、商标侵权、虚假宣传、传销、消费侵权等行为提供便利、实施条件”，而这种便利和帮助是由阿里部署算法提供的。自动分类、提供搜索工具算法，帮助消费者搜索相关产品和服务，客观上帮助了违法行为的实施[注]参见赵鹏：《私人审查的界限——论网络交易平台对用户内容的行政责任》，载《清华法学》2016年第6期。。

无独有偶，国外的学者也不再坚持技术中立，而是认为平台通过算法的部署，对交易产生了重大影响。“网络交易平台的角色已经远非如单纯信息传送通道一样消极和中立，它们在商品和服务展示、交易规则安排、商品和服务评价、商户信用评价等方面均扮演了非常积极的角色。这些积极的角色增加了用户已有内容的价值并在很大程度上塑造了交易秩序”。[注]参见Hogan B.The presentation of self in the age of social media: Distinguishing performances and exhibitions online. Bulletin of Science, Technology & Society, 2010, 30(6): 377-386.

3. 责任方式：平台责任扩张。对于算法造成的不利后果，在沿用网络服务提供者的间接侵权责任制度外，世界各国均加强了对网络平台的责任，以调整平台对算法的部署和应用。从时间节点上，平台承担法律责任从“设计开发时”延伸至算法应用产生损害结果时。从因果关系上，不再局限于算法设计与损害结果的因果关系，而是扩展至算法部署和应用与损害结果是否存在因果关系。

除了世界各国要求电商平台就不当的算法部署和应用造成的违法交易承担法律责任外，2016 年以来很多国家开始要求社交媒体平台主动承担监控义务，对用户上传的恐怖、色情、仇恨等非法内容加强监管并承担法律责任。[注]为加强网络言论管理，德国联邦议会周五通过了新的网络管理法，新法将于 10 月正式实施。在此法律下，Facebook 等社交媒体未能 在 24 小时内删除“显而易见的非法内容”——包括仇恨性言论、诽谤及煽动暴力等。http://finance.sina.com.cn/roll/2017-07-01/doc- ifyhryex5667798.shtml 2017 年 7 月 15 日访问。印尼要求社交媒体关闭宣扬极端言论的账户。印尼通信部长警告社交媒体不关闭激进内容账户将被阻止共享 http://finance.sina.com.cn/roll/2017-07-01/doc-ifyhryex5667798.shtml 2017 年 7 月 12 日访问。我国国家网信办明确提出，采取“强双责”的方针——强化网络平台的主体责任与社会责任。[注]参见《强化网站主体责任正当时》，中华人民共和国互联网信息办公室官方网站，http://www.cac.gov.cn/2016- 12/22/c_1120166441.htm 2017 年 7 月 15 日访问。平台责任制度在世界范围内广泛应用。

4. 算法地位：工具化的算法。互联网2.0时代，网络平台不仅要对算法的设计负起责任，同样也要对算法在部署和应用中产生的不利法律后果承担责任。此种规则的设置隐含了将算法作为网络平台工具的假设。换句话说，此种法律规则默认平台不仅能够控制算法设计，也能够控制算法的应用过程和结果。以算法部署和应用作为调整对象，设置网络平台责任，是公权力治理网络空间力有不逮的无奈之举，也是对网络平台技术权力扩张的因应性变革。但是，要求平台为算法部署和应用的不利后果承担责任，可能存在以下隐患：(1)没有评判算法部署和应用是否合理的法定标准，平台责任范畴模糊，往往以违法行为数量巨大来论证平台过错。(2)仅仅设置平台责任无法涵盖算法的全部应用范围。在社会公共管理中算法也存在广泛应用，这类部署和应用的不当平台责任无法覆盖。

纵观算法规制的历史，算法的法律地位随着互联网的时代变迁和技术的发展而进化。从仅具有技术意义的算法到具有法律意义的算法，法律对于算法的地位功能假设也从产品化的算法迭代为工具化的算法。相应地，从沿用传统规则到技术中立原则，再到平台责任的加强与扩张，法律规则也应对算法功能地位的变化做出因应性的调整。随着智能时代的来临，大数据和深度学习算法技术的进一步发展，原有的法律规则已无法应对算法地位功能的进一步发展，新的算法规制在算法技术的发展下呼之欲出。

二、人工智能时代算法规制的新问题与路径

人工智能时代已如浪潮般袭来，各类平台在利用算法不断智能化升级，融入性进化。依据“奥康剃刀”(如无必要，勿增实体)原则，对算法规制的扩用的思路是充分保留原有制度，同时创制必要制度，以应对算法技术与作用的演进。

(一)智能时代算法的演进：本体化的算法

智能时代，随着大数据和深度学习技术的发展，以及算法在互联网平台和社会治理中的广泛应用，法律应调整的对象发生了变化，算法的法律地位进一步演进。

1. 调整对象的增加：算法自主决策。在互联网时代工具化算法的情况下，算法经由人的设计开发、部署应用行为发挥效力。例如，在电商平台上，对搜索算法和推荐商品算法的设计开发、部署应用两个步骤，决定了用户可以收到怎样的商品推荐结果。医院委托科技企业进行算法(门诊系统)开发，进而使用算法，以帮助提高效率。开发者和使用者对算法都具有较高的控制力，能够预测算法产生的后果并对算法决策结果给出解释。相应的，法律对于算法造成的不利法律后果，评价对象为在人对算法的开发或部署行为中是否存在过错，以确定算法开发者或部署者的法律责任。

随着大数据算法的技术迭代以及部署和运用的平台化，基于数据的技术运算迅速成长为一种拥有资源配置的新兴社会力量。[注]参见Diakopoulos, N. Algorithmic accountability: journalistic investigation of computational power structures. Digit. Journal. 3(3), 398-415 (2015) .算法逐渐脱离了纯粹的工具性角色，而有了自主性和认知特征，甚至具备了自我学习的能力。这使得算法对现实社会和个人发生效力的流程，在算法设计(指设计者进行初始编码，进行开发算法的训练数据和管理的行为)、算法应用和部署(指网络平台之部署应用算法的行为)之外，增加了一步，即算法本身自主决策。换句话说，算法作为决策者，其决策原因和推理过程对于人类处于黑箱之中。智能算法的自主决策，使得算法从提高效率的“工具”上升为“决策者”。[注]Ben Wagner, Efficiency vs. Accountability? - Algorithms, Big Data and Public Administration.https://cihr.eu/efficiency-vs-accountability-algorithms-big-data-and-public-administration/ 2017年12月14日访问。2017年的Loomis案件中，被告人认为法院使用的COMPASS算法对其进行的犯罪风险评估包含种族歧视，起诉要求评估算法。[注]2016年，一名叫 Eric L.Loomis的被告人被判处了 6 年有期徒刑，部分原因是COMPAS认定他为“高风险”。Loomis认为法官对量刑算法的依赖侵害了他的法定诉讼权益。他提出审查COMPAS算法的请求，被威斯康辛州立法院驳回，提交给美国最高法院后也于2017年6月宣告诉讼失败 。参见《红星专访美国机器判案法院：机器说你有罪，你果然有罪》，http://3g.163.com/news/article/CK3OKBQF0514ADND.html.对被告发生法律效力的算法则经过了公司的算法开发行为、法院算法的部署行为、以及算法自动决策三个层次。其分离算法的黑箱使得算法决策过程和因素不被人所理解，而算法决策作为单独的步骤，与人的行为相分离。

2.算法地位的演进：本体化的算法。算法的法律地位随着算法自主决策能力越来越强而演进，算法已经从平台的工具演变为具有自主决策能力的“决策者”，成为本体化的算法。本体化的算法的效力，体现在算法的自主决策一方面不可被人类完全理解和解释，另一方面具有直接的法律效力。例如，淘宝的算法对用户的支付宝账户采取取消收款、资金止付等强制措施，用户推翻其决策要举证其决定错误[注]淘宝自动化决策对用户违约的认定(6.1)，“6.1淘宝可在淘宝平台规则中约定违约认定的程序和标准。如：淘宝可依据您的用户数据与海量用户数据的关系来认定您是否构成违约；您有义务对您的数据异常现象进行充分举证和合理解释，否则将被认定为违约。”见《淘宝平台服务协议全文(2016年10月版)》，http://b2b.toocle.com/detail--6361764.html，2017年11月23日访问。。甚至算法直接扮演了执法者的决策角色，如美国联邦寻亲处的算法错误地将56岁的瓦尔特·福尔摩认定为“拒付抚养费的父母”，而直接给其开出了定额20.6万美元的抚养费罚单。[注]参见[美]卢克·多梅尔：《算法时代:新经济的新引擎》，胡小锐、钟毅译，中信出版社2016年版，第87页。算法与人的行为的分离，其法律意蕴在于人的行为与引发的责任的分离，[注]参见Gillespie, T. Algorithms(digital keywords).(2014) available at http://culturedigitally.org/2014/06/algorithm-draft-digitalkeyword/。传统的人的行为——责任的逻辑链条被算法的自动决策切断。

同时，算法借由私营平台和社会公共部门，深度嵌入社会运行，实现了无孔不入的构建、干预、引导和改造。算法在接管人类让渡的决策权。有学者指出，私营企业和政府公共部门采用算法和大数据做出的自动决策，使得数百万人无法获得保险、贷款、出租房屋等一系列服务。然而，算法不公开、不接受质询，不提供解释、不进行救济，相对人无从知晓决策的原因，更遑论“改正”的机会，这种情况被学者称为“算法暴政”。[注]参见Lepri B, Staiano J, Sangokoya D:The Tyranny of Data? The Bright and Dark Sides of Data-Driven Decision-Making for Social Good, Transparent Data Mining for Big and Small Data. Springer International Publishing, 2017: 3-24.

(二)智能时代算法规制的新问题

本体化算法的不可解释性对现有的法律责任体系适用困难，本体化算法也对社会的结构性嵌入对传统的场景化规制提出了挑战。这些使得原有的民事间接责任加平台责任模式不敷适用，并造成了平台运行与公众利益的隔离，这些问题驱动算法规制再次迭代。

1. 算法的不可解释性对现有法律责任的逃逸。在现行的法律责任制度，平台公司往往主张拒绝对算法设计、部署和应用的不当承担责任。原因在于：(1)平台可以主张用户通过平台服务协议对面临的算法自动化决策知情同意，[注]参见胡凌：《人工智能视阈下的网络法核心问题》，载《中国法律评论》2018年第2期。因此基于算法对用户造成的损害无需承担责任。如淘宝网的用户协议要求用户接受自动化决策对于违约行为、支付风险的判定结果。“淘宝可依据您的用户数据与海量用户数据的关系来认定您是否构成违约：您有义务对您的数据异常现象进行充分举证和合理解释，否则将被认定为违约”。[注]淘宝自动化决策对用户违约的认定(6.1)，“6.1淘宝可在淘宝平台规则中约定违约认定的程序和标准。如：淘宝可依据您的用户数据与海量用户数据的关系来认定您是否构成违约；您有义务对您的数据异常现象进行充分举证和合理解释，否则将被认定为违约。”见《淘宝平台服务协议全文(2016年10月版)》，http://b2b.toocle.com/detail--6361764.html，2017年11月23日访问。(2)算法决策的使用者一般主张算法错误为客观“技术错误”而非主观错误，因此无需承担侵权责任。而以普通民众的技术能力证明其使用的算法确实存在嵌入的偏见和数据的滥用，极不现实。自动化决策实际上是根据数据得出的一个运算结果，包括平台公司也只能看到输入的数据以及得出的结果，而对中间的运算过程则一概不甚明了。(3)用户如果请求平台提供自动化决策的解释，自动化决策的算法的平台公司都可以商业秘密为抗辩理由拒绝公开决策的内容和理由。即使在支持数据控制者对用户有一定信息披露义务的欧洲，适用于自动化决策的算法访问权限的限制，尚未在欧洲各地的法院的判例中得到普遍的明确范围。

2. 算法嵌入性结构扩张导致场景化规制的困境。算法对除平台以外的社会结构实现深度的结构性嵌入，仅以平台责任作为规制算法的路径，存在以下困境：(1)以具体人和公司为调整对象的法律体系，仍适用于具体算法应用场景，规制效率较为低下。当数据流动共享机制和复杂的算法生态形成后，场景化规制则捉襟见肘；(2)算法的使用已经逐渐脱离平台系统，尤其进入公共部门应用于社会治理时，一方面，公共部门没有平台一样程度的算法控制能力；另一方面系统性损害风险增大。如2007年4月，来自私营公司的程序员将900多条不正确的规则植入美国科罗拉多州的公共福利系统，而由于程序员缺乏相关的背景知识，导致误读法律致使成千上万的人遭受不公平的对待。这些错误包括把“无家可归”解读为“行乞为生”，导致一位失去住所流落街头的60岁妇女在申请增加食品券数量时遭到多次拒绝，原因是系统认定其为乞丐。最终为了绕开错误，资质审查人员不得不输入虚假数据。[注]参见Pasquale F. The black box society: The secret algorithms that control money and information. Harvard University Press, 2015.算法嵌入性的结构扩张，使场景化的规制手段已无法充分保护公众权益。

3. 算法平台化运行与公共利益的隔离。在人工智能时代，公共领域和私人领域早已被模糊。即使是私人公司开发和使用的算法，也往往承载了公共利益价值。例如，私营公司谷歌开发的google flu算法可以预测疾病的爆发，具有极强的公共卫生价值。2018年Facebook的用户隐私数据被私人公司算法用于美国竞选的事件也充分说明，私人公司的行为早已承载了公共利益的价值，甚至直接影响了政治走向。

然而，算法搭载于商业开发，往往作为公司专有产品和服务的一部分，这种情况下规制算法有干预商业自由之嫌；这使得算法权力受到现有制度的保护，甚至直接造成了公共利益的损害。引起广泛关注的“大数据杀熟”事件即使得消费者受到价格反向歧视，无法享受平等公开的商业服务。同样，在Facebook的数据泄漏事件中，剑桥分析始终表示“我们没有破解 Facebook 或违反任何法律”[注]相反，剑桥分析还表示，它的政治部门 SCL Elections 公司是从一家公司获得的授权数据，这家公司是通过 Facebook 提供的工具获取数据——这是“当时的普遍做法”。http://36kr.com/p/5128498.html，2018年6月20日访问。，可见现行对公司有关算法和数据的法律规制远远无法保护公共利益。

以上分析显示，现有法律制度针对算法的场景化规制、责任平台化、标准私益化问题十分严重，与当下算法的嵌入性结构扩张、社会全层面覆盖等特性严重不符。根据算法的技术性优势和结构性特征尽快升级算法规制迫在眉睫。

(三)算法规制升级路径：双轨制的确立

技术发展带来的科林格里奇困境(collingridge dilemma)使及时性的立法供给显得日趋紧迫。这一困境警示我们，当一项技术的社会后果不能在技术生命的早期被预料到而加以及时调控和规制时，技术的普及和应用将使其成为经济和社会结构的一部分，由于对负面结果的控制变得昂贵、困难和消耗时间，以致难以或者不能改变。[注]参见张欣：《数字经济时代公共话语格局变迁的新图景——平台驱动型参与的兴起、特征与机制》，载《中国法律评论》2018年第2期。本文对智能时代算法的本体化演进及法律规制的不足，主张应建立规制路径的双轨制，具体包括：

1.调整对象的升级：增加算法自主决策。本文上一部分梳理法律对算法规制的调整对象，无论是算法设计还是算法的部署应用，均以算法的运行结果作为规制启动的原因。算法的运行结果包括出于侵权目的进行算法设计，未尽到合理注意义务进行算法部署和应用等。这种规制方法显然无法应对算法地位的演进。因此，有必要建立算法规制调整对象的双轨制，既调整算法设计与部署应用的结果，也调整算法自主决策本身。调整对象的升级带来以下规制发展。

(1)指向算法本身增强风险防范。结果监管指向内容审查，而对预防性监管则必然指向对算法本身进行审查。这就意味着监管审查的对象，从单轨的内容监管应转化为内容与算法的双轨制监管。这种监管以算法为目标，以预防技术产生的负面效应或副作用。[注]参见张凌寒：《风险防范下算法的监管路径研究》，载《交大法学》2018年第4期。算法从工具到决策者的角色的转化，要求必须在算法投入使用前就进行充分地考察以加强风险防范 。

(2)突破规制企业行为进行算法规制。监管部门设立一系列规则寻求规范的是企业行为，而非算法本身，在算法自动化决策日益自主化的情况下，除沿用规制企业行为外，应进阶直接对算法本身进行规制。例如在我国2019年实施的《电子商务法》中，立法者直接算法的设计和部署进行规则，要求电商平台的算法能够为消费者提供自然搜索结果。随着算法将现实社会上传为无形化、数字化、虚拟化的场景，并对社会进行切割和提供海量定制式规则，算法必然将成为立法的直接调整对象。

2. 责任承担的双轨制：平台责任与技术责任。以上规制对象的变化，必然引起法律责任设置的变化。应继续沿用现有的平台责任，平台作为社会大量算法设计、部署和应用的场景应负有相应的法律责任。但为了弥补平台责任规制场景化、标准私益化、责任主体有限性等问题，应及时针对算法作为调整对象的法律，建立技术责任制度。技术责任意指机器伦理、法律责任的设置应围绕技术的运行，而非不论网络平台与算法的关系，一味由平台承担责任。

(1)技术责任制度专任化。由于专业知识的障碍，之前的算法规制一般由专业部门进行，如在美国对高频交易算法由金融市场行为管理局(FCA)执行。随着机器深度学习技术的发展，算法自动化决策的黑箱饱受诟病，也被认为是对算法进行规制的主要障碍。[注]参见Pasquale F. The black box society: The secret algorithms that control money and information. Harvard University Press, 2015.为避免将司法者陷入未知境地，各国普遍倾向于采用成立专业委员会来对算法进行规制。无论是机器学习委员会[注]参见Geoff Mulgan:A machine intelligence commission for the UK, Mulgan, https://www.nesta.org.uk/team/geoff-mulgan/.，美国纽约市政府的专业委员会[注]参见Devin Coldewey：NewYork City moves to establish algorithm-monitoring task force. https://techcrunch.com/2017/12/12/new-york-city-moves-to-establish-algorithm-monitoring-task-force/2018年6月18日访问。，还是美国国家算法安全委员会[注]参见Macaulay T. Pioneering computer scientist calls for National Algorithm Safety Board. 2017，201.，都体现了专业规制的思路。对于算法透明度的评估、是否有歧视可能、以及对可疑结果的回溯都需要专业委员会提供咨询意见甚或直接执行，方可保证规制有效性。

非生育期覆膜对河套灌区盐碱地耕作层盐分的影响…… 杜 超，温埃清，李 军，柴玉鑫，王 刚，任志远，张俊峰，邬雪瑞（50）

(2)技术责任的救济原则。然而，算法的技术性要求规制的专业性，但同时也应警惕社会精英化对公共利益的背离。有学者甚至悲观的预见，这种技术资源上的差异将使得富有的精英能够设计他们自身或者他们的后代，使其成为生理和心理能力都更为高等的“超人”，人类先前的社会经济阶层系统可能会转化为生物阶层系统。[注]参见赫拉利：《人类简史》， 中信出版社2014年版，第289页。科技对平等原则的冲击，使得我们必须诉诸“人类中心主义”来寻求危机的解除。[注]参见周濂：《用政治“锁死”科技?》，载《读书》2016年第7期。在算法规制中也必然更加强调公共利益的嵌入，用以避免算法权力独大，以公共利益限制算法权力。

三、算法技术监管及其责任

算法规制的双轨制升级同时考虑了设置事前的风险防范机制和事后的问责机制。在算法规制的运行阶段，算法运行结果和算法自主化决策本身，平台责任和技术责任，势必要融合于算法规制的各个流程中。在此过程中，复杂的智能和自主技术系统的法律地位问题与更广泛的法律问题交织在了一起。本部分以流程为导向，对算法技术监管及责任对现行法律制度的渗透做系统梳理。

(一)设计阶段：早期介入与设计责任

现有法律制度使得平台公司利用算法设计开发的商业模式有监管套利之嫌。例如，滴滴平台虽然通过平台、汽车出租者、司机与乘客，以及保险公司等多份合同设计，成功地绕开了对于商业运营车辆的监管，但最终结果仍是一种运输服务的租赁业务。而当监管部门责难时，这种在设计上对监管的完美规避，并不能掩盖其本质的营运行为。同理，当平台公司的算法设计上线时，一旦造成损害结果，设计者往往主张：第一，对任何算法的发展和最终损害，可能有多个潜在的责任方，设计并无过错。第二，设计行为是智力创造过程不应受到法律的规制。设计者躲在实验主义的盾牌之后躲避干预和法律责任。因此，设计阶段应及时加入对算法本身的技术监管。

1.要求设计者在设计算法过程中嵌入算法伦理。在设计阶段应以立法形式要求算法通过道德审查标准，来防止对用户的操纵或产生不公平的后果。当然，目前这种方法面临着许多挑战，目前可能仅在某些敏感性和风险较高的算法决策领域更适用伦理性的审查要求，并基于数量只能采用人工审查模式。同时，要求社会学家、法学家等共同设计伦理框架，在算法设计阶段就为算法的研发和应用提供道德准则。

2. 要求算法设计者承担一定的设计责任。为了保证设计过程监管与未来责任回溯，监管机构将需要增加设计责任的制度，以补充现有的设计安全模型和隐私设计模式。具体包括将设计日志责任法定化，如涉及在封闭式和开放式机器人中要求某些硬编码的审计日志；或严格执行实验许可，在实验阶段充分考虑可能存在的问题，如对开放式机器人许可实验。这些设计责任类似于在金融领域建立的“审计线索”，现在已经成为重要的法律措施。这些设计责任不仅有利于算法投入使用后的管理，也必然会反向影响系统开发，即使对符合价值取向的算法设计进行制度激励。[注]Robot law. Edward Elgar Publishing, 2016.

3. 要求设计者承担充分的测试责任和披露责任。应将敏感和关键领域算法设计的测试责任和披露责任法定化。应在第一步机器伦理指导下，算法投入使用前，要求设计者充分测试算法。并且应细化要求算法设计，必须进行必要的迭代测试以达到预测性能的客观视图。例如犯罪预测类算法在投入使用前，应充分在不同地区和领域测试，收取达到规定数量的数据集，并测试其在打击犯罪中的实际作用。测试责任也应充分考虑公共利益标准，避免将算法设计中可能存在的危害外在化。否则，算法设计者应承担责任，或被迫撤回或修改算法。

(二)运营阶段：评价标准与程序正当

运营阶段的算法规制目标仍在于以评价标准与正当程序促使算法权力运行处于公众监督之下。

2. 部署应用算法的平台责任严格化。有必要对原有责任制度进行扩充，打破平台公司的过错和算法的不可解释性这两大归责障碍。目前各国均有扩用责任制度的尝试。例如，美国对无人机登记制度正全面铺开，政府要求无人机必须有牌照，以对任何鲁莽或者疏忽飞行的无人机与相关人员联系起来。[注]参见《民航局：6月1日起民用无人机实行实名登记制》，http://www.cnhan.com/html/tech/20170516/599807.htm此外，即使平台公司无法解释算法如何产生结果，也应对其使用的算法所作出的自动化决策负责。虽然算法的不可解释性仍未有实质解决方案，但欧盟开始尝试创制算法解释权。美国的监管者则主张在财务和信用方面的算法造成不利法律后果时，确保“意图”不是责任的必要条件。[注]ROBINSON，D., Yu H. Knowing the score: New data, underwriting and marketing in the consumer credit marketplace. A Guide for Financial Inclusion Stakeholders, 2014: 1-34. https://www.teamupturn.com/static/files/Knowing_the_Score_Oct_2014_v1_1.pdf. Ifeoma Ajunwa, EEOC Public Meeting on Big Data in the Workplace (Oct. 13, 2016), 在此文中作者描述了信用算法对数据的使用。Clint Boulton, The hidden risk of blind trust in AI’s ‘black box’, at http://www.cio.com/article/3204114/artificial - intelligence/the - hidden - risk - of - blind - trust - in - ai - s - black - box.html(July 6, 2017) 。在此文中作者描述了雇佣算法的验证。在新的人工智能责任体系建立完善之前，沿用与扩用责任制度是必然也是一种无奈。2016年，欧洲议会提出了“机器人法”立法建议报告，尽管此报告中畅想了未来对人工智能自动化决策设立法律人格，并没有提出具体的方案。而是主张机器人造成的损害由主人来承担责任，[注]如果机器人对人造成了损害，无论是适用罗马法中的“缴出赔偿”(noxoe deditio)原则(即把机器人交给受害者或其家属处置)，还是让机器人支付赔偿金或坐牢，最终承担责任的始终是机器人的“主人”，因为机器人不可能有独立的收入，限制它的“自由”则等于剥夺了其“主人”的财产权。参见郑戈：《人工智能与法律的未来》，载《探索与争鸣》2017年第10期。并提议公司为机器人购买保险和成立专门基金补充保险机制。应对人工智能的冲击，扩用现行制度仍是当下保守而不是明智的选择。

3. 算法自动化决策程序的正当化。算法自动化决策对公民权利影响甚巨，却完全规避正当程序。尤其是算法的自动化决策已经大规模进入公共部门决策程序，在公法领域，自动化决策的算法解释权是正当程序的基本要求。当公权力机关对当事人做出不利决定时，应当要告知当事人决定的内容并且说明理由，同时给予当事人陈述申辩的机会和救济的途径。[注]参见周佑勇：《行政法的正当程序原则》，载《中国社会科学》2004年第4期。在美国联邦宪法上，正当程序条款甚至取得了概括性人权保障条款的地位。[注]参见余军：《正当程序:作为概括性人权保障条款——基于美国联邦最高法院司法史的考察》，载《浙江学刊》2014第6期。我国司法实践中也在实际运用正当程序原则审查行政行为。[注]参见何海波《司法判决中的正当程序原则》，载《法学研究》2009年第1期。随着私人规制和公权力的界限日益模糊，“私行政”的理念下也日益要求参与社会事务并实际履行公益和人权保障功能的私主体，也应接受国家对其组织形式和程序的监督义务。[注][日]山本隆司：「公私協働の法構造」碓井光明他編『公法学の法と政策(下)』，有斐閣2000年版，556页。转引自杜仪方：《公私协作中国家责任理论的新发展——以日本判决为中心的考察》，载《当代法学》2015年第3期。而算法的自动化决策因披着技术的外衣，一直拒绝对利害关系人公开。应用于美国社区管理的“真知”算法的设计者理查德·伯克坦陈：“不透明性可以帮助我摆脱一切麻烦……我在做出对某些人不利的预测时，从来不会给出理由，我唯一的目标就是做出正确的预测。”[注]Angwin, J., Larson, J., Mattu, S. and Kirchner, L. (2016) Machine Bias. There is software that is used across the county to predict future criminals. And it is biased against blacks, ProPublica, 23 May 2016.正当程序下，受到不利决策的自动化决策的人应有权知晓决定的内容与理由，并享有申诉和申辩的机会。

(三)事后救济：解释权与有限主体化

法律规范行为主要有两种机制：事前(ex ante)和事后(ex post)。[注]参见Calabresi G, Melamed A D. Property rules, liability rules, and inalienability: one view of the cathedral. Harvard law review, 1972: 1089-1128 . See also Lessig L. Code and Other Laws of Cyberspace'Basic Books, 1999. 1999.前者是预防型的，即预测并防止某一事件的发生，后者为反应型，即对某一事件作出反应。[注]参见龙卫球：《数据新型财产权构建及其体系研究》，载《政法论坛》2017年第4期。无救济则无权利，算法规制必然包含事后救济和追责制度的建立。

1. 算法解释权制度。算法解释权指的是，当自动化决策的具体决定对相对人有法律上或者经济上的显著影响时，相对人向算法使用人提出异议，要求提供对具体决策解释，并要求更新数据或更正错误的权利。[注]参见张凌寒：《商业自动化决策的算法解释权研究》，载《法律科学(西北政法大学学报)》2018年第3期。目前学界对自动化决策算法法律制度的讨论多集中在如何进行风险防范，[注]参见司晓、曹建峰：《论人工智能的民事责任:以自动驾驶汽车和智能机器人为切入点》，载《法律科学(西北政法大学学报)》 2017年第5期。而算法解释权意在风险发生后如何分配损害。

算法解释权的主体应为认为受到自动化决策不利决策的相对人，如经过算法评估不被雇佣的候选人，量刑和假释辅助算法决策的相对人等。负有义务者为自动化决策的使用者，包括根据合同自动化决策的使用者如网络平台、保险公司、银行等，也包括使用自动化决策决定涉及资格、权利等事项的公共部门，如决策有关福利发放、犯罪风险评估，教育入学资格等。需要指出的是，当算法的使用者无法提供解释时(如由于技术能力的限制)，算法的开发者有义务进行协助，以为相对人提供具体决策的解释。

此外，算法的深度学习依赖数据，责任难以从数据流和算法中被识别，只有算法本身才有可能提供合理的解释。[注]参见张凌寒 ：《商业自动化决策的算法解释权研究》，载《法律科学(西北政法大学学报)》 2018年第3期。在今年3月7日，谷歌大脑团队的克里斯·欧拉(Chris Olah)公布了一项题为“可解释性的基础构件”的研究成果，该成果解决了神经网络这种最令人难以捉摸的算法的可视化问题，谷歌将其比喻为人工神经网络的核磁共振成像(MRI)。这种可视化解释技术简化了相关信息，使算法的工作状态回到了“人类尺度”，能够被普通人看懂和理解。未来这种“解释算法的算法”或者“监督算法的算法”必将成为算法规制的革新手段。

2. 算法有限主体化。在现行可能的规范手段中，可对算法复杂性列出定性尺度，有助于评估算法自主程度并因应性地予以规范。算法主体性不同于法人等法律拟制制度，而是人造物基于智能性而非为法律规制便宜性获得的法律主体地位。算法法律主体化后，可能享有个人财产，享有一定言论自由，承担有限侵权责任，并受到法律保护不受到攻击、伤害。[注]参见胡凌：《人工智能视阈下的网络法核心问题》，载《中国法律评论》2018年第2期。人工智能，机器学习和机器人领域的前沿领域，无论是智能合约，高频交易算法(时间跨度是人类无法察觉的)，还是未来的机器人，都强调自主性。面对此类超级智能体的出现，人类的本能想法是赋予人工智能算法以法律主体地位，并发展一系列相应制度以纳入现有法律体系规制框架内。2016年，欧洲议会的“机器人法”立法建议报告提出：“从长远来看要创设机器人的特殊法律地位，以确保至少最复杂的自动化机器人可以被确认为享有电子人(electronic persons)的法律地位，有责任弥补自己所造成的任何损害，并且可能在机器人作出自主决策或以其他方式与第三人独立交往的案件中适用电子人格(electronic personality)。” 赋予人工智能体以法律主体地位的设想否定了来源定律，即假定任何给定的机器人或算法系统都有创造者，控制者或所有者。

人工智能时代法律政策是基于风险的制度选择和法律安排。[注]参见周汉华：《论互联网法》，载《中国法学》 2015年第3期。本文是对人工智能时代社会结构性变革应对研究的抛砖引玉，具体制度设计仍有待法学学者的深入研究。