人工智能风险规制的困境与出路

郭传凯

(山东大学 法学院，山东青岛 266237)

引 言

人工智能通过完成高难度任务不断加深着对人类社会的影响：无人驾驶已经在美国四个州获得上路批准，未来很可能引发道路交通运输的革命；人脸识别系统在反恐等领域发挥着重要作用；电脑程序击败了世界最强围棋运动员；谷歌研发的翻译系统则可以独自翻译报纸上的长篇文章。(1)参见Matthew U. Scherer, Regulating Artificial Intelligence Systems: Risks, Challenges, Competencies, and Strategies, 29 Harv. J. L. & Tech. 353 (2016).与此同时，人工智能的商业前景激发了大型企业投资与开发的热情，谷歌、脸书、亚马逊等公司通过资助研发、设立试验机构、收购新兴企业的方式开展人工智能竞赛。人工智能飞速发展之势已不可阻挡。

然而，技术进步引发恐慌情绪和监管预警(2)本研究在以下层面区别使用监管、规制与管制：监管强调监督与管理的并存，在常规状态下以监督为主，在出现特定问题时才以特定的限制与禁止措施进行管理。强调监督时，本文则倾向于使用监管一词。规制则泛指规制者通过制定规则、实施强制性措施的方式对被规制者进行限制或禁止的过程。而管制一词则带有感情色彩，多指缺乏灵活性，难以满足市场经济发展需求的僵化措施。具体到风险领域，学界多以风险规制作为通用名词，因此本文不使用风险监管的概念。并不是人类社会的新鲜现象。(3)参见戚建刚：《风险认知模式及其行政法制意蕴》，载《法学研究》2009年第5期。尽管有些人工智能风险与以往技术创新引发的风险相类似，但更多体现人工智能独特性的新兴风险及相应法律问题将在未来接踵而至。如果放任人工智能在监管真空的状态下快速发展，风险发生的可能性及危害性很可能伴随时间的推移呈现指数式的增长。(4)参见Matthew U. Scherer, Regulating Artificial Intelligence Systems: Risks, Challenges, Competencies, and Strategies, 29 Harv. J. L. & Tech. 400，401 (2016).另一方面，风险规制是否阻碍技术创新成为相伴而生理论与实务难题，短期视野下采取的规制措施很可能损害技术创新带来的长远效益。人工智能风险的独特性与现行规制的局限性导致风险规制始终处于紧张的矛盾状态之下，认真对待人工智能的风险规制势在必行。

一、人工智能风险规制的现实需求

理解人工智能是进行风险规制的第一步，(5)如何界定人工智能是需要考察的重要问题。目前我国法学界对人工智能存在以下界定：马长山教授认为，人工智能是通过模拟人脑思维，由机器或软件所表现出来的具有推理、记忆、理解、学习和计划的类人化智能，它能够思考自己的目标并进行适时调整，甚至将拥有足以匹敌人的智慧和自我意识的能力。刘宪权教授认为，人工智能技术通过模拟人类的神经网络,让计算机系统 对数据库进行深度学习,使得计算机系统能够进行分析、判断以及决策。参见马长山：《人工智能的社会风险及其法律规制》，载《法律科学》2018年第6期；刘宪权：《人工智能时代的刑事风险与刑法应对》，载《法商研究》2018年第1期。人工智能复杂性、灵活性的特点致使其无法形成统一的概念界定。(6)参见John McCarthy, What is Artificial Intelligence?, JOHN MCCARTHY'S HOME PAGE 2-3, http://www-formal.stanford.edu/jmc/whatisai.pdf.第一个使用人工智能概念的计算机科学家麦卡锡将人工智能界定为“有关智能机器特别是智能电脑程序的科学技术与工程系统”，(7)Id.其可以通过自身行动实现复杂的目标。作为偏正短语，“人工智能”的核心部分在于“智能”二字，如何界定“智能”对解读人工智能而言意义重大。依照学界通说，“人类智能”主要关涉具备知觉、存在自我意识、可以使用语言、掌握抽象思维、能够调整适应环境以及进行复杂推理等要素。(8)参见Francis Crick & J. Clark, The Astonishing Hypothesis, 1 J. CONSCIOUS STUD, 10-16 (1994).因此有学者参照“智能”的概念将人工智能分为人性化思考、人性化行动、理性思考和理性行动等四种类型，并最终认为人工智能是自动运行、能感知周围环境、可在一段时间内持续存在的、具有适应能力，并创造和追求最佳结果的机器或者程序。(9)[美]斯图尔特·罗素、皮特·诺维格：《人工智能：一种现代的方法》，殷建平等译，清华大学出版社2013年版，第1-5页。

通过比较，不难发现理性行为特别是追求最优结果的能力是被广泛认同的人工智能关键属性，其决定了人工智能的两大特征：其一，人工智能的行为后果具备较弱的可预见性。尽管人工智能的理性能力在一定程度上可以通过初始程序进行控制，但其自主完成复杂任务的过程亦容易导致人类难以预见的后果。其二，人工智能具有较弱的可控性。人工智能可控性上的局限并不是由于机器故障或人工智能对人类指令理解能力的不足，而是源自其对设计者主观意图的隔离与漠视。特别当人工智能认定的最优结果与人类社会期待的最优结果发生偏差的时候，人工智能的可控性成为需要解决的重要难题。(10)以寡头垄断市场上出现的算法通谋为例，大型企业开发的数据算法很可能彼此撮合进而形成垄断价格，这种价格对寡头企业而言是有利的，但对于有效竞争的实现和消费者利益的维护是有害的。此时就出现了人工智能目标函数上的分歧。此外，人工智能在研发上的独特性与其理性行为能力密切相关：(1)集约化。相较于新能源技术、航天科技等领域，人工智能并不需要大规模的机构设施即可开展研发工作。(11)参见John O. McGinnis, Accelerating AI, 104 NW. U. L. Rev. 1253, 1262 (2010).(2)分散化。在人工智能领域，不同的机构组织，不同的私人企业往往进行分散化的研究。相同的人工智能技术亦可以在不同行业不同领域进行分散化的运用。(3)非连续性。特定技术的开发者不能预见该技术的后继者将如何使用该技术进行进一步研发。(12)参见Matthew U. Scherer, Regulating Artificial Intelligence Systems: Risks, Challenges, Competencies, and Strategies, 29 Harv. J. L. & Tech. 369 (2016).某一阶段的技术开发者往往无法长远预见该技术发展的未来走势。(4)不透明性。人工智能技术开发往往是多种现有技术的复杂组合，这使人工智能很难采用反向还原工程进行拆解分析。这导致人工智能开发中的缺陷不仅对消费者而言是不可测度的，对下游生产商和分销商而言亦是难以检测的。

人工智能的上述特征从根本上决定了风险规制的现实需求。在风险规制的视野下，一些具备理性能力的人工智能(如象棋软件)暂时不具备引发公共风险的可能性，而一些机器学习系统尽管不具备理性行为能力，但却可能引发相关风险，进而也可被纳入到人工智能的规制范畴中来。(13)参见Michael Guihot; Anne F. Matthew; Nicolas P. Suzor, Nudging Robots: Innovative Solutions to Regulate Artificial Intelligence, 20 Vand. J. Ent. & Tech. L. 395 (2017).由此可见，规制视野下的人工智能是一个谱系化的概念，其包括并不具备目标追求能力但却可以完成复杂任务的机器系统或软件(即不严格的人工智能)，(14)不严格的人工智能是指以机器结算为代表的产业技术与装备，其展现出来的“自主意识”只不过是被人类固定设置的特定程式。以及符合理性标准具备目标追求能力的人工智能，甚至还包括目前尚未出现但却被学界普遍关注的强人工智能(Artificial General Intelligence，也可译作人工普遍智能)。所谓强人工智能，是指具备相当程度的自我理解和自我控制能力，可在多变复杂的环境下解决不同的复杂问题，并能够学习掌握解决新问题的相关技能与知识的实体。(15)参见Amnon H. Eden; James H. Moor; ohnny H. Søraker; Eric Steinhart, Singularity Hypotheses A Scientific and Philosophical Assessment, Berlin: Springer, 2012,p.161.关注强人工智能对人工智能的风险规制具备警示意义：强人工智能已经给人类社会造成较深层次的担忧，(16)参见Nick Bostrom, When Machines Outsmart Humans, 35 FUTURES 759, 763-64 (2003).原因在于人工智能的发展具备蛰伏期较长与指数级增长相结合的特点，(17)Supra note 5.其一旦结束蛰伏期而达至特定的临界点，随即将开启指数级增长的阶段，人类很可能面临被强人工智能驯服的风险。因此，对人工智能规制而言，真正的问题是目前人工智能已经发展至何种阶段，以及距离前述的临界点还有多远。法律的规制应当指引人工智能的发展，风险预防理念下的防控型规制应当成为主流的规制策略。

截至目前，人工智能的应用已经造成了一些难以应对的风险。(1)人工智能歧视。大数据与人工智能技术的结合使复杂问题的分析往往伴随着种族主义和性别歧视等倾向。(18)参见Kate Crawford, Can an Algorithm Be Agonistic?Ten Scenes from Life in Calculated Publics, 41. TECH. & HUM. VALUES 77, 82-83 (2016).且人工智能技术使歧视往往难以察觉，如不及时克服则极易固化为数据算法的内在逻辑。例如在法律实施的人工智能程序中，黑人被误判犯罪的概率已然高于其他人种。(19)参见Julia Angwin et al., Machine Bias: There's Software Used Across the Country to Predict Future Criminals. And It's Biased Against Blacks. PROPUBLICA (May 23, 2016),https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing歧视问题在数据算法设计之时就应当被尽量排除。(2)安全风险。自动驾驶等智能技术可以通过减少人为失误的方式提高出行安全，但软件缺陷等原因亦可造成新的安全风险。在及时的风险选择时，无人驾驶技术可能面临着道德困境。(20)以无人驾驶技术为例，该技术在面临一个人的生命与一群人生命的两难选择时，很可能遭遇道德困境。此外，个人信息安全问题则在疾病诊断智能应用方面比较突出。(3)人工智能在司法裁判中的应用风险。人工智能在裁判、法律解释中的运用可以提高司法过程的透明度与一致性，(21)参见Maria Jean J. Hall et al., Supporting Discretionary Decision-Making with Information Technology: A Case Study in the Criminal Sentencing Jurisdiction, 2 U. OTTAWA L. & TECH. J. 1, 31 (2005)但其一直遭受着自由裁量与具体案件具体分析能力不足的批判。(22)参见Paul Lippe, Daniel Martin Katz & Dan Jackson, Legal by Design: A New Paradigm for Handling Complexity in Banking Regulation and Elsewhere in Law, 93 OR. L. REV. 833, 849 (2015).在缺乏明确法律规范作为依据的场合下，法律原则及价值理念的考量需要较强的自由裁量能力。与此同时，司法裁判的做出需要推理能力和直觉判断能力并考察判决的社会效果，这些皆不是人工智能的强项。欧盟2016年颁布的《一般数据保护条例》第22条第一款则直接创设了一种新型的数据权利，即不必遵循纯粹人工智能程序做出的决定的权利，(23)参见欧盟《一般数据保护条例》(中文译本)，丁晓东译，http://www.zhichanli.com/article/6398.html。这直接要求司法判决中必须有人力的参与。(4)非独特性风险，以结构性失业为典型。人工智能带来的高效率、高安全性很可能彻底改变用工状态，(24)参见Carl Benedikt Frey & Michael A. Osborne, The Future of Employment: How Susceptible Are Jobs to Computerisation?, 114 TECH. FORECASTING & SOC. CHANGE. 254, 261 (2017).造成结构性失业，一些人力劳动将彻底被人工智能取代，由此造成的社会影响是需要认真分析的。

通过对人工智能主要特征及应用状况的分析，人工智能风险规制的现实需求得以充分展现。风险规制必须进一步厘清人工智能风险的独特属性及其规制困境，才能对症下药，分析寻找人工智能风险规制的可行出路。

二、人工智能的风险属性及其规制困境

基于人工智能及其研究开发的相应特征，人工智能风险呈现出如下独特属性。首先，私人企业在人工智能开发中的主导作用导致了信息的严重不对称，多学科交叉与前沿知识的运用使相关风险在现有的认知水平下具有不可知性。其次，不同人工智能可造成不同种类的风险，相同人工智能在不同领域的应用亦可能造成不同种类或不同程度的风险。与此同时，风险具备较强的可变性，在规制真空的状态下，低水平风险很可能在短时间内发展为较强的风险，这种多样性与变动性对规制提出了严峻挑战。再次，人工智能风险还是一种典型的系统性风险。(25)参见Ortwin Renn & Andreas Klinke, Systemic Risks: A New Challenge for Risk Management, 5 EUR. MOLECULAR BIOLOGY ORG. REP. 41, (2004).人工智能的应用被嵌入在非常复杂且相互影响的社会、金融等系统之中，系统与系统之间、系统内部诸要素之间的关联性扩大了风险的潜在影响。系统环境越是复杂与非线性，相应风险就越容易被系统的关联效应放大，以致影响多方面的利益相关者。最后，人工智能风险亦具备两面性。规制失败造成的风险应当被充分考量。企业家与技术开发者往往对规制怀有一定程度的恐惧，其认为除非技术创新对社会发展造成严重的损害，否则创新不应当被阻止。(26)参见Adam Thierer, Technopanics, Threat Inflation, and the Danger of an Information Technology Precautionary Principle, 14 MINN. J.L. SCI. & TECH. 309, 339, 375 (2012).此外，规制措施的采取在很大程度上受到民众意见的影响，这种影响很可能错误地左右了规制机关的相应选择。人工智能的风险属性决定了风险规制的具体困境。

(一)规制的滞后性

人工智能风险的不可知性与多样性使规制者的步伐滞后于技术开发与运用的脚步。风险的可变性与系统性亦导致规制者难以对风险的发展变化做出充足的预估与反应。规制的滞后性往往具备正反馈效应，一时的滞后往往对技术开发者形成进一步规避监管的不当激励，继而造成规制的进一步滞后。此外，规制者面向未来的监管，往往因立法的缺失或模糊而难以及时采取行动，这在一定程度上造成了规制的掣肘。

规制的滞后性是造成规制对抗的重要原因。“科林格里奇困境”揭示了这一过程：在技术发展的早期，规制者往往因信息匮乏而无法采取行动；而伴随时间的推移，相应技术很可能根植于人类的日常生活，以至于规制者一旦采取行动即遭受来自使用者、开发者、投资者的抵抗。(27)参见Graeme Laurie, Shawn HE Harmon & Fabiana Arzuaga,Foresighting Futures: Law, New Technologies and the Challenges of Regulating for Uncertainty, 4 LAW INNOVATION & TECH. 6 (2012).人工智能技术的广泛应用使上述困境成为规制者面临的主要难题。以“无人驾驶”技术为例，其广告宣传的主要亮点都是帮助用户克服传统汽车带来的风险，这使政府部门在面对新兴风险时往往缺乏规制的积极性。新兴产品的确对传统产品形成了明显的替代效应，但其很可能只在短期之内或者某一方面具有克服风险的功效。长远或者通盘考虑，其可能造成新的风险。以目前的检验、检测技术难以直接高效地分析风险内容及其发生的可能性。风险认知上的挑战极大地增加了规制的难度，盲目进行全面禁止很可能阻碍技术创新。随着无人驾驶技术的推广，利益相关者特别是被规制者的俘获或阻挠将成为新兴风险难以规制的重要原因。当规制者以相对消极的方式进行信息收集时，新兴产业也在采取应对措施。(28)在新兴技术研发运用的初始阶段，相应规制的拖延容易导致两种类型的政治阻力。最常见的是利益集团的媾和。奥尔森在《集体行动的逻辑》中指出，规模较小但集中化的利益集团比规模大而分散的社会公众更能对规制政策产生影响。与此同时，规制立法及其实施往往以牺牲利益集团的利益为代价，换取社会公众的利益实现。正反两个方面相互结合，规制成败在很大程度上受利益集团特别是被规制企业的干扰。参见[美]曼瑟尔.奥尔森：《集体行动的逻辑》，上海人民出版社1995年版。即使未来规制主体可以为规制措施构建正当化基础，被规制对象也很可能已经获取了与规制者讨价还价的“政治资本”。(29)在这个过程中，被规制企业可以通过收集信息、进行有利于自己的实验甚至采取扩张雇佣规模的方式获得抵抗规制的筹码。此外，社会公众对风险的认知更倾向于“体验——情感模式”，(30)对公众风险认知模式的总结，参见戚建刚：《风险认知模式及其行政法制意蕴》，载《法学研究》2009年第5期。其风险的判断更多立足于感官刺激，对新兴风险的认知更加缺乏理性的判断。(31)不论是日本福岛核电站放射性泄露，还是恐怖分子袭击，有些风险是可以带给民众比较直接的感官刺激。不仅政府规制的积极性较高，民众的规制呼声也比较高涨。而对以技术创新为表现形式的“新兴风险”而言，尽管风险发生的盖然性很可能远远高于放射性泄露的发生概率，危害亦可能高于恐怖袭击等风险形式，政府与民众依旧对其不够重视。这正反映了一种尴尬的局面——“大量的资源被消耗在微笑或者主观猜测的风险上，而其他应当关注的风险却未启动相应的程序”。参见杨小敏、戚建刚：《风险最糟糕情景认知模式及行政法制之改革》，载《法律科学》2012年第2期。国外学者亦分析了这一现象，以飞机失事事件为例，可以生动形象地引起公众生理反应的风险常常引发较强的规制诉求。See Timur Kuran & Cass R. Sunstein, Availability Cascades and Risk Regulation, 51 STAN. L. REV. 683, 706 (1999).当新兴技术博取了社会公众足够认可时，规制很可能面临来自社会公众的对抗，这种对抗往往成为影响规制成败的重要因素。

规制的滞后与规制的对抗在很大程度上形成了封闭的恶性循环。规制的滞后导致了规制对抗的出现，而规制的对抗又反过来加剧规制的滞后性。如何打破规制的恶性循环成为人工智能风险规制的主要困境之一。

(二)传统规制的僵化与失灵

目前风险规制主要依赖事前与事后两种模式解决问题：以准入规制为代表的事前规制模式主张，当风险因素造成对人类健康或生存环境的威胁，预防性的措施就应当被采取，即使有些因果关系尚未被充分科学地建立。以司法裁判和行政处罚为代表的事后模式则只在造成实际损害，或有切实证据证明相应行为一旦持续，将很可能造成损害结果时才能启动相应的程序。而在人工智能的视野下，传统规制面临着僵化与失灵的困境。

规制者在进行人工智能产品的准入规制时，往往无法在准入与否与准入条件等方面进行准确的判断。规制者很可能倾向于禁止新产品的商业化以回应公众担忧，即使没有证据证明这种担忧有可靠依据。准入规制上“全有或全无”的僵化做法为企业的发展造成了不确定性，很容易损害技术创新效益。桑斯坦通过总结新技术发展过程中的管制状况指出，人们总是倾向于过分担忧技术创新造成的损失。(32)参见Cass R. Sunstein, Beyond the Precautionary Principle, 151 U. PA. L. REV. 1003, 1009(2003).他认为规制者应当避免对尚未认定清楚的未来风险进行过度严苛的管制。

人工智能风险规制在很大程度上是进行取舍的过程。即使具备一定依据，严格的风险预防措施亦难以符合效益原则。此时，风险规制似乎陷入悖论之中：风险的不确定性已然赋予规制主体较大的自由裁量权，如果依旧进行举证责任的倒置，则会使行政相对人处于非常不利的位置，致使规制主体更容易摆脱程序的制约，而如果举证责任由规制机构承担，则畸高的成本使预防原则难以发挥作用。尽管健康、安全、生态环境的重要性不言而喻，但大部分风险并非真正不可逆，以该模式对创新活动进行禁止或严格的限制将形成规制的路径依赖，进行纠正的难度是相当大的。

另一方面，事后规制则面临着失灵的困境。支持事后规制的观点认为，赔偿责任的追究可以提供充足的威慑。但风险规制的不确定性，导致事后机制的发挥遭受较大的阻力。因果关系的证明上存在较大的难度，举证责任的倒置也只能在有限的范围发挥作用。人工智能风险往往涉及诸多利益相关者，事后责任的分配不仅繁琐，更存在理论上的困难。在诉讼程序上，小额集团诉讼等制度短板亦限制了事后责任追究机制的发挥。(33)即使在美国，发散性的风险侵害亦难以通过司法机制进行权益的维护。See Christopher H. Schroeder, Lost in the Translation: What Environmental Regulation Does that Tort Cannot Duplicate, 41 WASHBURN L.J. 583, 601 (2002).风险的潜伏性，不仅增加了调查取证的难度，侵害的不可预知性亦常常作为被告的辩解理由。(34)以我国《产品质量法》第29条为例，该条列举的生产者不承担赔偿责任的具体情形中包括“将产品投入流通时的科学技术水平尚不能发现缺陷的存在的”，这样的规定在风险规制领域很容易成为生产者推卸责任的理由。被告的偿付能力亦是风险规制中需要考察的环节，被告出现财务困难以致破产的情况将导致受害人清偿难以实现。即使在诉讼机制相对健全的美国，环境侵权等案件中私法责任追究机制亦只能发挥较弱的威慑作用。(35)参见Troyen A. Brennan, Environmental Torts, 46 VAND. L. REV. 1, 6 (1993).

行政处罚等规制措施在信息不足的情况下亦面临着失灵困境。首先，大量与规制有关的信息被掌握在作为信息源的创新主体手中，市场创新主体亦有强烈的动机选择性地披露对自己有利的信息。即使证明创新的益处远远超过其弊端，开发企业亦不愿意披露克服弊端的方法或其他信息，原因在于弊端的克服对于创新者而言往往意味着新的商机。其次，事后规制为被规制者留下充足的时间进行联合对抗，规制者很容易错失规制良机。从根本上看，处罚措施构建起的规制对垒无法为人工智能风险防控营造合适的规制氛围。

(三)合作规制的现实困境

规制合作问题是困扰新兴技术行业监管的主要问题。(36)参见Stuart Minor Benjamin & Arti K. Rai, Fixing Innovation Policy: A Structural Perspective, 77 GEO. WASH. L. REV. 1, 3-5 (2008);首先，人工智能技术开发本身具有强烈的跨学科属性，且相同的人工智能技术很可能在不同行业进行应用，这在根本上决定了规制机构之间合作的必要性。其次，行业内部已经发展起一些行为准则或产业标准，规制机构应当兼顾行业内部的行为准则与自我规制，形成公私规制的良性互动。最后，人工智能风险规制应当更加强调问题导向性，并成立专门的委员会以处理规制机构之间、公共规制与自我规制之间、硬法与软法之间、法律与道德之间、经济发展与其他效益之间的矛盾问题。由此可见，合作机制成为人工智能规制必须解决的重要问题。其反映了规制“去中心化”的趋势——没有哪一方主体可以在人工智能风险规制中居于绝对的主动地位或中心位置。(37)参见Julia Black, Critical Reflections on Regulation, 27 AUSTL. J. LEGAL PHIL. 8 (2002).人工智能风险规制的诸多困境与规制资源的分散化决定了人工智能风险规制只能是多方主体平等参与的开发性场域。当然，合作规制的过程中亦应当防止规制俘获。规制者和被规制者的频繁互动大大增加了规制俘获的可能性。相较于其他技术创新领域，人工智能领域则更加容易出现交叉任职的情况。人工智能技术知识与专家意见被人工智能企业的高级雇员掌握，这使得规制者倾向于雇佣前述人员参与规制。这种交叉任职的情况，大大增加了规制俘获的可能性。

综上所述，人工智能风险的独特属性决定了规制的多重困境。现行规制主要依托法律命令和行政制裁等手段的直接应用，政府部门被认为是合理垄断规制资源和规制权力的规制中心，由此造成了规制的滞后与失灵，难以满足合作规制的现实需要。寻求规制思路的变革成为走出规制困境的关键。

三、实验型规制：人工智能风险规制的可行出路

在过去20年间发展形成的回应型规制理论，在很大程度上对传统规制形成了变革与替代，其能否为人工智能风险规制提供相应的理论指导是需要探讨的问题。回应型理论的出现展现了单一命令型规制向可控性和适应性更强的复合型规制体系变迁的整体趋势，但该理论的局限性决定了其无法成为人工智能风险规制的理论基础。

(一)回应型规制理论及其局限性

典型的回应型规制理论从法社会学与经济学的角度倡导规制手段的谱系化，以此实现政府规制与非政府规制的合作与互动。(38)参见John Braithwaite, The Essence of Responsive Regulation, 44 U.B.C. L. REV. 475, 480-83 (2011).其遵循以下原则：(1)任何规制措施应当是针锋相对的选择，(2)首先考虑使用说服教育和自我监管的措施，(3)政府的强制性措施作为最后选择，(4)规制强度应当逐步提升。(39)参见Ayers, J. Braithwaite. Responsive Regulation : Transcending the Deregulation Debate. Oxford: Oxford University Press,1992,p.6,37,38.与之对应，整体规制策略则可分为自我规制、强化型自我规制和命令强制型规制三种类型，具体规制手段也形成了由弱及强的金字塔体系。在此基础上，“聪明监管”理念的提出使原有单面的金字塔体系演化为三面金字塔体系，第一面是政府监管，第二面是企业自我监管，第三面是第三方监管。(40)参见Dirk A. Zetzsche; Ross P. Buckley; Janos N. Barberis; Douglas W. Arner, Regulating a Revolution: From Regulatory Sandboxes to Smart Regulation, 23 Fordham J. Corp. & Fin. L. 94-98 (2017).在具体的规制任务面前，规制者不仅可以增加直接监管的强度，还可以强化企业的自我监管与第三方监管。还有学者基于回应型理论提出了双层监管的构想，将建立有效内部监管体系的企业放入第一层级，政府部门可以减少对它们的直接规制转而对企业内部监管体系进行补充监督；而尚未建立起严密监管体系的企业则被放入第二个层级，对之保持着传统的命令型规制。(41)参见杨炳霖：《监管治理体系建设理论范式与实践路径研究——回应性监管理论的启示》，载《中国行政管理》2014年第6期。由此可见，回应型规制理论旨在转变政府自身定位，由原来的直接规制者转变为规制体系的构建者，通过制度构建保证其他非政府组织的主体地位，并激发自我监管的意愿和能力。立足回应型理论，一些专门针对现代风险的规制理论得以提出。(42)参见Julia Black & Robert Baldwin, Really Responsive Risk-Based Regulation, 32 LAW POL'Y 181, 193, 210 (2010).如“真正风险回应型理论”主张风险规制应当对被规制企业的态度、行为、文化氛围、机构环境、交互控制等方面作出回应，规制者应当积极探查不服从行为，并以不断发展变化的策略和手段积极应对这些行为，在确保规制措施得以实施的前提下，评估规制措施的成效并积极进行相应的调整。(43)Id.

不可否认，这些理论在风险规制领域发挥着重要作用，但依旧无法因应人工智能风险规制的困境。

首先，人工智能风险面临的规制信息匮乏与不对称的程度远远超过以往风险，政府部门已经不再位于信息获取与发布的中心位置。人工智能的飞速发展为规制者勾画出急剧上升的学习曲线，这些因素都使风险规制具备很强的不可预见性，而回应型规制实际依旧以风险的可预见性为依托。(44)以往风险规制往往以相对明确的科学依据和经验事实作为支撑，因此那些方面的风险规制相当于“预防相对确定的危害结果出现”。面粉添加剂的存废之争就是很好的例子，参见沈岿：《风险预防原则与食品添加剂准入裁量》，载《北京行政学院学报》2012年第6期。尽管回应型规制强调多元规制主体的广泛参与，但这种规制的多元化实际是政府部门在一定风险分析基础上主动对规制权力进行再次分配的结果，充足的风险分析与政府主导的多元化在人工智能领域皆难以实现。回应型规制倡导的教育、激励等手段亦建立在信息相对充分、行业透明度较高的前提下，这与人工智能行业的发展现状与未来趋势颇为不符，回应型理论在很大程度上无助于解决规制滞后的困境。

其次，尽管回应型理论旨在形成立体化的规制工具体系，但其形成的规制体系依旧以政府规制为绝对中心。而人工智能风险规制在知识层面上的割裂以及相关技术的多样性、分散性，导致该领域风险规制难以实现政府规制的绝对中心化，相应的规制应当是多方主体基于信息反馈而互相合作的结果。回应型理论难以为风险规制构建起平等合作的开放式场域。

再次，尽管在人工智能领域也可使用自我规制的概念去形容企业进行风险防控的过程，但人工智能领域的自我规制与政府主导下的双层规制体系有很大的不同，前者是在政府规制真空的状态下由开发者自发形成的规制，尽管这种自发性往往源自对政府规制滞后的无奈与担忧。(45)以2014年谷歌并购深思科技为例，并购一经获批，谷歌公司就宣布成立人工智能监管理事会以应对人工智能风险。参见Michael Guihot; Anne F. Matthew; Nicolas P. Suzor, Nudging Robots: Innovative Solutions to Regulate Artificial Intelligence, 20 Vand. J. Ent. & Tech. L. 387 (2017).这种自我规制与回应型理论下由政府设定相应规制目标的自我规制相比更加具备能动性与不可控性。若政府部门可以找寻平等合作的途径，则可能出现规制双赢的结果，否则很可能导致规制资源的消耗与规制对抗。在自我规制的过程中，相应的知识、信息、规则、原则亦通过自我规制的过程进行自下而上的创造，这在很大程度上消解了政府规制的权威性，(46)以发达国家人工智能的自我规制为例，在美国，谷歌、亚马逊、微软、苹果以及美国人工智能发展协会通力合作，制定了一系列的人工智能发展备忘录。无独有偶，美国电子电器工程师协会则提出了《道德化设计：人工智能时代人机相处的信任机制》文件，以促进人工智能的自我规制。Id.at 431-433.规则制定权的分化无形中为政府规制制造了外在压力。在这样的背景下，双层规制等策略当然是难以实现的。最后，回应型规制在人力物力、组织能力等方面的水平与人工智能的规制需求不相匹配，这直接限制了回应型规制的适用空间。

在此背景下，美国学界提出一些新的规制策略以应对快速发展的新兴风险。例如，(1)以暂时性规制措施强化风险规制的灵活性，通过实验性立法与落日条款的方式确定可调整的规制手段与目标，通过法律规范与规制措施的调整以适应不断发展变化的整体环境。(47)参见Shawn HE Harmon & Fabiana Arzuaga, Foresighting Futures: Law, New Technologies and the Challenges of Regulating for Uncertainty, 4 LAW INNOVATION & TECH. 1, 3 (2012).(2)以“规制沙箱”的方式允许企业实施与检验新的规制思路，在这一过程中不必受已有法律规制的严格限制。(48)参见Luke G. Thomas, The Case for a Federal Regulatory Sandbox for Fintech Companies, 22 N.C. Banking Inst. 257 (2018).(3)积极借助信息反馈实现预期立法，以适应规制过程中的偶然性。(49)参见Wendy Wagner; William West; Thomas McGarity; Lisa Peters, Dynamic Rulemaking, 92 N.Y.U. L. Rev. 192-194 (2017).人工智能风险规制必须处理好灵活性与可预见性的关系。受上述策略的启发，实验型的规制策略成为人工智能风险规制思路的可行之选。

(二)作为可行出路的实验型规制

实验型规制通常分为四个阶段。首先，规制机关应当通过其掌握的初始信息，做出“初步可规制”的决定。第二，规制主体应当考察被规制者和相关民众的意见，以决定实验的具体条件，实施相应的实验。第三，必要之时，规制主体可暂停某些特定活动，以确保实验的顺利进行；依据实验结果规制者可确定暂时性规制措施，以防止风险发生。第四，实验过程必须被合理地限制，以确保其具备合法性。

1.“初步可规制”决定的做出。如果现有的科学证据表明存在可置信的重大风险或潜在损害，那么该风险就具备初步的可规制性。规制者很难制定出初步可规制风险的量化标准，也无法计算出相应风险出现的具体概率。因此只能依靠以下的标准对人工智能风险进行规制筛选：(1)技术具有革新甚至颠覆属性，对传统技术或产品有明显的替代效应；(2)该技术以克服或减轻相关传统产品的风险或危害为主要的宣传依据；(3)该技术问世前相关市场中并不存在类似的产品和技术；(4)新兴技术正在以较快的速度推广，或者有可预见的较大的推广空间。由于不同领域的风险往往由不同的部门进行规制，因此风险规制并不需要统一的部门对新兴风险进行排序，不同领域的规制者可依照上述标准确定各自的规制任务，并交由人工智能委员会进行统筹安排。(50)人工智能委员会见本章第三节的论述。

初步可规制性的明确很可能遭遇疑难案件。首先，决定的做出需要克服科学实验的局限性问题。科学本身是由无数次的失败的结果，因此在哲学上常被人作为证伪过程的结果。(51)关于科学知识的可证伪性，参见[英]卡尔.波普尔：《开放社会及其敌人》，中国社会科学出版社1999年版。“在高度不确定性的领域，专家们无论如何调动自己的学识和经验，作出推测、假定或者建议，也不一定能达到或者逼近绝对的真实。”(52)陈春生：《核能利用与法之规制》(增订版)，月旦出版社股份有限公司1995年版，第379页。对目前的科学技术还难以进行监测分析的技术或人类行为，即使进行实验亦难以开启规制程序。科学认知水平的制约往往使初期的规制活动都难以符合成本收益分析的要求，因此对实验周期较长、耗费资金较大、同行评议或学界共识普遍认为危害较小或不存在危害的创新活动，只能采取观望的态度。其次，如何协调民意与专家意见之间的关系是急需解决的问题。有学者认为，民众意见在风险规制中承担价值目标确定的职能，而专家智识则决定了具体的规制措施和规制策略。(53)参见戚建刚：《风险规制过程合法性之证成——以公众和专家的风险知识运用为视角》，载《法商研究》2009年第5期。但在人工智能风险领域，民意对规制目标的选定作用应当受到限制，规制主体应当在新兴技术特别是具备颠覆性意义的技术创新面前保持警惕，在规制目标的选择上不应完全顺从民意而将规制资源集中在民众关注的领域，而应更加倚重科学分析的结果。

2.实验的具体实施。实验实施是风险规制的核心环节，其有助于规制主体在确定规制策略前获取充足的信息。实验型规制在克服规制的“确认偏误”(54)确认偏误是指认识主体不论事实真相为何，都偏好于支持自己的成见或猜想的心理倾向。方面存在明显的优势。受实验影响，规制主体更易具备开放性的视野。(55)规制过程中的确认偏误实际与规制的路径依赖紧密相关。以往的规制措施在很大程度上影响规制主体看待新兴风险的视角与方式，容易使规制主体运用以往确定的规制路径解决问题。特别是规制信息匮乏或较强的不确定性影响下，规制者在面对新兴风险时不是选择过分严格的事前管制就是放任不管。多元主体的平等参与和合作使信息获取更加充分，规制者亦可构建起反思规制措施可行性的场域。

具体而言，实验对象被分配至实验组、对照组等不同的组别。当实验规模、实验次数达到一定要求，实验中采取的控制措施将有效地解释不同分组出现差异的原因，进而逐步积累有效的规制信息。在此过程中规制主体尽管没有义务按照被规制者的风险规制方案进行相应的实验，但实际上规制者往往有动机考察被规制者的提议。原因不仅在于人工智能风险规制对平等合作的需求，还在于一旦规制主体依照实验结果制定了相应的具体规则，规制的失败将面临被规制者以诉讼的方式而发起的挑战，在实验过程中参考被规制者的实验方案或者相关建议可以减少来自诉讼等方面的摩擦。此外，实验对象的选择实现了民众的参与，其不仅有助于增进民众对风险认知结果的认同和对规制措施的理解，还可以发挥民主监督的重要作用。

在实验过程中，规制者将面临着来自实践和伦理上的双重挑战。来自实践方面的挑战包括：(1)实验对象中途退出实验，(2)实验对象从一个组别转换至另一组别，(3)交叉影响，即实验对象被其他组别采取的规制措施影响。实验主体的退出，可以通过扩大样品数量和预先进行样品配对的方式进行解决。所谓预先配对，是指将实验组与控制组之中的样品提前进行配对，若一组中实验主体退出实验，则与其匹配的对应组中的主体亦被跟进剔除的解决策略。而另外两方面的问题则需通过跟踪监控的方式进行一定程度上的克服。此外，实验还面临着伦理层面的批判。实验对象的分组将直接影响不同组别主体的相应待遇，特别是长期实验的存在，很可能使实验对象在试验条件下遭受的差别待遇长期存在。特别在医学实验中，实验对象可能获得较好的医疗条件或者新研制的药物。因此，如果在医学实验中对比组实验对象遭受了比较明显的不利益，则实验措施应当及早停止。当然，实验的实施必须符合成本收益原则，这集中体现在实验规模的确定上。即使实验规模的最佳边际值难以精准地确定，对实验的大致规模进行科学谋划是实施实验的必要条件。

3.暂停权与暂时性规制措施。暂停权的行使主要服务于两个目标：确保合理的实验条件与防止利益集团的对抗。首先，在确保有足够多的实验对象参与实验的前提下，还应按照实验计划对不同组别的实验条件进行控制，以对照组为例，规制者应当暂停该组实验对象对相应产品的接触，否则实验结果将受相关因素的干扰。其次，利益集团特别是被规制企业的对抗能力主要由以下两个因素决定：资金水平和组织能力。规制主体的暂停中止权可以有效减小企业联合对抗的可能性：其一，暂停权的行使有助于限制风险创新企业的盈利能力。这种对盈利能力的限制可能是依据实验要求暂停相应的技术开发或产品销售的直接结果，亦有可能是向投资者释放风险规制的政府倾向进而导致投资热情冷却的间接结果。其二，对人工智能企业而言，经验的缺失使其原本就难以形成企业之间的联合。此时规制实验的出现，将有效减缓被规制企业沟通与联合的速率。

依据实验过程的阶段性成果，规制者在必要之时可以采取暂时性的规制措施。规制者可为被规制企业的技术开发、产品销售等经营活动设置时间、空间、强度或预防措施等方面的要求，与此同时，规制者还可以限制风险产品的销售，特别是向易受伤害的消费者群体的销售。鉴于暂时性规制措施对被规制企业的重大影响，规制俘获的可能性是比较大的。利益俘获理论早已指出，在位企业有俘获规制者以提高相关行业市场准入门槛、阻碍新兴企业发展的动机，暂停权的俘获则有助于传统行业抵制新兴技术的发展、削弱潜在的竞争。因此，实验的实施亦要防止规制俘获的出现。

4.合法性问题。风险规制在很大程度上对法律保留原则、比例原则形成了挑战，(56)参见赵鹏：《风险社会的自由与安全》，载《交大法学》2011年第1期。但这并不意味着风险规制可以摆脱合法性的制约。目前来看，我国并没有严格法令制定程序(57)我国规制机关的规章制定并没有可以遵循的严格的规则制定程序，而在美国，规制机构从20世纪80年代开始就可以采取商谈式的规则制定程序，1990年通过的《商谈式法令制定法》对这种法令制定程序进行了确认。依据该法案，即使各方在规则制定中取得一致，通过商谈方案制定的规则依旧要经过公告与评议程序，特别是成本收益分析程序。参见Jody Freeman & Laura I. Langbein, Regulatory Negotiation and the Legitimacy Benefit, 9 N.Y.U. ENVTL. L.J.60 (2000).，针对人工智能的实验规制制定政府规章的可能性也比较小。替代性方案应当被提出，以满足规制实验合法性的需要。首先，具体规制部门可制定临时性规则对实验的合法性进行确认；(58)具体规制部门主要指人工智能各个领域的监管部门，如无人驾驶技术的监管应当交由交通部门负责，在制定实验方案时，则应主要参考相应企业的意见与方案。其次，事后的司法审查机制可以为实验型规制提供一定制约。

临时性规则方案是指具体规制部门针对规制实验制定临时性具体规则的一种方案。首先，规制部门必须结合初始可规制风险的标准，论证实验的必要性和可行性，制定具体的实验方案。此时向谁论证，由谁应答成为风险规制需要解决的重要难题。由于民众参与积极性以及科学知识储备上的不足，向民众进行论证的可行性与有效性都比较弱。因此，实验方案的制定应当向人工智能委员会负责。实验方案应当包括初步可规制性分析、实验措施、实验对象分组、实验起止时间、预防补救措施等内容。其次，在实验取得阶段性成果后，规制部门应当制定临时性规范文件，以确定针对某种新兴风险的规制措施。该规制措施应当伴随着规制实验的进行不断进行调整或补充，并向前述委员会进行定期的总结分析。最后，结合人工智能行业的自身特点，相应的行业标准、行为规范应当被充分采纳进规范性文件的制定之中。伴随着风险认知的不断深化，待时机成熟之时，规制主体可制定正式的规范性文件为常规规制提供合法性依据，并结合新兴产业的发展制定一系列有关市场准入等方面的产业发展政策。

实验过程具备较强的不确定性，对其进行制约还要发挥司法审查的作用。以时限性为例，实验过程中的限制性措施只能是暂时性的。脱离司法机制的制约，这些规制措施很容易对创新型企业造成持续损害。(59)规制措施的暂时性和永久性问题实际在深化改革的进程中并不罕见。《行政许可法》第15条规定了地方政府创设临时许可的权力，但临时性行政许可实施满一年的，应当提请本级人民代表大会及其常务委员会制定地方性法规。而正是由于司法审查机制的不畅，导致许多地方政府创设的暂时性行政许可长期存在。尽管基于尊重规制能动性的司法克制理念，具体实验中的技术问题一般不属于司法审查的范畴，但实验及相关限制性措施的起止时间、适用对象等方面应当接受司法审查。目前来看，被规制者及其他利益相关者提起行政诉讼是进行司法审查的主要途径。

(三)人工智能委员会的设立与实验权力的配置

权力配置问题是实验型规制必须解决的重要问题。规制的合作性决定了规制权力必须在政府部门与人工智能开发者之间，以及中央与地方政府部门之间进行合理的配置。国外人工智能风险规制已经为我国提供了比较成熟的借鉴经验，主管部门、人工智能大型企业、独立科研机构与民众代表应当协同筹建人工智能委员会，作为决定实验权力配置等重大问题的决策机构。

一般而言，人工智能研究开发的相关信息掌握在开发者手中，实验样本的选择与具体方案的确定可以由开发者作为主要的策划者，政府部门则更多从风险的系统性及其他偶行性因素的角度进行相应的补充。而实验的具体实施权则需要委员会权衡地方试点型与中央主导型两种模式的利弊。规制实验可以大致分为有关技术可行性的规制实验与实践反馈的规制实验两种类别，尽管两种类别并不存在泾渭分明的界限。(60)以无人驾驶为例，技术可行性与实践的反馈是紧密结合的两个部分。尽管在技术开发初期，技术可行性主要是通过科技人员进行技术攻关的方式实现的，但随着技术开发的深入，技术可行性的提升与实践反馈越来越紧密结合在一起。前者一般由中央级别的规制机构与企业集团的母公司负责组织实施，原因在于地方试点型的实施模式具有以下局限性。

首先，风险规制较弱的可预见性与可控性使地方政府在进行规制时面临不小的难度，这就产生了“搭便车”与“规制观望”的可能性，(61)以网约车规制为例证，新生事物从产生到被赋予合法地位总要经历漫长的“等待期”。特别是中央政策尚不明朗或新生事物具备较强群众基础的情形中，地方政府在进行规制时不仅面临经验和理论缺失的困难，更滋生“等待观望”的心理动机。直至上海市颁发第一张经营许可证，全国各地才纷纷对网约车的监管进行初步的表态就是最好的例证。在具体监管的过程中，规制措施的选择亦展现了较强的模仿性。继北京上海出台有关司机、车辆的准入限制后，昆明、青岛、杭州等地市亦纷纷确立了事前管制的监管思路。参见郭传凯：《共享经济属性的回归与网约车监管思路的选择》，载《山东大学学报(哲学社会科学版)》2018年第1期。以致风险规制的低效。被规制的企业只要在规制相对宽松的地域范围获得了成功经营，便可以此为“根据地”向其他领域进行扩张发展，进而形成更强的规制对抗。其次，民众对风险规制的认知很可能被感性认识裹挟。在类似雾霾治理等可察觉性风险上，民众的诉求常常使政府花费大量风险规制资源，而对人工智能风险则视而不见。在缺乏中央政府强有力的督促、引导之时，地方层面很可能形成规制的真空状态。第三，规制竞次(62)规制的竞次是美国学界从20世纪90年代就开始着力研究的问题。参见Richard L. Revesz, Rehabilitating Interstate Competition: Rethinking the "Race-to-the-Bottom" Rationale for Federal Environmental Regulation, 67 N.Y.U. L. REV. 1210 (1992).是不得不考察的因素。地方政府享有相应的规则制定权，这使得规制主体享有较大的自由裁量权。自由裁量使准入监管、标准设置、行政处罚等规制措施具备了较强的灵活性与机动性，这就为创新型企业寻找合适的、规制宽松的经营研发地域留下了空间。招商引资、纳税金额、社会关注度、民众需求、就业机会等因素亦能诱使地方规制主体制定宽松的规制政策。对风险规制而言，这些都是需要提防的潜在因素。第四，地方主体规制相比中央政府规制更容易遭受被规制的俘获，也更容易在上级党政机关的“高压”之下以对待相关传统技术或产品的规制路径管制新兴技术的发展，从而造成规制路径上的严重依赖。最后亦是最重要的原因，地方试点模式往往在人力物力、专家知识、组织能力等方面不及中央主导型模式，不利于规制实验的实施。

中央主导型模式在科研实力和数据分析等方面的优势，使其在规制信息的获取方面有着地方规制主体不具备的优势。此外，中央规制主体具备地方主体不具备的权威性，这对抵御被规制者的联合对抗有重要意义。中央层面的规制措施亦具备较高的公信力，这有利于争取民众对规制的支持和理解。但中央主导型模式在实践反馈性实验的实施方面亦具有一定劣势。以司法大数据与人工智能技术为例，对该技术进行实践反馈实验则不宜在中央层面进行。原因不仅在于中央一级的司法案件远离地方基层多样实践，更在于中央一级的司法案件往往需要更加审慎的考量，将之作为人工智能的实验对象于理不合。此时地方型实验可以进行富有地方特色的试点，中央政府可选择最有效的、最符合成本收益原则的规制措施在全国适度推广。尽管中央政府亦有能力进行多种规制措施的尝试，但地方性实践更有可能进行高效的知识积累。原因在于不同的地方规制主体有不同的思维方式和实践土壤，有利于获得了更加契合地方实践的知识来源。此外，以地方试点的方式进行反馈性实验还可以避免中央级别的系统性或大规模风险。综上所述，有关技术可行性的规制实验应当尽量在中央层面进行实施，而实践反馈实验则应当在地方政府与企业集团分公司或子公司的层面进行开展。

结语

实验型规制的本质是政府与人工智能开发者携手构建开放性场域的过程。从初步可规制决定的做出开始，规制机关就与人工智能开发者共同决定了人工智能的风险等级与规制次序。人工智能委员会的设立形成了双层协作式的规制结构，确保了平等合作的规制方式贯穿实验型规制的始终，多学科知识和各方面信息在这一过程中得以融合，从而形成渐进性的规制：规制主体依据一定的初始信息采取一定的实验措施，并以前述措施获取更多的规制信息，再以获得的信息为基础采取更有效的规制措施，以此良性循环，实现信息与规制之间的互动与“攀援”，从而有效地化解了规制滞后的难题。

规制过程中暂时性规制措施的采取有利于提升规制的灵活性。特别对系列实验而言，不同技术发展阶段的不同状况导致不同的实验结果，采取的暂时性规制措施亦各不相同，规制者可以及时调整规制目标以适应不断变化的规制环境。此外，及时依据实验状况调整相应的规制措施可以有效避免相应规制对技术创新的阻碍作用。实验模式形成的开放式场域有利于发挥民主意见的作用，在最大限度上克服确认偏误导致的对传统规制模式依赖的同时，尽可能通过民众参与和被规制者意见的咨询化解规制对抗的难题。专家学者、实验人员、被规制企业、社会公众等积极参与，不仅扩充了知识来源的渠道，更能通过商谈的方式进行临时性规则的制定，为实验的实施提供合法性来源。

通过规制实验，政府部门可以潜移默化地影响人工智能研发与运用的整体环境，并将相应的政策精神内化为企业行动，实现规制与调控的结合。这一过程往往节约了规制成本，并使风险预防原则得以最大化的实现，避免了实际损害的发生和错误的规制路径形成。实验型规制的渐进性与开放性不仅有助于资源设备的改良完善，更有助于科学知识的积累与风险认知的递进化。这一过程不仅具备风险防控的面向，亦同时具有促进技术发展和便捷人类生存的面向，这与以往任何风险规制形成了重要区别。因此，作为人工智能风险规制可行出路的实验型规制不仅可以回应人工智能风险规制的多重困境，亦能最大限度地实现新兴技术的自由发展与人类社会的繁荣进步。