基于风险的人工智能监管治理

唐要家 唐春晖

一、人工智能的监管治理挑战

近年来，数据数量呈现指数化增长，同时算法、算力获得快速提升，实现了对数据的深度开发和挖掘利用，在这当中以机器学习为基础的人工智能技术发挥了决定性作用。人工智能技术的突破性进展和日益广泛应用，推动人类社会进入了深度智能化时代。目前，人工智能已经普及应用到经济社会的诸多方面，不仅数字技术产业化行业普遍应用人工智能，而且制造业、金融、交通、医疗、教育、公共管理和公安司法等领域也都在积极应用人工智能。人工智能正在对生产、消费、交易、社会治理和私人生活都产生深刻的影响，正在全面重构整个经济社会体系。人工智能已经成为除了市场、政府之外影响人类经济社会活动的第三只手。由于人工智能决策是使用一套模仿人类智能的算法来进行的，广泛应用人工智能算法决策的社会也被称为“算法治理的社会”〔1〕。

面对广泛扩张的“算法权力”〔2〕和日益凸显的“人工智能黑箱”〔3〕，加强人工智能监管治理已经成为全球共识。2019年以来美国先后发布了《2019年算法问责法案》（Algorithmic Accountability Act of 2019）〔4〕和《人工智能应用监管指南备忘录（草案）》（Guidance for Regulation of Artificial Intelligence Applications）〔5〕，英国 2020 年制定颁布了《人工智能与数据保护指南》（Guidance on AI and Data Protection）。〔6〕欧盟2020年以来先后颁布了《欧盟数据战略》（European Data Strategy）〔7〕和《人工智能法》（Artificial Intelligence Act）〔8〕等战略规划和政策法规，加强人工智能治理，构建稳定和有利于创新发展的人工智能生态，促进人工智能创新和国际竞争力提升。

中国是全球人工智能领域的重要领跑者之一，人工智能产业是国家的战略重点，加强人工智能治理是国家数字经济治理体系的重要内容。目前，国家已经颁布了《中华人民共和国网络安全法（含草案说明）》〔9〕《中华人民共和国数据安全法（含草案说明）》〔10〕等法律法规以强化网络和数据安全监管，但人工智能监管的法律制度供给还是相对不足。2019年和2021年中华人民共和国科学技术部发布了《新一代人工智能治理原则——发展负责任的人工智能》〔11〕和《新一代人工智能伦理规范》〔12〕两部指引性文件，2021年国家市场监督管理总局发布的《互联网平台落实主体责任指南（征求意见稿）》〔13〕第19条专门规定了“算法规制”问题。总体来说，中国系统监管人工智能的《人工智能法》等专门法律还未起草制定，系统监管人工智能的法律还相对缺失。面对中国人工智能全球领先性增长的态势，中国迫切需要明确人工智能监管的基础性问题，全面提升人工智能治理能力，为人工智能技术创新发展并获取全球领导地位提供治理制度保障。

目前关于人工智能监管治理的研究成为理论热点，很多学者从经济、社会和伦理等多个视角对人工智能引发的风险问题展开研究。现有的研究主要集中在如下三个方面：第一，人工智能的不透明、不可解释性及其引发的风险。Crawford分析了人工智能应用中的数据采集和结果偏差性风险问题，强调数据治理的重要性。〔14〕Burrell指出人工智能算法的模糊性和缺乏透明度是算法治理应解决的核心问题。〔15〕Zarsky指出人工智能算法决策的模糊性和自动性会引发降低经济效率和影响公平的双重风险。〔16〕Mittelstadt等系统分析了人工智能引发的伦理问题，如缺乏包容性、神秘性、误导性、不公平性、不可溯性和变化性。〔17〕第二，人工智能算法监管治理总体框架的构建。贾开和蒋余浩在分析人工智能的技术特性治理挑战的基础上提出算法治理的核心议题是算法的制定权及相应的监督程序问题。〔18〕吴汉东提出应建立以安全为核心、以伦理为先导和以技术、法律为主导的风险控制机制。〔19〕张凌寒指出应建立限权与赋权相结合的算法治理制度体系，提出应明确算法的应用范围、赋予公民个人数据权利与救济权、建立算法问责制度，加强行业自律和建立合作治理体制的建议。〔20〕Saurwein等在分析风险和治理约束的基础上提出人工智能治理不应采取一刀切的解决方案，应采用多元治理措施，应强化风险评估，建立以事实为基础的治理体制。〔21〕第三，人工智能监管治理的政策重点。沈伟伟认为应构建以算法透明为代表的事前规制和以算法问责为代表的事后规制相结合的算法治理体制。〔22〕刘友华指出应坚持公平、透明和可问责的原则，并强化算法使用者与设计者的责任。〔23〕

尽管目前各国都意识到加强人工智能监管的必要性，学术界主要对人工智能系统不可解释性所引发的社会歧视风险以及监管治理体制与治理政策问题也进行了探讨，但人工智能系统监管治理的根本目的是消除人工智能系统应用所引发的各种潜在损害风险，因此风险识别和风险防控成为监管治理体系设计的核心。为此，需要深入分析人工智能系统应用的风险产生机制及其多维表现，并据此制定更为精准的人工智能风险监管治理政策，从而提高人工智能监管治理体系的效能。

二、人工智能系统的黑箱模式及系统运行风险

（一）人工智能系统的黑箱模式

人工智能系统是指使用一种或多种相关技术和方法开发的软件，对于给定的一系列预设目标，能够产生影响其交互环境的内容、预测、建议或决策等的输出。人工智能主要是基于数据分析来对现实世界进行模型化，并运用这些模型来预测未来的事件。人工智能的机器学习使算法在没有人的指令或程序干预的情况下通过数据分析来自主学习，生成新的算法模型，并决定如何执行特定任务。机器学习技术采用神经网络架构来分析处理数据投入，进行深度自主学习和建立数据变量之间的关系，并作出决策。基于机器学习的人工智能在很大程度上超越了人的数据分析能力，具有了更高级的智能。

人工智能的快速发展和人类认知能力的局限造成了人工智能技术能力和人类认知能力之间的差距日益扩大。机器学习人工智能主要是采用黑箱模式，人无法确切知晓其运行情况，无法解释算法自主决策结果是如何产生的，具有显著的决策模糊性和结果不可解释性。在人工智能发展过程中，一个普遍接受的观点是最精确的模型内在地具有不可解释性和复杂性，即不可解释性是实现决策精确度所必需的。对于采用黑箱模式的机器学习人工智能来说，即使是其设计者通常也无法清楚解释各个变量是如何组合在一起并相互作用，从而得出最终决策结果的。

人工智能黑箱模式主要体现在如下几个方面：首先，人工智能系统的技术具有不可解释性。人工智能主要指对大数据进行分析并找出数据变量之间的相关性，但是其本身无法解释数据变量之间的因果关系，体现出一定的人工智能系统技术层面的不可解释性。其次，人工智能系统的结果具有不可解释性。人工智能决策是机器自主完成的，人工智能系统运行并不像人类那样具有相同或相似的推理逻辑，人无法充分了解人工智能的运行过程及其结果是如何产生的，难以对运算结果的正确性作出准确判断。再次，人工智能系统运行的动态性和结果具有不确定性。人工智能主要是采用机器自主的深度学习，算法根据环境变化来自主学习和动态优化，这使人工智能系统处于持续的动态变化过程当中，人无法对算法运行结果进行准确预测。最后，人工智能使用者有意地对算法决策过程实行封锁，由此带来模糊性。由于知识产权法律保护和人工智能系统使用者出于商业秘密保护等原因，外界无法知晓人工智能算法软件的源代码及其运行逻辑。人工智能系统的黑箱模式及其内在的不可解释性，成为人工智能系统风险产生的根本原因。

（二）人工智能系统运行风险分析

人工智能系统是基于复杂的计算和程序运行将投入的数据转变为有用产出的，以帮助人们更好地决策。人工智能系统本质上是一个投入产出的过程，包括系统开发设计、数据投入、算法运算与决策、算法决策结果输出与应用等，任何单个环节的缺陷都会引发系统风险。人工智能系统设计缺陷、投入数据质量缺陷、算法运行错误、算法结果解读或运用错误都会为经济社会带来损害。根据人工智能系统的开发应用流程，我们将各个环节的潜在风险具体总结在图1中。

图1 人工智能系统各个环节的潜在风险

第一，人工智能系统开发设计风险。人工智能系统开发设计风险主要体现为：一是算法结构缺陷，由于人的认知能力局限而造成算法设计缺陷，典型的如算法逻辑结构缺陷、错误的假设等；二是算法技术代码缺陷，如不恰当的模型技术、代码错误、算法程序设计中的错误等导致算法运行得出有偏差的结果；三是算法技术的开发单纯地关注技术或经济目的，社会规则和伦理规范缺失，由此导致在算法开发中容易将人的偏见带入人工智能算法程序。

第二，人工智能系统数据投入风险。数据是人工智能的重要投入，数据质量在很大程度上决定了人工智能算法训练及决策结果质量。算法使用的数据分为三类：投入数据、训练数据和反馈数据。如果数据不完整、不及时、不相关，或存在选择性偏差、数据量不够、使用不恰当的数据采集技术，以及由于偏见的长期存在导致数据本身就包含历史性偏差或行为性偏差，都会造成数据集存在质量缺陷。在人工智能依赖数据来训练算法和进行决策的过程中，数据集的一个小缺陷会导致系统性偏差结果，从而造成算法决策偏差风险。

第三，人工智能系统运行风险。人工智能运行风险主要体现为：一是任务配置的偏差。这主要是使用者错误地理解了算法程序使用目的或错误地分配任务，导致人工智能系统运行偏离使用的初衷；二是人工智能训练与验证存在虚假模式等。在人工智能算法训练、测试或验证过程中算法缺乏技术上严密性或概念合理性，从而导致不正确输出，造成数据使用或算法使用偏差；三是人工智能系统存在安全漏洞。人工智能算法设计存在的安全漏洞为黑客攻击提供了可能，外部攻击造成算法系统运行出现问题或产生错误。

第四，人工智能系统产出及应用风险。人工智能算法产出结果的应用风险主要是不恰当地解读算法结果，忽视算法结果应用的前提假设而不恰当地使用算法结果，忽视算法结果应用的场景要求而造成错误的场景应用，算法使用者错误使用或过度依赖算法导致的典型问题，如汽车司机因过度相信自动驾驶系统而产生交通事故。另外，在人机交互的人工智能系统中将人的偏见带入其中，人工智能系统使用者的恶意应用、滥用或选择性使用等都会带来风险。

三、人工智能系统应用潜藏的经济社会损害风险

（一）人工智能应用的经济性损害风险

第一，人工智能应用可能扭曲消费者决策。首先，企业有可能利用人工智能算法操纵信息，误导消费者决策。人工智能算法加剧了消费者与平台企业之间的信息不对称，具有大数据信息优势的平台有机会通过操纵信息误导消费者以获取利益，如算法实施的具有偏差性的用户评价与排名；误导性信息发布或广告推送、过滤性信息推送、机器合成的虚假信息等。其次，企业有可能利用人工智能算法对消费者实施剥削性定价。数字平台基于消费者个人数据来实行个性化定价，甚至能够制定出接近完全价格歧视的价格，以完全占有消费者剩余。总之，借助于人工智能算法，平台企业可以实行更加普遍的个性化营销和定价策略，更广泛地操纵消费者的选择，从而达到更多或全部占有消费者剩余的目的。

第二，人工智能应用可能会扭曲市场竞争。人工智能算法应用增加了数字平台实施各种垄断行为的风险。首先，人工智能算法会促进企业之间的价格合谋。算法可以做到实时跟踪竞争对手的价格变化，并迅速采取相应的跟进策略，降低了价格协调的成本，提高了对单个企业背叛行为处罚的有效性，从而促进价格合谋。〔24〕其次，支配地位平台通过算法滥用封锁商家或第三方合作商。平台可以通过算法歧视以及不公平的排名、搜索结果展示、链接导引等歧视性手段对待特定商家或第三方合作商，维持自己的垄断势力。再次，人工智能算法为支配地位平台实施各种垄断滥用行为提供了更有效的机制。支配地位平台利用算法封锁等行为排挤竞争对手。

第三，人工智能应用可能会恶化就业与收入公平。人工智能系统应用对就业的影响不同于工业经济时代机器代替人的劳动，其并不是部分代替人的重体力劳动，而是全面替代人的劳动。Acemoglu和Restrepo指出人工智能应用会导致经济增长出现日益突出的资本替代劳动的趋势，企业具有内在的过度自动化激励，这会导致严重的失业问题。人工智能应用不仅替代传统的低技能劳动者，而且也会替代高技能劳动者，缩短高技能劳动者的职业生命周期。〔25〕更严重的是，人工智能应用会恶化收入分配公平问题。Hémous和Olsen、Aghion等的分析都指出人工智能应用会增加资本收入在国家总收入中的比重，降低劳动收入的比重，并且高技能群体的收入和低技能群体的收入差距将明显拉大。〔26〕

第四，人工智能应用可能带来经济运行风险。首先，人工智能应用会动摇社会信任基础。人工智能在经济社会活动中日益融合发展的一个重要基础是社会对人工智能的充分信任，即人们普遍相信人工智能系统的应用会提高自己的福利。因此，信任是人工智能应用发展的重要基础，但是人工智能潜在的风险一旦大规模爆发并造成严重的经济社会危害，则会严重动摇社会信任基础，从而成为产业发展的巨大隐患。其次，人工智能系统大范围应用会增加经济发展的系统性风险。如人工智能系统在金融领域的应用，如股票市场中人工智能的高频率交易系统（HFT）的应用会增加市场的波动性，显著增加市场的系统性风险。

（二）人工智能应用的社会性损害风险

第一，侵犯个人隐私。人工智能算法依据大数据来追踪和分析每个人的日常行为轨迹，日益深入地侵入私人空间。人工智能算法往往过度采集个人数据、对个人进行识别和行为足迹追踪，基于个人数据深度分析实现更精准的个人画像，可以更全面深入地了解个人隐私信息并预测个人行为或对个人进行分类分组，特别是人脸识别、语音识别等生物识别系统的非授权同意使用会造成对个人隐私的严重侵犯，一些情感识别人工智能系统的应用甚至会对个人精神状态产生影响或操控。

第二，损害人的生命健康。首先，人工智能算法会扭曲老人、儿童和残疾人等特定弱势群体的行为。如视频游戏、智能玩具等包含色情、暴力等内容，甚至包括一些有损生命健康的危险行为，如自残、自杀等，从而可能导致未成年人迷恋上瘾，或产生威胁生命健康或威胁社会安全的行为。其次，控制和操纵特定个体或群体，诱导其实施超负荷的劳动，损害劳动者权益。算法的过度诱导使行为人或劳动者产生超越生理或心理承受力的行为，以强化对劳动者的监督考核，提高劳动强度，损害行为人身体与精神健康，或增强企业对普通劳动者的压榨的目的，恶化了劳动者的工作状态。

第三，导致社会性歧视。人工智能可能会歧视性地对待特定群体，剥夺了特定公民或群体参与重要经济社会活动的机会，影响社会公平正义。如人工智能算法设计的偏见、低质量数据带来的结果偏差等原因造成人工智能算法对特定公民个人或群体在教育录取、就业招聘、职业岗位绩效评价、购买保险、公共服务和司法裁决等方面会歧视性对待，使特定公民个体或群体在社会活动中无法平等参与或被不平等对待。另外，由于不同群体的认知、知识水平或生理原因差异，人工智能应用会产生技术鸿沟，使老年人、儿童等特定群体在人工智能算法决定的经济社会活动中处于弱势地位，被边缘化。

第四，侵犯个人人格尊严。特定领域的个人评分或评价可能会被扩大应用到其他领域，构成对个人尊严的侵犯，严重侵害了个人平等参与社会活动的机会或能力。典型的如依据人工智能算法的个人“信用评分”来对人们进行群体分类或社会性排序等。

第五，威胁公共安全。首先，产生安全事故。一旦人工智能系统存在设计缺陷、运行稳定性差、抗外部风险能力不足或人工智能应用主体对系统缺陷与风险的人为忽视，人工智能在智慧城市、无人驾驶汽车和基础设施等领域的广泛应用和人们对其过度依赖会明显增加公共安全风险，在特殊情况下会危及公民的生命健康，甚至影响整个社会的有序运行。其次，威胁社会伦理价值。人工智能算法能够通过过滤、筛选、屏蔽或定向推送倾向性信息内容。个别信息平台为了追求流量而推送低俗有害信息、虚假信息和传播极端思想，强化偏见或极端意识，损害社会伦理道德。人工智能技术在医疗健康的深度应用会对生命体固有伦理构成挑战，人工智能性爱机器人的出现会对传统婚姻家庭关系构成冲击。再次，可能影响国家政治安全。算法正成为一种左右公众舆论与政治观点的工具，可能对一个国家的政治安全构成威胁。如在美国政治选举中，人工智能算法推送的信息很大程度上左右了选民的政治判断；在英国退出欧盟的过程中，媒体平台借助人工智能算法严重影响了公众的意见。

综上，随着各种经济社会组织大范围深度应用人工智能系统，人工智能日益成为影响经济社会运行的重要力量，人类社会比以往任何时候都更加依赖技术。〔27〕但人工智能的日益广泛应用潜藏着系统的经济社会风险。人工智能算法黑箱、日益增加的算法复杂性、算法设计和运行缺乏透明度、应用主体的恶意使用等都会导致结果偏差或错误，从而对个人、组织和社会带来严重的损害（见表1）。Acemoglu指出：“如果人工智能继续以现有的不受监管的方式发展，则其将会产生严重的社会、经济和政治危害。”〔28〕因此，强化人工智能监管治理成为数字经济治理的重要任务，是确保人工智能技术发展造福人类社会必要的应对措施。

表1 人工智能风险影响的主体及损害

四、基于风险的人工智能监管治理体系构建

人工智能作为一把双刃剑，在给社会带来诸多益处的同时，也带来巨大的风险。若不能限制其带来的危害，则社会总福利将受到巨大损害。由于人工智能算法的模糊性和系统使用者对私利目标的追求，仅依靠企业或用户的力量显然不能很好地应对人工智能系统应用所引发的风险，因此政府必须发挥人工智能治理的主体角色，对人工智能系统作出有效的监管治理，防范各种潜在的风险，让技术更好地促进社会进步，有力地维护公共利益。人工智能监管治理是指通过制定一系列的法律、规则、政策，构建多元主体参与的治理体系，最大化地消除人工智能系统应用的经济社会风险，以安全、信任和有益于社会的方式促进人工智能的开发与应用。因此，识别风险和防控风险是人工智能监管的重点，建立基于风险防控的人工智能监管治理体系既是实现监管目标的需要，也是确保监管有效的重要保障。

（一）明确人工智能监管治理的价值准则与基本原则

人工智能本身是一个技术系统，作为人类社会的技术性工具，人工智能不仅要符合技术发展的内在规律，同时也要遵守基本的社会伦理价值。目前，强化人工智能监管治理已经成为国际共识，各国政府、国际组织、商业企业和学者们都提出了不同的人工智能监管治理原则。目前有国际影响的是2019年OECD提出的人工智能原则，具体包括：包容性增长、可持续发展与福利提升、以人为中心的价值和公平、透明度和可解释性、安全和可问责。〔29〕澳大利亚《人工智能伦理框架》（The Artificial Intelligence（AI） Ethics Framework）〔30〕指出人工智能的八个原则：促进人，社会和环境的福利，以人为中心的价值，公平，隐私保护，可靠与安全，透明与可解释，可质疑性和可问责性。Fjeld等基于文献分析法提出人工智能应坚持的原则为：隐私，可问责，安全，透明与可解释，公平与非歧视，人控制技术，专业责任和促进人的价值。〔31〕

人工智能治理的价值准则是以人为中心。首先，人工智能系统应该始终在人的控制之下。技术应该服务于人，人工智能系统的开发与应用应确保人是技术的主人，实现人对技术的控制，防止技术失控或被超级智能技术所控制、胁迫。决策过程和结果不应完全由人工智能算法所决定。为此，应强化人对人工智能系统的控制力，人既可以在系统运行中进行实时干预，也可以在事后对系统运行结果进行干预。其次，以人为中心的人工智能治理重在保护人的自决权。人工智能治理需要保持人对技术的了解，由个人自主决定是否使用人工智能系统以及如何使用，而不是由技术决定或技术使用者来迫使个人接受。具体来说，人工智能系统采集和使用个人数据信息应遵循“知情同意”和“合法正当”等基本要求；消费者有权决定是否采用人工智能系统及其产品或服务，并有权撤回已作出的承诺或退出系统使用，以充分保证消费者主权。再次，人工智能技术发展和系统应用应该遵循基本的伦理准则，人工智能技术发展和应用应以促进人的福祉为根本目标。为此，伦理准则应该嵌入人工智能系统的开发设计和系统应用之中，不能伤害公民的人格权和损害人的尊严是首要标准，应有效保护公民隐私与数据安全、维护消费者权益和商业公平、促进社会平等与社会公正、维护基本的伦理价值，从而构建安全、可信的人工智能治理体系，促进人类福祉的全面提升。

为了维护以人为中心的核心价值准则，人工智能治理应遵循如下四个基本原则。

安全性原则。人工智能系统设计和运行应最小化系统安全风险，人工智能使用者应采取有效措施确保用户的隐私安全、数据安全和网络系统安全。人工智能治理重点是通过技术、组织和制度等多种途径实现人工智能应用的整体安全。为此，应强化安全技术保障，需要建立人工智能全生命周期的风险防控体系和安全治理体系，能对人工智能应用中的风险及时识别与纠正，并进行有效的防控，在风险发生时能及时采取有效的应急措施，确保人工智能系统的动态安全和安全保障水平的持续提高。

透明度原则。人工智能系统的开发与应用应该打破人工智能黑箱和运行的模糊性。增加透明度不仅有助于增进用户信任，促进系统应用，也有助于应用主体和监管机构及时发现存在的风险。首先，透明度原则要保证消费者用户的知情权。在人工智能系统运行中应明确告知消费者或用户与其交互的是人工智能系统或其消费的产品或服务由AI系统所提供，受人工智能系统运行结果影响的利益相关方能够了解结果产生的过程。其次，透明度原则最主要体现在可解释性。人工智能系统应增强人工智能算法模型、过程和结果的可解释性，提供充分信息让当事人明白决策是如何产生的，并且在当事人认为结果有偏差时有权要求给予解释，以消除对人工智能决策结果的质疑。〔32〕

公平性原则。人工智能系统的开发与应用应该遵循基本的伦理准则，消除各种不合理的歧视或不公平、不平等问题，消除社会性风险。人工智能系统的开发与应用应确保决策结果不会对特定个人或群体造成偏见或歧视，避免使其丧失平等参与经济社会活动的机会或处于明显不利的地位。人工智能应用应确保所有人都被平等对待，任何人都不应被歧视，确保社会公平，维护人的尊严和社会正义，构建更包容的社会。

问责性原则。人工智能系统涉及系统开发者、系统使用者和消费者等多元主体，应将法律责任主要配置给算法程序使用者。问责性要求人工智能系统使用者应当对算法程序使用所产生的结果负责，对于由于自身过错而给经济社会带来损害的，使用者应该承担相应的法律责任或行政责任。另外，在明确人工智能使用者主体责任的同时，也要强化系统开发者和用户的治理责任，形成多元治理体制（见图2）。

图2 人工智能治理的基本原则

（二）建立以风险为基础的全生命周期人工智能监管治理体系

人工智能监管作为一种政府行政监管行为同样要遵循基本的成本—收益原则，追求政府监管的效率和效果。为此，政府监管不应是适用于所有人工智能系统的普遍监管，而应根据风险等级实行差别化的监管力度，同时为保证最佳的监管效果需要基于风险系统控制理念实行全生命周期监管。

1.实行以风险为基础的分级监管

基于风险的人工智能监管针对不同风险等级的人工智能系统实行差别化的监管力度。为此，人工智能监管需要构建科学的风险评估体制，对不同类型的人工智能系统及其应用进行风险评估。根据评估的风险危害程度，人工智能系统可分成三个风险等级：不可接受风险、高风险和低风险。首先，对于严重损害经济社会安全、威胁人类生命和人类伦理的不可接受风险的人工智能系统，政府监管应该通过立法直接加以明令禁止，从而明确人工智能系统开发和应用的禁区与红线；其次，对于高风险人工智能系统，政府监管的重点是强化事前质量认证的准入监管，并明确人工智能应用主体必须遵守的原则和法律规定的义务，强化对违法违规行为的监督处罚；再次，对于低风险人工智能系统，政府实行低强度监管，鼓励企业保持透明度，鼓励企业主动采取同高风险相一致的合规行动，鼓励企业主动参与质量认证工作，通过获得质量认证来赢得用户信任。①政府为达到要求的人工智能系统颁发专门的标签，用户可以直接看到认证标签，从而提升用户对该使用者的信任度，增加其收益。

以风险为基础的分级监管应对不可接受风险和高风险人工智能系统作出明确的规定。首先，根据欧盟《人工智能法》（Artificial Intelligence Act）〔33〕，明令禁止的不可接受人工智能系统主要包括四类：（1）人工智能系统通过采用个人无法察觉的技术来试图扭曲人的行为，并且该行为会对该人或他人造成身体或精神损害的；（2）人工智能系统是针对儿童、老年人和残疾人等弱势群体开发的，其应用会扭曲这些弱势群体的个人行为，并且该行为会对该主体或他人造成损害的；（3）人工智能系统的应用是基于对自然人过去的行为或个人特征的评价或评级分类的“社会性评分”，从而造成自然人或特定群体在教育、就业等经济社会活动中面临不公正对待并给其造成损害的；（4）使用远程实时生物识别技术的人工智能应用。①在法律明确规定的出于公共利益目的的远程生物识别是被允许的，但其应用必须严格依法进行并确保数据安全。其次，根据欧盟《人工智能法》（Artificial Intelligence Act）〔34〕，高风险人工智能系统主要包括如下领域：医疗健康、信用机构、保险行业、生物识别、自动驾驶、影响公众决策判断的合成信息、学校招生与就业招聘、司法和政府行政管理。

《关键信息基础设施安全保护条例》〔35〕规定中国网络安全的重点行业是电信、广播电视、能源、金融、公路水路运输、铁路、民航、邮政、水利、应急管理、卫生健康、社会保障和国防科技工业等。《中华人民共和国数据安全法（含草案说明）》界定了国家核心数据，即关系国家安全、国民经济命脉、重要民生、重大公共利益等的数据。〔36〕“关键信息基础设施”和“国家核心数据”主要是基于国家公共安全来确定的监管重点，由于人工智能所引发的风险既有私人权益损害也有公共利益损害，并且还涉及社会伦理等问题，因此“关键信息基础设施”和“国家核心数据”并不完全适用于人工智能监管，需要通过制定《人工智能法》对不可接受风险和高风险人工智能加以进一步的明确规定，特别是明确严令禁止不可接受风险的人工智能系统应用。

2.建立一体化的人工智能系统政府监管体制

事前主要是建立人工智能系统应用的安全标准和实施评估认证制度。为了防患于未然，应该对人工智能系统开发应用设定基本的质量安全标准，并实行必要的达标认证制度，对高风险人工智能系统实行必要的认证批准程序。建立由第三方实施的人工智能安全达标评估认证制度，高风险人工智能系统必须通过专业机构的人工智能系统安全评估认证，没有通过安全评估或不达标的人工智能系统不能使用。

事中强化企业风险管理责任并加强对人工智能系统应用的监测与审计。事中主要是强化系统使用者的主体责任，要求其建立有效的内部风险管理的技术和组织保障，同时重点强化监管机构对人工智能系统使用的风险监测及合规审计。由于人工智能系统是一个动态的系统，这意味着一次性检查或审计可能很快就会过时。因此，需要对人工智能系统进行持续的监控和全生命周期的动态监测和审计。算法监测和审计主要是审查数据质量、算法命令执行中各个因素及其权重、数据或事实与结果之间的相关性等，以及对算法使用者在应用中是否遵守监管要求进行合规审计。为了方便监管机构对算法的监测和审计，人工智能系统使用者有义务向监管机构开放数据界面、算法源代码、算法学习机制和算法运行结果等。由于算法审计是高度专业性的工作，监管机构可以授权委托第三方专业机构来实施，但为保证算法知识产权和人工智能系统使用者权益，政府监管机构和第三方机构负有保密义务。

事后强化违法行为的问责。加强对人工智能应用违法行为处罚重点是解决如下几个问题：一是明确人工智能系统使用者的法律主体责任。尽管人工智能算法的运行是机器基于神经网络自主学习实现的，并不是在人的干预下实现的，但是人工智能算法的使用者仍然不能借此免责，其负有保证人工智能算法安全可信的主体责任。二是对于违背“红线”要求和不遵守数据治理规则要求的违规企业给予相应的处罚。根据法经济学的最优处罚理论，在违法行为被发现的概率给定的情况下，提高罚款额度会降低企业的违法激励。〔37〕如欧盟《人工智能法》（Artificial Intelligence Act）〔38〕规定，对违法企业可以处以最高3000万欧元或违法企业上一年度全球市场营业额6%的罚款。中国《中华人民共和国网络安全法（含草案说明）》〔39〕《中华人民共和国数据安全法（含草案说明）》〔40〕等法律确定了约谈、整改、营业资格限制、行政罚款和刑事责任等多种措施，但是对于各种措施的具体适用条件则有待进一步明确，特别是关于行政罚款上限的规定不利于严惩重大违法行为，建议建立与违法损害相称的罚款等级制度，并采用违法企业营业额百分比的方式计算罚款额，以便更有效地威慑违法行为。三是确立民事损害赔偿制度。如果违法行为对公民个人的权益造成严重损害的，其应有权提起民事诉讼来维护自己的权益。

（三）强化人工智能使用者风险治理第一责任人角色

人工智能系统使用者是风险管控第一责任人。人工智能系统的风险产生涉及多个主体，如何在这些主体之间配置责任是人工智能监管的一个难题。根据法经济学的思想，为了实现最佳风险防范，责任应该配置给能以最高效率实现最佳目标结果的主体。〔41〕人工智能系统涉及的主体包括系统开发者、系统使用者和系统用户等，在这些主体中人工智能系统的使用者是能够高效率且有强激励实现对系统设计、数据投入、系统运行与应用进行管理的主体，因此系统安全责任应主要配置给人工智能系统的使用者，即应用人工智能系统的企业、政府机构或社会组织。

高风险人工智能使用者应充分履行透明度义务。人工智能系统应确保具有足够的透明度，使用户能够理解并正确使用系统的输出结果。具体来说：一是应当明确告知用户与其相互作用的是人工智能系统；二是应当明确告知用户人工智能系统具有生物识别和情感识别功能；三是对深度合成的信息应当作出清晰的标签标注；四是应尽可能普及对人工智能系统运行的知识，并使受人工智能系统产出结果影响的利益相关者了解结果是如何产生的；五是应将人工智能系统的目的、应用条件及其局限性等信息明确告知受影响的主体，不能虚假宣传人工智能系统的功能及其结果。

应重点强化人工智能使用者履行数据治理义务。数据是人工智能系统运行的主要投入品，数据质量根本上决定人工智能系统运行的结果质量。人工智能系统使用者在数据训练、验证和测试时应遵守数据治理规则。具体来说：一是数据必须达到质量要求。人工智能系统使用的数据应满足“相关性、代表性、完整性、正确性”标准，即人工智能系统不能采用不相关、有偏差、不完整乃至错误的数据来进行算法训练，从而产生有偏差的结果并造成歧视。二是符合目的性和应用场景要求。数据的训练、验证和测试应考虑目的要求以及人工智能系统使用应用场景的行为特征或功能设置。三是数据安全要求。人工智能系统处理使用数据应对自然人的基本权利给予合理保障，并采用最新的数据安全和隐私保护技术来保证个人隐私数据安全。四是数据修正义务。高风险人工智能系统必须采取严格的措施来监测数据结果偏差，查找偏差产生的原因并加以及时修正。

人工智能系统使用者应建立全生命周期风险管理体系。由于人工智能系统的动态性，风险管理体制需要在人工智能系统的整个生命周期内定期系统化更新，以进行风险识别、评估、维护、纠正和应急处理等。风险管理体制应该是一个包括风险管理目标、原则、程序、实施、监督和责任体制等在内的完整系统，并贯穿人工智能系统设计开发、系统投入、系统运行和产出结果的整个流程。具体来说：一是人工智能开发阶段风险管理的重点是强化算法程序架构与代码设计审查，确保程序代码设计的合规；二是人工智能投入阶段重点是强化数据治理，确保数据质量，避免算法结果偏差；三是人工智能运行阶段重点是强化流程管理和运行风险监测，并完善风险应对方案；四是人工智能产出阶段重点是强化结果质量监测，建立有效的风险溯源的可追溯机制和风险发生后的应急管理机制，并强化内部问责机制与风险管控的整改优化机制；五是人工智能产出应用环节重点是强化网络系统安全以增强技术支撑，并重点提升操控人员的专业素质，加强人工智能系统使用者或消费者培训，确保正确的人机交互，避免不恰当使用带来的各种损害。

强化人工智能使用者履行风险管控治理责任的组织保障。人工智能系统使用者组织内部需要设立专门的负责人或行政官，加强员工培训，提高员工技能和治理意识，完善有关的管理制度，建立科学规范的工作方法和工作流程。为便于监管和对质疑结果进行解释以及在发生风险的情况下对原因进行追踪溯源，人工智能系统使用者组织需要保存相关的数据集、数据使用处理方式、程序代码、算法训练方法和系统验证管理文件等，并建立及时有效的用户投诉处理机制。

（四）提升技术性方案在人工智能系统风险管控中的基础性作用

构建技术合规治理体系。人工智能程序设计是安全的基础，为此需要强化人工智能程序设计环节的治理，确保人工智能算法设计遵守基本的治理原则，即采取“通过技术设计来合规”的治理路径，将安全、伦理责任嵌入到人工智能算法的程序代码设计中，增强人工智能的弹性和抗攻击能力，最小化各种可能的风险。人工智能系统设计应避免狭窄的技术视野，强化人工智能框架设计和程序开发中的伦理责任，强化技术伦理审查。为了更好地实现技术合规，政府监管部门、行业协会或私人企业等主体应共同制定可信人工智能技术标准并加以实施。

强化技术性应对方案在人工智能系统风险防控中的基础性作用。人工智能系统的风险属于技术创新快速发展所带来的风险，本质上属于技术不完善和技术治理体系滞后所带来的风险。为此，应通过不断强化人工智能系统的技术创新来提供安全、可信的人工智能系统。因此，需要坚持以技术创新来保证技术安全可信的治理路径，聚焦于通过技术开发来提高人工智能系统的安全性、可解释性、隐私保护、公平与公正性等，从而为构建安全可信的人工智能系统提供坚实的技术支撑。

构建人工智能创新促进体系来实现以创新促进人工智能安全可信性。优化人工智能监管治理要营建更为确定的人工智能发展政策环境和更为信任的系统应用生态体系，完善人工智能技术创新和商业模式创新体系，形成鼓励创新的政策环境，从而更好地促进人工智能的创新发展。为更好协调人工智能系统可信、安全与创新发展的关系，可以采用“监管沙箱”等实验性或试点性政策工具，以政策创新来激励技术创新。