欧盟《人工智能法案》评述及启示

于品显 刘倩

摘   要：随着人工智能技术的应用和发展，人们对它可能带来收益和风险的认识日益加深。人工智能的发展在给人类社会带来便利的同时，也带来了个人安全和保障风险，增加了侵犯人类基本权利的可能性。如何从立法着手促进人工智能产业的健康发展，成为迫在眉睫的课题。2021年欧盟发布的《人工智能法案》是人工智能监管领域的标志性事件。该法案在保持法的统一性原则的基础上，采取风险分级监管、市场准入制度、鼓励研究与创新的规制方法，其目的在于应对突出的算法黑箱问题，确保投放到欧盟市场的人工智能系统及其使用的安全性。目前，我国人工智能立法存在法律体系不够完善、人工智能监管力度不足、相关制度过于原则等问题。欧盟《人工智能法案》所体现的理念和制度对我国具有一定的启示作用。

关键词：人工智能；监管路径；风险分级；监管沙盒

DOI：10.3969/j.issn.1003-9031.2023.06.005

中图分类号：D996.1       文献标识码：A     文章编号：1003－9031（2023）06－0045－09

一、欧盟《人工智能法案》的制定背景

随着人工智能技术的不断发展，风险问题日渐突出，人工智能监管成为各国人工智能立法的重点。欧盟在人工智能监管方面走在世界的前列，在人工智能领域开展了大量立法工作。

早在2018年3月，欧洲政治战略中心就发布了《人工智能战略》，主要从三个方面介绍了欧洲人工智能技术的现状与未来：全球范围内人工智能技术的研发投入情况、欧洲范围内人工智能技术的发展情况、人工智能技术发展过程中存在的问题与挑战。同年欧盟委员会成立了人工智能高水平专家小组，并提出符合欧盟价值观和利益的“可信任的人工智能”理念，以支撑欧洲人工智能战略的执行。2019年4月，欧盟先后发布《可信AI伦理指南》和《算法责任与透明治理框架》，系欧盟人工智能战略提出的建立适当的伦理和法律框架要求的具体落实，为后续相关规则的制定提供参考，这是欧盟不断推动AI治理的重要成果。2020年2月19日，欧洲委员会发布了两份有关“塑造欧洲数字未来战略”的政策文件。一是AI白皮书《面向卓越和信任的欧洲人工智能发展之道》，确定了两个重要目标，即通过加强投资和监管，促进人工智能发展和处理相关技术应用带来的风险；二是《欧洲数据战略》，旨在增强欧盟数字经济国际竞争力，建立欧盟数字市场的统一规则。2020年10月，欧盟发布系列报告呼吁解决人工智能系统存在的模糊性、复杂性、偏见、不可预测性、自主性等问题，确保人工智能不侵犯人的基本权利，并积极推动法律法规的修订。

欧盟委员会主席乌尔苏拉·冯·德·莱恩曾宣布，欧盟委员会将就AI对人类和伦理的影响进行立法，以期在欧洲采取统一协调的人工智能规制方法。2021年4月21日发布的《人工智能法案》旨在欧洲层面建立关于人工智能技术监管的统一规则，对人工智能的概念和分类，高风险人工智能系统的提供者、使用者及其他人的义务、法律后果等作了详细的规定。2023年3月底，《关于制定确立人工智能统一规则（人工智能法）以及修改部分联盟法律的欧盟议会和欧盟理事会的条例的提案》已提交欧盟议会表决。2023年4月27日，欧盟议会成员就该法案达成临时政治协议。法案预计将在6月中旬提交全体会议表决，如获通过，意味着该法案将成为具有拘束力，可在欧盟成员国内直接适用的法律。该法案是世界上第一个专门提出 AI 风险分级监管的综合性人工智能法案，为欧盟范围内人工智能驱动的产品、服务和系统的开发、贸易和使用制定了核心规则，将成为未来人工智能治理水平进一步提升的重要参考依据。

鉴于当下人工智能技术的发展、利用以及流转程度的加深，特别是在日益复杂的全球科技格局和国际关系背景下，有必要对相关动态予以进一步关注。本文将对法案进行全面分析，并在梳理我国人工智能立法现状的基础之上，提出我国人工智能立法的可行路径。

二、欧盟《人工智能法案》的监管路径及评析

对风险社会问题的法学研究，其重点是法律制度与法律秩序。欧盟人工智能法案在保持法的统一性原则的基础上，核心围绕四个风险类别，构建了一套基于风险分级的“产品、服务安全体系”。它通过强制性的CE（Conformity With European）标记程序，要求高风险人工智能系统须完成市场准入和认证。为促进人工智能创新发展，欧盟引入人工智能监管沙盒，給予人工智能技术进行创新开发、试验的土壤。法案致力于打造可信任的人工智能产品、服务，用户最终可以相信人工智能技术将以一种安全和符合法律的方式被使用。在机构设置层面，除设立欧洲人工智能委员会外，该法案要求设立实体机构来监督法案具体内容的实施。

（一）法案的核心内容

1.贯彻法秩序统一性原理

在未来，人工智能技术的发展和应用是面向全世界的，人工智能市场需要一套统一的法律规范体系，以确保法律的一致性、确定性和稳定性。法案要求其与适用于高风险AI系统的行业的现行欧盟立法完全保持一致。同时，要求确保法案与《欧盟基本权利宪章》以及欧盟关于数据保护、消费者保护、不受歧视和两性平等的现有立法保持一致，法案不影响《一般数据保护条例》和执法指令的适用。

在法案的新增内容中，亮点是一系列适用于设计、开发和使用某些高风险AI系统的统一规则，以及针对远程生物识别系统某些使用方面的限制规定。针对作为产品安全组件的高风险AI系统，本法案将被纳入现行的行业安全立法，以确保一致性，避免重复，并将额外负担降至最低。此外，对于欧盟新立法框架（New Legislative Framework，NLF）所涵盖的与产品相关的高风险AI系统，法案中有关AI系统的规定，将被纳入相关新立法框架下的现行符合性评估程序，作为审查AI系统的标准之一。总之，法案将确立欧盟范围内统一的法律框架，而非具体的法律规定，这为欧盟各成员国采取何种监管措施提供了方向指引和预留空间，兼具法律的确定性与灵活性。此外，法案将加强欧盟在帮助制定全球规范和标准方面的作用，这为世界各国在国际论坛上就AI相关问题进行进一步探讨提供了强有力的基石。

2.基于风险分级的规制

《人工智能法案》将人工智能系统分为四个风险级别，分别是不可接受的风险、高风险、有限风险和最低风险。每个风险类别都设有特定的法律框架，规定了相应的限制情形与义务。风险分级规制对风险的监管不限于一个特定阶段，而是覆盖规制的全过程。这意味着，除特殊情形外，风险较低以及风险可忽略不计的人工智能应用程序将由一种较轻的法律制度规制，而具有不可接受风险的应用程序将被禁止。在某些风险不断增加的情况下，将随之实施更为严格的规定。

（1）风险分级监管

欧盟对不同人工智能的风险进行划分，并对不同风险采取不同的监管措施。人工智能技术正处于快速发展阶段，其风险状态会随着技术发展而产生变化，预防和监管措施需要随之调整。《人工智能法案》中产品所属的四个风险类别是灵活可变的，如法案要求对高风险清单每年进行评估并修改。

不可接受的风险是指威胁人的安全、社会生活和权利的人工智能系统，法案明确了不可接受的风险的具体类型，并明令予以禁止。该类别的风险包括利用人的潜意识扭曲个人行为给他人带来身体和心理伤害；利用特定群体的脆弱性影响个人行为给他人带来身体和心理伤害；任何形式的社会信用分级以及实时的远程生物识别技术。

高风险人工智能系统的具体应用规定于法案的附录二和附录三，涉及教育、医疗、就业、司法等领域。法案对其采取多项监管措施，包括上市前的严格管控、进行风险评估、确保活动可追溯、获得CE标记、监管机构评估、市场监督、建立数据库、故障信息共享、严格执法和处罚等措施。

法案未规定关于有限风险和最低风险的人工智能系统上市前的事前审查制度。有限的风险是指使用人工智能时，该类别的产品和服务的使用会引发透明度问题。针对有限风险，法案要求该类型的人工智能产品实现透明公开，人工智能提供者负有披露义务，如在设计和开发与自然人交互的AI系统时，提供方需确保自然人知晓他们正在进行与人工智能系统互动，除非从使用情况和场景能明显感知这种情况。法案规定以下三种类型的人工智能技术需要符合特殊的透明度要求，分别是与自然人交互的人工智能系统；情绪识别系统或生物识别分类系统；AI系统的使用者生成或操纵图像、音频或视频内容足以让人混淆。其中，在使用人工智能技术生成或操纵图像、视频等内容时，AI系统的使用者须披露内容是人为的或生成的。

最低风险的人工智能系统在法案草案中很少提及，除前述三类风险外的人工智能系统都属于最低风险。该风险类别的AI系统没有特殊的干预和审查制度，然而，服务提供者在不违反草案规定的情况下，可以自愿建立各行业的行为准则。由于没有采取相应的措施来监测这些准则的遵守情况，因此它们在市场中发挥实际效用的可能性较小。

（2）风险全程监管

欧盟对人工智能产品的风险规制存在于开发前到使用后的整个阶段，覆盖了人工智能产品入市前到入市后整个阶段，是一套全过程的规制体系。《人工智能法案》将人工智能各阶段的风险监管制度进行细化，提出具体的要求。

在设计开发阶段，该法案要求人工智能系统可以识别和分析已知的和可预见的风险、评估使用后可能产生的风险、根据上市后的数据预估风险，并采取风险管理措施。以高风险AI系统为例，在数据和数据治理、记录和保存记录、透明性、准确性和安全性方面，法案允许AI系统提供方在确保符合相关标准或行业规范时，或根据一般工程或科学知识开发，选择满足其要求的方式自行决定。

在上市前，人工智能系统的提供者须进行合格评估，评定机构将验证人工智能系统是否属于该法案第二章规定的各项禁止的 AI做法。对于高风险人工智能系统，若上市后发生了实质修改，将会重启新的评估程序。在上市时，根据法案第48条的规定，AI系统的提供方应为每个AI系统制定书面的欧盟合规声明，并且在人工智能系统上市或投入使用后，由主管机构保存10年。根据法案第49条的规定，高风险的人工智能和数据驱动的系统、产品和服务必须符合欧盟的基准，包括安全和合规评估。这一点至关重要，因为它要求产品和服务能够满足值得信赖的人工智能的核心价值。只有符合安全、合规的标准，提供者才会收到一个CE标志，允许他们进入欧洲市场。这种上市前的整体评估机制与现有的作为欧洲市场产品安全认证的工作方式相同。此外，该独立的高风险人工智能系统将在一个专门的欧盟数据库中进行注册。在上市后，AI系统的提供方应制定监测计划，并依據计划开发高风险系统的监测系统进行检测。人工智能产品的监测系统将主动且系统地收集并分析AI系统体验、使用而开展的所有活动的数据。该系统应具有日志记录功能，以确保AI系统的数据变化具有可追溯性。如果主管机构发现高风险人工智能系统违反法案第二编的规定，将会中止或撤回签发的各种证明。

3.以实验性规制鼓励创新

法案制定的相关规则并不是为了限制人工智能技术的发展，而是为了使人工智能技术在市场上能够有序地发展，给予其安全的市场环境，以助力人工智能生态系统的创建。

欧盟计划通过引入各种灵活性措施和例外情形来促进人工智能技术的开发创新，如AI监管沙盒。AI监管沙盒是由一个或多个成员国主管机构或欧洲数据保护监管机构建立的，保证创新的空间，为研究机构和中小企业提供试验空间。在遵守法案有关规定的情况下，AI监管沙盒所提供的市场环境可在有限的时间内促进AI系统的开发、测试和验证。此外，法案涉及了一项知识产权行动计划，以使与人工智能技术相关的知识产权得到法律的保护。法案第70条规定，对自然人或法人的知识产权、机密商业信息或商业秘密，包括源代码，进行机密性保护。

法案关于促进人工智能发展的有关规定，体现了欧盟寻求不同利益之间的平衡，具体包括民主、经济和社会价值。利益是法律形成与发展的内在驱动力，法律则是对利益的确认、界定及分配。人工智能产品、服务在多个领域的应用带来了社会、经济价值，同时对个人基本权利造成了潜在威胁。欧盟正是基于对个人基本权利的保障，提出了打造“可信任的人工智能”的目标。可见，在人工智能技术可信赖和人工智能技术发展创新之间寻求一个平衡点至关重要。

4.设立专门机构加强监管

在AI治理过程中，监管主体尤为重要。法案第56条规定，将设立人工智能委员会向欧盟委员会提供建议和协助。人工智能委员会将基于议事规则的规定，完成法案第58条规定的工作任务，将促进欧盟的实践发展、协调AI监管政策，起到统一人工智能标准或通用规范的作用。根据法案第59条的规定，将在国家一级设立专门的主管机构，作为欧盟各国进行市场监管的联络主体，在欧盟范围内构建人工智能市場监管网络。法案要求该主管机构的成员具备人工智能相关的专业知识和能力，以在市场实践中与企业进行对接并及时向欧盟委员会反馈相关信息。

各成员国专门的主管机构作为监管欧盟人工智能市场的主要力量，其监管权是一种直接限制市场主体的权利或增加其义务的公权力。值得注意的是，该权力的存在是以人工智能市场机制及存在的风险、隐私等问题为前提的。同时，该权力的产生是以欧盟《人工智能法案》为法律基础的，体现“一事一议”的原则，即某一监督权的产生是以特定的立法为前提的。此外，该监管机构应具备中立性和独立性，以发挥其监管作用，在欧盟后续的监管实践中，我们将进一步观察到监管机构是如何在欧盟体系内运作的。

（二）法案监管路径评析

法案有许多优点，包括更精细的人工智能系统风险类别的划分；明确被禁止的人工智能系统的做法；增设欧洲数据库和高风险人工智能系统的日志要求等。法案为人工智能技术的进一步发展提供了基本规则。然而，该法案仍在基本权利的保护、责任机制、透明度义务、人工智能界定和分类合理性等方面存在不足。

1.基本权利的保护力度不足

法案第二编禁止的AI做法清单是不完整的，且未涉及相关的审查和修订机制，这使得该法案无法对人工智能技术侵害基本权利的情形进行有效规制。从欧盟委员会高级专家小组所提出的可信人工智能的道德准则与可信人工智能的政策和投资建议中可知，合法且值得信赖的人工智能是法案的终极目标。因此，人工智能系统在法律上值得信赖的条件为：一是遵循促进基本权利、民主和法治的治理框架，二是其本身并不损害基本权利、民主和法治。

2.责任机制不完善

该法案对责任承担有关的两个关键问题未作出回应。一是它没有规定对不遵守其规则的人工智能系统的提供者或用户采取法律行动的权利。即使法案中规定了罚款形式的处罚方式，但并未授予某一机构具体权利。同时，法案在惩罚对象和惩罚方式上较为单一，主要是对人工智能提供者进行金钱惩罚，责任体系仍需进一步完善。二是涉及人工智能系统本身的责任承担问题。人工智能人格问题本身是一个非常复杂的问题，关于人工智能系统是不是法人的问题，法案应作出回应。

3.透明度要求难以实现

“透明度”是法案的一个重要内容。人工智能领域的利益相关者有以下关于透明度的义务：保存技术文档（第11条）、保持记录以确保操作的可追溯性（第12条）以及向用户提供适当的信息（第13条）的义务。然而普通用户因人工智能技术的复杂性等特点无法得知人工智能提供者是否履行了披露义务。以生物识别系统为例，大部分用户可能知晓生物识别系统会对其个人隐私和个人信息造成威胁，然而实际上生物识别系统可能还会导致歧视和偏见，根据年龄、性别、种族等身体特征对个人用户进行分类。此外，生物识别系统在社会中的运用可能会导致公众对发表个人言论产生怀疑，对民主制度产生不利的影响。显然，与生物识别系统类似的人工智能系统都应提高对其产品、服务的透明度的要求，采取严格的披露义务。然而，这些人工智能系统本身的技术问题难以被人察觉，难以确认人工智能提供者是否履行了法律要求的完整的披露义务，使其难以实现真正的透明度。

4.对人工智能定义和分类存在争议

从定义的角度而言，法案最初对人工智能的定义是不清晰、不明确的，而且定义的范围过广。按照法案第三条以及附录一的内容，目前常见的互联网服务，如地图导航、手机软件智能推送、输入法的联想功能都属于法案的监管范围。基于此，欧洲议会引入了一个新的标准，即人工智能模型只有在对健康、安全和基本权利构成重大风险的情况下才会被视为高风险。但人工智能的定义如何适应人工智能技术的快速演进的问题尚未解决。

风险类别的分类亦引起广泛讨论。法案将人工智能进行分级规制，有利于对人工智能的精确管理。然而，某一项人工智能技术应属于哪一类别，实际上存在着不同观点。法案第52条规定了生成或操纵图像、音频或视频的内容是明显类似于现实，让人误以为是真实可信的，使用者必须披露内容是人为生成或操纵的。这表明法案未将深度伪造技术纳入高风险人工智能系统，只是在透明度方面，要求使用者进行内容披露。本文认为这样划分是不合理的，并且不合理的划分将使法律制度的实际效用大打折扣。

三、欧盟《人工智能法案》对中国的启示

新一代人工智能正在全球范围内蓬勃兴起，为经济社会发展注入了新动能，正在深刻改变人们的生产生活方式。同时，人工智能产品、服务对伦理道德、隐私权、系统安全等方面带来了巨大的威胁。中国向来高度重视人工智能引发的各种问题，欧盟《人工智能法案》为我国人工智能法律监管提供了参考。

21世纪以来，人类社会发展的信息化程度加深，大数据、互联网、人工智能的快速发展与应用，创造了不可估量的价值。针对方兴未艾的人工智能领域，我国出台了一系列法律规范和政策文件。国务院颁布了《新一代人工智能发展规划》，这是我国第一个系统规定人工智能发展的总体思路、战略目标、主要任务和保障措施的指导性文件。科技部、网信办等部门颁布了多个促进人工智能发展的部门规章，地方性法规也相继出台（见表1）。然而，现有的法律规范存在诸多问题，如缺乏体系性，更多依靠法律原则、国家标准、行业条例进行规制，缺乏细化的监管措施和鼓励创新的制度设计。人工智能领域的法律规制仍待进一步完善。

（一）明确人工智能的法律地位

人工智能目前面临如此多新挑战和问题的原因之一，与承认或不承认其可能的法律人格有关。人工智能的法律地位问题挑战了公众对法律人格的传统概念的理解。紧随人格问题之后的法律问题是关于法律责任的，即人工智能活动所造成的后果如何归属和分配责任。目前管理部门和社会热切关注人工智能领域可能出现的哲学和道德问题，但这些问题不能替代在人工智能领域中所有重要决策对应的责任承担问题。因此，人工智能是否具有法律人格是必须要回应的一个关键问题。赋予人工智能法律人格，有可能导致潜在的责任主體滥用人工智能的法律地位。公众或企业可能会试图使用人工智能机器人作为“法律责任的挡箭牌”，或者以人工智能作为一个减轻其责任的因素。

法律主体应具有民事行为能力，这意味着民事主体具有必要的意思能力，并可以独立地作出意思表示。而人工智能无法做出独立的意思表示，其提供数据处理等服务实际上是人工智能开发者的设计成果。因此，人工智能不应被视为法律主体之一。本文认为，人类是社会生活的主体，人工智能是提供便利的工具。鉴于人工智能的智能性和自主性，可以将高度智能化的人工智能作为客体中的特殊物，予以特殊的法律规制。

（二）加强人工智能立法的体系化和系统性

比较中国与欧盟人工智能制度规制进展，中国多为产业促进类文件，鼓励企业发展，近期出台较多治理类文件，我国有关人工智能的立法正在逐步增多，并向更加精细的方向发展，但没有统一立法的迹象。欧盟的人工智能立法速度较快，且倾向于复制GDPR经验，以引领全球人工智能立法。具体而言，我国人工智能立法存在着软法与硬法交织的情况，法律法规较少且规定较为原则和笼统，国家标准和行业标准以及相关政策性文件较多。目前，市场上部分人工智能产品、服务已投入生产使用，但并未出台相关立法，这些人工智能技术的应用缺乏相应的制度规制。因此，需要加快人工智能的立法研究，对人工智能的产品和流通进行立法规范，充分保障社会和个人的安全。

（三）细化风险分级制度

我国在人工智能的监管方面仍处于起步阶段，以风险分级制度为例，《深圳经济特区人工智能产业促进条例》提到了“风险等级”，《上海市促进人工智能产业发展条例》第五章规定了高风险、中低风险不同的治理模式。但前述条例的相关内容均是方向性、原则性的规定，具体的细则内容仍未出台。政府监督人工智能法律的实施，必须解决监督的有效性问题。我国进行人工智能法律监管的方式，可以参照欧盟风险分级的方式，但应根据我国实际情况，尽快出台配套的具体细节规定。对各风险类别进行合理定义和划分，可以通过公众参与、专家论证等方式进行，以增加制度的科学性和民主性，促进制度的最终落实。

（四）以制度设计鼓励创新

我国各部委相继出台的多个部门规章中涉及鼓励创新的理念和制度。如科技部等六部门发布的《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》、全国信息安全标准化技术委员会秘书处发布的《网络安全标准实践指南—人工智能伦理安全风险防范指引》均规定了有关创新的内容。但现有的部门规章以“指导意见”为主，内容为方向性、原则性的规定。即使是专门为促进创新而制定的部门规章，如《国家新一代人工智能创新发展试验区建设工作指引》，其有关支持创新的内容仍是从宏观角度出发的。可见，有关创新的制度设计仍待优化，后续各项管理细则仍待出台。通过制度鼓励创新是促进人工智能发展的重要方式，可以监管沙盒制度为参考，通过弹性的制度设计，为企业进行人工智能开发提供良好的环境。

（责任编辑：孟洁）

参考文献：

[1]程莹，崔赫.欧盟高风险人工智能监管的五个特点——欧盟人工智能法案（草案）初步解读[J].互联网天地，2021（6）：38-41.

[2]曹建峰，方龄曼.欧盟人工智能伦理与治理的路径及启示[J].人工智能，2019（4）：39-47.

[3]曾雄，梁正，张辉.欧盟人工智能的规制路径及其对我国的启示——以《人工智能法案》为分析对象[J].电子政务，2022（9）：63-72.

[4]European Commission.proposal for a regulation of the European Parliament and the council laying down harmonised rules on artificial intelligence（Artificial Intrelligence Act）and amending certain union legisilative acts，COM（2021）206 final，2021[EB/OL].[2021-04-21].https：//eur-lex.europa.eu/resource.html？uri=cellar：e0649735-a372-11eb-9585-01aa75ed71a1.0001.02/DOC_1&format=PDF.

[5]安永康.基于风险而规制：我国食品安全政府规制的校准[J].行政法学研究，2020（4）：133-144.

[6]金玲.全球首部人工智能立法：创新和规范之间的艰难平衡[J].人民论坛，2022（4）：44-47.

[7]Mauritz Kop.EU Artificial Intelligence Act：The European Approach to AI[EB/OL].[2021-10-01].https：//law.stanford.edu/publications/eu-artificial-intelligence-act-the-european-approach-to-ai/.

[8]胡玉鸿.关于“利益衡量”的几个法理问题[J].现代法学，2001（4）：32-38.

[9]盛学军.政府监管权的法律定位[J].社会科学研究，2006（1）：100-107.

[10]Mark Findlay，Jolyon Ford，Josephine Seah，Dilan Thampapillai.Regulatory insights on artificial intelligence[M].Cheltenham：Edward Elgar Publishing Limited，2022.

[11]刘洪华.论人工智能的法律地位[J].政治与法律，2019（1）：11-21.

[12]杨福忠，姚凤梅.人工智能赋能社会治理之维度及风险法律防治[J].河北法学，2022，40（11）：89-102.