欧盟2021年《人工智能法》研究

王伟洁 邓攀科 吕志远

1(中国电子信息产业发展研究院 北京 100043) 2(华为技术有限公司 北京 100095)

当前，全球数字经济正逐渐向以人工智能(AI)为核心驱动力的智能经济新阶段迈进.随着AI技术在各行业领域的广泛应用，其在为经济、社会发展注入新动能的同时，也带来了系列监管难题.2021年4月，欧盟发布《人工智能法》提案(以下简称 “提案”)，提出AI统一监管规则，旨在从国家法律层面限制AI技术发展带来的潜在风险和不良影响，使在符合欧洲价值观和基本权利的基础上进一步加强AI技术应用创新，并借此使欧洲成为可信赖的全球AI中心.该提案是全球首部有关AI管制的法律建议，研究其内容和创新点，对制定我国AI等数字技术治理方案具有重要的借鉴意义.

1 提案核心内容

1) 宽泛定义了AI系统，并设置了AI规则的域外适用性.

一方面，提案对AI系统、AI系统供应链涉及的相关环节以及不同类别的AI数据等相关要素进行了定义(如表1所示)，其中对监管对象(AI系统)的定义表现出极强的宽泛性，几乎涵盖了全部使用传统及新兴AI技术的系统，与《通用数据保护条例》(GDPR)中对受监管的个人数据的宽泛定义保持一致[1-4].另一方面，提案明确所有在欧盟市场投放、使用AI系统及其相关服务的国内外供应商、服务商，只要其AI系统影响到欧盟及欧盟公民，均将受到提案的约束，保证了AI规则的域外适用性.

表1 AI相关要素定义

2) 对不同应用场景中的AI系统实施风险定级，并分别提出规制路径.

提案基于不同应用场景的风险差异性，将AI系统分为不可接受、高风险、有限风险、极小风险4个等级，并针对不同风险等级实施不同程度的规制(如表2所示)，从而构建起以风险为基础的四级治理体系.该体系将对基本人权和社会公平构成明显威胁的应用场景中的AI系统视为“不可接受”，将可能危及公民人身安全及生活基本权利的应用场景中的AI系统视为“高风险”，将具有特定透明义务的应用场景中的AI系统视为“有限风险”，将提供简单工具性功能的应用场景中的AI系统视为“极小风险”.

表2 不同应用场景中的AI系统的风险定级

3) 为在特定领域提供“高风险”AI系统的企业提出了全生命周期式的多重合规要求，旨在增强AI产品及服务的透明度.

提案重点对“高风险”AI系统的开发、部署和应用等全生命周期提出了系列规范，并要求AI系统供应商履行以下透明义务：一是在AI系统开发过程中，建立风险管理系统、进行数据质量检验、设计用户告知和日志追溯功能、搭建网络安全保障能力、编制用于监管审计的技术信息文件等；二是在AI系统首次运营前或者升级迭代后，及时开展合规性评估，并在欧盟委员会建立和管理的大数据库中进行备案登记；三是在AI系统投入使用过程中，建立与AI系统风险级别相匹配的售后监测系统与人为监督机制，对AI系统应用中的风险进行监控预警，并在发现可能的风险后召回系统进行处理并通知相关监管机构；四是在AI系统发生故障或严重事故时，立即采取补救措施，并在半个月内向监管部门报告.

4) 设立专门AI监督机构，加大监管执法力度.

在AI监管主体方面，提案提出将通过建立欧盟人工智能委员会，推动AI新规则的实施和完善以及后续AI标准的制定出台，并借此搭建各国监管部门的联络渠道，协调整个欧盟层面的AI监管政策，保持AI监管体系的统一性.此外，要求各成员国建立通知机构，指定和通知第三方合格评定机构开展监管评估，并定期将监管调查信息发送至欧盟人工智能委员会.在AI监管执法方面，提案提出将对在创建或应用AI系统过程中的违法企业，处以约3 600万美元或全球年度总营业额的2%～6%的行政罚款，取两者中的最高金额进行处罚.相比GDPR中4%年营业额的罚款金额，提案的AI监管处罚力度进一步加大.此外，还将对未在规定时间内实施整改措施的企业的AI系统进行撤回，限制其市场销售.

2 提案亮点分析

1) 与GDPR有效衔接，进一步明确了AI系统的数据治理要求.

数据和算法是AI技术的核心要素，AI系统通过数据喂养进行算法模型优化，算法模型也应用于对个人数据的深度挖掘从而实现基于学习的智能化服务[5-8].提案重点关注了AI系统的数据安全和算法歧视偏见等问题，并进行了明确的规制，包括：AI系统需在收集用户数据前履行告知义务，保证用户的知情权和选择权，确保数据采集的合法性；在训练、验证、测试“高风险”AI系统数据集时应完成数据质量检验、算法偏见评估检查等；在AI监管沙箱中处理个人数据时，应保证个人数据处于功能独立、隔离且受保护的数据处理环境中，并实施授权访问和数据删除机制.GDPR中提及，在开发AI系统和大数据应用程序时应尽力平衡数据保护和其他社会经济利益，但对如何实现这一目标并未进一步明确[9].提案特设条款，对“高风险”AI系统和AI监管沙箱等场景中的数据和算法治理提出了明确要求，与GDPR进行了较好的衔接与匹配.

2) 搭建具备可拓展性的法律框架，弥补了技术监管的滞后性缺陷.

面对飞速发展的AI等新兴数字技术，法律的适用性持续时间往往较短，难以实现对迭代快速的AI技术的全面监管，AI领域的法制体系滞后性凸显.提案为此专门预留了及时调整更新法律规则的空间，通过设置“动态清单”，巧妙化解了法律滞后性和技术飞速发展之间的矛盾.例如，针对AI系统定义，提案以附件清单形式详细列举了属于AI范围的技术和方法，并通过更新清单机制，保持与最前沿AI技术的同步性；针对“高风险”AI系统的界定，提案制定了“高风险”清单，并赋予欧盟人工智能委员会结合风险多边性，判断添加新“高风险”应用场景的建议权利，确保法律的及时更新.

3) 实施AI系统的分类分级监管，构建系统性AI治理体系.

AI技术具有跨学科、前沿知识融合等复杂属性[10]，不同AI系统在相同场景中可造成不同种类的风险，相同AI系统在不同场景中的应用亦可造成不同种类或不同程度的风险.提案采用分类分级思路，在梳理重点应用场景类别的基础上，对不同应用场景按照AI系统风险可能的影响程度和危害性质实施不同等级的分类治理，替代对不同场景的AI风险进行分散专项治理的传统路径.通过构建清晰且系统性的治理框架，实现对AI系统复杂性风险的“降维”治理.

4) 建立AI监管沙箱机制，探索监管AI风险的新模式.

技术风险的法律规制常见难点之一就是如何在实现有效监管的同时兼顾技术创新发展，鼓励企业负责任的创新行为[11-14].提案提出通过建立AI监管沙箱，为AI系统的开发、部署、验证、测试提供一个可控的隔离环境，使欧洲企业在免责条件下进行AI相关的试验和创新，且试验过程受到监管部门的监督.该机制通过在可控的范围内实行容错纠错机制，在杜绝AI未知风险向不可控外部环境扩散的同时，为企业创造了相对宽松的创新发展环境.

3 对我国的4点启示

1) 强化AI立法，制定具备衔接性与灵活性的法律监管框架.

基于AI风险的复杂性、多变性[15-18]以及其与数据安全的紧密关联性，在探索AI法律规制路径时，可参考欧盟提案亮点，增强法律内容的衔接协调与灵活开放特性.一方面，确保AI法律与我国《网络安全法》《民法典》《数据安全法》《个人信息保护法(草案)》的有效衔接，明确AI语境下的数据安全及个人隐私保护原则，规制AI数据安全风险；另一方面，针对AI技术、不同风险应用场景等具有变化特征的概念进行动态定义，通过设置清单列表并建立类似数据库功能的“增删改查”调整机制，确保法律在技术发展和场景变更下的时效性和灵活性，防止AI法律内容滞后带来的监管困境.

2) 探索分类分级监管路径，依据不同应用场景精准施策.

可采用提案中的分类分级治理思路，依托对不同场景类别的梳理以及场景风险对个人生命和生活权利、社会秩序的影响大小的分析判断，将不同应用场景进行分级，对归属同一风险级别场景中的AI系统进行统一管控，对不同风险级别场景中的AI系统采取具有不同约束程度的治理方式，从而建立起自下而上限制逐步加深的“风险金字塔”规制模型.尝试以“风险金字塔”为抓手，构建系统精准的AI监管治理体系，以摆脱长久以来在面对复杂多样的AI系统风险时监管效能低下的困境.

3) 明确企业在AI产品开发、运营过程中的强制性义务，提高AI系统的透明度.

企业在AI产品开发过程中，应建立完善的AI系统风险管控流程，包括开展数据质量检验避免数据投毒等事件的发生、建立日志追溯机制强化风险的归因溯源、建设网络安全保障能力防止数据泄露等；在AI产品投入市场使用前或系统改造后，定期通过第三方评估机构开展评估认证，向监管部门备案AI算法的设计运行机制、可能的偏见和漏洞，AI数据安全保护和风险管控措施等；在AI产品投入使用后，及时开展监控预警，建立应急响应机制，及时处理可能的AI风险事故并同步监管部门.

4) 多措并举构建体系化的AI监管机制，制定包容审慎的技术监管措施.

一是设立独立的AI监管机构，负责跟踪AI技术发展和应用场景变化，及时提出AI新风险应对、监管范围更新等相关建议；对不负责任的AI提供者实施约谈处罚，进行有效制约和威慑.二是加快制定AI相关技术和应用安全标准，明确各领域AI系统的审计、日志、告知等透明性要求与衡量指标；培育权威的第三方AI风险评估机构，开展AI算法、透明度、数据安全风险等相关评估.三是建议由AI监管机构确定监管沙箱的基本原则和条件[19-21]，要求具备创新性但风险未知的AI产品在进入市场之前，预先在沙箱环境中进行迭代验证，使用户在受保护的环境中使用AI产品或服务.

4 结束语

当前，数字技术的国际竞争不仅聚焦于高端人才和技术本身，国际规则制定的先发优势也是竞争中不可忽视的核心要素.欧盟深刻认识到此问题，在数据保护和AI技术监管方面，始终走在立法实践的最前沿，以实现对全球数字技术发展和治理的话语权的掌控.此前，欧盟利用《通用数据保护条例》对全球互联网科技巨头的数据违规行为频出监管重拳，为全球诸多国家和地区治理方案的制定带来了深刻影响，成为各国个人数据保护的立法立规参照.现今，欧盟《人工智能法》的提出是欧盟在数字领域再上的一道“紧箍咒”，也是里程碑式的监管规则.该提案内容对我国开展AI监管具有重要参考意义.