生成式人工智能的安全风险与法律规制

吴育珊，杜 昕

(中共广东省委党校 法学教研部，广东 广州 510053)

2023年4月11日，国家互联网信息办公室起草了《生成式人工智能服务管理办法(征求意见稿)》，其主要针对如ChatGPT、“文心一言”、“通义千问”等生成式人工智能(Generative AI或AI Generated Content，简称“AIGC”)。其中ChatGPT最为瞩目，它是OpenAI在2022年11月30日基于GPT-3.5(又名“InstructGPT”)研发推出的超大语言处理模型(Large Language Models，简称“LLMs”)，它既能通过理解和学习人类的语言来进行对话，也能根据聊天的上下文进行人机互动，甚至能完成文本写作、智能翻译、代码编写等多种任务。2023年1月30日，世界上还诞生了首份应用ChatGPT辅助作出的判决[1]。在ChatGPT风靡全球的同时，国内多家企业也都陆续宣布推出对标ChatGPT的产品，最具代表性的当属华为的“盘古”、百度的“文心一言”和阿里巴巴的“通义千问”等。

然而，生成式人工智能存在的安全风险也引发了全球关注，例如马斯克等多位业界精英就针对OpenAI最新推出的大型多样态模型(Large Multimodal Model)GPT-4[2]联名签署了《暂停巨型人工智能实验》(Pause Giant AI Experiments)[3]的公开信，意大利政府更是就已暴露出的安全威胁全面禁止ChatGPT的使用[4]，英国政府也发布了《促进创新的人工智能监管方法》(A pro-innovation approach to AI regulation)[5]白皮书来规范人工智能的研发和应用。根据生成式人工智能的发展和应用现状，探明其存在的安全风险，并给出法律规制路径是本文的问题意识所在。

一、生成式人工智能的发展及应用

(一)由专用向通用：生成式人工智能的发展现状

生成式人工智能是指基于算法、模型、规则生成文本、图片、声音、视频、代码等内容的技术，相较于主要执行信息提炼和回归分析任务的分析式人工智能(Analytical AI)，它可以生成不同于学习样本的新内容。自然语言处理(Natural Language Processing，简称“NLP”)和计算机视觉(Computer Vision，简称“CV”)是生成式人工智能进行深度学习的两大基础性技术。在自然语言处理领域，Transformer[6]架构已经取代循环神经网络(Recurrent Neural Networks，简称“RNN”)成为生成式人工智能标准架构，ChatGPT就是基于Transformer架构的预训练模型。在计算机视觉领域，视觉Transformer(Vision Transformer，简称“ViT”)架构相较于传统卷积神经网络(Convolutional Neural Networks，简称“CNN”)技术也展现出更强大能力。在通用架构的基础上，通过生成式建模技术(Generative Modeling Techniques)如GAN和离散模型(Diffusion Model)，可以实现内容创作。

Transformer架构的提出为ChatGPT等进行自然语言处理的生成式人工智能的诞生和发展奠定了基础。Transformer是一种基于自注意力机制的神经网络架构，具有很强的语义理解能力，不仅可以通过词汇间两两计算的方式高效地组合词汇的语义来实现全局建模，而且可以通过大规模预训练展现出较强的文本推理能力。基于Transformer架构的大规模预训练模型有BERT，Transformer-XL以及GPT(Generative Pre-Training Transformer)系列等，其中GPT-1是OpenAI推出的首个基于Transformer架构的生成式预训练(Generative Pre-Training)模型。下表1是OpenAI研发的预训练模型的具体发展情况，不难发现从GPT-1到GPT-3，预训练模型的学习材料规模越来越大，学习计算的参数值也呈现指数级增长趋势。这表明随着生成式人工智能的不断发展，对硬件的算力需求也在不断提升，以便编制更复杂精细的算法来应对更大规模的数据。

表1 OpenAI预训练模型发展情况①

受Tansformer架构在自然语言处理领域的成功应用所启发，许多技术研发人员试图将Transformer架构应用于计算机视觉领域，例如前文提及的ViT架构。ViT架构在多个图像识别基准任务上取得了十分先进的水平，它首先将图像扁平化成一个2D补丁序列，并在序列的开头插入一个类Token以表示图像的特征信息，从而被用于下游的分类任务。这种简单有效的架构具有高度的可扩展性，除了基本的图像分类之外，Transformer还被用于解决各种其他计算机视觉问题，包括目标检测、语义分割、图像处理和视频任务等。

OpenAI最新推出的GPT-4不仅支持自然语言处理，也支持图像识别并智能生成分析和总结文本，在计算机视觉领域取得极大的突破。这为生成式人工智能的未来发展指明了方向，即由专用人工智能(Artificial Narrow Intelligence，简称“ANI”)向通用人工智能(Artificial General Intelligence，简称“AGI”)[7][8]迈进，这一点也得到OpenAI的官方承认[9]。“通用”意味着生成式人工智能将发挥区别于分析式人工智能的巨大效用，即在赋能基础上赋智，为人类进一步深度创造提供启发式素材，下文将详细介绍生成式人工智能的应用场景。

(二)由赋能向赋智：生成式人工智能的应用场景

基于自然语言处理和计算机视觉技术，生成式人工智能的应用主要包括文本生成、图像生成以及其他任务，具体应用分类情况如下表2所示。根据生成式人工智能的应用分类，不难发现其应用场景涵盖教育、医疗、法律、文学、传媒、影音创作、图表制作、算法编程、软件开发等诸多需要文本生成、图像生成或其他有内容生成任务的领域。在具体应用过程中，生成式人工智能不仅可以进行自动、机械地劳动作业，还可以生成具有参考价值的结果，为人类进一步深度创造提供启发式素材。

表2 生成式人工智能的应用分类

随着人机合作更加密切，人类在未来各个场景的工作效率将极大提升，工作内容将朝着更具创造性的方向发展，工作形式也将更加自由。换言之，生成式人工智能不仅会改变人类的物质生产形态，还将逐步改变人类的思想生产形态，实现由赋能向赋智的变革[10]。以下将从国家治理和社会生活两方面讨论生成式人工智能的具体应用场景。

在国家治理层面，以司法审判为例，生成式人工智能不仅可以极大提升法官归纳整理海量判例和相关法律规定的效率，其生成的内容还能在发生疑难案情时为法官提供启发式参考依据。例如前文提及的应用ChatGPT做出判决的“查韦斯诉E.P.S”[1]案，该案的疑难问题在于原告查韦斯是否符合现行法律规定的免除支付共付费和治疗费用的诊断标准，围绕这一核心问题，法官向ChatGPT连续输入了四个关联问题，ChatGPT很快给出答案，法官根据答案的启发，最终获得有据可循的裁判依据。此外，GPT-4的技术报告显示，GPT-4在法律专业基准上已表现出与人类相当甚至更为优秀的水平，在模拟律师资格考试(Uniform Bar Exam)中，GPT-4取得的成绩排名在应试者的前10%，这意味着在足够规模数据的训练下，生成式人工智能可以为司法审判提供有启发价值的参考素材。除了司法审判之外，生成式人工智能还可以高效整合立法知识图谱[11]以提升立法的科学性，动态处理海量数据以提升执法的精准性。我国许多法律如《中华人民共和国道路交通安全法》(以下简称《道路交通安全法》)第七条和《中华人民共和国城乡规划法》(以下简称《城乡规划法》)第十条都为生成式人工智能助力国家治理提供了法律依据。

在社会生活层面，有生成式人工智能的助力，人类的思想生产将向深度创造方向迈进。以学术研究为例，生成式人工智能将极大提升检索相关文献资料的效率，方便科研人员更加高效、准确地把握所研究领域的前沿知识，减轻文献分类、整理等繁琐工作带来的负担，使科研人员可以将更多的精力投入科研创新活动。此外，生成式人工智能也可以为学术研究提供启发性素材，减轻知识创新的困难，推动科研的创新进步。除了学术研究以外，与思想生产形态相关的文学创作、影音创作、医疗方案设计等领域也将成为生成式人工智能的具体应用场景。

综上，生成式人工智能正朝着通用人工智能的方向发展，它不仅会改变人类的物质生产形态，还将逐步改变人类的思想生产形态。此外，生成式人工智能的研发和应用意味着相关领域的理论和法律制度也将面临变革。把握生成式人工智能带来的机遇，探明其存在的安全风险与法律规制路径，有利于引导技术的良性发展。

二、生成式人工智能的安全风险及成因审思

(一)人机关系暗藏的伦理风险及成因

人机关系一直以来都是学界讨论的热点问题，与科技伦理息息相关。人机关系的代表学说主要包括主张人类赋予机器外生自主性的“技术中立”说和机器自身具有内生自主性的“价值实体”说，这两种学说对应了安德鲁·芬伯格(Andrew Feenberg)[12]划分的工具理论(Instrumental Theory)和实体理论(Substantive Theory)。工具理论的主要代表人物是卡尔·雅斯贝斯(Karl Jaspers)，他主张“技术本身既无善也无恶，但它既可用于善也可用于恶。它本身不包含任何理念，既不包含完美的理念，也不包含邪恶的毁灭理念。善恶的理念都源自于人，是人赋予技术以意义”[13]115。实体理论则因雅克·埃吕尔(Jacques Ellul)[14]和马丁·海德格尔(Martin Heidegger)[15]的著作而闻名，他们主张现代科技是一个有内生自主性且具备扩张倾向的价值实体，海德格尔把这一实体命名为“座架”(Ge-stell)，座架将包括人类在内的整个世界集聚起来当作“持存”(Bestand)，并促逼(Herausfordern)着持存进行摆置(stellen)以实现解蔽(das Entbergen)过程，实体理论还认为一旦座架扩张到占统治地位之时，便有最高意义上的伦理风险。

就学说主张而言，工具理论显然更容易得到常识的支持，对法学研究也影响颇深。例如有学者认为“电子计算机没有好恶、亲疏等感情因素，在某种程度上可以避免法律工作者凭自己的情感，一时的冲动来处理问题”[16]；再如有观点指出“数据犯罪的法益应立足于数据的本质属性，以数据所表征的信息为中心来建构，回归法益的价值反思和目的功能，实现对人的行为而非对技术本身的规制”[17]；又如有观点认为“就技术实质而言，算法本身是中立的”[18]；还有观点将“技术中立”列为计算法学的基本原则等[19]。

然而，就生成式人工智能的创造性特质而言，实体理论的说服力似乎更强。这是因为在现实中，人工智能已展现出座架属性：生成式人工智能的基础架构Transformer可以通过数据训练生成新的算法模型[6][20]，而算法又会对人认知及行为进行潜移默化的重塑或规训，从而形塑社会价值观[21]。前文也论及生成式人工智能不仅会改变人类的物质生产形态，还将逐步改变人类的思想生产形态，在这一过程中，人类一旦失去对生成式人工智能的掌控，以至于形成过度的技术依赖，很有可能导致人类主导地位的丧失，亦即人机关系的异化。

不难发现，工具理论预设了人类可以完全掌控科技的前提，对生成式人工智能的发展较为乐观，而实体理论则有向“技术决定”论设想倾斜的悲观趋势。马克思主义认为人机关系的异化源于资本对科技的占有和利用，即“当资本迫使科学为自己服务时，它总是迫使劳动的反叛之手就范”[22]502。换言之，人机之间的矛盾和对抗“不是从机器本身产生的，而是从机器的资本主义应用产生的”[22]508，亦即“机器的资本化”。而且，相较于传统工业时代机器的资本主义应用导致的人机关系异化，智能时代“资本化”的人工智能对人类的剥削手段越来越多样化、隐性化、离散化，以至于人机关系中人类的属性极易被解构，进而可能导致人类在物质和精神两个层面都失去对人工智能的掌控，甚至发生倒置。

综上，人机关系暗藏着“资本化”的人工智能对人类剥削的伦理风险，在法律层面明确生成式人工智能的辅助定位，限制技术资本的无序扩张，或许是防范化解伦理风险的有效路径。

(二)人机交互面临的侵权风险及成因

ChatGPT风靡全球的同时，其在人机交互过程面临的侵权风险也逐渐暴露，招致多国监管部门的关注。例如，意大利个人数据保护局(Garante per la Protezione dei Dati Personali，简称“GPDP”)于2023年3月31日宣布，暂时全面禁止使用ChatGPT，限制其开发公司OpenAI处理意大利用户信息，并开始立案调查[4]。法国国家信息自由委员会(Commission nationale de l’informatique et des libertés，简称“CNIL”)在收到五起有关ChatGPT的投诉后，于2023年4月11日宣布启动正式程序对ChatGPT展开调查[23]。西班牙数据保护局(Agencia Espaola de Protección de Datos，简称“AEPD”)也于2023年4月13日宣布将正式对ChatGPT可能的违法行为展开初步调查程序[24]。

通常情况下，用户个人信息的收集、使用、共享以及加密保护都应在一定程度上获得受影响个人的知情通知和同意[25]，从而使其有能力控制关涉自身的数据信息。然而在人机交互阶段，用户需要将一定的事实信息经数字化上传之后才能与生成式人工智能进行互动，这会让用户的数据信息脱离可控范围，从而使之置于被滥用的风险境地，这也是ChatGPT被多国监管部门调查的原因之一。而且被上传的数据有一定概率在与其他用户进行人机交互时泄露，这也会增加侵权风险。

此外，由于生成式人工智能在人机交互当中一般会预设“有问必答”的前提，所以在输入信息超出其知识储备的情况下，大概率会生成凭空捏造的内容，当这些内容涉及现实人物或事件时，就存在侵权风险。例如2023年4月5日，澳大利亚赫本郡(Hepburn Shire)市长布莱恩·胡德(Brian Hood)表示，如果OpenAI不能纠正ChatGPT关于他因贿赂在监狱服刑的谣言，他将以名誉权被侵犯为由起诉OpenAI，这将是世界上第一起因人工智能生成虚假内容引发的侵权诉讼[26]。

不难发现，生成式人工智能在人机交互过程中面临一定的侵权风险，这主要与其在人机交互过程中必然存在的数据获取与使用的价值冲突有关。受规范各类主体在价值冲突情境中行为的比例原则[27]启发，以《关于构建数据基础制度更好发挥数据要素作用的意见》(以下简称“数据二十条”)中“建立保障权益、合规使用的数据产权制度”的要求为指导，规范生成式人工智能的人机交互，或许是防范化解侵权风险的有效路径。

(三)生成内容潜在的失控风险及成因

生成内容失控也是目前生成式人工智能面临的安全风险，既包括较为明显的输出结果错误，也包括较为隐蔽的算法歧视问题，即输出歧视性结果，还包括生成内容偏离核心价值观的情形。我国《生成式人工智能服务管理办法(征求意见稿)》第四条第一项和第四项以及第十二条也都针对上述生成内容失控的问题做出回应。

即便是目前最新发布的GPT-4也存在生成内容失控的情形，根据GPT-4的技术报告[2]显示，由于其预训练数据是从互联网上获取的截至2021年9月的公开数据，其缺乏对2021年9月以后发生事件的知识，加之持续学习能力的欠缺也使其难以从经验中汲取教训，以至于会犯一些简单的推理错误，这些错误与生成式人工智能在许多领域展现的出色能力不符，甚至表现为过分容易接受用户的明显错误陈述，例如会在生成的代码中引入安全漏洞。且GPT-4的预训练数据所表征的知识往往会有一定的局限，这极有可能导致输出结果也具有明显的偏向性，甚至输出歧视性结果。此外，生成内容失控还可能与Transformer架构下词汇间两两计算的推理方式有关，使GPT-4在推理过程中凭空捏造事实，特别是在模棱两可的上下文推断当中，最有可能发生这一情形。

不难发现，生成内容失控主要与生成式人工智能持续学习能力的欠缺、预训练数据的知识局限以及自身的技术局限有关。由于持续学习(Continual Learning)[28]旨在不断拓展生成式人工智能的适应能力，使其能够与时俱进地更新知识储备，所以持续学习能力也能有效补正预训练数据的知识局限。同时，持续学习也使生成式人工智能具备从经验中学习的能力，减少推理错误，避免凭空捏造事实，从而减轻技术局限带来的消极影响。因此，稳健的持续学习能力有利于防范化解生成内容的失控风险。

目前，提升持续学习能力的主要困难在于利用有限的算力资源保持学习任务性能的同时保护持续学习模型免受对抗性攻击(Adversarial Attacks)[29]。解决这一困难的主要方法是进行对抗性训练(Adversarial Training)[29][30][31]，所以根据生成式人工智能对抗性训练的情况制定标准化评估指标，或许是防范化解生成内容失控风险的有效路径。

三、生成式人工智能安全风险的法律规制路径

(一)将辅助原则确立为规范人工智能研发和应用的基本原则

人机关系暗藏着“资本化”的人工智能对人类剥削的伦理风险，为防范化解伦理风险，就必须维护人类在人机关系中的主导地位，限制技术资本的无序扩张，将辅助原则确立为规范人工智能研发和应用的基本原则，明确生成式人工智能的辅助定位。

就国家治理层面而言，辅助原则在我国许多规范人机关系的法律规定当中都有所体现。例如《道路交通安全法》第一百一十四条的表述是“根据交通技术监控记录资料”可以依法执法，又如《城乡规划法》第十条的表述是“国家鼓励采用先进的科学技术，增强城乡规划的科学性，提高城乡规划实施及监督管理的效能”，再如《中华人民共和国国民经济和社会发展第十四个五年规划和2035年远景目标纲要》要求“加快构建数字技术辅助政府决策机制”等，从这些规定的表述不难发现科技只能提供辅助国家治理的参考依据，而不能成为独立的治理主体。

针对生成式人工智能等新兴科技助力国家治理，辅助原则也同样适用。2022年12月8日，最高人民法院制定了《关于规范和加强人工智能司法应用的意见》，将辅助审判原则确立为人工智能司法应用的基本原则，其内容为“无论技术发展到何种水平，人工智能都不得代替法官裁判，人工智能辅助结果仅可作为审判工作或审判监督管理的参考”；其目的旨在“确保司法裁判始终由审判人员作出，裁判职权始终由审判组织行使，司法责任最终由裁判者承担”；同时还规定“各类用户有权选择是否利用司法人工智能提供的辅助，有权随时退出与人工智能产品和服务的交互”，保护用户选择是否利用司法人工智能提供辅助的权利。此外，2023年4月18日最高人民检察院发布的《关于加强新时代检察机关网络法治工作的意见》也明确要求“针对技术性较强的案件，发挥技术辅助办案作用”，其表述也在强调辅助原则。

就社会治理层面而言，从2022年3月1日起施行的《互联网信息服务算法推荐管理规定》和2023年1月10日起施行的《互联网信息服务深度合成管理规定》的表述中不难发现，人类始终是技术在研发和应用过程中发生法律、行政法规所禁止活动的归责主体。这一点也体现在《生成式人工智能服务管理办法(征求意见稿)》的表述当中。同时，这些规定也为国家监督和管理技术资本、防范其无序扩张提供了依据，有利于落实《关于加强科技伦理治理的意见》中加强科技伦理治理制度保障的要求。

综上，在面临与生成式人工智能相关的法律制定和解释时，应将辅助原则确立为规范人工智能研发和应用的基本原则，这样不仅可以防范化解人机关系异化的伦理风险，辅助原则涵盖的归责方式还可以倒逼相关主体自觉防范伦理风险，限制技术资本无序扩张。

(二)运用比例原则平衡人机交互的价值冲突

生成式人工智能在人机交互过程中面临一定的侵权风险，为防范化解这一风险，必然涉及人机交互必须的数据获取与使用行为与个人数据权益保护之间的价值冲突，而比例原则为解决这一冲突提供了思路。一般认为，比例原则由三个子原则组成，即适当性原则(Geeignetheit)、必要性原则(Erforderlichkeit)、狭义比例原则(Verhältnismäßigkeit im engeren Sinne)或均衡性原则(Angemessenheit)[32]，这三个子原则主要规范具体案件中的手段(Mittelprüfung)[33]。在这三个子原则基础上，有观点[34]指出比例原则的第一阶段应为目的审查(Überprüfung des zwecks)，目的正当(Legitim des zwecks)是践行这三个子原则的前提，这一观点也得到了我国诸多学者的支持[27][35][36][37][38][39][40]。然而，也有学者[41]认为传统三阶论的比例原则预设了目的正当的前提，将正当性原则作为比例原则的分支，反倒会因定位错误导致原有审查功能的缺失。从《生成式人工智能服务管理办法(征求意见稿)》的条文内容来看，目的正当性已经成为生成式人工智能应用的前置条件，所以在平衡人机交互的价值冲突时可以只考虑传统三阶论的比例原则。

就生成式人工智能人机交互的价值冲突而言，适当性原则要求权益保护要同经济社会的发展相适应，不能过分追求权益保护或经济发展；必要性原则要求人机交互只能在一定范围内获取并使用数据，不能超出必要限度；狭义比例原则要求获取并使用数据与实现人机交互的效果应成一定比例，使之相称。不难发现，比例原则平衡价值冲突的路径在于协调个人权益与经济社会发展之间的关系。对此，有研究根据数据产权配置对市场经济发展的影响认为：产权的最优配置关键取决于产生数据的市场和使用数据的市场之间的相对权重，当产生数据的市场权重更大时，应当尽可能保护个人的数据权利；当使用数据的市场权重更大时，应尽可能鼓励个人授权企业使用数据，促进社会经济的发展[42]。这一观点也与“数据二十条”推动基于知情同意或存在法定事由的数据流通使用模式相契合。

综上，运用比例原则平衡人机交互的价值冲突，可以有效协调个人权益与经济社会发展之间的关系，从而防范化解侵权风险。

(三)健全生成式人工智能的标准化安全评估体系

前文论及生成内容潜在的失控风险与持续学习能力有关，而稳健的持续学习能力又与对抗性训练有关，根据对抗性训练的情况制定评估指标，健全生成式人工智能的标准化安全评估体系，可以防范化解生成内容失控的风险。

完善标准化评估体系以规范科技的研发和应用在我国许多法律中都有所体现。在国家治理层面，《中华人民共和国行政处罚法》第四十一条第一款规定辅助执法的技术应当经过法制和技术审核，确保技术设备符合标准。在社会生活层面，就科技研发而言，《中华人民共和国科学技术进步法》第三十七条规定国家推动科学技术研究开发与产品、服务标准制定相结合；就科技应用而言，《中华人民共和国个人信息保护法》第六十二条规定国家网信部门统筹协调有关部门依据本法针对新技术、新应用制定专门的个人信息保护规则、标准，《中华人民共和国数据安全法》第十七条规定国务院标准化行政主管部门和国务院有关部门根据各自的职责组织制定并适时修订有关数据开发利用技术、产品和数据安全相关标准。

针对人工智能生成内容潜在的失控风险，从《生成式人工智能服务管理办法(征求意见稿)》第六条内容不难发现实施安全评估是目前防范化解这一风险的立法思路，而完善标准化评估体系旨在对安全评估进行合理定型[43]，所以健全生成式人工智能的标准化安全评估体系，可以有效防范化解生成内容失控的风险。

在具体实践当中，《中华人民共和国标准化法》第二条将标准划分为强制性标准和推荐性标准，“强制性标准必须执行，国家鼓励采用推荐性标准”。目前中国电子技术标准化研究院已编写了两版《人工智能标准化白皮书》[8][11]，最新一版指出人工智能在核心技术层面仍然易受到对抗样本攻击从而输出错误结果，GPT-4的技术报告[2]也指出其在安全性方面的提升得益于OpenAI的对抗性测试计划。据此，应当强化对抗性训练和测试，根据对抗性测试结果评估生成式人工智能生成内容发生失控的概率，结合现实情况设置合适的评测分值作为安全评估指标，作为强制性标准。在此基础上，根据评估情况不断调整输出结果，训练生成式人工智能输出与核心价值观更加吻合的结果[44]，作为推荐性标准。在划定底线的同时，引导生成式人工智能的发展方向。

四、结语

生成式人工智能因其强大的功能和广泛的应用而备受关注，它不仅会改变人类的物质生产形态，还将逐步改变人类的思想生产形态。然而，变革发生的同时也存在一定的安全风险。将辅助原则确立为规范人工智能研发和应用的基本原则可以防范化解人机关系暗藏的伦理风险，运用比例原则平衡人机交互的价值冲突可以防范化解侵权风险，健全生成式人工智能的标准化安全评估体系，规范其生成内容，则是防范化解失控风险的有效路径。在防范风险的基础上，把握变革机遇，有利于引导生成式人工智能的良性发展。

注释：

①由于GPT-4等大型语言模型面临激烈的竞争环境，以及基于安全考量，GPT-4的技术报告没有包含关于架构(包括模型大小)、硬件、数据集构建、训练方法等方面的进一步细节。