ChatGPT 的风险挑战及刑事应对

刘 维，马春晓

（南京大学，江苏 南京 210008）

一、问题的提出

当前，由美国人工智能研究实验室OpenAI于2022年11月30日发布的智能对话代理程序ChatGPT，已经成为全球范围内备受关注现象级的科技事件。与以往分析已有数据的决策式人工智能所不同，ChatGPT作为一种生成式人工智能，可以综合利用人类反馈强化学习（Rein-forcement Learning with Human Feedback，RLHF）、深度学习、数据挖掘等新型技术模拟人类聊天行为。它根据用户输入的提问，通过自然语言进行回复，从而创造新的信息与内容，并能够实现自身的快速迭代。受ChatGPT事件的影响，一时之间，谷歌、阿里、百度、科大讯飞等互联网科技公司纷纷推出自家的生成式人工智能产品。在可预见的一段时间内，以ChatGPT为代表的生成式人工智能产品将会获得技术与资本的持续注入，在生活、工作的诸多场景中获得应用。

经过迭代升级后的ChatGPT功能愈加强大、应用场域愈加广泛，随之而来的法律风险与挑战则需要进行理性的思考。仅在发展初始阶段，ChatGPT就面临深度学习算法自身存在的算法黑箱、算法歧视及用户使用中的数据安全和隐私泄露等问题。此外，还因为其自身生成性的特征，可能引发知识产权侵权、生成虚假信息等众多问题。正是考虑到生成式人工智能带来的种种挑战，各国政府近期不约而同地做出了相应的监管动作与立法举措。2023年3月末，意大利政府数据保护局（Garante）要求OpenAI平台停止ChatGPT在意大利的运营，并限制其对意大利用户个人数据的处理，随后又在4月向其提出了包括告知用户数据逻辑、允许非用户处理个人数据和推出年龄验证系统在内的一系列整改要求，最终于4月末允许ChatGPT重新上线。［1］与此同时，西班牙的数据保护机构也要求欧盟隐私监管机构评估ChatGPT的隐私问题。［2］法国国家信息与自由委员会（CNIL）目前也在对用户有关ChatGPT的投诉进行调查。法国、爱尔兰与德国有关当局已与意大利方取得联系，共商ChatGPT禁令细节，意在就隐私安全相关问题达成一致立场。［3］美国政府讨论了人工智能对社会和国家安全的风险与机遇，表示其危险性有待观察。［4］2023年4月，美国商务部下属机构也发布“人工智能问责政策”征求意见稿，就是否需要对ChatGPT等人工智能工具监管广泛征求意见。［5］而由马斯克和图灵奖得主约书亚·本吉奥（Yoshua Bengio）等人发起联名信公开呼吁暂停研发高级人工智能，如今已有上万人签名。［6］正是在这样的背景下，国家网信办会同六部委共同发布2023年7月13日《生成式人工智能服务管理暂行办法》（以下简称《办法》），拟对生成式人工智能进行规范管理。《办法》对生成式人工智能产品或服务的提供提出了一系列要求，包括生成式人工智能服务提供者应当进行安全评估，并对生成的内容进行标识；应采取技术措施，防止虚假信息生成，防止算法歧视，以及防止侵害他人合法权益。这些要求体现了网信部门对内容安全责任分配的高度关注以及初步的监管思路。在当前各类生成式人工智能服务及相关应用广受关注并有喷薄而出趋势之际，《办法》的出台提供了初步的规范指引。

为了清晰全面地洞察ChatGPT在广泛应用后所可能产生的风险，首先应当对与ChatGPT有关的主体进行类型划分，以便作出针对性的规制和责任的追究。本文将主体分为两类：一种为生成式人工智能服务的提供者，诸如ChatGPT的开发者OpenAI；另一种为生成式人工智能服务的使用者，既包括普通的公众用户，又包括利用生成式人工智能技术提供其他产品服务的产品服务提供商。其次，通过透视ChatGPT自身的运行和适用的过程，深入发现不同阶段分别存在的风险挑战，具体包括算法设计阶段、数据训练阶段、模型生成阶段、模型优化阶段、用户使用阶段①其中，用户使用阶段输入的信息同时将作为人工智能数据库的素材再次投入训练，此外，用户在使用过程中向生成式人工智能服务提供者提供的反馈可以通过提供者对模型的优化使得模型进行持续迭代升级。、文本生成阶段和产品应用阶段等。本文第二部分在主体和阶段划分的基础上，剖析以ChatGPT为代表的生成式人工智可能的应用场域及可能带来的风险；第三部分则将聚焦生成式人工智能服务提供者及使用者的刑事责任和具体的注意义务类型，妥善回答生成式人工智能刑事责任主体地位、涉生成式人工智能犯罪所适用的责任原则等相关问题。

二、ChatGPT的应用场域与潜在风险

（一）ChatGPT的应用场域

大型语言模型属于代码层的基石性模型（foundational model），可被应用于从搜索引擎、内容平台到应用软件的一系列下游场景中。以ChatGPT为例，它首先通过海量数据的训练形成庞大的基础模型，随后根据不同专业的优化训练适配不同行业和场景，最后再面向广大用户直接提供服务应用。因此，生成式人工智能的功能远不止于提供信息内容服务，还可以作为医学、教育、金融、传媒、自动驾驶等诸多领域的“技术基座”，发挥巨大的产业潜力，成为现代社会的“技术基础设施”。

在医学领域，ChatGPT大型语言模型在医工研究方面有较多的应用场景，也存在巨大的商用潜力，比如，医学文献筛选、文本挖掘、医学问答、自动诊断、个性化支持等。在教育领域，国内外已有多家企业宣布布局ChatGPT的相关业务，在作业批改、口语练习、作文辅导等方面开发出各类应用场景。［7］同时，ChatGPT在做题、写文章、撰写视频脚本等方面也有着巨大的应用潜力。在自动驾驶领域，红旗、长城等大型车企相继宣布接入“文心一言”（由百度公司开发的生成式人工智能系统）［8］，通过智能化技术赋能汽车行业发展，提升汽车应用场景下的智能化与交互体验。在金融领域，ChatGPT可以自动生产金融资讯、金融产品介绍、撰写财报分析等内容，还可以担任虚拟理财顾问。在传媒领域，ChatGPT可以进行智能新闻写作、虚拟客服营销工作，等等。

总体来说，随着ChatGPT的应用场景不断丰富，各行业普遍看好生成式人工智能技术应用场景与市场前景。伴随大模型算法技术的不断升级和突破，以及算力大规模部署带来的成本下降，AIGC（Artificial Intelligence in Games and Computation，即人工智能生成内容）应用所受到技术制约将逐步减少。据估测，2025年中国AIGC市场规模有望达到1 600亿。［9］

（二）ChatGPT的潜在风险

目前，ChatGPT带来的变革正处于初始阶段，即将到来的深刻变革迫使我们要对其可能的风险进行评估，以有效控制生成式人工智能的风险水平。

1.生成式人工智能服务提供者可能面对和带来的风险。在生成式人工智能的运行和适用过程中，其服务提供者可能面对的风险主要包括算法风险、错误信息风险、数据安全风险、歧视风险和知识产权风险等。

在算法设计阶段，算法透明问题以及如何构建一种可信任的算法解释机制，是人工智能法律问题中的经典问题。［10］因算法编写的高度专业性，用户无从得知带有自身信息的有关数据被抓取、处理以及应用的细节，这种技术上无法避免的不透明性将对法律机制带来较大的挑战，如果管理不当，显然会对用户的权益与社会秩序造成消极的影响。

在数据训练阶段，OpenAI将ChatGPT提供的信息符合真实性、无害性和有用性作为努力目标，但是ChatGPT的算法和训练数据仍然存在局限性。一则，ChatGPT的算法学习包括对数据资料的无监督学习、人工指导的有监督学习和与用户人机对话过程中的学习，用户输入的信息会被记录并成为机器智能的组成部分，从而对用户的个人信息、秘密信息、商业秘密和其他秘密信息、情报等形成安全风险。二则，来自互联网的数据无法保证真实性、准确性和专业性，通过互联网数据生成的信息难以做到排除虚假信息。OpenAI虽采取了一些技术措施对ChatGPT生成的信息进行正确性检测，也没有完全消除前述因素的影响，而且，在较长一段时间内，都不可能完全解决ChatGPT提供虚假、错误甚至有害信息的问题。三则，ChatGPT是一种无感知的语言模型，对输入数据的处理是基于其在训练数据中的出现频率和语言模式。如果训练数据中存在诸如种族歧视、性别歧视在内的偏见和歧视，ChatGPT在这部分数据上训练后也会同步反映出这些问题。而且，由于训练数据体量巨大且丰富，不同文化和价值观之间存在差异，因此，也会有种族、文化和价值观冲突的风险。

ChatGPT对于知识产权的侵犯可能发生在两个阶段：训练阶段和文本生成阶段。其一，训练阶段所涉及的知识产权问题主要是ChatGPT是否可以使用又如何使用受到著作权保护的内容。其二，文本生成阶段所涉及的问题主要是其生成的内容是否能够受到著作权的保护，及是否构成侵权。在训练阶段，ChatGPT通常建立在海量数据训练的基础上，因而涉及对已有作品的复制。但时至今日，著作权保护的边界不仅关乎文学艺术创作，也关系人工智能科技的发展。如果用于训练的作品都需要获得原作者的许可，一方面，成本巨大；另一方面，如果相当数量的著作权人拒绝许可，将会导致被用于训练模型的数据十分局限，由此生成的人工智能模型可能存在缺失进而产生“偏见”。在文本生成阶段，尽管ChatGPT自身的产出机制不会存在整段复制他人作品的问题，但是也不能排除会生成侵犯他人著作权的内容，如果通过网络提供还可能构成侵犯信息网络传播权。尽管我国还未对此作出专门性的规定，需要讨论的问题是，是否需要为此类大模型的侵权责任设置一定的避风港，以及采取哪些措施促使其减少侵权。至于生成内容是否属于受著作权法保护的作品，争议较大。美国版权局（USCO）于2023年3月发布的美国法规第202部分就规定，人工智能自动生成的作品，不受版权法保护。①原版公告地址：chrome-extension：//bocbaocobfecmglnmeaeppambideimao/pdf/viewer.htmlfile=https%3A%2F%2Fwww.govinfo.gov%2Fcontent%2Fpkg%2FFR-2023-03-16%2Fpdf%2F2023-05321.pdf。我国则早在2019年末，就曾作出一起判决，认定人工智能生成内容具有独创性，应当获得著作权法保护。②深圳市腾讯计算机系统有限公司与上海盈讯科技有限公司著作权权属、侵权纠纷、商业贿赂不正当竞争纠纷案，深圳市南山区人民法院〔2019〕粤0305民初14010号民事判决书。

2.生成式人工智能服务使用者可能面对和带来的风险。生成式人工智能服务使用者可能面对和带来的风险主要包括滥用风险、隐私泄露风险、错误信息风险和犯罪利用风险。

在用户使用阶段，很可能发生对ChatGPT生成结果不当应用的风险。如学生在课堂测验或考试过程中直接使用ChatGPT的结果作为答案进行作弊；研究人员使用ChatGPT来进行写作的学术不规范行为；还有，不法分子利用ChatGPT来制造假新闻或谣言，引发社会动荡。目前还没有专门针对ChatGPT生成文本的正确性进行鉴别的研究成果，已有的针对虚假新闻或虚假信息检测的方法可以尝试应用到大规模语言模型生成文本的正确性检测中，比如基于事实抽取和验证的方法，但是否具有明显的效果还有待验证。自OpenAI于2022年11月发布ChatGPT伊始，Check Point Research（CPR）的研究人员就已发现至少三起恶意利用ChatGPT的实例。如使用ChatGPT开发的Python信息盗取器代码，在被感染的系统上搜索和复制Office文档、PDF和图片等12种常见文件类型并泄露出去；再比如用ChatGPT编写Java代码下载PuTTY SSH和telnet客户端并通过PowerShell在系统上秘密运行。［11］类ChatGPT极易被犯罪分子利用，成为网络犯罪工具或为网络犯罪提供技术支持，如ChatGPT等GPT-3工具可帮助网络犯罪分子逼真地模拟各种社会环境，并通过心理操纵诱骗受害者泄露敏感个人信息；如网络犯罪分子利用类ChatGPT等工具生成极具说服力的钓鱼电子邮件或信息实施网络诈骗。若国内运营的类ChatGPT应用被犯罪分子恶意利用作为犯罪工具，其开发者、运营方是否需承担法律责任，需要承担何种法律责任，均成为司法需要妥善回答的问题。使用预训练语言模型能参与的犯罪行为种类繁多，因此很难把所有它们能错误使用的方法都归纳总结起来，可以预料的是，随着技术的迭代发展以及不法分子的不断尝试，ChatGPT被滥用的方式会更多样且更加难以预测。

错误信息风险源于ChatGPT可能产生虚假、误导、无意义或质量差的信息。当前，ChatGPT已经在成为很多用户的一种获取信息的手段，但如果用户没有相应的分辨能力，可能会误信这些错误的信息，从而带来一系列的风险隐患。尽管预训练语言模型生成的信息有一定可信度，且可信度会在后续学习改进中不断上升，但这类模型在很多领域生成的信息仍然不够可靠。同时，ChatGPT的流行会在更大程度上增加用户对它的信任，从而导致用户被更多错误的信息误导。预训练语言模型生成的错误信息比例上升可能会加大人们对社会中各类信息的不信任，破坏社会的知识交流传播。在一些相对敏感的领域，比如法律和医学领域，ChatGPT的错误信息很容易导致直接的损害后果。错误的医学法律知识会导致使用者违法犯罪或者自行处理伤口疾病时出现问题，从而造成对社会和自己身体健康的伤害。这类问题其实在ChatGPT之前就已经有了相关的案例，比如，患者不相信正规医生而搬出搜索引擎给出的结果直接反驳医生。若用户因为信赖类ChatGPT输出的错误信息/误导性内容而遭受损失，类ChatGPT的运营者是否需承担赔偿责任便成为一个亟待解决的问题。有观点认为，应从类ChatGPT的业务模式、盈利模式来具体分析，若类ChatGPT仅提供免费的服务，并且进行充分的风险提示，则在一定程度上可以“免责”，若类ChatGPT提供收费服务，则其运营方承担赔偿责任的可能性较大。［12］但是，仅以是否收费作为认定责任的标准，过于大而化之，还需要做更为精细的讨论。

隐私泄露风险则是指在用户不知情的情况下泄露出自己不想泄露的信息，或者隐私信息被ChatGPT通过其他信息推断出来。用户在使用ChatGPT过程中可能会泄露自己的个人隐私信息或者一些组织乃至国家的机密信息。其中，个人信息的泄露可能会对个人的心理健康、人身安全造成影响；而国家或者商业机密往往是只有小范围人员能获悉的高等级信息，它们的泄露传播可能会危及国家安全和企业安全。相关私密信息存在被大数据推导出来的可能：用户即便未直接泄露私密信息，ChatGPT可能在不断地学习过程中形成强大的推断能力，从而自行推断出来。如何应对生成式人工智能对个人隐私信息和组织、国家机密信息泄露问题，也值得进一步的研究。

三、生成式人工智能服务提供者及使用者的刑事责任

现代刑法表现为法益概念的变迁与新型法益的产生、法益保护的提前、归责要件的缓和等［13］，这些新变化要求传统刑法顺应风险社会的变化进行修正［14］，更加凸显刑法的预防机能（主要是积极的一般预防机能）。析言之，刑法作为事前的风险控制法的功能越来越得到重视。面对剧烈的社会变迁，刑法要以更积极的姿态积极地参与到社会治理中，肩负起预防重大风险、保障社会安全的责任。

要预防生成式人工智能可能给社会带来的刑事风险，应当从犯罪现象的类型化出发，通过现行规范考察不同主体的刑事责任，并在过程中反思现行规范的不足。涉生成式人工智能犯罪可以分为针对生成式人工智能的犯罪、利用生成式人工智能的犯罪［15］和对生成式人工智能产品未尽安全生产、管理义务的犯罪。［16］其中，“利用生成式人工智能的犯罪”还可以细分为利用生成式人工智能的“智能”犯罪和利用生成式人工智能的“不智能”犯罪。

现行刑法框架基本能够覆盖上述涉生成式人工智能犯罪，但仍有一定的立法空白亟需填充。其一，根据《关于办理危害计算机信息系统安全刑事案件应用法律若干问题的解释》第11条规定，刑法条文中的“计算机系统”和“计算机信息系统”意为“具有自动处理数据的系统”，可以适用于生成式人工智能系统；对“信息网络”的列举也可涵盖人工智能网络。由此可见，针对生成式人工智能的犯罪可被刑法中既有的非法侵入计算机信息系统罪、非法获取计算机信息系统数据罪、非法控制计算机信息系统罪、破坏计算机信息系统罪规制。其二，生成式人工智能提供者及使用者利用生成式人工智能产品实施犯罪活动的，应当根据提供者及使用者实施的具体犯罪行为认定其罪名。其三，生成式人工智能提供者及使用者对人工智能产品未尽安全生产、管理义务的，造成他人或国家利益受损的，构成相应犯罪。具体而言，在生成式人工智能自身的设计阶段或利用生成式人工智能技术提供其他产品服务的产品生产阶段，生成式人工智能提供者或其他产品服务提供商违反注意义务可能构成产品质量的相关犯罪;在具体的产品使用阶段，生成式人工智能使用者违反注意义务则可能构成侵犯人身权益的犯罪。不过，现行产品质量犯罪的相关立法能否完全适用于人工智能产品还值得进一步讨论，相关主体注意义务的具体内容也需要随着实践的发展通过相关法律法规进行细化。此外，生成式人工智能提供者对人工智能产品未尽安全管理义务的，还可能构成拒不履行信息网络安全管理义务罪，但这一罪名目前在实践中司法适用率极低，其规范内涵和效力尚需进一步明确。

（一）讨论的前提：生成式人工智能刑事责任主体地位之否定

要明确在前述三种涉生成式人工智能犯罪类型中不同参与者的刑事责任，首先需要回答的前提性问题是，生成式人工智能本身能否独立承担刑事责任，即生成式人工智能是否具有刑事责任主体地位，这将决定归责判断的基底。

法律赋予自然人以外的主体以刑法上的人格，例如单位，是源于组织体中自然人意志的延伸。那么，刑法能否再次突破自然人的限制，赋予人工智能产品法律人格？这一问题的关键在于，人工智能存在自由意志的可能性及能否根据其意志实施刑法意义上的行为应当是考虑的核心因素。王钢教授认为，人的存在论特性决定了刑法是行为规范体系，故唯有能够理解概念和语义、能够领会刑法规范的内容和要求的主体才可能作为适格的规范接受者被视为刑事责任主体，而目前的人工智能并不能解决语义鸿沟的问题。［17］相反，肯定论者则往往通过肯定人工智能自由意志进而认为其有能力依照其自由意志实施危害社会的行为。①刘宪权：《人工智能时代刑事责任与刑罚体系的重构》，载《政治与法律》2018年第3期；彭文华：《自由意志、道德代理与智能代理——兼论人工智能犯罪主体资格之生成》，载《法学》2019年第10期；王燕玲：《人工智能时代的刑法问题与应对思路》，载《政治与法律》2019年第1期。江溯教授提出另一种证立人工智能刑事主体性的思路。他认为，在罪责理论已经明显走向“去形而上学”的情形下，应当排除“自由意志”这一局限于“形而上”的假设并且客观性和证明力都不确定的概念。他认为人工智能基于算法建立起了决策机制，已经拥有“意志”，自然也可以实施刑法意义上的行为，承担刑事责任。［18］美国哲学家约翰塞尔提出了弱人工智能和强人工智能的重要区分。［19］强人工智能中被认为其计算机程序本身就是一个心灵，而弱人工智能“至多只能够成为人们研究心灵的一种工具，或是对心智活动的一种抽象模拟”。［20］可以说，由于弱人工智能的技术发展水平尚没有达到模拟人脑意识思维的程度，所以其本质上仍只是一种提高人类工作效率的智能“工具”，与生活中五花八门的“产品”并无区别。目前，ChatGPT虽然拥有强大的语言识别和理解能力，但不可否认的是，其生成内容存在大量的常识错误，更不用说拥有和人类同一水平的认识和控制能力。因此，应当认为，现时人工智能正处于从感知智能走向认知智能的发展阶段，也就是说，仍属于弱人工智能的阶段。

弱人工智能，无论是从法哲学的角度，还是从法律技术的角度，亦或是社会预防的角度，都不需要也不应当被赋予刑事责任主体地位。首先，弱人工智能作为一套编写的程序系统并不具有自主意志，更无法自主实施行为，最终使用人工智能做出各种活动的仍然是具有独立意志的人类。无论输入多少变量，算法仍只是其复制的人类行为模式集合。其次，人工智能体即使被拟制为自由意志者，也不拥有刑事责任能力。要能承担刑事责任，必须先存在能够被剥夺或者限制的权利。也就是说，责任主体的前提是成为权利主体。而人工智能缺乏自利意识，无法成为权利的负载者和法律主体。［21］再次，处罚弱人工智能，既无法实现报应目的，也不具有特殊预防、一般预防的功能。有学者提出有必要在刑法中增设删除数据、修改程序、永久销毁等刑罚措施。［22］但人工智能作为一套工具性程序系统，最终服务的还是人类的需求。对人工智能采取上述刑罚措施，并不能对使用该套程序系统的其他服务提供者或者一般用户起到任何处罚或者威慑作用。

因此，应当认为，包括ChatGPT在内的生成式人工智能本身并不具有刑事责任能力。应当戳破生成式人工智能产品致他人或者国家利益受损行为作为工具层面的面纱，而将其视为“背后”责任主体行为的组成部分进行分析，进而对相关责任主体，即生成式人工智能服务提供者和使用者，追究故意犯罪、过失犯罪以及产品质量缺陷问题引发的刑事责任。

（二）生成式人工智能服务提供者的刑事责任及注意义务

1.生成式人工智能服务提供者的刑事责任。生成式人工智能服务提供者可能会承担故意和过失两种罪过形态的刑事责任。一方面，提供者故意研发对他人或国家有危害的人工智能产品，具体包括两种情况：一是提供者为了出于特定的犯罪目的而设计研发某种人工智能产品，二是提供者明知其设计研发的人工智能产品未达到安全标准而放任其投入应用市场。在第一种情形下，如果提供者为了实现某个犯罪目的而研发“有害”的人工智能产品，就应当将该人工智能产品理解为行为人的犯罪工具，并根据行为人利用人工智能产品具体实施的犯罪行为，依照刑法的规定，对行为人进行定罪量刑。在第二种情形下，如果提供者并不是为了实现某个具体的犯罪目的，而是在明知其设计研发的人工智能产品未达到产品安全标准的情况下，仍然放任其投入市场，使得该产品同其他领域相结合并进一步生产出相关应用，最终为一般用户所使用。如果仅仅依靠生产、销售不符合安全标准的产品罪等罪名来规制此类犯罪行为，那么一旦发生人工智能产品致人严重死伤的案件，将会造成与故意杀人罪、故意伤害罪等罪名法定刑不均衡的局面。［23］此时为了妥善的评价相关罪刑，可以考虑通过新增罪名来对此类行为人进行定罪处罚。

另一方面，在过失犯罪的情形中，由于人工智能产品的技术性及应用性，生成式人工智能服务提供者的刑事责任较一般产品生产者有所扩张，具体来说，包括对产品自身安全保障的刑事责任和对下游使用者安全管理的刑事责任的扩张。

第一，产品刑事责任的扩张。这里主要是指产品制造者的注意义务范围的扩张，除了一般性的产品安全义务外，其至少还应当包括人工智能产品适法性的义务、伦理性的义务等。［24］具体而言，适法性义务包括在算法设计和模型生成阶段严格按照法律法规进行编程、测试，在数据训练阶段排除违法信息，获得相应的知识产权授权，保证数据安全；伦理性义务则主要包括在数据训练阶段排除有害信息，诸如各种带有偏见的歧视信息。例如，生成式人工智能拥有提供人脸、人声等生物识别信息编辑功能的，提供者应当提示使用者（用户）并取得其单独同意。在未履行对用户的提示义务的情况下，发生数据侵权情形，其应承担一定的法律责任。

第二，安全管理刑事责任的扩张。正如前文所介绍的那样，生成式人工智能作为一种基础模型，未来将同不同产业结合开发出形形色色的人工智能产品。毫无疑问，类似ChatGPT的生成式人工智能扮演着各类应用的底层技术和数据来源这样举足轻重的角色。相比普通的产品产业链，生成式人工智能提供者对下游应用安全的影响更直接，作用也更大。因此，生成式人工智能提供者责任应突破生产阶段的产品安全责任，延伸到应用阶段的安全管理责任。具体而言，需要在产品应用阶段履行对使用者输入数据和合成结果的审核义务和根据产品应用阶段得到的反馈及时优化模型的义务。例如，如果生成式人工智能提供者不履行对于接入该人工智能的自动驾驶汽车的软件升级义务，或者对相关医疗咨询系统的更新义务、对系统中错误的及时修正义务，就有可能要承担相应的安全管理刑事责任。

“没有产品缺陷，就无所谓产品责任。”［25］有学者总结了产品缺陷的四种类型，包括产品设计缺陷、产品制造缺陷、产品警示缺陷与产品营销（产品召回与售后警示）缺陷。［26］不管是生成式人工智能本身，还是其下游利用生成式人工智能技术提供的其他产品服务，都作为产品，可能面临这四种类型的问题。对于产品缺陷的责任问题，首先应当在《产品质量法》《侵权责任法》或单独的《生成式人工智能管理办法》等前置法层面上予以明确生成式人工智能提供者和下游利用生成式人工智能技术提供其他产品服务的产品服务提供商的生成式人工智能产品质量检测和下游应用监测跟踪义务。不同于一般产品，生成式人工智能产品对人类语言有极强的模仿和推理能力，并且其在全世界的流行会在很大程度上增加一般用户对它的信任度，因而极有可能存在安全风险并导致用户损害。因此，应当尽快对生成式人工智能提供者和利用生成式人工智能技术提供其他产品服务的产品服务提供商设置相应的责任和义务。目前，我国前置法层面上并未对此明确规定，根据法秩序统一原理与刑法二次违法性的理论，需要在前置法法律规定完备的前提下，才可以进一步完善生成式人工智能产品质量问题引发的刑事责任问题。

此外值得讨论是，有学者认为，“人工智能犯罪的刑法规制体系，必须在责任要素上普遍采纳严格责任，对超过的客观要素（结果）不强求故意或者过失。”［27］“除了对故意利用人工智能技术实施犯罪的行为需要加以刑法规制外，由于人工智能可能造成的社会危害性大，并且研发者和使用者在大多数情况下对人工智能产品具有一定的把控能力，因此可以考虑在刑法中确立人工智能产品研发者和使用者的严格责任。”［28］该观点进一步认为，严格责任确认的前提是前置法律法规已将这部分义务规定在条文之中，而刑法则可以规定不履行相应法律法规中关于人工智能产品研发和使用过程中的规定，造成严重危害结果的，有关研发者和使用者需要承担刑事责任。［29］本文认为，关于生成式人工智能产品因缺陷致他人或国家利益受损的行为规制，仍应当坚持过错责任原则，严格按照故意犯罪和过失犯罪的主客观要求追究刑事责任。尤其在过失犯罪的情况下，应对其提供者谨慎苛责，不应适用严格责任，而应当以新过失论作为理论工具，借助“缓和结果回避义务”对生成式人工智能提供者过失犯罪的成立范围进行限缩。

根据严格责任原则，行为人由于“在不允许的事项中逗留”，即使他没有过错，也要对所有后果承担责任。这种严苛的可罚性是以行为人创设了不容许，也就是说非社会所期望的风险创设为前提。只有在这样的背景下，才能将仅仅实施了某种风险行为构建为客观处罚条件。因此，如果将危险的人工智能系统投入流通所出现的结果认定为客观处罚条件，必须首先证明投入流通行为的不被容许性。但实际上，不违反义务地制造、销售或运营人工智能系统的行为则是一种容许的、并为社会所需要和期待的行为。［30］应当说，在刑法中引入严格责任，显而易见会极大地破坏刑法原有的责任体系，违背了责任原则。尤其是对仅仅具有工具性的生成式人工智能产品来说，此一体系性的破坏完全没有必要。其一，虽然生成式人工智能作为基底模型，为各行各业的应用提供技术支持，影响广泛，但只要其研发者和使用者尽到了相应的注意义务，很大程度上就能避免危害的产生。若只是因为凭空想象的所谓“人工智能产品社会危害性大”而置刑法的责任体系于不顾，得不偿失。其二，由于生成式人工智能产品问题及提供者主观过错难以证明而主张严格责任并不合理。此观点混淆了刑事领域中归责和证明这两个不同层次的问题。并且，随着人工智能技术的不断发展和普及，未来这一问题将得到极大解决。届时，完全可以通过国家设立的专门针对人工智能产品的技术部门或鉴定机构对提供者的过错予以鉴定和甄别。其三，贸然引入严格责任，虽然可以在一定程度上将风险最小化，但其对整个人工智能领域的发展和创新带来的挫伤是更无法容忍的。

在新过失论中，对过失犯的成立要进行两个阶层的判断：第一，在构成要件阶层，违反客观注意义务之行为才能成立过失行为，其中客观注意义务由以客观的预见可能性和客观的结果回避可能性为基础；第二，在责任阶层，主要判断行为人的主观注意义务，而这种主观注意义务以行为人主观上的预见可能性作为判断的标准。通过这种双重判断，限制过失犯的成立范围，以在人工智能发展的初级阶段更有利地支持技术创新和行业生长。值得注意的是，生成式人工智能作为一种不断更新学习的系统，存在一种“可预见的不可预见性（vorhersehbare Unvorhersehbarkeit）”①参见Gless/Weigend，ZStW 126（2014），S.561，581f.。的问题。应当认为，这种不可预见性是人工智能本身的技术特征所决定的，其设计开发者对这种情况缺乏客观避免能力，因此并不能归责于人工智能提供者。此外，如果存在信赖原则适用的空间，应当否定生成式人工智能提供者成立过失犯罪。

2.生成式人工智能服务提供者的注意义务。如前文所述，当务之急应当明确生成式人工智能提供者和下游利用生成式人工智能技术提供其他产品服务的产品服务提供商的生成式人工智能产品质量检测和下游应用监测跟踪义务。其中，生成式人工智能提供者的义务可以分阶段细化为算法设计、数据训练和模型生成阶段安全编程、安全测试的义务，用户使用和模型优化阶段过滤审查违法有害信息并及时调整的义务，与对下游服务使用者的提示义务。

（1）算法设计、数据训练和模型生成阶段安全编程、安全测试的义务。算法、算力和数据是人工智能三大核心要素。人工智能运行的技术逻辑就是算法。由于生成式人工智能具备深度学习功能，并且不断根据用户提供的内容进行更新迭代，因此其系统编程并不是为其设定固定操作，而是以设定重要参数的方式为系统运行提供算法。以ChatGPT为例，其在技术路线上采用自然语言处理+搜索引擎集成的架构，建构了大型语言和强化学习微调训练模型，连接大量语料库，通过预训练方法处理大模型序列数据，使其拥有语言理解和文本生成的能力，能够完成用户指令的任务。因此，生成式人工智能服务提供者首先需要在算法设计、数据训练和模型生成阶段，尽可能提高系统程序的适法性，排除程序缺陷。生成式人工智能提供者的安全编程义务主要体现为，为语言训练模型设置能够保障数据安全、初步排除违法有害信息的参数并确保模型在参数范围内行动，并完成算法备案。

《产品质量法》第46条对“产品缺陷”做了界定，即“产品存在危及人身、他人财产安全的不合理的危险”或者产品不符合“保障人体健康和人身、财产安全的国家标准、行业标准”。当前，人工智能产品还没有相应的国家标准、行业标准，因而，判断人工智能产品是否存在“缺陷”的标准在于是否“存在危及人身、他人财产安全的不合理的危险”。算法黑箱使得生成式人工智能提供者难以预料该人工智能产品在和不同用户交互的特定情境中会给出什么样的生成内容、这些生成内容是否存在危及人身或他人财产安全的不合理危险。为了确保该人工智能产品每天输出的海量内容不存在这样的不合理危险，生成式人工智能提供者有必要在将人工智能产品投放到市场公开使用前，充分开展各类场景运用测试，尤其是在法律和医疗这样专业和切身影响公民人身、财产安全的重要领域。通过反复的试验、反馈、完善确保该人工智能产品只在极端例外情况下才会引发生成违法有害信息，并合理设计以尽可能降低其损害程度。如果生成式人工智能提供者没有充分开展安全测试，就不能以对该人工智能产品的具体生成内容缺乏预见可能性为由，或者援引被容许的风险原理，否定自身的刑事责任。

值得强调的是，应当以编程时的科学技术水平和风险认知水平为基准来判断生成式人工智能提供者是否履行了安全编程和安全测试义务。如果在生成式人工智能服务被投入下级应用市场或直接为一般用户使用时的科技水平并不能发现相关风险或者缺陷，就不应当将罕见的偶然性损害归责给人工智能提供者。因此，在这种情况下，提供者并不承担产品责任。

（2）用户使用和模型优化阶段过滤审查、及时调整的义务。进入到用户使用阶段之后，生成式人工智能在用户输入指令后，将指令转化为数字序列，再通过上述模型联系对话的上下文，分析用户指令的含义及特征，生成数字序列形式的内容，最后将数字序列转换为文本输出。而训练这一模型的钥匙主要是基于人工反馈的强化学习（RLHF），模型基于不断的人工反馈进行持续迭代式微调。①参见哈尔滨工业大学自然语言处理研究所：《ChatGPT调研报告》，第10页，载道客巴巴2023年3月8日，https：//www.doc88.com/p-25329748210272.html。因此，生成式人工智能提供者有义务对用户输入的内容进行过滤审查，建立鉴伪与辟谣机制，排除出违法信息、有害信息、错误信息，诸如可以为犯罪所利用的信息，或带有偏见的歧视性信息，并对模型不断进行优化调整。

（3）对下游服务使用者的提示义务。此外，服务提供者还应当对使用者输入数据进行相关法律法规的提示，包括知识产权方面的风险提示，例如，要求提供人脸、人声等生物识别信息编辑功能的，应当提示使用者并取得其单独同意。在生成式人工智能提供者未履行对用户的提示义务以及对用户输入内容的审核义务的情况下，发生数据侵权情形，其应承担一定的法律责任。此外，还包括对错误信息风险的提示，尤其是在医疗和法律等专业领域，应当提醒用户谨慎判断ChatGPT生成的相关信息。

值得注意的是，在OpenAI的使用条款（2023年3月14日版本）①OpenAI使用条款的访问链接：https：//openai.com/policies/terms-of-use。中，并无明确阐明知识产权的问题，而是显示在适用法律允许的限度内，用户拥有全部的 “输入”（应是指其向ChatGPT提供的指示和传输的信息/数据/文档）。OpenAI亦声明向用户转让其在输出中的、与输出有关的所有权利、权证和利益，并规定用户对包括输入和输出在内的内容负责，确保相关内容不违反任何适用法律或是诸项使用条款。因此可以推论的是，若ChatGPT所生成内容被用户公开，而其中被控含有受著作权保护、但未获原著作权人同意之内容，则相关责任应由用户承担。这也实质规避了OpenAI可能涉及的侵犯知识产权之风险。［31］

（三）生成式人工智能服务使用者的刑事责任

1.利用生成式人工智能技术提供其他产品服务的产品服务提供商的刑事责任。对于利用生成式人工智能技术提供其他产品服务的产品服务提供商明知生成式人工智能产品存在质量问题而予以利用的，构成犯罪故意，应当承担故意犯罪的刑事责任。具体而言又可继续分为直接故意和间接故意两种情形。如果该生成式人工智能产品的质量问题严重至损害结果一定会发生，则该其他产品服务的产品服务提供商者构成直接故意；如果该生成式人工智能产品的质量问题只是导致结果有可能会发生，则其他产品服务的产品服务提供商构成间接故意。而利用生成式人工智能技术提供其他产品服务的产品服务提供商在下游产品开发、经营过程中没有尽到产品质量注意义务，或者未尽到对一般用户的安全管理义务的，则构成犯罪过失，承担过失犯罪的刑事责任。

2.一般用户的刑事责任。在使用ChatGPT时，用户自身的输入行为需要严格遵守该人工智能所提供的使用条款以及相关法律规范，例如，不得输入他人隐私、敏感信息、商业秘密、国家机密等，更不能利用ChatGPT实施违法犯罪行为。一般用户实施针对人工智能的故意犯罪，如破坏计算机信息系统罪的，由现行刑法直接规制。一般用户故意利用生成式人工智能产品实施犯罪活动或未尽到对使用产品的安全管理义务过失致他人或国家利益损害的，应当根据其实施的具体犯罪行为认定其罪名。2023年4月末，甘肃就发生一起利用ChatGPT将虚假信息“洗稿”赚取流量非法获利的案件，犯罪嫌疑人洪某因涉嫌寻衅滋事罪被采取刑事强制措施，但其行为构成寻衅滋事罪还是编造、故意传播虚假信息罪仍存在较大争议。［32］

需要特别注意的是，一般用户在使用ChatGPT时要面临知识产权侵权风险。正如前文所提到的，根据OpenAI的使用条款，在用户输入行为符合使用条款和相关法律规定的前提下，OpenAI将该文本内容的所有权和相关利益都转让给了用户。但实际上用户难以甄别该文本内容是原创作品还是对他人作品的剽窃。此种情况下，如果用户擅自进行复制、发表、改编或者传播，可能会侵犯他人著作权，严重的甚至会构成侵犯知识产权犯罪。因而用户在输入行为合法合规的前提下仍需谨慎使用ChatGPT生成的文本内容，否则将要承担相应的法律责任。

四、结语

当前，ChatGPT具有明显的工具性质，尚不具备刑事法律主体资格。在生成式人工智能的技术产出链条上，技术开发者也即生成式人工智能服务的提供者是关键的角色，应当承担一定的合规责任。生成式人工智能提供者是我国生成式人工智能治理的枢纽，既要尽到自身的产品责任义务，又要履行对下游服务使用者的安全管理责任。ChatGPT被用于实施犯罪时，使用者即为犯罪行为正犯，应承担刑事责任无疑。为了不遏制技术创新，现阶段我们应当对针对人工智能提供者的严格责任持谨慎态度。但生成式人工智能服务提供者客观上为使用者提供了技术帮助行为的，能否以技术中立为由出罪，仍应当注重考虑其是否有严格履行网络安全法、数据安全法、个人信息保护法、《互联网信息服务管理办法》等法律、行政法规规定的信息网络安全生产、管理义务。目前，人工智能产业仍在发展初期，尚未发展出成熟的行业标准及相关的法律、法规。未来，应当实现刑事合规的外部规制与行业内部自我治理的有机结合，在行政法规和刑法规范结合具体情境进一步完备细化的基础上，实现刑法与人工智能行业规则的功能性协作，进而促进人工智能行业风险最小化下的可持续发展。