为生成式AI“上把锁”

高曼洁 秦鹏博

以 ChatGPT、New Bing、文心一言为代表的 AIGC（AI Generated Content ）类应用引发全球关注，利用人工智能技术生成内容的应用市场一路高歌猛进，但近期不少国家和地区开始刹车或按下暂停键。

4月，欧盟将 ChatGPT、Dall-E 等内容生成式人工智能列入高风险人工智能范围清单；意大利率先宣布，出于隐私保护的考虑，在全国范围内禁用 ChatGPT ；加拿大对 ChatGPT 开发公司 OpenAI 展开调查，是否存有未经用户同意收集用户信息；一些高校、企业正在部分禁用 ChatGPT。

上述举措表明，AIGC 类应用在给人类跃迁式发展提供无限机遇的同时，也给互联网虚拟空间与现实社会秩序带来难以预测的挑战。科技发展带来变革的同时，必然伴随或加剧社会风险，特别是触及刑事法律红线的风险。

易引发五类刑事犯罪风险

4月11日，国家网信办发布《关于<生成式人工智能服务管理办法（征求意见稿）>》（下称“意见稿”），着手从立法角度规范我国生成式人工智能发展进路。为从法律层面应对生成式人工智能风险，经调研，笔者认为，生成式人工智能应用在使用中易引发五类刑事犯罪风险：

一是生成内容“类人性强”，易引发诈骗类犯罪。因“百科全书式”聊天机器人高度模拟真人口吻，具有极强“类人性”，更容易让人产生信赖。对话人接收“答案”时在无意识中受到引导，易引发感情类、财产类诈骗。如通过 ChatGPT 生成完整诈骗套路话术，把 ChatGPT 包装成虚拟角色，使受害人误以为自己坠入爱河并遭受诈骗。此外，调研还发现当前出现众多名称中包含“ChatGPT”字样的微信公众号、小程序、网页、手机应用。上述“山寨版”ChatGPT 虚假链接，通过吸引网民点击链接或下载使用，误导网民填写个人信息甚至进行付费，存在损害用户财产利益风险，可能涉嫌诈骗罪。另有以投资 AIGC 类应用等新技术为名吸收资金的违法犯罪行为，如以“元宇宙”代币为噱头进行传销犯罪等，可能涉嫌非法集资、非法传销和诈骗罪。

二是篡改后台程序算法，易引发涉计算机类犯罪。“山寨版”ChatGPT 生成虚假链接，引诱对话人点击后，可能发生恶意攻击电脑设备、侵入特定领域的计算机信息系统、非法获取相关数据等行为，涉嫌非法侵入计算机信息系统罪、破坏计算机信息系统数据罪等。如网络黑客入侵 AIGC 类应用后台，篡改信息生成算法和检索内容，定向修改某类检索内容结果，易误导网民或造成流瀑效应，破坏网络公共秩序。

三是海量内容精准搜索，易引发传播淫秽色情、传授犯罪方法类犯罪。AIGC 类应用依靠抓取海量信息数据，并通过深度学习算法生成检索内容，用户进行特定内容搜索，更容易获取淫秽色情、犯罪方法、宣扬暴力甚至恐怖组织等信息。若某些网站专门提供上述信息的 AIGC 检索服务，将大大降低获取违法犯罪信息成本，提高犯罪方法信息精确度，增长相关违法犯罪行为发生风险。

四是生成内容可靠性存疑，易引发侵害人格权类犯罪。ChatGPT 等 AIGC 类应用对海量互联网信息的加工整合，可能造成信息真伪不明、道德边界感模糊。互联网上发布的娱乐八卦、网评等可能涉及个人隐私信息，均可作为 AIGC 类应用的整合资源，且生成内容以检索结果展示，易让用户误认为“标准答案”。若用户不加甄别地使用、盲目引用未经核实的信息，可能涉嫌侮辱、诽谤、侵犯公民个人信息等侵害人格权类犯罪，并不因信息来源于互联网而排除刑事责任。此外，平台运营商存在侵害用户个人信息的风险。如近期意大利宣布禁止使用 ChatGPT，并限制其研发公司 OpenAI 处理意大利用户信息，理由为该平台出现用户对话数据和付款服务支付信息丢失的情况，且未就收集处理用户信息进行告知，缺乏大量收集和存储个人信息的法律依据。

五是生成内容来源跨平台，易引发侵犯知识产权类犯罪。ChatGPT 等 AIGC 类应用的训练数据源于网络，属于对初级信息的二次加工，但加工行为与原创智力成果间的差别性边界尚不明确，对于虽已在互联网公开但著作权仍属于著作权人的作品，引用或加工程度不当则可能涉及侵犯著作权等犯罪。如近期 ChatGPT 研发公司 OpenAI 遭遇集体诉讼，被指控在未经许可情况下使用受版权保护的源代码。

AI提供者需要承担的责任

从上述调研结论中不难发现，生成式人工智能承担了信息收集者、信息加工者两个角色，最终成为服务提供者。把控好前端的服务提供者行为责任，能够从源头上降低生成式人工智能的刑事法律风险。意见稿明确并强化了“提供者责任”，概括来说，生成式人工智能的提供者需要承担的责任主要包括以下几个方面：

第一，信息源责任。内容提供者要确保可信信息源，从数据安全、个人信息保护、知识产权等方面，从源头处保证信息来源合法合规。如意见稿第七条规定：“提供者应当对生成式人工智能产品的预训练数据、优化训练数据来源的合法性负责。”可见，提供者首先应当为信息来源负责。但面对海量数据，如何进行信息过滤和筛选，尚需提供可行性方案，以便提供者能够更好地把握信息来源。

第二，生成内容责任。生成式人工智能与传统搜索引擎不同，不是简单的链接提供者，在一定程度上属于内容加工者。在网络现有信息基础上经过算法加工而成的结果，仍需要合法合规。意见稿第四条规定，提供生成式人工智能产品或服务应当遵守法律法规的要求，尊重社会公德、公序良俗，需要做到诸如体现社会主义核心价值观、防止歧视、公平竞争、防止形成虚假信息、禁止非法获取个人信息和商业秘密等。可见，提供者需要对最终生成的内容承担符合道德、法律的义务。

第三，流程报备责任。该责任范畴主要包括申报安全评估、前置算法备案等义务。意见稿第六条规定：“利用生成式人工智能产品向公众提供服务前，应当按照《具有舆论属性或社会动员能力的互联网信息服务安全评估规定》向国家网信部门申报安全评估，并按照《互联网信息服务算法推荐管理规定》履行算法备案和变更、注销备案手续。”通过报备的方式，可使生成式人工智能置于主管部门管理之下，便于及时处置违法违规行为。

可能发生的刑事法律风险

需要特别提出的是，意见稿规定的内容展现了对个人信息全方位保护机制。比如提供涉及个人信息的正向处理方案，包括事前收集信息的合理注意义务、事后的监管和及时删除义务以及反向禁止用户画像行为。

意见稿明确规定，提供者在提供服务过程中，对用户的输入信息和使用记录承担保护义务。不得非法留存能够推断出用户身份的输入信息，不得根据用户输入信息和使用情况进行画像，不得向他人提供用户输入信息。法律法规另有规定的，从其规定。

用户输入的信息妥善保管義务，涉及用户画像信息，往往与个人信息密切相关，即便用户在使用协议中同意提供者对信息进行收集和加工，但仍要遵守法律规范，不能利用收集到的信息侵犯个人隐私或信息。

通过调研，笔者结合意见稿内容，针对生成式人工智能可能发生的刑事法律风险，提出如下建议：

一是加大普法宣传力度。增强网民反诈意识，引导网民合法合规使用合法软件，准确识别被伪装的山寨链接，避免泄露个人信息。面对科技领域颠覆性的技术进步，法律工作者需要做好风险预判和普法宣传，让民众风险意识与科技创新同步并行。

二是加快新技术规范立法工作。探索算法推荐等技术管理制度的落地路径，明确自动生成内容类应用检索信息的边界，提高应用开发和应用算法透明度，确保生成式人工智能应用开发和推广以安全、道德、尊重公民权利和隐私的方式规范开展。

三是加强对新兴技术的监管。确保智能 AI 训练模型数据来源可信可靠，对于未在互联网公开或权利人明确禁用的信息源，及时督促运营企业从 AI 模型数据库中剔除，确保使用正当性。

四是完善救济途径。在智能 AI 发布后，以提供补丁网站的方式，便利相关权利人提交不予授权的声明，并及时删除不予授权的信息源，以避免和解决 AI 使用过程中的权属争议。

生成式人工智能在科技领域具有颠覆性，但同时在全世界范围内应用时间尚短，需要对其应用过程中产生的风险进行有效法律评估。只有“法律风险同步评估”，才能让科技在正确的轨道上为人类服务。

（作者高曼洁系北京市海淀区人民法院法官，秦鹏博系北京市海淀区人民法院法官助理）

（责编王茜）