个人信息保护视域下ChatGPT的法律风险及其治理

孟凡骞 王仲羊

摘要：在ChatGPT深刻改变人类生产生活的背景下，需要正视其引发的个人信息保护风险，促进技术与法律的融合。ChatGPT的廣泛应用可能冲击个人信息保护原则，侵犯个人信息权益，引发个人信息的泄露风险。对此，通过检视、反思既有的法律规范与规制手段，需要在理念与制度两方面展开治理。在理念层面，不应盲目禁止ChatGPT，而应积极应对个中风险，促进个人信息保护与处理的平衡，实现个人信息的场景化保护；在制度层面，应实现ChatGPT的综合治理，打造基础性立法与专门性立法相结合的规范治理体系，形成覆盖研发者、运营者、使用者的全流程产业治理体系，以及政府监督与行业监督联通的监管治理体系。

关键词：ChatGPT 个人信息保护 人工智能 法律治理

由美国人工智能研究实验室研发的ChatGPT一经上线，便引发多方热议，甚至被誉为继计算机、互联网之后的变革性技术。ChatGPT依托海量的训练数据，借助生成式预训练模型，运用Transformer等深度神经网络算法，颠覆了先前机械性的人机交互体验，甚至推动了弱人工智能向强人工智能的历史性转化。ChatGPT在具有广阔应用前景与发展未来的同时，更是对既有的个人信息保护法治体系形成了巨大的冲击与威胁。当前在《中华人民共和国个人信息保护法》（以下简称《个人信息保护法》）、《中华人民共和国数据安全法》（以下简称《数据安全法》）颁布实施的背景之下，如何应对ChatGPT引发的法律风险，不仅关乎ChatGPT的具体适用，也深刻影响着技术与法律之间的互动格局，甚至左右国家宏观布局的走向与趋势。鉴于此，正视ChatGPT应用中个人信息保护的法律风险，据此提出具有针对性的规范治理对策，具有重要的学术意义与社会价值。

《个人信息保护法》第4条规定：“个人信息的处理包括个人信息的收集、存储、使用、加工、传输、提供、公开、删除等。”ChatGPT在运行过程中，几乎覆盖了个人信息处理的全流程，必然构成个人信息处理活动。并且，ChatGPT推崇“大数据”“强算法”“高算力”，以最大化实现个人信息处理效果为目的。这种对数据价值的片面追求，可能会冲击个人信息保护原则，侵犯公民个人信息权益，甚至产生数据泄露的后果。

1.ChatGPT冲击个人信息保护原则。《个人信息保护法》规定了信息最小化、公开透明、信息质量等个人信息处理的基本原则，与ChatGPT的运行模式之间存在龃龉之处。其一，海量数据是“喂养”ChatGPT的原料，也是该模型迭代升级的关键。例如，Open AI在GPT-3模型的预训练中使用了45TB的数据集。ChatGPT的数据需求是永无止境的，甚至呈现出“数据越多越好”的数据主义倾向，这明显有违个人信息最小化原则的意旨。并且，截至目前，ChatGPT并未明确删除个人信息的机制与时限，致使相关个人信息面临无限期存储的风险。其二，ChatGPT面临“算法黑箱”的质疑，欠缺算法可解释性与可审计性。即便通过逆向工程，技术人员可以观测神经网络的底层逻辑，但受限于商业秘密等因素，也难以向用户解释其中原理。并且，ChatGPT中的深度学习技术不可避免地会出现“涌现效应”，即生成预期之外的信息，这更加剧了算法模型的解释难度。其三，ChatGPT与虚假个人信息之间存在“内在互轭关系”，不法分子可能利用ChatGPT开展深度伪造、网络诈骗等违法犯罪活动，产生大量虚假个人信息。这不仅违反个人信息准确性原则，也会产生网络安全、数据安全、国家安全等方面的制度隐忧。

2.ChatGPT侵犯公民个人信息权益。ChatGPT的运行机制在一定程度上消解了个人信息权益提供的保护屏障。其一，ChatGPT架空了个人信息知情权与决定权。ChatGPT庞大的预训练数据集里包含大量个人信息，却并未就该事实告知用户，更未取得授权同意。并且，由于个人信息的内容与范围，并不仅由网络服务提供者决定，而是还取决于用户在输入端的行为，故而ChatGPT难以就个人信息处理的范围、目的、方式等进行事前的实质性告知。因此，有学者指出，ChatGPT的运行逻辑，在本质上跟以当事人知情同意控制权为核心的数据保护思路并不一致。其二，ChatGPT过度处理敏感个人信息，加剧了个人信息的侵权风险。无论是ChatGPT在网络上的爬取行为，还是用户自主输入的内容，均有可能处理生物识别、宗教信仰、行踪轨迹等敏感个人信息。根据《个人信息保护法》第28条、第29条的规定，处理敏感个人信息应具有特定目的和充分的必要性，并且需要采取严格保护措施，取得个人的单独同意。然而，ChatGPT并未形成处理敏感个人信息的响应机制。其三，ChatGPT没有对未成年人设置特别保护机制，降低了未成年人个人信息的权利保护强度。由于未成年人身心发育不成熟，各国法律均秉承“最有利于未成年人原则”，要求个人信息处理者履行更严格的个人信息保护义务。然而，根据OpenAI条款，ChatGPT缺乏合理的年龄验证机制，未成年人可能接收到不适合他们年龄的回复。这也成为意大利个人数据保护局暂停境内访问ChatGPT的主要理由之一。

3.ChatGPT致使个人信息泄露。《个人信息保护法》第9条指出：“个人信息处理者应当对其个人信息处理活动负责，并采取必要措施保障所处理的个人信息的安全。”然而，ChatGPT在运行过程中有违个人信息安全保护原则的要求，并未积极履行数据安全保护义务，反而产生了严重的个人信息泄露风险。ChatGPT不仅会面临命令注入攻击、访问控制漏洞攻击等传统软件系统的安全问题，还可能遭受对抗样本攻击、模型解释攻击等针对人工智能系统的安全威胁。早在GPT-2时期，就发生过严重的隐私信息泄露事件。2023年3月20日，ChatGPT出现系统漏洞，部分用户可以看到其他在线用户的姓名、邮箱、付款地址以及信用卡后四位等个人信息，致使1.2%的ChatGPT Plus用户数据被泄露。此外，2023年4月10日我国支付清算协会发布《关于支付行业从业人员谨慎使用ChatGPT等工具的倡议》，其中明确指出ChatGPT存在跨境数据泄露的风险。ChatGPT引发的个人信息泄露风险，在微观层面可能侵犯个人的生活安宁、财产安全甚至是人身安全，在宏观层面对网络安全、数据安全甚至国家安全均会产生负面影响。

面对ChatGPT 引发的个人信息保護风险，应秉持理念先行的立场，通过纠偏治理理念的误区，形成科学合理的思维导向。目前，在针对ChatGPT 的治理过程中，存在绝对禁止、信息处理至上、概括性治理等理念误区。对此，应变革治理理念，完成由禁止到规范，由处理至上到保护处理平衡，由概括性治理到场景化治理的转型，为后续的规则制定、体系完善提供智识指引。

1.规范而非禁止的治理理念。新技术问世之初，往往会引发相关立法态度的动摇与反复。例如，近年来世界各国均面临禁止抑或规范人脸识别技术的立法纠结。部分立法者面对更具颠覆性的ChatGPT，秉持保守谨慎的态度，暂停或禁止相关技术的开发使用。例如，2023年3月31日，意大利个人数据保护局宣布，由于个人信息泄露、缺乏告知机制与未成年人保护机制等原因，将暂时封锁意大利境内访问ChatGPT的途径，并对OpenAI发出限期整改的命令。德国、爱尔兰、法国的个人信息监管机构也存在跟进禁止ChatGPT的动向。

目前持禁止态度的政府，忽视了个人信息处理是一个连贯延续的过程。ChatGPT中的个人信息处理活动包括前端的收集，事中的加工、存储、传输，以及后续的删除等环节。其中，个人信息处理风险最为严峻的环节并非起始的收集阶段。因此，从起始阶段就禁止ChatGPT的使用，不仅无法充分发挥前沿科技的红利，也失去了在后续环节规制风险、实现制度自我完善的可能性。

因此，我国应奉行过程治理的理念，对于ChatGPT的治理应当回归如何促进规范使用的方向上来，而不是一刀切式地盲目禁止。并且，我国《中华人民共和国网络安全法》（以下简称《网络安全法》）及《个人信息保护法》《数据安全法》等立法规范，与算法备案、平台监管、网络内容治理等行之有效的体制机制，业已形成规制ChatGPT的框架雏形。因此，并无必要因噎废食，坐失科技进步与制度革新的契机，而应秉持规范、限制的总体治理理念，积极建构综合治理体系，应对ChatGPT可能带来的法律风险。

2.个人信息保护与处理并重的治理理念。实现个人信息保护与处理的动态平衡，是个人信息保护法治体系的制度愿景。例如，《个人信息保护法》第1条将“保护个人信息权益，规范个人信息处理活动，促进个人信息合理利用”作为立法目标。因此，在ChatGPT的治理过程中，需要意识到个人信息保护与处理并非非此即彼的对立关系，而应当秉承二者并重的理念，打造个人信息有序共享的法治格局。

一方面，应当保证ChatGPT充分释放个人信息处理的技术红利。与隐私保护的禁止倾向不同，个人信息保护制度以“允许”使用作为底层逻辑，推行“凡不禁止皆允许”的法则。申言之，尽管ChatGPT面临制度风险，但是允许个人信息处理行为仍然属于需要坚持的原则，而限制使用甚至是禁止使用应当属于例外情形。“从域外立法源流来看，个人信息保护制度本质上是个人信息正当利用的一套规则。”因此，相关立法应为ChatGPT处理个人信息提供良性的制度生态与规范空间，深度挖掘该技术的数据潜力。例如，应当尽快完善ChatGPT的个人信息处理规则，为该技术在算法训练、数据获取、跨境传输等场景中的功能发挥提供规范支撑。

另一方面，应当运用个人信息保护制度规范ChatGPT的个人信息处理活动。为避免ChatGPT出现个人信息的侵权泄露风险，有必要充分发挥个人信息保护制度的制衡功能，将肆意的个人信息处理行为拉回有序可控、合法适度的轨道。具而言之，个人信息保护中目的限制原则、最小化原则、信息安全原则等基本原则为ChatGPT的规范运用提供了底线思维；敏感个人信息保护规则、跨境传输规则等具体制度为ChatGPT的规范运用提供了制度边界；个人信息权益能够有效缓释ChatGPT中数据主义、技术垄断、物化人性等倾向；个人信息处理者的义务则敦促平台方积极实现ChatGPT的合规运作。

3.个人信息场景化的治理理念。美国学者海伦·尼森鲍姆提出“场景一致性”理论，主张个人信息处理并无放之四海而皆准的通用规则，而应根据具体场景因素的不同动态变化。该理论为我国学界所吸纳，实现个人信息的场景化保护业已成为学界共识。ChatGPT在语言理解、文本创造、信息检索等领域的强大功能可以应用于各种不同场景，应结合具体场景的特点，进行动态化、差异化治理。例如，如果ChatGPT应用于私人商业场景，则其处理个人信息的主要合法性基础应是知情同意，保障知情同意的自愿性与实质性属于治理重点。此外，ChatGPT还可以应用于公共场景。例如，美国哥伦比亚的法官Juan Manuel Padilla Garcia在审判过程中运用ChatGPT生成部分裁判文书。在公共场景中，ChatGPT的运用是否合法，关键在于判断其使用是否为履行法定职责或法定义务所必需。并且，如果是公共部门使用ChatGPT，还应当满足《个人信息保护法》第二章第三节国家机关处理个人信息的特别规定。此外，不同场景中信息主体、信息敏感程度、信息处理必要性的差异，也会影响 ChatGPT的具体处理规则。例如，如果ChatGPT的使用主体为未成年人，则需要建构符合未成年人身心特点的个人信息保护制度。对此，我国《个人信息保护法》第31条规定：“个人信息处理者处理不满十四周岁未成年人个人信息的，应当取得未成年人的父母或者其他监护人的同意。”因此，ChatGPT的个人信息处理者应当针对未成年人设置区别于成年人的知情同意规则。

规范使用、保护处理并重、场景化三大理念需要相关制度配套实施。这要求ChatGPT中个人信息保护风险的制度治理体系是一种综合治理体系，而不能是割裂的、单维度的治理模式。具而言之，可以从规范、产业与监管三大维度展开。在规范层面，综合治理需要实现专门性立法与基础性立法相结合；在产业层面，综合治理需要实现研发者、网络服务提供者、使用者的互动；在监管层面，综合治理需要打造政府监督与行业监督连通的格局。

1.ChatGPT的规范治理体系。当前我国对ChatGPT的立法主要采取间接治理的方式，以《民法典》《刑法》《网络安全法》《个人信息保护法》《数据安全法》为代表的部门法与专业法，实现了对ChatGPT的初步规制。然而，随着ChatGPT的深入应用，规范治理体系应完成从间接治理向直接治理的转变。对此，应实现专门性立法与基础性立法相结合。一方面，为保障ChatGPT的急用先行，我国应及时出台相关规范性文件，具体解决ChatGPT中的个人信息保护问题。例如，2023年4月11日，国家网信办发布了《生成式人工智能服务管理办法（征求意见稿）》，不仅明确了生成式人工智能的概念与要求，还在第7条明确指出：数据包含个人信息的，应当征得个人信息主体同意或者符合法律、行政法规规定的其他情形。此外，2022年出台的《互联网信息服务深度合成管理规定》也对ChatGPT的具体适用有一定的指导作用。另一方面，应以规制ChatGPT为契机，加强人工智能领域的基础性立法。为避免应景式立法的局限性，在时机成熟时，应对包括ChatGPT在内的所有人工智能产品进行法律规制。例如，欧盟一直酝酿的《人工智能法案》就建构了覆盖人工智能全领域的法律框架，不仅能解决ChatGPT中的具体问题，也能为其他人工智能应用提供通用规则。此外，由于ChatGPT具有广泛的应用场景，针对其中的个人信息保护问题，不能拘泥于传统的部门法思维，而应顺应个人信息保护“领域法学”的趋势，破除公法与私法之间、实体法与程序法之间的隔阂，建立“以公法为依托，私法为主干，社会法为补充”的规范治理体系。

2.ChatGPT的产业治理体系。在既有的个人信息保护与算法治理的框架中，网络服务提供者成为治理的关键环节。例如，《网络安全法》《个人信息保护法》《数据安全法》《反电信网络诈骗法》等立法规范科以网络服务提供者信息留存义务、安全审查义务、调取配合义务、报告反馈义务等。这种模式虽然形成了对枢纽环节的有效治理，但也不可避免地弱化了对其他主体的治理力度，不利于形成完整的治理链条。面对ChatGPT引发的个人信息保护风险，应形成覆盖前端技术研发者、中端网络服务提供者与后端使用者的综合产业治理体系。首先，应加强对大型企业等技术研发者的监管，借助算法备案机制审查研究阶段的个人信息保护风险。研发企业应落实“隐私设计保护”理念，在ChatGPT等生成性人工智能产品研发过程中植入个人信息保护的具体机制。其次，网络服务提供者应充分发挥个人信息影响评估的制度功能，对ChatGPT中的敏感个人信息处理活动、自动化决策活动进行风险评估与过程记录。相关平台应主动开展安全风险审查活动，避免带有偏见、歧视、暴力等不良因素的人工智能产品流入市场。此外，网络服务提供者应积极履行个人信息处理者的义务，开展员工培训，实现产品、技术、服务的合规运作。最后，在使用端应充分发挥《刑法》等立法规范的治理作用。目前在司法实践中已经出现利用ChatGPT实施刑事犯罪的案例。例如，犯罪嫌疑人洪某利用ChatGPT修改、编辑新闻要素后，使用“海豹科技”软件上传相关信息并非法获利。因此，立法和执法部门应警惕、并严厉打击撰写“钓鱼”软件、生成诈骗脚本等非法使用ChatGPT处理个人信息的行为。

3.ChatGPT的监管治理体系。《个人信息保护法》第60条将国家网信部门设置为负责统筹协调个人信息保护工作和相关监督管理工作的机构。然而，国家网信部门不仅缺乏独立性，并且在调查手段方面也面临制度供给不足的局面，难以实现理想的治理效果。对此，应当打造政府监督与行业监督互动联通的监管治理格局。在政府监督方面，检察机关能够因应ChatGPT中个人信息处理的民事场景、行政场景与刑事场景。因此，应当发挥检察机关法律监督的作用，融合“四大检察”业务中个人信息保护的既成经验，促进ChatGPT研发运营企业实现数据合规。在时机成熟之时，应当成立独立的个人信息监管机构，将监管ChatGPT等生成性人工智能产品中的个人信息处理活动作为机构的重点内容之一。在行业监督层面，应当设置算法审计委员会、人工智能技术评估委员会等第三方机构。专门监督不能依附于行政机构，需要具有一定的独立性。算法审计委员会、人工智能技术评估委员会的监管内容主要包括审查算法备案、建构生成式人工智能的行业标准、提供人工智能产品的实施细则、对ChatGPT等产品进行质量检测、提供评估报告等。国家机关的政府监督应当与第三方的行业监督有机结合，形成完整的ChatGPT监管治理体系。

ChatGPT的到来，不仅是人工智能技术发展的奇点，也必将引发人类生产生活各个领域的巨大变革。ChatGPT的技术应用与个人信息保护法治体系之间的冲突，只是技术与法律交织碰撞的一个缩影。其背后更为根本性的问题是，如何保证法律规范因应技术沿革，避免技术发展偏离法治轨道，进而实现法律与技术的融合与共振。对此，我国应摒弃“技术中立”的空洞立场，积极应对ChatGPT等新兴技术带来的制度风险，将新技术革命视作法律规范自我完善的时代契机。并且，应当树立综合治理的理念，在內部打通部门法之间的规范隔阂，贯彻“领域法学”的观念，打造公法私法并行、实体法程序法共治的法治格局。在外部需要将视野从规范治理跃升至更为宏观的社会综合治理，实现多路径、多手段、多主体的联合共治。

作者单位 孟凡骞 中国刑事警察学院

王仲羊 西南政法大学刑事侦查学院

本文系重庆市教育委员会人文社会科学研究项目 “智慧司法时代刑事诉讼中个人信息保护的体系研究”（项目编号：23SKGH026）、辽宁省社会科学规划基金重点项目“习近平法治思想指引下的政法类期刊创新内涵发展研究”（项目编号：L21AXW008）、中国刑事警察学院2022年度校级科研项目“政法期刊培育中国式现代化法治人才路径研究” （项目编号：D2022070）的研究成果。

参考文献

[1]KOSTA MITROFANSKIY.GPT-3 Chatbot from Open AI： A Game Changer for Businesses[EB/OL].（2023-02-14）[2023-11-10]. https：//intellisoft.io/gpt-3-chatbot-from-openai-a-game-changerfor-businesses/.

[2]舒洪水，彭鹏.ChatGPT场景下虚假信息的法律风险与对策[J].新疆师范大学学报（哲学社会科学版），2023（05）.

[3]Kristi Hines. Exploring Italy’s ChatGPT Ban And Its Potential Impact[EB/OL].（2023-04-06） [2023-11-10].https：//www. searchenginejournal.com/chatgpt-ban-italy/484157/#close.

[4]赵精武，王鑫，李大伟，等.ChatGPT：挑战、发展与治理[J].北京航空航天大学学报（社会科学版），2023（02）.

[5]高富平，王苑.论个人数据保护制度的源流——域外立法的历史分析和启示[J].河南社会科学，2019（11）.

[6]Nissenbaum H.Privacy in Context[M].Stanford：Stanford Law Books，2009.

[7]程关松.个人信息保护的中国权利话语[J].法学家，2019（05）.

【编辑：朱垚颖】