生成式人工智能的国家安全风险及其对策

【摘要】以ChatGPT为代表的生成式人工智能成为专用人工智能迈向通用人工智能的关键，拉开了强人工智能时代的序幕。生成式人工智能开创了“大模型”主导的内容生成时代，给政治安全、军事安全、网络安全、经济安全、社会安全等国家安全领域带来了诸多风险与挑战。为防控风险，应遵循人本逻辑制定防控生成式人工智能风险的“一体化”顶层战略，遵循法治逻辑健全防控风险的“全方位”制度体系，遵循共治逻辑构建防控风险的“同心圆”治理结构，遵循科技逻辑强化防控风险的“全周期”过程监管。

【关键词】生成式人工智能  AIGC  ChatGPT  国家安全  防控风险

【中图分类号】D815.5                           【文献标识码】A

【DOI】10.16619/j.cnki.rmltxsqy.2023.14.007

生成式人工智能（Generative Artificial Intelligence，亦称生成式AI）技术，是指具有文本、图片、音频、视频等内容生成能力的模型及相关技术[1]。2022年生成式AI取得突破性进展，AI绘画和ChatGPT的影响日益深远。当前，互联网巨头纷纷布局生成式AI，推出的多款产品极大方便了人们的工作和生活，引领着数字内容领域的全新变革。2023年3月，OpenAI发布了一款强大的新图像和文本理解AI模型GPT-4，新一代大模型GPT-4能接受图像和文本输入，生成带有文本和照片的内容，在各种专业和学术基准测试中已达到或超过人类水平。总体来看，生成式AI既为时代发展带来了机遇，也给国家安全带来了诸多风险与挑战。因此，需要科学评估生成式人工智能的风险，进行前瞻谋划。

生成式人工智能对国家安全的威胁与挑战

生成式AI给国家安全带来不同类型的风险和挑战，既包括有关传统安全和非传统安全的风险挑战，也包括对自身安全和公共安全构成的多层次挑战。

生成式人工智能给政治安全带来挑战。生成式AI技术恶意使用带来的最大风险可能发生在政治领域，随着AI技术作为政治武器的使用频率逐渐增加，敌对势力极有可能利用AI技术进行意识形态渗透，破坏政治稳定。

一是成为“新工具”，威胁意识形态安全。ChatGPT等生成式AI系统通过数据投喂和算法训练进行自我学习与进化，数据操纵、篡改缺失、人为筛选、污染“投毒”及算法偏见，都可能影响结果的客观性和正确性。目前，生成式AI的核心技术被美国掌控，学习训练“底料”主要来源于美西方国家，易受到美西方国家行为体以及非国家行为体的操控，成为意识形态渗透的“新工具”。公开标注数据集测试表明，[2]ChatGPT在价值观层面偏向西方，生成内容中存在大量对于中国的偏见言论，加之ChatGPT在中文知识和常识问答上很容易出现错误，而且会使用流畅的句子对编造的虚假事实进行阐述，对于信息来源受限的群体来说具有一定迷惑性，极易成为部分国家针对我国制造“认知陷阱”的工具。虽然生成式AI的背后设计者仍然是人，但其超越意识形态的科学特质和“技术”身份，反而比人更容易赢得受众信任，在意识形态传播和影响上往往能起到人所不及的作用。生成式AI系统生成的情报信息、传递的价值观，对思维认知的影响更直接、更有效。例如，ChatGPT能“善解人意”，与人共情并产生心理联结，更容易被人信任。利用生成式AI精心策划的叙事来传播意识形态，更能高效隐匿地影响作战对手，成为意识形态渗透的“新工具”。

二是生成“假消息”，异化政治传播生态。近年来，作为一种操纵舆论的新方式，计算宣传正在全球盛行，形成了“人机共生”的政治传播生态，也带来了算法和数据操控政治等新风险。ChatGPT等生成式AI能够进行“对话＋创作”，并通过经验学习作出情感反应，对社交机器人进行“降维打击”，而且还能借助数据和算法双驱动的“暗网式大集市”传播模式，极大改变现有的传播规则、传播秩序以及传播伦理，给社会、政治和国际秩序等各个层面带来重大变革与巨大冲击。[3]值得警惕的是，由于生成式AI创作的内容更有逻辑性、生成的图片更为逼真，看起来更有可信度，敌对势力可利用其构筑新型隐性渗透渠道，大规模创造出虚拟网红，“一对一”实现对政治目标的精准认知诱导、渗透和威慑，异化政治传播的健康生态。在应对风险方面，借助生成式AI并运用“算法＋情感”技术，调动敌方情感以影响其认知决策已成为现实可行的认知对抗方法。2018年曝光的“剑桥分析”事件就是精准操纵用户情感的典型案例，“个性化的数据可以让你确切知道，以何种信息瞄准谁”，只要“在对的时候，把对的信息放在对的人眼前”，就能够控制他们的思想和情感。[4]

三是衍生“新武器”，精准攻击政治目标。美军提出的“五环目标理论”，把战争体系的重心划分为政治领导层、生产系统、基础设施、民众、军队等五个目标环，其中第一环就是敌方领导人，代表了美军政治战攻击的重心。借助生成式AI、认知神经手段和社交媒体，针对敌方首脑进行的认知攻击，是当前混合战争的大势所趋。最典型的是，美陆军开展信息行动的“影响力机器”，将算法推送的“精神弹药”快速密集地“射向”目标群体，达到影响其心理、操控其认知的目的。2019年委内瑞拉政局動荡，美西方国家就利用人工智能技术极力“妖魔化”马杜罗的“独裁统治”，致使委军频频曝出叛变和倒戈事件，对马杜罗政府控局稳局造成冲击。

四是带来“新变量”，影响国家政治秩序。生成式AI和“人机共生”革命对政治秩序造成了严重冲击和挑战。英国脱欧、美国大选等事件期间都弥漫着社会被割裂、舆论被操纵的社会氛围。例如，英国脱欧公投期间，聊天机器人Brexit Bot被用来传播关于脱欧益处和留欧风险的虚假信息。生成式AI能根据需求快速生成或伪造政治目标的外貌、语音、感情、表情等属性，还可以根据政治目标的喜好生成个性化内容，甚至“无中生有”，通过设置议题、挑动情绪、政治动员来影响国家政治秩序和进程。美国国土安全部、国防部和美军网络司令部等成立专门行动小组来对抗干扰和破坏选举的“巨魔部队”，同时加紧研发结合算法生成内容、个性化目标锁定和密集信息传播的“影响力机器”，通过操纵国内国际舆论和设置议题，兵不血刃地达到从内部腐蚀、渗透、影响和颠覆，从外部抹黑、围堵和封杀的政治目的。[5]

生成式人工智能给军事安全带来挑战。近年来，生成式AI逐渐应用于军事领域。美国国防信息系统局已将ChatGPT等生成式AI列入技术观察清单，美军联合特种作战司令部正计划利用“深度伪造”等技术，开发新一代“军事信息支持作战”工具，进行互联网信息操纵、传播虚假信息和数字欺骗活动。[6]从目前看，生成式AI一旦应用于作战，或将形成威胁新链路，催生“认知战”等新作战样式。

一是视觉大模型让智能机器“看清”战场，显著提升感知能力。智能化战争中感知即杀伤，要求以强大的态势感知能力作为支撑，先敌发现并实施打击。近年来基于Transformer衍生出视觉大模型架构，通过无监督预训练和微调学习范式，在图像分类、目标检测、语义分割、姿态估计、图像编辑以及遥感图像解译等多个感知任务上取得突破，显著提升了战场感知能力。嵌入视觉大模型的智能武器，可通过视觉系统精准辨识并区分目标的主次和真伪，从海量视频数据中快速提取并生成高价值情报，减轻作战人员的认知负荷，形成对态势全面、及时、准确的分析与判断。

二是语言大模型让智能装备“听懂”指令，重塑指挥决策流程。当前战争形态“智能化＋类人化”特征明显，整体联动、快速反应、精确打击都离不开指挥信息功能的智能化。语言大模型在图片生成、书稿生成、对话生成等战场信息系统可视化场景中表现出色。如果将其嵌入一体化联合作战平台并推动其持续迭代进化，可用于想定编写、作战方案生成、演习结果讲评等较为复杂的工作，这将重塑指挥决策流程。2023年2月，美国中央集团军成功使用ChatGPT撰写了“关于成立新的反无人机特遣部队”的咨询报告。因此部署了ChatGPT等生成式AI的指挥信息系统有望深度参与“OODA”循环（即博伊德循环或决策周期环，由Observation-观察、Orientaition-判断、Decision-决策、Action-行动四个单词首字母组合得名），指挥员通过与战场信息系统进行人机对话，准确传达作战需求，战场信息系统则提供新生成的战场信息，实现想看图形出图形、想看图像出图像、想听说明出声音，并在此基础上生成行动参考方案，为在未来战争中快速、合理配置作战力量提供全新手段。

三是决策大模型助力人机混合决策，提升指挥决策优势。基于决策大模型的生成式AI系统，实现了从智能预测到智能决策、从单智能体到多智能体的跨越，可全面支撑“蜂群”“鱼群”“狼群”等作战多智能体，能够并发处理千个以上决策任务，适用于融合控制有／无人平台、生成控制算法、优化群体行为，实现“群体作战”。2016年美国研发的人工智能系统“ALPHA”，在模拟空战中击败了经验丰富的退役空军上校。据称，和人类飞行员相比，“ALPHA”在空中格斗中快速协调战术计划的速度快了250倍，从传感器搜集信息、分析处理到自动生成应对方案，整个过程还不到1毫秒，能同时躲避来袭的数十枚导弹，并协调队友观察学习敌方战术。未来战场上，将决策大模型综合集成到无人作战平台，可实施“订单”式规划作战任务、“派单”式就近赋予任务、“接单”式精确打击目标，形成对传统作战样式的“降维打击”。

四是多模态大模型成为认知对抗新型利器，放大军事威慑效能。认知战离不开“信息弹药”，深度伪造等技术更是影响战局的“特效弹药”。战时受各种条件限制，制作视频等“信息弹药”往往十分困难，而基于多模态大模型的生成式AI系统能够高效快速生成扰乱敌心的“信息弹药”，突破强敌封控的智能水军，实现战时快采、快编、快发，夺取认知叙事主导权，充分释放军事威慑效能。美国十分重视虚拟现实、全息投影、音视频合成等技术在认知信息生成中的应用。早在伊拉克战争中，美军就利用全息投影、数字孪生技术，在巴格达上空制造虚拟的伊拉克国旗，并将国旗“撕”得粉碎，对伊军民心理造成强烈震慑。

实现军事智能的关键是将“计算”与“算计”进行高效结合：计算是基于事实的功能，算计是基于价值的能力。生成式AI仅是解决问题的一种工具手段，若不与现代战争的价值道义、伦理道德、法律规则、政策体系等各方面结合，则其军事应用可能会带来诸多风险和挑战。

生成式人工智能给网络安全带来挑战。从网络攻击角度看，主要涉及4个方面：一是自动生成攻击工具。黑客借助ChatGPT、Codex等生成式AI工具自动大批量生成恶意软件，并根据攻击反馈情况进行迅速迭代，大大降低了网络攻击的门槛。二是提高网络攻击频度。向生成式AI系统大量“投喂”源代码，能够检测出软件的未知漏洞，大大缩短发现新漏洞的时间，大幅提高了网络攻击的频度。三是升级网络攻击手法。生成式AI系统通过精确地引导攻击请求、整合攻击武器，让过去能被检测、阻止、过滤的病毒代码获得新生，实现组合化、立体化、自动化的智能攻击。四是实施社会工程攻击。过去利用鱼叉式网络钓鱼，使用社会工程来创建定制诱饵存在成本高、效率低的缺点。生成式AI作为按需伪造文本的利器，可批量创建复杂的网络钓鱼邮件、非常逼真的虚假配置文件，轻松绕过邮件保护程序，提高网络攻击的有效性。

从个人信息保护角度看，主要涉及过度采、非法用、跨境传、删除难4个方面的风险隐患。一是过度采。生成式AI本质上是以海量數据为基础的训练大模型，训练数据大多来自互联网，含有大量个人信息和数据。在训练大模型强大的推理能力下，生成式AI平台过度采集未经用户同意的数据，极大地增加了个人信息泄露风险，信息主体的人格权也面临侵害风险。二是非法用。生成式AI系统输出内容包含用户提供的个人信息和重要数据，这也加大了数据合规风险。例如，在GPT-2训练过程中，就出现了非法输出用户隐私信息的现象[7]。因此，生成式AI服务者或采集者可能泄露或非法滥用个人信息。三是跨境传。在使用ChatGPT等生成式AI的过程中，存在着个人信息跨境流动安全风险。跨境传输的个人信息、商业秘密、地理位置等隐私数据，可能经由有关方面强大的数据分析能力，推导出关键设施位置、重大政策倾向等核心敏感信息，威胁国家安全。四是删除难。ChatGPT虽然承诺会从其使用记录中删除所有个人身份信息，但是未说明如何删除，数据持续用于深度学习使得ChatGPT很难保证完全擦除用户个人的信息痕迹。[8]

生成式人工智能给经济安全带来挑战。与历次人工智能热潮在经济领域产生的风险问题类似，生成式AI热潮给经济安全带来的风险既具有普遍性，也呈现出一些新特征。第一，由机器取代人引发的“技术性失业潮”危机。低技能的劳动者将是自动化的主要受害者这一观点正面临巨大挑战，生成式AI正在逐渐取代“脑力劳动者”承担其部分工作。在引入ChatGPT类生成式AI系统后，程序员、媒体从业者、设计师、作家、画家、教师、律师等职业群体可能会面临裁员、降薪、转岗等风险。第二，生成式AI可能会加剧科技企业的寡头垄断。大模型是一场“AI＋云计算”的全方位竞争，其核心技术壁垒是数据、算法、算力等要素资源的精密组合创新。目前，生成式AI技术平台和应用系统大部分都是由谷歌、微软等巨头及其参股或控股公司研发而成，先发优势企业通过快速积累“数据雪球”、建立“数据壁垒”，形成巨大的隐形智能成本从而领先后发竞争者。第三，生成式AI加剧内容版权归属争议。生成式AI引发的版权侵权风险已成为行业发展面临的紧迫问题。一是挖掘与分析数据的过程存在版权风险。生成式AI在挖掘数据的过程中可能存在无法辨认被挖掘对象的权利状态的现象，权利人因此也无從知晓作品是否已被挖掘使用，进而引发数据挖掘分析的版权风险。二是关于人工智能生成内容是否属于“作品”的分歧较大。我国业界关于人工智能生成内容是否属于《中华人民共和国著作权法》中的“作品”以及“著作权人是谁”的争论一直存在。三是生成式AI内容版权归属存在风险。生成式AI系统主要涉及三方利益主体：系统设计者和训练者、享有系统所有权的所有者、利用生成式AI创作的作品者，生成式AI内容版权应归属于哪一主体在学界尚未达成共识。从商业角度看，如果完全不给予生成式AI以知识产权保护，对研发企业而言是不公平的。

生成式人工智能给社会安全带来挑战。一是滋生新型违法犯罪。从目前情况看，可能滋生四类问题：1、诈骗敲诈类。生成式AI能够精准分析目标对象特征，定制个性化诈骗话术，自动合成并发送相关视频、语音、图片、文字，利用拟人化的聊天对话能力欺骗目标对象感情、骗取钱财。2、侮辱诽谤类。生成式AI模型能够伪造信息，合成虚假的私人视频或色情视频传播至网络，存在侵害个人肖像权、隐私权和名誉权的风险。例如，2023年3月，Midjourney等生成式AI软件生成了多张特朗普“被捕”的图片，在网络上疯狂流传，加速了舆情发酵。3、危安信息类。生成式AI可能生成煽动性言论、宣扬暴力恐怖及宗教极端思想等音视频内容，侵犯国家法益和社会法益。4、网络暴力类。生成式AI可以通过“造粉”“刷单”来贩卖焦虑、制造冲突、激发争议、操纵舆论甚至造谣污蔑，制造和推动网络暴力犯罪的蔓延。

二是引发伦理道德风险。除了当下热议的ChatGPT违反学术伦理道德和学生学业诚信遭受质疑等问题外，算法歧视和认知操纵方面的伦理道德风险尤其值得关注。一方面，算法歧视风险更为隐蔽。生成式AI大模型客观上存在算法歧视、信息茧房等问题，算法中嵌入的种族歧视、性别歧视等内容的隐藏代码，在人工智能“客观、公正、科学”的高科技包装和算法黑箱的遮掩下，可能会带来更为隐蔽的算法歧视风险。如DALL-E2（OpenAI文本生成图像系统）具有显著的种族和性别刻板印象，当被要求生成“律师”“CEO”等高薪白领职业时，输出的图片人物几乎都是白人形象。[9]另一方面，认知操纵风险。人们通常对智能系统自动生成的知识信任有加，尤其是生成式AI这种侧重数据挖掘、不作结论性判断、看似客观中立的概率性归纳，往往更能降低用户的警觉性，不动声色地影响和左右人的思维认知。值得警惕的是，借助生成式AI技术开展“影响力”行动看似科学、客观、理性，实则是人为操纵信息，诱导、影响和左右目标对象思维认知，这已成为社会认知战的重要方式。此外，生成式AI越来越多地被用来制作数字人、生成逝者的音容相貌、数字化复活已故演员、创造与逝者交谈的可能，等等，进一步引发了学界业界对相关伦理问题的讨论。[10]

三是诱发公共安全风险。首先，生成式AI存在人工智能技术不完备的局限性。由于生成式AI模型复杂度更高、应用领域更新、训练参数巨大，算法透明性、鲁棒性、不可解释性等问题更为突出，带来的风险也更大。比如，在生成式AI辅助工业设计的训练数据量不足的情况下，在特定数据集上测试性能良好的算法很可能被少量随机噪声的轻微扰动所影响，从而导致模型给出错误结论。算法上线应用后，随着采集数据内容更新，算法也会因产生性能偏差进而引发系统失灵，而算法出现错误、透明度不足也将阻碍外部观察者的纠偏除误。其次，生成式AI或成为破坏公共安全的新渠道。如ChatGPT等生成式AI与智能手机、智能汽车、人形机器人等智能设备融合互联，可实现远程操控，策动威胁公共安全的活动。最后，生成式AI虽然功能强大但可控性差。先进人工智能难以控制的原因很多，其中之一便是创建者对其内部运行机制缺乏了解。包括OpenAI的首席执行官等人认为，由于监管不足且运行类人AI系统的经验不足，生成式AI有可能变得不可控，给人类社会带来风险，对人类生存构成威胁。

四是造成社会信任危机。信任是维持整个人类社会活动良性运作的根基，而人工智能生成的假消息，深度合成的假视频、假音频在社交媒体上的泛滥，可能导致全社会陷入真假不清、真假难辨的困境之中，造成“真相的终结”，使人类社会深陷“后真相时代”，[11]“数字信任”下降到一定程度还可能引发全社会的信任危机。同时，生成式AI技术让分辨真假音视频变得极其困难，实际上动摇了音频和视频等法定证据种类存在的信任基础，[12]给诉讼法和证据法的相关规则带来了严峻挑战。

信任是人机交互的重要前提。Google聊天机器人Bard首秀犯下事实性错误，引发了网友对ChatGPT模式进入搜索引擎实用性的讨论，加深了人们对于生成式AI的不信任感。[13]生成式AI是生成元宇宙数字人的重要工具，数字人数字身份的抽象性、专业性及难以感知等特点使得个体对其有一种天然的不信任感，因此，实现“算法信任”到“人机信任”是推动元宇宙数字人发展亟待解决的难题。

防控生成式人工智能重大风险的对策思考

区别于AI1.0技术，生成式AI的治理对象（数据、算法、平台、内容）的涌现、AI1.0传统伦理与AI2.0“新道德”的張力、数字社会应对风险的科层结构“失灵”，使得人们在平衡生成式AI的发展与安全上艰难抉择，并在防控风险的探索中呈现出“实践理性”与“道德理性”的风险防控理念之争、“算法权力”与“安全边界”的风险防控焦点之论、“结果主义”与“未来主义”的风险防控范式之较、“风险可接受性”与“价值可接受性”的风险防控标准之辩。因此，防控生成式AI诱发的国家安全风险需着眼构建一体化国家战略体系，打造一体化风险防控框架，有效平衡AI发展与安全。

梳理总结当前人工智能风险防控的研究图谱，主要集中在5个方面：一是从总体逻辑看，侧重于从传统理论视角、“主体-对象-价值-规制-效果”的要素结构视角、“风险-利益-伦理-权力-权利”的社会影响视角来构建人工智能治理的框架；二是从综合分层框架看，构建了“共性价值-结构要素-行业场景-微观操作”的包容性人工智能治理综合分层框架；[14]三是从数据算法看，侧重于探讨数据、算法及人工智能本身所具有的风险及其治理路径；四是从场景生态看，侧重于从微观的“公众-个人”、中观的“组织-行业”、宏观的“国家-社会”3个层次的应用场景来探讨人工智能风险影响及应对策略；五是从应用案例看，主要是从“区域案例”和“场景案例”视角，总结典型性人工智能风险防控模式。本研究以总体国家安全观为指导，着眼于建立防控生成式AI风险的综合治理体系，提出了防控生成式人工智能国家安全风险的一体化框架（见图1）。该框架体现了从宏观到微观的维度衍变、从抽象到具体的内容衔接的一体化设计逻辑。

在风险防控维度上，该框架将防控生成式AI风险划分为层次衔接的四个子框架：人本逻辑、法治逻辑、共治逻辑、科技逻辑。其中，人本逻辑是一体化防控框架的“根基”，发挥着“统领性”的作用；法治逻辑是对人本逻辑的“具象化”执行，是整个风险防控体系的“树干”，发挥着“提纲性”的作用；共治逻辑是对法治逻辑的结构要素“分类式”“精细化”表达，是整个风险防控体系的“枝干”，代表了整个风险防控体系着力的“边界范围”；科技逻辑是共治逻辑的“工具化”运用，是整个风险防控体系的“枝叶”和“最接地气”的部分。在风险防控内容上，该框架从价值导向、防治对象、参与主体、工具手段4个方面，全面解构不同维度下生成式AI风险防控的理念、客体、主体和工具的“全貌”。

遵循人本逻辑，制定防控生成式AI风险的“一体化”顶层战略。生成式AI技术正推动人机共生的元宇宙发展，将人的世界从物理世界延伸至数字世界，在其推动下未来人类将进入通用人工智能时代、强人工智能时代。在此背景下，必须更深刻系统地认识到智能社会本质是“人的”社会而不是“物的”社会，人民至上、生命至上，人的发展是社会发展的最终目的。具体而言，制定应对生成式AI重大风险顶层战略，就是要以“道德理性”为导向，以人民安全为宗旨，把权利保护和人权保障作为防控生成式AI重大风险的核心要义。要以“公权力-平台权力-私权利”相平衡的权力制约思路为指引，全面规划和统筹协调智能社会风险防控工作；要统筹整合军事、情报、安全、外交、公安、社会等各方资源，强化国家安全战略情报在政治风险应对上的支撑作用，利用人工智能技术开展风险评估，全面分析对手利用生成式AI对我国进行渗透破坏的现状和态势、溯源风险源头和威胁，加强应对生成式AI风险的顶层认知；要聚焦个人信息保护、人工智能安全等领域的突出问题和人民群众的重大关切，将广大人民群众的网络空间合法权益维护好、保障好、发展好，汇聚人民力量抵御各种安全风险，不断筑牢维护国家安全的“铜墙铁壁”。

遵循法治逻辑，健全防控生成式AI风险的“全方位”制度体系。以算法、数据、内容、资本为载体，将人本逻辑所蕴含的伦理、道德和观念等抽象性价值，转化为以权力、权利和利益等结果形式为防治对象的结构要素框架，以“法治理性”为导向，建构一套安全有序的智能社会法治秩序。《生成式人工智能服务管理暂行办法》对生成式人工智能服务实行包容审慎和分类分级监管，明确了训练数据处理活动和数据标注等要求，规定了安全评估、算法备案、投诉举报等制度[15]，但生成式AI带来的有害内容生产、传播与渗透的责任仍有待清晰界定。在生成式AI风险不断泛化并与其他领域安全风险叠加扩大的背景下，应当在法治框架内拓展治理思路，逐步健全生成式AI重大风险治理的“全方位”制度体系。第一，从参与主体角度完善“纵横交错”的防控生成式AI风险责任体系。新技术风险治理必须进行法律制度创新，只有合理划分不同主体、不同层次、不同阶段的法律责任，构建起有效的风险治理责任体系，才能充分发挥风险治理体系的作用与优势，落实风险治理责任[16]。在横向上，要尽快完善“政-企-社”三大主体的责任分配体系，明确政府主体在生成式AI监管中的“元治理”责任，明确社会主体的“协治理”责任，明确企业主体的“能治理”责任，从而构建“整体性”风险治理责任体系；在纵向上，尽快厘清“上-中-下”三个层次的生成式AI监管责任，通过“高层”承担“顶层设计”责任、“中层”履行“专业管理”责任、“基层”压实“贯彻执行”责任，从而实现“分层式”的生成式AI风险监管责任安排。第二，从防治对象角度建立“包容审慎”的生成式AI法治体系。一方面，通过完善法规制度实现“硬法”控制，推动生成式AI风险防控从以“应急管理”为中心向以“风险治理”为中心转变，构建价值包容、普遍有效的风险治理制度体系。另一方面，坚持控制算法模型的核心逻辑，将社会公认的价值判断“赋魂”至算法模型中，通过选择语料库和建构训练模型的价值逻辑，使智能算法始终能够被人类掌控，并沿着以人为本的方向发展与迭代，实现治理的“软法”控制。

遵循共治逻辑，构建防控生成式AI风险的“同心圆”治理结构。共治是善治的核心要义。生成式AI的风险防控比其他任何技术形态的社会治理都更加复杂，既有针对最新科技的极强专业性，又具有面向公众的广泛社会性，还有境内境外的紧密联动性。因此，实行以多元共治为核心的“同心圆”治理结构是构建智能社会政治秩序的必然选择。

一是实现应用“伦理嵌入设计”。生成式AI遵循一定的伦理规则。“如果我们在教给强大的智能机器基本伦理标准之前，在某些标准上达成了共识，那一切就会变得更好。”[17]近年来，许多国家和国际组织都在探索生成式人工智能伦理治理路徑。2023年3月以来，意大利、加拿大先后以数据安全为由，宣布对ChatGPT所属公司OpenAI展开调查。2023年6月，欧洲议会批准《人工智能法案》，对ChatGPT等生成式AI工具提出了新的透明度要求，并要求披露生成式AI训练数据版权。[18]对于我国而言，必须要妥善处理好生成式AI技术发展与伦理价值约束之间的关系，建立高风险生成式AI系统自开发、使用直至整个存续期间的法律约束与惩戒机制，有效防控人工智能风险。此外，针对生成式AI领域的创新主体、行业组织、公司企业也要制定相应的生成式AI伦理指南，推进落实AI风险管理、伦理审查评估等，深入推进人工智能伦理治理，打造安全可信的生成式AI应用，并确保在应用中实现“伦理嵌入设计”。二是形成多元主体共治格局。生成式AI治理是一项复杂的系统工程，需要国家、行业、组织、公民等主体的共同参与、协同共治。因此，要走好网上群众路线，充分发挥群众自我教育、自我管理、自我约束的自治作用，与群众共同应对智能社会的复杂问题，[19]还要激励和支持社会自治、政府和企业合作共治，强化对头部企业与产品服务的安全监管。同时，有关部门应加强执法监管，提升对危害政治安全的新技术的监测处置能力，对构成违法犯罪的案件依法严肃查处。三是推动国际人工智能治理。2021年以来我国先后发布《中国关于规范人工智能军事应用的立场文件》《中国关于加强人工智能伦理治理的立场文件》，在联合国平台就人工智能治理提出方案，推动形成具有广泛共识的国际人工智能治理框架和标准规范，不断加强人工智能领域全球治理，积极倡导多方参与国际人工智能治理以应对共同挑战。

遵循科技逻辑，强化防控生成式AI风险的“全周期”过程监管。现实中人工智能应用所引发的“技术利维坦”、数字鸿沟、信息茧房、马太效应、伦理困境等问题，使得人工智能治理成为一项复杂工程。遵循科技逻辑是指将“科学性”注入风险识别、风险预警、风险处置等环节，以“工具理性”为导向，以生成式AI具体技术、产品、服务和内容为载体，对行业场景所要求的行为规范进行技术化、标准化的“全周期”过程监管，通过建立研究设计标准、技术安全标准、运行程序标准、管理流程标准、应急手段标准等工具，降低风险概率和后果严重性。

一是在风险预警阶段，以“监测力＋循证决策”为突破点，提升风险识别能力。风险识别在新技术风险治理中具有基础性作用。随着新技术风险治理中大数据、人工智能、认知科学等技术运用不断深入，科技革命与新技术风险治理的双向互动持续推进，新技术风险治理运用“监测力＋循证决策”进行风险识别的能力越来越强。如OpenAI研制出AI检测器，以“AI检测AI”避免技术滥用，显著改善了GPT-4的安全性能。因此，预警阶段需要强化科技认知，建立和完善国家级人工智能安全防御预警监测体系，及时发现并排除各种风险点和设计缺陷，实行威胁预警分级机制，规范并细化配套应对措施。二是在应急处置阶段，以“灵敏度＋科学处置”为关键点，提升风险应对能力。要提升对生成式AI技术的敏感度，利用生成式AI提升网络政治安全防御自动化水平，对风险“节点”进行科学处置；利用审核智能化优势赋能互联网内容监管技术，有效阻断危险信息和虚假内容传播，快速提升风险应对中的“信息流”处理能力。三是在风险防控阶段，以“一盘棋＋系统决策”为着力点，提升风险治理能力。人工智能带来的风险类型多样，处置流程也不尽相同，必须发挥“一盘棋”的制度优势，进行系统决策，形成数据安全、算法安全、模型安全、内容安全相互衔接、有机融合的一整套办法措施，及时有效应对风险隐患和技术漏洞。在加强外部防范的同时，也要加强内控方面的安全技术防线建设，有步骤地提高生成式人工智能国家安全风险一体化综合防控能力。

（国防大学政治学院军队保卫工作系主任、副教授段伟对本文亦有贡献）

注释

[1]国家互联网信息办公室：《生成式人工智能服务管理办法（征求意见稿）》，2023年4月11日，http：//www.cac.gov.cn/2023-04/11/c_1682854275475410.htm？eqid=cfb0848e00035b16000000066434f17c。

[2]张华平、李林翰、李春锦：《ChatGPT中文性能测评与风险应对》，《数据分析与知识发现》，2023年第3期。

[3]钟祥铭、方兴东、顾烨烨：《ChatGPT的治理挑战与对策研究——智能传播的“科林格里奇困境”与突破路径》，《传媒观察》，2023年第3期。

[4]孙宝云、李艳、齐巍：《网络安全影响政治安全的微观分析——以“剑桥分析”事件为例》，《保密科学技术》，2020年第4期。

[5]唐岚：《数字化转型下的发展与安全——观察国际秩序变化的新视角》，《人民论坛·学术前沿》，2023年第4期。

[6]《美国“截击”网站披露 美军计划用“深度伪造”等技术操纵信息》，2023年3月8日，http：//tv.cctv.cn/2023/03/08/VIDET3SH6nZsvI73ffATPqlE230308.shtml。

[7]N. Carlini， "Privacy Considerations in Large Language Models，" 15 December 2020， https：//ai.googleblog.com/2020/12/privacy-considerationsin-large.html.

[8]《爆红的“ChatGPT”潜在的数据安全隐患》，2023年2月7日，https：//new.qq.com/rain/a/20230207A08JRW00。

[9]H. Rosner， "The Ethics of a Deepfake Anthony Bourdain Voice，" 17 July 2021， https：//www. newyorker.com/culture/annals-ofgastronomy/the-ethics-of-a-deepfake-anthony-bourdain-voice.

[10]腾讯研究院：《AIGC发展趋势报告2023：迎接人工智能的下一个时代》，2023年1月31日，第55页。

[11]张华：《后真相时代的中国新闻业》，《新闻大学》，2017年第2期。

[12]张远婷：《人工智能时代“深度伪造”滥用行为的法律规制》，《理论月刊》，2022年第9期。

[13]《聊天机器人首秀答错一题 谷歌市值缩水逾7000亿》，2023年2月10日，https：//new.qq.com/rain/a/20230210A018O300。

[14]庞祯敬、薛澜、梁正：《人工智能治理：认知逻辑与范式超越》，《科学学与科学技术管理》，2022年第9期。

[15]国家互联网信息办公室：《生成式人工智能服务管理暂行办法》，2023年7月10日，http：//www.cac.gov.cn/2023-07/13/c_1690898327029107.htm。

[16]范逢春：《基层重大风险治理应当遵循的几个重要逻辑》，《国家治理》，2020年第3期。

[17]迈克斯·泰格马克：《生命3.0——人工智能时代人类的进化与重生》，汪婕舒译，杭州：浙江教育出版社，2018年，第444页。

[18]方晓：《欧洲议会批准〈人工智能法案〉，要求披露生成式AI训练数据版权》，2023年6月15日，https：//www.thepaper.cn/newsDetail_forward_23490174。

[19]张文显：《构建智能社会的法律秩序》，《东方法学》，2020年第5期。

责 编∕杨 柳（见习）

张广胜，中央军委政法委员会侦查技术中心正高级工程师。研究方向为网络安全、国家安全。