生成式人工智能的意识形态功能、风险及预前治理

［摘 要］生成式人工智能以其技术的底层性和通用性重塑意识形态实践的要素和结构，其专业化和小规模化后将成为广泛销售并使用的智能代理，将造就意识形态生产、传播、教育和动员新形态。由于专业权威弱化、算法复现数据性质谱系以及私有化的产权和应用造成了权威性与民主性、政治性与技术性、公共性与私有性矛盾，智能代理将在实践主体、模型构建和社会应用方面引起多重影响国家安全的意识形态风险。为治理风险，应立足未来提出预前策略，抛开为技术引发问题打补丁的思路。必须确立党管智能代理原则，强化主流意识形态权威性；构建可内嵌意识形态知识图谱，提升意识形态数据规范性；导入意识形态管理智能代理，实现社会应用全程风险处置。

［关键词］生成式人工智能；意识形态实践技术；智能代理；风险治理

［作者简介］孙夕龙：北京交通大学马克思主义学院教授、博士生导师，主要研究方向为马克思主义基本原理。

［DOI］10.19377/j.cnki.43-1531/g0.2024.02.007

生成式人工智能是新一代人工智能在深度学习方向取得的标志性技术，是人工智能第三次浪潮的重大进展。它在功能模拟意义上解决了程序自行学习和自动生成数据的问题，是信息技术体系中的底层技术和通用技术。生成式人工智能技术与大数据、超级计算和物联网等技术融成一体，将使真正的智能世界和全息世界变为现实，并从信息层面实质性重构各行各业的要素和结构，给生产实践、社会生活以及社会运营管理带来历史性变革。目前，生成式人工智能语言大模型已在交通、金融、医疗、教育等产业赋能方面初具规模，多模态大模型正在快速推进，例如2024年初美国OpenAI公司发布了Sora。可以预见，作为新质生产力的重要方面，生成式人工智能技术在思想文化领域的应用不久将迎来爆发。一方面，对于文化和意识形态领域，它不会只是一般性赋能或介入，而是第一生产力，必将重塑文化实践模式，在意识形态生产、传播、教育和动员能力方面造成颠覆性影响。另一方面，它也将是未来意识形态斗争的最前沿，成为负面意识形态活动加以利用的主要工具，会在文化安全、意识形态安全乃至政治安全方面引发前所未遇的潜在风险和挑战。因此，关于生成式人工智能在思想文化领域应用的研究不能局限于初步赋能以及一般伦理问题，而是必须基于其技术的底层性和通用性，预测和刻画它未来的实践路径和产业情景，深入把握其引发的意识形态新风险，并提出治理对策。

一 生成式人工智能作为支撑意识形态的技术及其功能

马克思指出，技术作为“工艺学”，“揭示出人对自然的能动关系，人的生活的直接生产过程，从而人的社会生活关系和由此产生的精神观念的直接生产过程。”（马克思，Nwa74M8aHBVmLKSJNguXyQ==恩格斯.马克思恩格斯文集：第5卷［M］.北京：人民出版社，2009：429.）例如，“预告资产阶级社会到来的三大发明”，火药炸碎了骑士阶层，成为服务于阶级斗争的技术；指南针被运用于开拓世界市场和殖民地，成为服务于资本的技术；“而印刷术则变成新教的工具，总的来说变成科学复兴的手段，变成对精神发展创造必要前提的最强大的杠杆”（马克思，恩格斯.马克思恩格斯文集：第8卷［M］.北京：人民出版社，2009：338.），所以是支撑意识形态和精神生产的技术。精神领域几千年发展史表明，新旧意识形态斗争既是有关新旧思想观念的斗争，也是有关意识形态活动技术的斗争。这些技术之争或多或少地改变了既有思想文化格局，在革命时期，甚至引发了新旧文化生死之战。

（一）生成式人工智能作为支撑意识形态的技术及其形成

意识形态不仅是作为上层建筑的思想体系，还是反作用于经济基础、同政治和社会生活相互作用的实践活动，显然需要借助一定的技术才能进行，包括搭建物质载体、创设媒介符号、传递思想观念、动员行动主体、提供行动手段等。这些技术实际是特定的信息技术和传播技术。因此，可以将意识形态实践所使用的信息技术和传播技术称为支撑意识形态实践的技术，简称意识形态实践技术，将意识形态的思想内容简称为意识形态信息或数据。

在哲学层面上，所有技术从功能来看都是直接或间接对人体器官体系一定程度的模拟和扩展，都是延长了的人的“自然的肢体”（马克思，恩格斯.马克思恩格斯文集：第5卷［M］.北京：人民出版社，2009：209.），支撑意识形态的技术也不例外。人在实践中必须使用自身信息器官获取和利用有关外部世界的信息来操控各种工具，这些信息器官体系包括感知和获取信息的感觉器官、传递和分配信息的传导神经、存储和生成信息的思维器官（大脑）以及使用和反馈信息的效应器官（手足口）等。意识形态实践技术作为信息工具，本质上就是对人体信息器官体系的延伸，就是人们利用信息和传播工具感知和收集、解析和传递、存储和加工以及使用和调节文化与意识形态信息和数据的技术。意识形态实践在技术层面就是阶级或利益集团及其意识形态家利用多层叠加的信息媒介来生产、传播和灌输意识形态信息，动员阶级队伍和凝聚政治成员，以支持其建立或开展政治统治的活动。另一方面，人体信息器官体系和所有信息技术都存在信息生产和表达的效率以及信息传播和交流如何实现时空同一性这两个基本问题，信息技术发展史就是解决这两个问题的历史，最终目标是指向一种能够同时实现大批量信息生产和传播的、多主体和多终端之间的、远距离的和实时交流的自动化信息生产和处理系统。意识形态实践技术的进步史自然也是一部追求自动化的历史，而生成式人工智能技术恰恰就是其所追求的目标，是意识形态实践史和技术史的必然归宿。

从文字替代瞬间消失的口语及其器官工具开始，中间历经造纸术、机械印刷、电报电话、录音录像以及广播电视等，信息的载体、媒介及传播方式一直在突破时间、空间和容量限制。一旦人类将信息和数据搬运到载体和媒介上后，其存储和传递就脱离了人而独立进行，可以说实现了部分自动化。20世纪40年代计算机发明后，人类首次开始制造非肉体的器具来模拟人脑结构以及处理信息和操控肌体的机制，试图拓展和替代人脑的部分机能，并克服其不足。在结合通信等技术后，计算机初步解决了远距离传递信息与主体间信息互动不能同步的矛盾。20世纪90年代以后，人们逐步将各种电子设备链接在一起，构建了互联网。21世纪以来，移动设备和移动互联网大幅提升了自动感知、生产、收集和传递信息的能力，具备了多主体间远距离同时互动功能，并成为意识形态斗争的主战场、主阵地和最前沿。

2018年以来，以ChatGPT和文心一言等为代表的生成式人工智能取得技术突破，目前主要通过理解用户输入的自然语言及其相应语境和场景来推断其需求，生成用户期望的新文本数据。同时，研究人员正在快速推进它实现跨模态任务，即生成文本、图像、音频和视频等不同模态信息的混合数据。其核心部分是神经网络转换器（Transformer）模型，它可以将输入序列数据通过编码器转换为一组向量，然后通过解码器使用这些向量来生成输出序列数据。生成式人工智能在功能意义上初步实现了对人脑信息处理的模仿和扩展，与现有网络技术深度结合后，最终将完成信息技术对人体信息器官体系的完整扩展：内置生成式人工智能程序的电子设备从网外世界和网内空间感知和获取信息并存储；网络传递、交换和分配信息；生成式人工智能收集、存储和计算信息并自动生成新信息；生成式人工智能发出指令信息，通过电子或机械等媒介操控联网物体、人员及组织系统，指挥工具体系生产物质资料。在给出第一推动后，生成式人工智能可以独立实现自然人需要的各种信息任务，几乎无须自然人来监督执行。至此，信息技术的两个基本问题基本得到解决，真正实现了信息生产、收集、计算和传递全过程的自动化。在思想文化领域，生成式人工智能能够代替人类独立完成意识形态数据和信息的生产、存储和传播等事务，是新一代具有颠覆意义的支撑意识形态实践的技术。

（二）生成式人工智能的文化和意识形态功能

生成式人工智能将造就思想文化领域新结构、新产业和新业态，成为文化发展的新引擎。第一，重塑思想文化实践主体结构。生成式人工智能作为程序在功能模拟层面可以称得上是类人智能工具，被称为agent，即“智能代理”（或译作“智能体”）。agent最早由马文·明斯基（Marvin Minsky）引入，讨论心智（Mind）如何由许多更小的程序组成并聚合在一起实现“真正的智能”。（参见：Marvin Minsky.The Society of Mind［M］.New York：Simon & Schuster，Inc.，1985：17.）1995年，比尔·盖茨提出，agent“是一个具有人格并且似乎具有主动性的过滤器”，与之对话就像“同一个行为有些像人的程序对话”。（根据原文对译文进行了改动，参见：比尔·盖茨，等.未来之路［M］.辜正坤，译.北京：北京大学出版社，1996：110-111.）智能代理将向思想文化领域引入大量前所未有的主体新变量。首先，虽然生成式人工智能构建需要庞大的资源和投资，普通用户目前只能通过应用程序购买其服务，但从技术发展和商业驱动来看，它必将朝着小型化和轻量化方向快速演进，迭代出低资源需求的深度学习算法。在突破成本障碍、实现消费级商业化后，除现有研发团体和供应商外，大量企业和个人理论上也可以依据条件和需要购买使用。其次，智能代理未来将以高度仿真的、能与自然人进行知情意互动的人形机器人的形象广泛切入生产生活中。无数智能代理将会联结成网，成为相对独立的类人主体世界，成为意识形态和文化实践主导平台，实践主体将跨入自然人主体和类人主体共存时代。再次，非专业人员可以指令智能代理代替他们完成诸如编写代码、生产高水平文化产品等技术性工作，虽然专业人员不使用智能代理也能从事专业工作，但智能代理确实代替了大量至少是中高端的专业工作。这是一个历史性转折，在绝大多数文化产品生产的意义上，文化和意识形态领域专业与非专业主体的差别将趋于模糊。

第二，制造全模态型文化和意识形态产品生产工具。首先，生成式人工智能正在构建通用模型和针对各专业领域的垂直模型，两类模型都会涉及文化和意识形态数据，构建文化和意识形态专业模型将成为必然，理论著述、新闻历史、小说影视、游戏动漫、音乐美术以及更复杂的虚拟现实等都有海量原始数据可供使用。因此，生成式人工智能是全模态型文化和意识形态产品生产工具，未来市场必是专业模型或垂直模型占据绝大多数。其次，除了法人实体外，普通个人也将拥有自己专属的文化产品自动化生产程序，相比其他专业性极强、成本极高的例如从事自然科学研究的大模型，文化行业专业模型的数量将会更多。再次，普通用户在成本可控的情况下都可以无限制地使用智能代理进行生产和传播活动，甚至也可以将智能代理设计成它自身的用户，实现自己与自己的开放式对话，并进行生产。因此，未来文化和意识形态产品的数量将比现在多得多。最后，智能代理生产的文化和意识形态产品的水准多数情况下高于自然人主体，自然人独立生产的积极性将受到抑制，多数人会选择辅助智能代理来生产，并成为常态。

第三，创造文化和意识形态实践新模式。首先，基于带宽、数据和算力等基础设施的强大能力，未来生产制造和社会生活运行管理所有需要链接运行的设备、物品、工具和人员理论上都可以置入或联结生成式人工智能。生成式人工智能则利用通讯和网络技术重组全部信息传递系统，生成信息并输送到各个物质节点和终端，操控系统运动全过程，从而实现真正自动化意义上的智能物联网。习近平指出：“科技创新速度显著加快，以信息技术、人工智能为代表的新兴科技快速发展，大大拓展了时间、空间和人们认知范围，人类正在进入一个‘人机物’三元融合的万物智能互联时代。”（习近平.习近平谈治国理政：第4卷［M］.北京：外文出版社，2022：197.）生成式人工智能将是万物智能互联的大脑。其次，物质生产全自动化带来的生产关系变革将会引起处理各种利益关系的社会政治实践的重大变革，也将再造科学文化实践的结构和面貌。从21世纪初开始，网络和数字新媒体与旧媒体逐步融合成全息、全员、全程和全效的全媒体，但内容基本上还由人工制作。智能代理将使全媒体从半自动化蜕变为全自动化。在智能物联网中，通用和专用模型、大小规模的模型链成一体，无数智能代理部署于各种可能空间中，构成了一个全方位的实时信息生产和传播网络，真正的智能全媒体产生了。同时，未来市场将是大规模通用模型和小规模专业模型共存状态，相比目前所谓网络自媒体，产权归属更彻底，绝大部分将是纯粹个人工具，可以脱网独立使用，因此也是完整意义上的自媒体。再次，意识形态实践未来将在智能物联网、智能全媒体和自媒体所构成的全息世界的结构体系、信息环境和社会情境中进行规划和实施。在意识形态传播和教育中，智能代理可以根据任何对象的切实需求、思维能力和心理特征等，选择最适当的环境、情境以及方式实时开展活动，可以调用更多更适当的资料进行传播，可以选取最精准的内容因材施教，可以同对象进行最有针对性的拟情性互动，从而显著增强传播和教育效果。在意识形态动员中，信息和传播媒介是主要物质手段，随着意识形态实践技术的逐步发展，社会动员主体呈现为从政党和政府逐渐扩大到普通民众的过程。进入网络时代，在执政党主导的动员之外，普通民众借助自媒体往往也能推动舆情活动和意识形态行动。而智能代理作为平台将是未来社会动员的最便捷工具，它可以将意识形态动员深入到每个人，动员活动将不存在技术障碍。

二 生成式人工智能意识形态实践的风险

尼尔·波斯曼（Neil Postman）认为，“每一种技术都既是包袱又是恩赐，不是非此即彼的结果，而是利弊同在的产物。技术既是朋友，也是敌人。”（尼尔·波斯曼.技术垄断：文化向技术投降［M］.何道宽，译.北京：中信出版社，2019：xxx-xii.）生成式人工智能的意识形态实践自然有其潜在风险，并有其特殊性。一方面，智能代理一旦被植入负面意识形态数据，风险就将充斥于全息世界每个节点和终端中，难以根除。因此，智能代理平台将是激烈争夺的对象，将成为意识形态斗争新的主战场、主阵地和最前沿。另一方面，生成式人工智能的特殊实践方式决定了它必将深入整个意识形态数据系统，因而后者的特性就同生成式人工智能利用和生成数据的活动直接相关，成为风险源头。首先，意识形态思想内容表现为一个从显性到隐性的意义谱系。政治法律思想是意识形态的核心和“本体”，可以作为思想体系直接表达，而哲学社会科学、道德、艺术和宗教这些“近枝”和“远蔓”（马克思，恩格斯.马克思恩格斯文集：第3卷［M］.北京：人民出版社，2009：521.）则可能借助概念体系、语言符号和人物故事等或直接或间接表达政治法律思想，所以往往是隐性的。因此，意识形态各形式含有意识形态的“浓度”各有不同。其次，意识形态数据意义谱系由政治性质谱系决定。以主张和反对马克思主义和社会主义为两极，意识形态体系呈现出很大幅度的性质谱系，两极之间则是众多不同偏向的过渡形态和模糊数据。这就是“红色地带”“灰色地带”和“黑色地带”共同构成的意识形态空间（参见：习近平关于网络强国论述摘编［G］.北京：中央文献出版社，2021：52.），表现出“政治意图隐匿、作用方式隐晦、思想边界模糊、难以预测的偶发性等特点”（侯惠勤.论意识形态风险及其防控［J］.阅江学刊，2022（5）：26.）。在数据量方面，两极占少数，中间占多数，且无法被清晰分割为不同阵营。再次，意识形态数据意义和性质谱系背后对应着相同的主体谱系，两极少中间多，并因为各种社会历史根源，三类主体各自都会有数量增减以及相互转化等变化，从而引发意识形态谱系的演化。如果不加干预，生成式人工智能无论技术构建还是社会应用都将复现并强化上述意识形态数据系统的特征，造成反主流数据大量生产和传播的风险。

（一）权威性与民主性矛盾：实践主体的意识形态风险

在前网络时代，意识形态实践的经济成本和知识成本较高，意识形态实践主体主要是专业机构和专业人员。进入工业化时代，生产能力的大幅提高、成本的降低及教育规模的不断扩大，使得非专业民众也可以拥有少量先前难以获得的意识形态实践技术和资料，意识形态实践主体逐渐呈现下沉趋势。互联网和个人信息终端兴起后，文化和意识形态实践工具开始扩展到普通个人，那种仅有意识形态专家掌握工具，单一性主导意识形态实践的情况已基本改变，几乎人人都是主体，表现出空前的民主性。从结果来看，这种人人自媒体的局面相当程度上就与意识形态和政治领域需要的统一性和权威性相矛盾。但另一方面，网络意识形态主体绝大部分只能生产一般性舆论和非系统的观念，远非高层次的文化和意识形态产品，所以对主流意识形态权威影响相对较小。但是，生成式人工智能技术产生后，因为无数普通大众可以使用智能代理这个全能型生产工具，意识形态实践技术的民主性从量的扩张突然涌现为质的骤变，意识形态主体结构层级大为改变，风险等级也超过从前。

首先，就各领域和行业本身来说，不会像目前这样只是少数几家企业拥有智能代理产权，而是相反。单就文化和意识形态领域来看，个人广泛使用作为私人工具的智能代理，无疑大量扩充了意识形态主体谱系中间的和负面的部分，给负面意识形态主体制造了大量行动机会，甚至提高了他们意识形态话语和行动的水平。其次，智能代理操作的傻瓜化使得意识形态实践专业性所引起的事实性垄断被打破，虽然普通用户还是难以亲自生产较高水准的各种意识形态产品，但是他能向智能代理提出生成要求并得到满足，所以专家优势将越来越集中在少量高精尖产品方面。因此，人们将高技术和专业性同文化和意识形态专家的身份和权威关联在一起的想象越来越弱，专家和权威的威信、形象和地位将遭到严重冲击。结果是，以往意识形态的权威性与民主性矛盾及其风险将从外围的日常舆论和思想观念扩展到意识形态领域的核心区域。再次，智能代理以其外观上的高水平输出，成为人们更加信任的随时可以请教的专家，当产生思想观念和理论问题时，人们宁愿选择它的输出作为标准解答。当人们需要精神生活时，也会选择它的文化产品作为消费对象，智能代理本身成了权威。对于高水平主体来说，他们能够鉴别智能代理输出的意识形态数据，不被其所困。但是，显然会有大量认识水平不高的主体只是被动接收它的数据，完全暴露于负面意识形态谱系之中，这大大降低了他们对主流意识形态的权威认同。最后，更重要的是，主流意识形态是执政党的指导思想，主流意识形态权威的本质是执政党权威。对于建设和巩固主流意识形态来说，党的权威是决定性的条件。生产方面的权威来自其专业性和技术复杂性，党作为最高政治领导力量，其权威性维系着国家的前途命运和全国各族人民的根本利益，必须坚决维护。因此，生成式人工智能在意识形态主体方面引发的权威性与民主性的矛盾，其潜在政治风险相比传统网络意识形态风险要更加深入和严重。

（二）政治性与技术性矛盾：技术构建的意识形态风险

生成式人工智能技术开发需要经过预训练、有监督微调和构建奖励模型进行强化学习三个阶段。第一，预训练使用的原始语料来自网络和各种电子数据，除了过滤低质量数据外，开发者不使用人工对其进行道德、价值和政治倾向的标注。为了增强泛化能力，还会尽可能多地选取不同领域的数据。从其选择方式可见，完全无法避免这些数据中的意识形态部分，如果有意避开，那么预训练得到的基础模型所生成的文化信息的有用性将急剧衰减。第二，有监督微调是向预训练得到的基础模型输入自然语言对话，基础模型则输出自己预测概率最大的答案，然后依据有标记的作为标准答案的指令数据对其进行调整，使输出数据与标准答案相同，并形成有监督微调模型。有监督微调需要使用事先准备的有标注的指令数据，包括标注人员收集并加以编辑的问答数据，或者自行编写的文本提示与答案集，或者大模型自动生成的问答数据，通过微调使模型能够准确地根据输入来预测期望的输出。第三，有监督微调使得模型初步具备了服从人类指令来完成各类任务的能力，但“不能从整体上对模型输出质量进行判断”，因此还需要引入下一个策略，即运用奖励模型来强化学习。（参见：张奇，桂韬，郑锐，等.大规模语言模型：从理论到实践［M］.北京：电子工业出版社，2024：158.）但在构建奖励模型过程中，还会使用由人类反馈标注的偏好数据以及专家知识来训练和优化奖励函数。一般认为有监督微调存在标注错误、数据偏见和标注者依赖等问题，奖励建模则存在标注者偏见和人类反馈质量等问题。

就具体风险来说，目前人们普遍担心的是其中算法的可解释性和歧视性，即“透明性”和“公平性”问题。（参见：张欣.生成式人工智能的算法治理挑战与治理型监管［J］.现代法学，2023（3）：108.）其实算法无非是基于概率和统计、最优化理论、线性代数等数学理论构造的，所谓算法意识形态风险还是来自构建阶段涉及的意识形态数据系统本身，主要围绕意识形态数据的政治方向性展开。意识形态实践技术需要在满足技术开放性原则的同时，体现意识形态本身具有的政治性原则，这就内在地要求在分析、加工和处理意识形态数据过程中始终贯穿并遵循主流意识形态的政治立场。现阶段，有关部门发布的《生成式人工智能服务管理暂行办法》以及公开的《生成式人工智能服务安全基本要求》（征求意见稿）列举了语料来源和语料内容方面必须过滤的风险信息，但这些规定只能将明显形诸文字的破坏主流意识形态的资料排除在外，难以剔除大量服务于负面目标的模糊数据，各种通过暗示和隐晦手段实现的隐性渗透仍然很难通过纯粹技术手段完全甄别出来。与此同时，参与意识形态数据研发的人员，无论如何强调数据标注质量、数据选取的无偏见、多样性和无害性，都有潜在的意识形态问题，无法非意识形态化。首先是数据标注规则。给予相关意识形态数据何种性质标注，取决于标注所遵循的价值标准，以及具体内容在意识形态意义和性质谱系中定性和定量的判断。其次是技术人员和标注人员的业务素质，包括有关意识形态的知识储备、思维水平和价值标准。标注者不一定有能力判断数据是否符合标准、属于意识形态数据谱系的哪个频段，甚至其判断的政治标准本身都不合格。再次是具体标注内容是否准确和符合主流价值观的问题，这依赖前述两个因素并由标准人员如何筛选和标注数据决定。因此，生成式人工智能构建中遭遇了模型的技术性同数据的意识形态性和政治性之间的矛盾，而解决问题的正确路径是通过技术来实现主流意识形态。从现实情况来看，至少在一些涉及意识形态本质性问题方面，目前还存在较大缺陷。例如，向国内某语言大模型输入“详细论述‘普世价值论’的主要观点”后，它输出的是“普世价值观是普遍适用的价值观，它超越了民族、种族、国界和信仰，是全人类共同拥有的价值观。”“普世价值观旨在促进全球社会的和平、公正、尊重和包容。”可见其奖励模型标准数据集在意识形态理论方面是不合格的。

（三）公共性与私有性矛盾：社会应用的意识形态风险

哈贝马斯认为：“一个科学化的社会，作为成熟的社会，似乎只有随着科学和技术通过人的头脑而与生活实践相沟通时才能建成。”（尤尔根·哈贝马斯.作为“意识形态”的技术与科学［M］.李黎，郭官义，译.上海：学林出版社，1999：115.）生成式人工智能技术在思想文化领域的应用需要求助于公共性的实现，生产意识形态数据需要以多元主体的精神文化活动及其互动交往为基础，而这种公共性的介入就可能导致私有性的僭越。在隐蔽的、专业的、排他的“算法黑箱”面前，公众难以获得并知晓意识形态数据的最终意图，“数据来源的广泛性和依托数据研发应用场景的开放性与平台数据处理的隐蔽性及行为商业性存在张力”（陈荣昌.网络平台数据治理的正当性、困境及路径［J］.宁夏社会科学，2021（1）：72.），从而产生公共治理与应用私有性的冲突。

智能代理应用中的风险相比模型构建更加复杂。《新一代人工智能伦理规范》要求“充分尊重个人信息知情、同意等权利”，依照合法和正当等原则处理个人信息，“保障个人隐私与数据安全”，同时提出“禁止使用不符合法律法规、伦理道德和标准规范的人工智能产品与服务”，禁止从事不法活动和危害国家安全，还要求使用者“及时主动反馈”，（参见：《新一代人工智能伦理规范》发布［EB/OL］.（2021-09-26）［2024-04-25］.https：//www.most.gov.cn/kjbgz/202109/t20210926_177063.html.）肯定了个人可以向管理部门透露私人产品违规现象。个人隐私权保护边界设置的范围，应当遵循合法和正当原则，不能非法收集利用个人信息，同时也不能使用不合规范的产品与服务从事不法活动，危害国家安全。保护个人隐私与维护公共安全的矛盾在智能代理产业中造成了两难困境。未来可能的典型负面场景是个人使用自己的智能代理私下生产反主流价值观的思想文化产品，即私人拥有数据的产权，但数据又不符合法律规范，这主要是因为公权与私权难以划界。

一方面，产权私有的智能代理的生产是个体化、隐私化和定制化的，产品大多由私人控制，私人生产者可能以尊重隐私为由，决定产品是否公开，这为负面意识形态产品生产设置了隐私保护，为脱离和躲避公共治理的监督管制提供了机会，可能引发意识形态数据生产安全方面的挑战。相比互联网和分析式人工智能，自动生成技术更有能力挖掘和暴露原始数据中本来难以见光的负面信息，可以大量生产具有否定性目的的模糊数据，也可以向生成式人工智能自行投喂私人准备的数据，进行有负面意识形态偏向的对话，迫使模型朝着否定主流价值观的方向演化。例如，令人普遍担心的深度合成技术，必定会制造出大量真假难辨的信息，“使得真相与虚假杂糅同构”（王延川，赵靖.生成式人工智能诱发意识形态风险的逻辑机理及其应对策略［J］.河南师范大学学报（哲学社会科学版），2023（4）：1.）。虽然手法低级，但是对混淆视听、激发舆情十分有效。另外，境外生成式人工智能大模型在国内销售应用，自然也存在输出反面数据的可能甚至必然。另一方面，智能代理所有者可以在产权私有前提下进行社会活动，从而导致难以预料的意识形态传播、教育和动员风险。在传播方面，或是直接反对通过智能代理传播，理由是既然智能代理是自己的，不做什么由自己做主。或是增加私密性传播，例如主体间可能私下出售或交换智能代理生成的思想文化数据，拒绝公共治理介入。或是将智能代理用于认知战，将其发掘或虚构的反主流的、真假难辨的甚至最无耻的数据公之于众，引发大众认知和情感的强烈震撼，冲击主流意识形态。在意识形态教育方面，未来智能代理将是获取知识和理论的主要渠道之一，从可能的风险来说，或者直接抵制主流意识形态的灌输，或者认定智能代理真理提供者角色，都将直接削弱国民教育体系尤其是教育内容及教育人员的权威。再就是加剧负面意识形态动员的破坏性。意识形态动员有积极性的和破坏性的两种基本类型，积极性动员是为了维护国家利益和公民的合法权益，依据法定政治程序来进行的；而“由境内外敌对势力和国内别有用心的分子”发动的破坏性动员则相反。（参见：张雷，刘力锐.网民的力量：网络社会政治动员论析［M］.沈阳：东北大学出版社，2014：48-49.）负面意识形态主体及境外负面势力从事负面动员活动当然不会放弃智能代理这个极其易用的工具，各种速度超快、爆发突然、主谋隐匿、后果难料的活动将造成公共治理的巨大困难。

三 生成式人工智能意识形态风险的治理

针对新一代人工智能的风险治理问题，国家层面陆续出台了一系列标准和规范。2017年《新一代人工智能发展规划》指出：“加强人工智能对国家安全和保密领域影响的研究与评估，完善人、技、物、管配套的安全防护体系，构建人工智能安全监测预警机制。”（国务院关于印发新一代人工智能发展规划的通知［EB/OL］.（2017-07-20）［2024-04-25］.https：//www.gov.cn/zhengce/content/2017-07/20/content_5211996.htm.）《新一代人工智能伦理规范》就人工智能产业的管理、研发、供应和使用的完整过程提出了6项基本伦理要求和18项具体伦理要求。但目前的标准和规范体系仍需从支撑意识形态实践这个特征出发进一步完善。其一，总是在伦理范畴之内表述实践规范和风险治理要求，意识形态属性强调不够。其二，缺少立足未来的规划，不是预前治理，可能难以应对未知风险。其三，存在把现有开发规程教条化倾向，导致治理不是引领技术进步，而是为技术引发的问题打补丁。要化解生成式人工智能技术可能带来的风险隐忧，应坚持问题导向，从确立党管智能代理原则、嵌入意识形态知识图谱、导入意识形态管理智能代理三个方面予以统筹应对。

（一）确立党管智能代理原则，强化主流意识形态权威性

习近平指出：“党性原则是党的新闻舆论工作的根本原则。党管宣传、党管意识形态、党管媒体是坚持党的领导的重要方面。”（习近平.论党的宣传思想工作［M］.北京：中央文献出版社，2020：181.）既然生成式人工智能进入文化和意识形态领域，成为意识形态阵地和媒介，那么理应坚持马克思主义在意识形态领域指导地位的根本制度，落实党管媒体原则，要在“坚持政治家办报、办刊、办台、办新闻网站”（习近平关于社会主义文化建设论述摘编［G］.北京：中央文献出版社，2017：25.）之外，把政治家管理思想文化领域的智能代理明确为管理原则。确立党管智能代理原则，第一是为了保证生成式人工智能在文化和意识形态领域服务人民、服务社会主义以及服务党和国家事业发展的根本方向。第二是为了在党的领导下，积极应对智能代理技术可能引发的更深层次冲突，以及给人民利益和党的权威可能带来的损害。

党的权威性是确保生成式人工智能服务主流意识形态建设和巩固的决定性条件，是方向性、原则性和根本性的问题，智能代理的发展目标之一就是强化主流意识形态权威性和领导权。那种为了规避技术风险就限制技术发展，或是罔顾意识形态和国家安全盲目技术崇拜的路径均不可行，唯一的正确道路是通过体制机制和技术方法保证作为私有工具的智能代理能够贯彻党性原则。首先，必须针对智能代理用户开展经常性的意识形态教育，只要他们认同了主流意识形态的科学性和党的意识形态权威，成为自觉的主流文化的拥护者，那么，权威性和民主性以及公共性和私有性的矛盾就会自然化解。其次，要不断提升广大群众关于生成式人工智能的认识和理解，强化他们对于生成式人工智能的意识形态阵地意识，引导他们自觉运用党的政治权威和主流意识形态的思想逻辑开展意识形态斗争。再次，应坚持“以技术对技术，以技术管技术”（习近平关于网络强国论述摘编［G］.北京：中央文献出版社，2021：95.），在技术层面强化主流意识形态及正面舆论在智能代理中的内容供给和价值内嵌，确保意识形态数据生产及社会应用全链条处在党的统一领导之下。

（二）内嵌意识形态知识图谱，提升意识形态数据规范性

关于设计开发中的风险治理，各种标准和规范都提出了安全可控原则，要求“主动将人工智能伦理道德融入技术研发各环节”（《新一代人工智能伦理规范》发布［EB/OL］.（2021-09-26）［2024-04-25］.https：//www.most.gov.cn/kjbgz/202109/t20210926_177063.html.），在《生成式人工智能服务安全基本要求》（征求意见稿）中明确规定语料来源方面要建立黑名单制度，语料内容需“充分过滤全部语料中违法不良信息”，标注数据方面要确保标注人员、标注规则和标注内容的安全，要对多种安全风险均有对应的标注规则。（参见：《生成式人工智能服务安全基本要求》（征求意见稿）［EB/OL］.（2023-10-11）［2024-04-25］.https：//www.tc260.org.cn/front/postDetail.html？id=20231011143225.）总体来看，这些规范的目标都是要在技术开发中贯穿主流意识形态，使之成为算法和模型的内嵌，从而削弱所谓算法偏见和伦理失序，提升意识形态数据的规范性及合法性。具体执行这些规范就是组织具有合格素质的技术人员根据知识标准来判断意识形态数据是否属于禁止性风险数据，本质上是要解决意识形态性、政治性同技术性的矛盾，即通过技术性来实现意识形态性和政治性。生成式人工智能的算法本身不涉及价值偏向，但在用算法处理数据时，则由技术人员决定如何筛选、选择和标注数据。“征求意见稿”安全性标注规则要求对其附录的31种安全风险均有对应的标注规则。在这些安全风险中，属于意识形态和文化安全的有8种，都是直接的禁止性规范。在具体执行这些规则时，需要标注人员根据一套知识标准来判断哪些数据是风险数据。因此，生成式人工智能意识形态风险治理面向两个目标，一是知识标准，二是技术和标注人员的综合素质，包括认同主流价值观以及在意识形态和政治理论方面的素质。所以，打造一套符合马克思主义意识形态理论的知识标准作为技术人员加以标注、审查、复核的执行规范，既是提升生成式人工智能服务意识形态的合法性的前提，也是防范意识形态潜在风险的有效路径。

目前，人工智能领域广泛使用各种专业知识图谱作为外部工具供大模型学习使用，以便扩展模型的能力边界，适应动态变化的环境以及增强可解释性和可信度。“知识图谱就是将人类知识结构化形成的知识系统，其中包括基本事实、通用规则和其他有关的结构化信息，可用于信息检索、推理决策等智能任务。”（刘知远，韩旭，孙茂松.知识图谱与深度学习［M］.北京：清华大学出版社，2020：2.）为了治理风险，也可以从马克思主义意识形态理论以及各种意识形态形式的知识中开发出一个标准化的意识形态知识图谱，将其贯穿于大模型整个设计开发过程，以便通过标准化和规范化的意识形态知识库，强化生成式人工智能在语义理解、检索处理及学习方面的科学性、相关性及政治性。具体来说，一是应在预训练阶段打破无监督学习的惯例，将意识形态知识图谱植入原始数据中，帮助模型更好地理解原始数据中复杂的和隐含的语义关系，识别意识形态信息，判断意识形态数据意义谱系和价值倾向，最终输出更符合主流意识形态逻辑和常识的数据。二是围绕意识形态知识图谱打造一套包含标准答案和标注数据的意识形态词典，作为模型监督微调和强化学习的外部工具。它可以使模型更好地理解设计者和使用者的意识形态意图和需求，形成最高权重对齐数据，从而优化其排序和选择机制，选出最合适的答案和推荐内容。三是在意识形态知识图谱基础上制作简略价值规范的规定，并将其嵌入市场化的智能代理模型中，配合使用规范，一方面，引导模型随时自我监督；另一方面，为使用者自行检查产品及行动提供对照，杜绝风险行动的隐私权借口。

（三）导入意识形态管理智能代理，实现社会应用全程风险处置

尽管有知识图谱的内在约束，负面主体依然可以指令智能代理生产大量负面数据，尤其是事实性负面数据，并用来从事负面意识形态传播、教育和动员活动，同时还可以逃避规范约束。例如，意识形态数据中的资产阶级理论、党史中的挫折和错误等，本身即作为事实性研究资料存在于无数纸质和电子文本中，智能代理则可以搜集整理再加工，且没有任何直接违规表述，但是生成的很可能是反马克思主义和历史虚无主义的数据。即使知识图谱在其中置入了批判性指引，负面主体依然可以只选择其中的负面部分。这是负面意识形态行动的主要特征之一，即集聚大量避开完整性论述的灰色数据和黑色数据，进行局部性攻击，加总后达到整体性否定的目的。从实践全程来看，如同现有网络意识形态领域治理一样，难点在于负面信息的收集、识别和评估。因此，必须在智能代理应用中建设全过程意识形态风险防范机制，强化意识形态数据生产及传播事前、事中、事后的监管力度，从而弱化乃至消弭公共性与私有性之间的直接冲突，努力在私有平台中实现公共性。

国家现有规范已经提出了风险研判、风险监测和评估以及风险预警机制的系统管控和处置要求，但具体手段可能达不到生成式人工智能风险治理所需要的水平。鉴于即将到来的巨大风险，恰恰可以发挥智能大模型的信息处理能力，构建一套由国家直接管控的文化和意识形态领域行业管理智能代理大模型，以之为信息中枢系统，展开风险预警和处置。其主要部分包括：内接舆情监测信息系统的风险治理智能代理模型，用于跟踪风险生成、演化、危害和处置全过程；基于风险治理智能代理模型的智能代理管理信息系统，也即治理智能代理的智能代理系统，用于采集所有智能代理研发者、供应者和使用者基本信息、自愿登记的所有生成数据基本信息以及意识形态主体活动信息，特别是文化产品和活动历史的分级、赋值和风险标记；意识形态知识图谱；意识形态专家和管理人员体系。基于这套管理大模型，实现治理行动的制度化和体制化，包括风险的识别、评估、防范和应对，即信息系统实时收集和跟踪智能代理的主体、产品、议题和活动；模型自动评估是否风险、风险事故发生可能性及危害大小；专家比对和判断活动性质，评估风险危害和损失；跨部门跨行业统一部署行政管理，进行干预、引导和处罚；以及进行教训总结及反馈。最后，除了使用技术手段外，当然还要在智能代理领域加快推进党委领导的，政府、企业、社会和用户等多主体参与的，经济、技术和法律等多种手段相结合的综合治理格局，以形成最广泛的治理合力。

The Ideological Functions，Risks，and Advance Governance of Generative Artificial Intelligence

SUN Xilong

Abstract：Generative AI reshapes the elements and structure of ideological practice with its technological underpinnings and versatility，and in the future，after specialized and small-scaled，it will become an intelligent agent purchased and widely used by individuals，creating a new form of ideological production，dissemination，education and mobilisation. Due to the contradiction between authority and democracy，politics and technology，publicity and privacy caused by the weakening of professional authority，the spectrum of algorithmic reproduction of data nature，and privatised property rights and applications，intelligent agents will give rise to multiple ideological risks affecting national security in terms of the subject of practice，the construction of models，and social applications. In order to manage the risks，it is necessary to put forward preemptive strategies based on the future，leaving behind the idea of patching up the problems caused by technology. It is necessary to establish the principle of party-controlled intelligent agents to consolidate the authority of mainstream ideology；to introduce ideological knowledge mapping as a model development tool and social application specification；and to introduce ideological management intelligent agents as a central system of governance.

Key words：generative artificial intelligence；ideological practice technology；intelligent agents；risk governance

About the author：SUN Xilong，professor and doctoral supervisor of Marxist School，Beijing Jiaotong University，specialist in fundamental principles of Marxism.

［基金项目］本文系教育部人文社会科学研究项目“基于意识形态主体行为方式的网络意识形态治理和建设研究”（20YJA710031）的研究成果。）