从知识困境到认知陷阱:生成式技术驱动型信息生态系统安全问题研究

2024-02-28李白杨

信息资源管理学报 2024年1期

白云李白杨毛进, 李纲

(1.武汉大学信息管理学院,武汉,430072; 2.南京大学数字经济与管理学院,苏州,215011; 3.南京大学数据智能与交叉创新实验室,南京,210033; 4. 武汉大学信息资源研究中心,武汉,430072)

1 生成式人工智能技术:信息生态系统的新变量

信息生态系统是由信息资源、信息载体、信息传播者、信息接受者及其相互作用环境构成的复杂系统,其组成要素可以简单地分为人、信息和信息环境[1]。在信息生态系统中,信息是核心和基础,既是人类认识世界和改造世界的工具和载体,也是人与人之间交流与合作的桥梁和纽带;人类是主体和参与者,通过各种方式获取、处理、传播和利用信息;信息环境则是背景和条件,对人类的信息行为产生影响和制约。这些要素通过复杂的相互作用和影响,形成了一个动态变化、具有自我调节能力的有机整体[2]。

随着生成式人工智能技术在各个领域取得突破性进展,信息生态系统正面临前所未有的挑战与机遇。首先,该技术实现对知识和内容的深入挖掘、关联与重组以及海量非结构化数据的深度整合,并产生全新见解。人类社会知识总量将出现指数级增长,个体需要采用新的认知方式来适应更短的知识更新周期。其次,该技术带来丰富的信息载体和互动式体验,增强了用户的主动性与创造性。相比传统的被动接收信息方式,在此模式下,用户不再是信息的被动接受者,而是内容互动的参与者和共同创造者,这一用户角色的转变必然会催生认知方式和信息处理模式的变革。此外,该技术可以跨越物理和网络壁垒,实现全球化知识社群的实时链接。信息高连接性与高随机性交流也使得个体认知过程面临来自不同文化与社会的复杂影响,要求个体适应更广泛的知识互动与认知冲突。

本文将这种以生成式人工智能技术为核心,以数据、算法与算力为支撑,以多样化的信息载体与交互方式为表现,支持并推动整个信息环境中知识传递与共享、认知流动与扩散过程的新型信息生态系统定义为生成式技术驱动型(generative AI-driven)信息生态系统(如图1所示)。该系统包含三个基本要素:①数据源与知识库为生成式技术提供丰富的训练数据与知识基础;②生成式算法负责对输入信息进行处理与分析,并根据用户需求生成有针对性的内容;③交互界面与用户代理提供友好、灵活和个性化的用户界面以及多样化交互方式。

图1 生成式技术驱动型信息生态系统架构

生成式工具提高了信息的获取、传播与生产效率,增强了信息的传播力和影响力,拓宽了信息消费的范围和深度,优化了信息服务的模式和体验,为信息环境注入新的动力,形成了兼具复杂性、自主性、适应性和开放性等特征的新型信息生态系统范式[3],这一范式必将深刻影响内容消费的方式和体验。

然而,该技术也引发了诸如知识真实性、完整性、可靠性以及认知中立性、多元性、客观性等方面的挑战。一方面,该技术具有较高的自主性与灵活性,在其生成过程中可能出现偏差或错误,导致其输出结果与预期目标不符或存在质量问题。另一方面,该技术具有高度仿真性与隐蔽性,在其输出结果中可能存在虚假或误导性信息,用户往往难以辨别真伪,以致产生错误认知。

因此,如何鉴别与防范由生成式人工智能技术产生或引发的知识安全风险,以及如何提高和保障由生成式人工智能技术影响或参与的用户的认知安全水平,都是值得关注的问题。本文旨在分析生成式技术驱动型信息生态系统的特征、优势与风险,并探讨如何构建高效、可靠、安全与可持续发展的信息生态。

2 知识与认知的协同演进:信息环境多维视角解析

信息环境是人类和自动化系统观察、定位、决策和行动的基本环境,它由个人或群体接触可能的信息及其传播后的总体构成[4]。根据信息对人类作用机制的差异,可以将其简单划分为两个维度:知识环境(epistemic environment)和认知环境(cognition environment)。知识环境为认知环境提供丰富的信息资源,而认知环境则决定了人们如何获取、理解和应用知识。两者之间的相互作用和协同演进关系,不仅促进了人类的知识创新和智力发展,也对社会的进步和发展产生了深远影响。

2.1 知识环境——信息资源与服务的客观存在

知识环境是由信息资源(包括人类创造、积累的知识体系、理论、方法、规范等)和信息服务(包括提供信息获取、创造、传播和应用的平台、工具、机制等)组成的客观存在[5]。知识环境为人类提供了认识世界的基础与条件,决定了人们可以获取和使用的信息资源的数量、质量、结构和分布,主要受到技术、政策、文化等因素的调节[6]。

2.1.1 知识环境的演变与研究

知识环境的研究起源可以追溯到20世纪中叶,随着知识管理和信息科学的发展,学者们开始关注知识环境的构成、特征及其对人类认知和行为的影响。例如,美国信息科学家Shannon和Weaver在他们的著作《数学信息论》中,提出了信息传递和通信系统的基本原理,为理解知识环境中的信息流动和传播奠定了基础[7]。

随后,学者们对知识环境进行了进一步的研究和拓展。例如,英国社会学家Giddens在他的《现代性的后果》一书中,探讨了现代社会知识环境对个体和社会的影响,强调了知识环境的动态性、多样性和相互关联性[8]。此外,瑞典图书馆学家Hjørland在信息领域提出了“领域分析”的方法,关注知识环境中各个学科领域的特点和发展,为知识组织和检索提供了新的理论支持[9]。

2.1.2 知识环境的特性与发展

知识环境这一概念诞生于20世纪后半叶,它是对认识论的一个扩展和更新[10]。与传统认识论主要关注知识本身不同,知识环境从更广泛的角度审视知识产生和传播的物理、社会和文化因素。在知识环境中,知识被认为是一种动态的、互动的、情境化的以及与价值相关的过程,而非静态的、孤立的、普遍化的、客观的产品[11]。

知识环境研究涉及计算机科学、信息学、认知科学、心理学、社会学等多个学科领域,作为一门新兴的交叉学科,该研究的兴起与信息技术的发展密切相关。互联网的诞生和普及为知识环境的研究提供了丰富的实践背景和理论基础。随着生成式人工智能等技术的不断发展,知识环境将继续向更高层次、更广领域拓展,为人类的知识创新和传播提供更为强大的支持。

2.2 认知环境——信息感知与接受的主观意象

认知环境是由人类对信息的认知需求、方式、能力以及相关的观念、态度、价值观和信念等组成的主观意象,反映了人类对世界的感受与评价,决定了人们对信息资源和信息服务的选择标准和评价方法[12]。认知环境主要受到个体自身以及社会舆论、政治宣传等条件的约束[13]。

2.2.1 认知环境的起源与发展

认知环境的概念最早由美国心理学家Gibson[14]在他的《感觉系统视为知觉系统》一书中提出。Gibson认为,人们的感知和行动不仅仅受到物理环境的影响,还受到社会和文化环境的影响,因此,认知环境应该包括多种因素,如物理环境、社会环境、文化环境、工具和技术以及人类自身的认知特征,如认知结构、认知过程和认知策略等。例如,美国心理学家Bruner等[15]在《行为的意义》一书中提到“意义建构”的概念,认为人们对信息的理解和组织是基于其对信息意义的构建而实现的。

认知环境的研究也随着信息时代的到来而逐渐兴起,被广泛应用于教育、心理学、人机交互等领域[16]。学者们进一步扩展和细化了认知环境的概念,提出了“认知工具箱”(cognitive toolkits)的概念,认为认知环境不仅包括物理环境、社会环境和文化环境,还包括人们使用的各种工具和技术,如计算机、网络、软件等[17]。这些工具和技术不仅改变了人类对信息的处理方式,也进一步塑造了人类的认知环境。

2.2.2 认知环境的特性与应用

认知环境具有多样性和可塑性,它既可以改进个体或群体对于已有或新获得知识内容进行加工或创新时所采取的策略或方法,也可以限制或阻碍其认知活动的开展。高水平的认知环境可以促进个体进行深入而批判性的思考,并形成自己独立而有价值的见解或贡献。

认知环境是一个涵盖多种因素的复杂概念,包括人类对信息的认知需求、方式、能力、观念、态度、价值观和信念等。认知环境的研究为理解人类认知过程及其与外部环境的关系提供了宝贵的见解,不仅有助于深入理解人类认知的本质和规律,还能够指导和促进人机交互技术的发展,加快教育和社会的数字化转型。

3 信息生态系统智能化变革

伴随着科技的飞速发展,信息环境的特性也在不断演变,主要体现在以下几个方面:首先,信息资源的规模和多样性持续扩大,涵盖了各个领域和层面的知识和数据;其次,信息传播的速度和范围不断拓宽,构建出碎片化、多元化、实时化和互动化的信息流;再者,知识创新的周期和强度日益加快,对快速获取、处理和应用信息的能力提出了更高要求。如何在信息环境中高效利用资源,提升知识创新和传播的效率,已成为亟待解决的重要课题。在此背景下,生成式技术应运而生,成为构建智能化信息环境的理想选择。

3.1 信息交流方式变革

信息生态系统的智能化进程首先体现在信息交流方式的变革。交流作为推动认知进步与社会进化的基石,其模式正由人与人自然交流转向人与系统之间持续的深层次互动,即智能交流。

作为交流主体,生成式系统拥有自身的知识结构、理解框架和表达方式。它能够进行自然语言理解,围绕复杂话题与人进行深入探讨,并在此交流过程中不断学习、修正和更新自身的知识与观点。这使人与系统之间的交互充满挑战,但也使人获得全新的认知体验。

与人际交流相比,智能交流能够提供更广泛、准确的知识、新颖的思考角度与观点、对人思想的更深入理解与更高的交流效率、对社会规律与群体心理的深刻理解,并以更高效率、更低成本实现大规模个性化的交流,同时排除偏见与情绪干扰,提供客观公正的信息与建议。

3.2 社会认知体系变革

信息生态系统的智能化进程伴随着社会认知体系的转变。

首先,随着智能系统知识库的不断丰富与理解能力的提高,个体通过与智能系统的持续互动接触更广泛的跨学科知识,不断拓展其认知疆域。更频繁的知识更新周期也要求个体持续检验并修正其原有的认知结构与思维模式。此外,长期与智能系统互动,还要求个体提高社会认知能力,不断理解与感知智能系统这一“他者”的知识结构、思维模式与交流特征等。在长期互动过程中,个体将与智能系统共同构建全新的交流范式、理解框架与行为规范。

智能系统的知识发现与链接功能也将重塑群体的共享知识框架与分类体系。新的知识创作路径也将改变知识社群内部专业分工模式与协作方式。此外,智能系统实现知识全球流动与交流,加速与扩大不同群体之间知识的互动与影响,这要求各知识社群提高对外来知识与见解的感知与理解能力。同时,不同群体也需要在知识更新速度与理解框架上实现协调,以促进知识创新的有序进展。

综上,个体与群体在与智能信息生态系统的互动过程中形成的相互依赖关系与认知协同进化,必将共同推动社会认知体系的深刻变革。

3.3 生成式技术驱动型信息生态系统作用机制

生成式工具作为智能化信息世界的中枢,既可以被看作是一种模拟人类认知过程的技术,也可以被看作是一种解决复杂问题的工具,其作用途径与人类大脑的左右半球分工类似。

左半球作为知识环境的智能枢纽,指包含各种数据源和知识库的逻辑思维空间,主要负责分析推理、决策支持等功能,为系统提供丰富多样且可靠有效的资源[18]。右半球则是认知环境的控制中心,指包含各种交互界面和用户代理的感性思维空间,主要负责创造内容和提供用户体验,通过多样化、富有表现力的数据载体和交互方式展示资源。左右半球通过共同处理和整合信息实现协同工作,成为信息环境的主要智能来源和调节主体。

一方面,生成式工具可以提供准确、高效、全面的知识服务,具备自动化生成、整合和优化多元知识资源的能力,既可以通过改变用户获取和使用信息的方式和效果影响用户的知识认知和理解水平,又能提供不同类型和层次的信息服务,以满足或引导个体或群体的认知需求,从而促进或限制认知环境的变革。

另一方面,生成式工具还可以作为信息中介和私域对话系统的构建者,与用户建立紧密联系的交互关系,引导和调控用户主观认知过程。通过改变个体或群体对信息的需求内容、程度和形式,影响其对信息资源和信息服务的选择标准和评价方法,从而推动或阻碍知识环境的发展。

4 数字围城:知识安全与认知安全面临的挑战

在生成式技术驱动型信息生态系统中,知识安全(epistemic security)和认知安全(cognition security)是两个关键的概念,它们相辅相成,对于维护信息秩序具有重要意义。

作为信息源和用户之间的关键纽带,生成式技术采取的信息获取和传播策略,不仅决定信息流通方向和范围,也深刻影响认知资源分配和认知差异产生。一方面,生成式技术为人类提供了丰富、高效、智能的信息获取和内容创作途径,减轻了人类对认知资源(如记忆力和注意力)的消耗,并激发了人类对想象力和创造力的发挥。同时,生成式技术也为人们提供了模拟多种可能性、预测最佳结果的能力,从而避免个体的主观偏差和认知局限性,促进决策方案的创新和优化[19]。然而,这也潜在地构建起“数字围城”的框架。高度定制的信息虽然可以迎合个人需求,却有可能加剧信息茧房与群体极化效应,最终形成知识困境与认知陷阱。

4.1 知识困境

知识安全,即知识本身及其相关属性(如真实性、可靠性、完整性、所有权等)不受侵犯或破坏的状态[20]。知识安全是保障信息质量、价值以及完整性和可信度的关键要素。

生成式人工智能技术的自主生成和自我学习能力,使其可以突破传统知识获取和处理方式的限制。然而,由于其生成过程缺乏可控性,生成的知识内容往往难以保证真实、完整、可靠,甚至可能存在知识所有权等方面的问题。这些因素共同作用,加剧了知识困境难题。

具体来说,生成式技术在获取、整合和呈现知识的过程中可能存在错误和偏差,导致输出的知识与原始数据相悖,出现信息失真和篡改的问题,从而影响知识的真实性。此外,生成式技术在面对多元、碎片化的信息来源时,可能会因算法偏好或过滤泡沫效应而导致部分知识被过度强调,而其他重要知识被忽略,从而限制了知识的完整性、多样性和广泛性。

此外,由于生成式技术的黑盒效应,算法在筛选和整合数据时无法完全保证准确性,其生成过程和结果难以理解与验证,因此极有可能存在可信度下降的问题,这种情况在处理大规模、复杂数据源时尤为明显。

最后,生成式技术的产生和应用也给知识所有权带来了新的挑战,如何平衡创新和保护之间的关系,以及如何确保知识创造者的权益得到保护,也成为了一个待解决的难题。

4.2 认知陷阱

认知安全涉及认知主体(如个人、群体、组织等)在知识获取、处理和应用的过程中,保持其价值观和思维方式免受误导、操纵以及侵蚀或改变的能力[21]。认知安全关乎个体和社会的价值观及意识形态。

鉴于生成式人工智能展现的巨大效益,公众不可避免地会对其产生高度依赖。然而,这种依赖可能导致认知主体在运用这些知识时,忽视该技术的非理性和非客观特性,从而不自觉地陷入如认知误导、认知操纵和认知同质化等认知陷阱,进一步影响其价值观、判断力和决策能力。

首先,在特定场景下,生成式技术产生的误导性信息可能导致认知主体在知识获取、处理和应用过程中出现偏差。这些偏差可能来自于算法本身的偏好、数据来源的局限性,或者对多语境、模糊和歧义信息的误解。长期受到这类误导性信息的影响,可能会对认知主体的心智健康、价值观和认知多样性造成损害。

其次,生成式技术可能被恶意利用,从而对认知主体的观念、情感和行为产生操控。操纵者可通过制造虚假或具有偏见的信息,在一定程度上控制认知主体的思维方式和行为。这种认知操纵对个人和社会的安全、稳定和健康构成潜在威胁。例如,利用生成式技术制造的虚假新闻可能被用于实施网络暴力或扩散极端言论,甚至可能影响选民的投票行为。

最后,认知同质化是个体或群体在观念、信仰、态度和行为模式等方面呈现较高相似性的一种现象,该现象在大量认知主体过度依赖相似的算法和数据源(如生成式工具)时尤为显著。这种现象可能导致公众的认知多样性逐渐减弱,进而引发诸如思维僵化、易受操纵和误导等问题,最终对个体与社会的独立思考和创新能力产生负面影响。

5 生成式人工智能安全发展多元框架

随着生成式人工智能技术的蓬勃发展,伴生而来的安全挑战日益凸显。为确保科技创新与人文关怀的有机结合和平衡发展,需要构建科学、规范、有效的管理和监督机制。本文提出了一种多维视角下的生成式人工智能安全发展框架,涵盖技术创新、政策干预、伦理建设层面,旨在探讨提升知识安全和认知安全的举措,引领生成式人工智能技术朝向更安全、客观、可持续的发展方向迈进。

5.1 技术创新:生成式人工智能安全发展的基石

作为生成式人工智能安全发展的核心动力,技术创新强调采取技术手段来确保系统的安全性、鲁棒性、公平性和可解释性。具体而言,技术创新主要包括以下三个方面:

(1)算法优化。算法优化是生成式人工智能技术发展的关键环节,旨在提供对多语境、模糊或歧义信息的准确解读,提升生成式技术的实际应用价值。同时,为了减少偏见和歧视风险,算法优化也需要关注公平性、多样性和包容性原则,以实现多元化和广泛适用的生成式人工智能技术愿景。此外,还应强化算法的可解释性和透明度,使公众能够更好地了解算法工作原理,认识到其潜在风险。

(2)安全性提升。安全性提升是确保生成式人工智能技术可持续发展的前提,旨在保障生成式技术在应对各种安全威胁时具备充分的弹性与鲁棒性。安全性提升需要研究和应用对抗性攻击防御技术,以阻止恶意内容传播,抵制不道德、有害或具有误导性的信息。同时,也需要完善对抗生成攻击方法,以适应不断变化的威胁。

(3)技术整合。技术整合是发挥生成式人工智能技术优势的重要手段,旨在通过将生成式技术与其他技术融合,构建综合、精准的知识库和服务平台。例如,结合知识图谱技术实现更高质量的信息展示服务;结合情感分析和个性化推荐技术实现精准、针对性的内容呈现;结合区块链等技术实现生成内容的溯源和版权保护等。

5.2 政策干预:生成式人工智能安全发展的前提

政策干预在生成式人工智能安全发展中起到关键支柱作用。政府和监管机构为生成式人工智能安全发展提供坚实保障,在确保信息安全方面承担重要责任。

当前,我国已初步建立起人工智能技术监管法规体系。2021年,国家互联网信息办公室发布了《互联网信息服务算法推荐管理规定》[22],对算法模型的训练、应用等过程提出监管要求。同年,又发布了《互联网信息服务深度合成管理规定》[23],这是我国第一部针对深度合成技术的专项管理规定。该规定明确了深度合成服务提供者、技术支持者和使用者的权利义务,要求建立内容审核、技术认证、特征库建设等机制,以规范深度合成技术的应用。2023年7月,《生成式人工智能服务管理办法(暂行)》[24]的颁布进一步明确了生成式人工智能服务提供者的义务和责任,要求建立内容审核机制,加强技术安全防范,保护用户隐私权益,确保生成内容符合法律法规和社会规范。

尽管我国在生成式人工智能技术监管方面已有一定法律法规基础,但监管力度不足、处罚不严等问题仍较为突出。另外,监管部门专业人才和技术设备短缺,也制约了监管效能的发挥。为健全生成式人工智能技术监管机制,需要将数据治理、算法审查和结果评估三个关键环节统一纳入监管视野,并针对每一环节制定科学系统的监管措施。

(1)数据治理。监管部门应构建科学的生成式人工智能数据质量评价体系,建立数据代表性、完整性、准确性、无偏性等多维指标体系,要求技术提供者强化数据净化流程,定期开展训练数据检测优化,确保输入数据符合公平性和认知安全规范。此外,还应加强源数据的属性标注与归属追溯,降低算法训练过程中的数据泄露与滥用风险,保护数据提供者的隐私权益。

(2)算法审查。监管部门应建立算法解读规范,要求技术提供者详细披露核心算法模块的设计思路、训练优化过程和绩效评估指标,接受相关机构和第三方的审核。同时,应建立算法决策过程审计机制,设置关键节点的输出结果监测,形成算法运行日志,确保算法决策过程的可解释性和可审计性。此外,应当制定算法失效和不当决策的责任追究制度,明确算法责任主体,强化算法决策的合规性。

(3)结果评估。监管部门应建立内容标识与披露制度,明确提示用户生成内容的来源和可靠性限度。对某些高风险类别的关键信息,应设置人工审查关卡,避免对公共认知产生负面影响。同时,还应建立外部质疑反馈平台,及时回应社会各界对特定内容的合理怀疑,对存在错误的信息进行纠正,维护知识权威和认知安全。

5.3 伦理建设:生成式人工智能安全发展的保障

伦理建设是生成式人工智能安全发展的根本保障,重点关注技术应用对个人、群体和社会的影响,以及技术应用与发展所需遵循的道德准则和价值取向。伦理建设需要从社会、文化、伦理等多维度审视技术发展,强调尊重人的尊严与价值,确保技术应用在尊重个体权利、公平决策和社会责任原则指导下健康发展。

(1)个体权益。技术研发和应用中都应将隐私与安全的具体方案融入系统设计,如采用加密、访问控制等手段强化用户隐私和个人数据的安全性。此外,开发者还应向用户提供一定的参与权和选择权,允许其对功能使用、信息接收等作出选择,避免依赖系统的全自动决策。监管部门应要求技术提供者主动公开可能存在的负面影响,并接受外部审核专家的评估,以保障个体权益免于侵害。

(2)群体公平。应构建独立的算法审查部门,由来自不同领域的外部专家对核心算法进行深入审查,识别模型中可能存在的群体歧视性偏见,并要求技术提供者在模型设计中加入针对敏感特征的去偏处理方案,增加评估样本的广泛代表性,引入评测模型对不同群体是否产生不公平差异的指标,以有效约束算法决策中的群体偏见。

(3)社会影响。政府可牵头建立专门的生成式人工智能伦理委员会,通过定期评估技术进步对社会各界的影响并制定相应监管规范,完善技术社会影响评估和预警机制,鼓励各界共同承担技术进步可能带来的社会责任。同时,应加强人文素质教育和科技伦理法规体系建设,增强社会公众对技术进步影响的理性认知。此外,企业和行业组织也应加强伦理自律,制定符合行业特色的道德规范和消费者权益保护措施,并建立自律的运营评估和失信惩戒机制,共同提升生成式人工智能技术的伦理水平。