认知域延展中的安全问题及其应对策略

周程

【摘要】“认知域”指的是认知活动所涉及的内容和场所的集合。长期以来，认知域一直被认为仅局限在大脑之内。然而，越来越多的学者认为，人类认知可以部分地由大脑外的因素构成，于是人类的认知域延展到了大脑之外，并纳入了认知技术等要素。在认知域不断延展的过程中，人们担心自身的认知域会受到虚假信息的侵扰和他人意志的操控。为了应对认知域延展带来的安全挑战，我们应该对认知域中的“人—技”关系保持清醒的认识。同时，政府、专家和个人都应该付诸努力，从伦理法律、技术设计和数字素养等多个方面来保护认知域的安全。

【关键词】认知域  延展认知  认知安全  虚假信息  人机协作

【中图分类号】G31                               【文献标识码】A

【DOI】10.16619/j.cnki.rmltxsqy.2023.11.006

柏拉图在《斐德罗篇》（Phaedrus）中描述了苏格拉底对书写的看法。苏格拉底认为，书写是对记忆的破坏，书写技术对人类认知产生了负面的影响。现如今，认知技术以一种更加广泛且深入的方式进入了人们的生活。人工智能、大型语言模型、脑机接口等高新技术的发展，深刻地影响了人们的认知方式，甚至直接改变了人们的认知范围，重新塑造了人们的认知活动。因此，有必要重新审视“认知域”（cognitive domain）的含义，理解“认知域”在当下发生的转变与面临的风险，研判“认知域”延展对“人—技”关系带来的影响，并为适应“认知域”的不断延展准备好应对策略。

认知域的定义及其延展

所谓“认知域”，简单来说就是人类认知活动所涉及的内容和场所的集合。传统观点认为，人类的认知活动都发生在大脑中，大脑就像一台计算机一样进行着表征与计算。而技术设备对人类认知内容和认知过程的影响，则主要是通过间接方式实现的。

然而，进入21世纪后，这一关于认知的传统观点受到了冲击。人们发现，语言符号、纸笔工具，乃至一些更复杂的技术设备，例如，智能手机、互联网等，不仅可以被当作辅助认知的工具，而且还可当作人类认知能力的延伸，成为认知域中的一部分。[1]这些技术不断挑战着人们对认知内在主义的看法。于是，以“延展认知”（extended cognition）为代表的认知科学研究纲领逐渐被人们所接受。

延展认知关注环境因素在认知过程中发挥的作用，认为环境因素可以构成认知过程的一部分。为了捍卫这个观点，安迪·克拉克（Andy Clark）和大卫·查尔莫斯（David Chalmers）提出了“对等性原则”（parity principle），即“如果在我们面对某项任务时，世界的一部分作为一个过程发挥作用，且如果这个过程是在头脑中完成的，我们会毫不犹豫地将其作为认知过程的一部分，那么世界的这一部分就（正如我们声称的那样）是认知过程的一部分”。[2]换言之，发挥了相同认知功能的外在因素也应该享有和内在因素同等的地位。

克拉克和查尔莫斯曾用“英伽和奥托”（Inga and Otto）的案例来帮助我们更好地理解认知域究竟是怎样延展的。认知能力正常的英伽想去博物馆看展览，于是她回忆起博物馆的位置，并凭借这个信念成功到达博物馆；而患有阿尔兹海默症的奥托也想去看展览，他的办法是通过检索随身携带的笔记本得知博物馆的位置，最终也成功地到达博物馆。在这两个案例中，奥托笔记本上的信息发挥了和英伽的生物记忆相同的功能，都构成了各自认知过程的一部分。这样，奥托的认知过程就延展到了他的笔记本上，他的认知域因而包括了大脑之外的因素。

为了防止认知域过度膨胀，甚至于变得无所不包，克拉克和查尔莫斯列出了对外在因素的几项限制条件，即依赖性、可通达性、可信赖性、历史关联性。[3]虽然关于这些条件的争论仍旧存在，但是他们至少提供了一套参考标准，能够帮助我们区分两种“外部资源”：一种仅仅被我们当作工具，而另一种则被吸收到认知域中。

根据延展认知的观点，人们可以把外在于大脑的一些因素作为认知内容的载体。这样，认知内容也就部分地延展到了大脑之外。类似的，延展认知的支持者也认同脑机接口设备是认知的组成部分，应该受到与人类大脑一样的保护。甚至，人们通过虚拟现实技术完成的认知活动，也与现实世界享有同样的真实性。[4]这样，认知域就不再是一个专属于个人的“黑箱”，而是一个可以被公开揭示、甚至被他人操控的领域。例如，他人可以相对容易地查看已被纳入认知域的笔记本、手机等，以此来了解认知域主人的所思所想。如此一来，伴随认知域的延展，个人认知内容被他人篡改的风险也在增加。在国防领域，“认知域”已被视作与“物理域”“信息域”并列的第三大作戰空间[5]。在大国博弈中，“制脑权”已成为能否取得最终胜利的关键变量。在这种情况下，如何正确看待、保护和利用好认知域，就不只是理论问题，也是现实问题。

认知域面临的安全问题

如今，人机交互日益频繁，人类的大多数认知活动都已被技术设备广泛渗透，很难从中区分出纯粹内在的认知活动。即使是在独自冥想这样的认知活动中，人们的专注力和思考的深度也和周围环境紧密相关。随着认知域的不断延展，个人的认知域安全很容易受到来自外界的威胁。为了保护认知域的安全，人们需要对认知域可能遭遇的侵害保持清醒的认识。

首先，虚假信息容易混入个人的认知域，从而影响人们作出判断的认知基础。就拿上述英伽和奥托的例子来说，英伽的记忆存储在大脑中，别人无法直接阅读或者破坏英伽的心理内容。相比之下，奥托的笔记本则更容易被人篡改、损毁，因而，笔记本上的信息的真实性变得难以判断。[6]类似的，比起人们的生物记忆，存储在手机中的日程表、照片、录音等信息，似乎也更容易被黑客修改。这意味着人们借助技术设备获取的信息其实未必可靠。因此，有必要对外在载体上的私人信息采取额外的甄别措施，以保障信息的可靠性。

然而，“深度伪造”（deepfake）或合成媒体（synthetic media）技术，让原本看似真实可信的公共信息也变得岌岌可危，这也给人类的认知域带来了冲击。当下，人们可以用很低的成本把公众人物的脸替换到各种影视片段中，还可以用人工智能技术模仿知名歌手的声线创作音乐作品。这些伪造的视频、音频往往非常逼真，如果不加以标注就在各种网络平台上传播，很容易让数以万计的网民误以为这是真实发生的事情。可见，在认知域中，不论是存储在外在载体上的信息，还是进入大脑之中的信息，都容易混入虚假信息，因而，需要对信息的真实性给予特别关注。

除了刻意编造的虚假信息，认知技术所输出的无意义信息也会影响人们的认知，使得人们的认知域变得更为混乱。以ChatGPT为代表的大型语言模型（Large Language Models）虽然可以与用户实时交互，为用户提供信息，但是它并不能保证信息的准确性。比起上述两种蓄意造假的例子，ChatGPT有时更像是在“胡说八道”，但这并非是它在有意误导用户。原因在于，其工作模式是根据以往的训练数据，统计出哪个词汇有最大概率出现在该问题对应的答案中，从而生成回答，但其本身并不能理解语义内容。由于认知主体凭自身认知域中的资源，很难甄别它是在陈述事实还是在编造幻梦，因此，人们可能更难察觉这类信息对各自认知域的侵扰。诸如此类的认知技术正在重新塑造着认知主体的认知过程、认知习惯以及信念集合。最近，ChatGPT还推出了手机应用版本，人们接触这类工具的便捷度越高，与之交互的程度就会越深，人脑与技术的耦合也就越紧密，以致人们将各类无意义信息纳入认知域的可能性大增。

其次，随着脑机接口等技术的快速发展，自身的认知域更容易遭到他人意志的操控。人们担心脑机接口这类神经技术大规模推广后，植入脑中的设备会侵入自己的思想，让自己的大脑成为科技公司触手可及的数据库，甚至受到他人的操控。有学者假设了四种通过脑机接口操控思想的情况：第一，脑机接口在人没有意识到的时候自动更新了信息，如同步最新的节假日安排；第二，人们自主选择加入自动更新协议，但实际上并不清楚有什么新信息将被加入自己的认知域中；第三，脑机接口设备自动删除用户长期没有使用的记忆；第四，脑机接口与人深度合作，帮助人类作出最优选择。[7]在前三种情况中，人们几乎都不需要施展认知能力，脑机接口设备实际上绕过了认知主体来植入或删除信息。第四种情况稍显复杂，脑机接口设备可能会通过压制认知主体本可能产生的信念，来达成设备认为的最优解，这其实也阻碍了认知主体本身的创造力。

实际上，人们已經潜在地被一些技术所限制，个人认知的自主性也相应地受到了影响。例如，某些网站可能设置了搜索联想词，或者安排了搜索结果的顺序，或者直接向用户推送“猜你喜欢”。人们的认知环境被潜在地改变，人们的自主性受到设计者意愿的影响，这无疑也是一种限制人们选择的方式。一些手机软件还会刻意增加用户关闭某些功能的步骤或警示语，以此来影响用户的自主选择。如果人们与这些网站、软件的持续交互足以让它们被纳入人们的认知域，那么这些引导性的设计甚至可以被理解为一种威胁认知自主性的攻击。

综上，认知域安全很容易受到虚假信息的侵扰以及他人操控的威胁。这两类问题本质上都可以归结为技术的信任问题；换言之，认知技术提供的信息内容和辅助功能缺少明确的真实性和安全性判断标准，人们不知道应该赋予认知技术多大程度的信任，以及应该依据什么标准来评判通过认知技术获得的信息是可靠的。为此，我们需要重新梳理和深入考察在延展的认知域中人类与技术的关系究竟呈现出什么样的维度，以及在此基础上我们应该如何应对认知域安全面临的挑战。

认知域延展中的“人—技”关系

美国技术哲学家唐·伊德（Don Ihde）曾区分出四种典型的“人—技”关系（human-technology relations）：一是具身关系（embodiment relations），即技术作为人的工具；二是解释关系（hermeneutic relations），即技术表征人生活的世界；三是它异关系（alterity relations），即人和技术相互作用；四是背景关系（background relations），即技术成为人类活动的背景。[8]

从延展认知的过程来看，认知主体与认知技术之间不只是单向的具身关系。特别是在延展的认知域中，人们的认知更容易受到认知技术的操控。例如，人们在社交媒体上浏览信息、记录生活、分享经验，社交媒体俨然成为了人类认知域的延伸。然而，一些商家会利用社交媒体用户的数据，精准描绘出用户肖像并投送相关信息，以达成操控人们购物意向的目的。因此，在认知域延展的背景下，我们不应该简单地把认知技术理解为一种被动的工具。恰恰相反，认知技术正在深刻地重塑着主体的认知过程。

认知域的不断延展也使得认知主体与认知技术之间并不构成纯粹的解释关系。时至今日，认知技术的体系结构和运行机制日益复杂，甚至专业人士也无法解释认知技术与世界之间的表征究竟是如何实现的，这意味着认知技术具有了很高的不透明性。例如，当下被大量使用的深度学习（deep learning）技术实际上是一种“基于样本数据、使用多层神经网络对模式进行分类的统计技术”[9]，其中的神经网络由输入、输出和中间的大量隐藏层构成。这些隐藏层不仅数量众多，而且不同变量还被赋予了不同的权重，无论是事前推演还是事后回溯都很难将其解释清楚，这也让人们怀疑通过认知技术了解到的信息，是否真的构成了对真实世界的准确表征。在认知域延展的背景下，认知域中“不透明的”认知技术，使得人类对世界的认知过程也变得“不透明”，因此，我们也不能认为认知主体利用认知技术就能成功达到解释世界的目的。

然而，出于对透明性的担忧而全盘拒斥认知技术的使用并不是一个明智的选择。其一，在工具层面，认知技术在教育、医疗等领域有望为普通民众提供低价高效的服务，在国家安全方面其也是一个不可忽视的力量。认知域延展后，认知技术蕴含的巨大经济价值、战略价值，只会推动这个领域不断往前发展。其二，在解释层面，人们难以对认知技术的透明性达成一致意见。换言之，人们并不清楚，我们究竟需要何种程度的透明性？透明性的参照标准是什么？由谁来评判是否达到了这一标准？

事实上，认知域的延展使得认知主体与认知技术之间的关系，逐渐转变为“背景关系”与“它异关系”。

一方面，认知技术已经成为认知主体生活经验的背景，人类无时无刻不处在认知技术的影响中。首先，人类自身的认知过程也并非完全透明，尤其是当人类作出涉及直觉、预感等因素的决定时，人类自己也很难理解相关行为的逻辑结构[10]。因此，要求作为认知背景的技术实现绝对透明是不合理的。其次，保持技术的透明性不应该成为人们维护认知域安全的首要要求。一味追求认知技术的透明性，可能会降低认知技术的复杂度，以至于牺牲输出结果的准确性。有时人们希望得到的解释并不是那种冗长的推理过程或详尽的权重参数，而是高效实用的回应。与其让认知技术供应商公开它们的设计参数、训练数据，不如寻找其他方法让认知技术取信于人，使得延展的认知域中认知主体与其所处的认知背景更加契合。

另一方面，越来越多的认知技术被纳入人们的认知域中，这也意味着人类和认知技术的交互越来越深入；认知技术的不断人格化，使得认知主体与认知技术呈现出“它异关系”。虽然目前大多数人工智能等认知技术只能精于处理特定类型（如文字）、特定领域（如下棋）的问题，但是人类作为人工智能的训练者，可以将非文字信息转换成技术可以摄入的资源。同样的，机器也可以将得到的结果反馈给人类，由人类对此结果进行有意义的解释。甚至有学者在延展认知的基础上，提出了“人类延展的机器认知”（Human-Extended Machine Cognition）[11]，主张人类也可能被当作实现以机器为基础的智能的一个部分。最近，埃隆·马斯克（Elon Musk）创立的“神经链接”（Neuralink）公司获得了美国食品药品监督管理局（FDA）的审批，可以在人身上进行侵入式脑机接口实验，这意味着认知主体（大脑皮层）与认知技术（脑机接口）之间的关系即将迎来更为密切的交互与融合，例如，盲人可能将会通过脑机接口“看到”图像，瘫痪病人也可以运用脑机接口操控机器。这种“赛博格”式的技术革命打破了认知域中主体与技术之间的界限，这就更需要我们以理性的态度看待“人—技”关系在认知域延展过程中的新变革。

因此，认知域中的主体和技术之间应该保持密切合作的关系。认知技术的最终目标不是成为人，所以不应该用人类的标准，或者是高于人类的标准来要求认知技术，甚至限制认知技术发展。在认知域延展的背景下，技术的更新与人类认知的变革相伴相行。例如，读写能力提升了人们的交流水平，基于读写和计算而制造出的计算机更是将人们的认知能力提升到了更高的水准之上[12]。新技术的诞生势必冲击现有的规则秩序，人们担忧会被技术取代，就像工业革命时期手工业者担忧机器会侵占自己的工作机会一样。但是，当时看起来可怖的机器已经融入了人们的生活，当时看来新奇的技术也在创造着新的岗位。人工智能进入人类的认知域之后，不可避免地会引起类似的忧惧。与其只关注技术的阴暗面而选择停滞不前，人们不妨学会与认知技术共存，及早准备好维护认知域安全的对策，让认知主体与认知技术充分互动，以实现认知能力的提升。

如何应对认知域延展带来的安全挑战

鉴于认知域的延展导致“人—技”关系呈现出“背景关系”与“它异关系”的特点，人们需要根据认知主体与认知技术交互发展的情况，适时调整维护认知域安全的伦理底线与法律规范，将认知域中的非生物因素也纳入考虑范围。人类不能只关注自己生物学意义上的身体，同时也要重视认知域中的技术设备，甚至是虚拟世界中的实体。应对认知域延展带来的安全挑战，需要政府、专家、个人等各方面共同努力。

政府层面。在认知域延展中，政府需要通过伦理与法律的规制防止个人的认知域受到他人侵犯。将外部的技术设备纳入认知域，意味着需要按照“伦理对等性原则”（ethical parity principle）[13]和“法律对等性原则”（legal parity principle）[14]给予它们同等的伦理与法律地位。有学者直接建议，将对认知技术的破坏视同人身攻击。[15]

以前文提到的奥托为例，奥托的笔记本里记录了他每天发生的事情，他对一些事件的看法还有当时的情绪。如果奥托的笔记本被别人偷窃，他的认知能力就会显著下降。因而，这不应该只被当作一桩个人财物被盗案，还应当视作一种人身攻击。类似的，在患有阿尔兹海默症的病人家中，物品的位置、摆放顺序可能都是保障患者自如行动的重要支撑；如果被人随意破坏，搅乱了原有的安置秩序，那么患者的行动能力就會大不如前。这就好比是被迫摄入过量酒精而扰乱了大脑的正常思维，同样构成了一种不道德的行为。

与此同时，如果人们的认知域享有这样的保护，那么人们也应该承担运用认知域内的技术设备侵犯他人带来的后果。目前的技术设备尚不能作为一个完整的道德行动者，无法承担全部的道德责任。通过建立严格的伦理和法律规范，并遵循权责一致的原则，我们可以确立明确的责任分配机制，这有利于警示人们重视认知环境，维护认知域的安全。

专家层面。认知域延展中“人—技”关系出现的新变化要求人类与认知技术协同发展，这就需要专家在技术设计之初就将与认知域安全相关的伦理问题纳入考量。认知域作为一个整体，域内各个要素之间密切交互，构成了一个复杂系统，它要求专家在设计认知产品时，事先就考虑认知技术的目标与价值规范，使之能更好地融入人们的认知域。如果一个认知域内各个部分拥有的目标不同，这个认知域能发挥出的认知水平和行动能力就会受到限制。例如，机器在完成工作要求时可能会无视其造成的潜在伤害。各不同部分之间的分歧会导致整体的认知力、行动力下降。如果专家在设计认知技术设备时就考虑到了人机协作的理念，那么推出的产品会更加契合人类的认知过程，更加易于与人类认知域相融合。

另外，考虑到提供认知技术的公司与个人用户之间存在着巨大的权力不对等关系，专家需要在企业和公众之间起到协调作用。大多数用户作为外行，有时难以清晰地表达自己的诉求，或者无法选择最符合自身利益的服务方案。用户即使能说明自己的诉求，也很难左右公司在技术路线方面的规划。此外，商业公司使用的认知技术本就由于商业机密的原因而不能公开相关的细节，相关的监管手段也难以触及算法层面。因此，专家应当承担协调者的角色，调节公司和用户之间的不对等关系，平衡商业利益和用户利益，通过不断改良认知技术产品与用户之间的互动，提升认知技术设备的使用性能和安全水平，促进认知域内部的交互与认知载体的耦合。

个人层面。随着认知域的延展，认知技术已经成为了人类生活的背景。人类要想在智能化、自动化、信息化的认知背景中掌握主动权，就需要注重提升自身的“数字素养”（digital literacy），理解并利用好认知技术。

所谓“数字素养”，指的是“理解并利用通过计算机呈现的多种来源、不同形式的信息的能力”。[16]当前，“我国的公民数字素养平均水平不高，特定区域群体的数字素养与技能与其他区域群体存在较大差距”。[17]这不仅要求人们学会运用数字技能满足信息需求，而且需要人们能够辨别利用认知技术获得的信息。就以前文提到的虚假信息和无意义信息所造成的认知威胁为例，一方面，企业可以升级技术手段，从客观上降低认知域被侵入的可能；另一方面，应尽可能教育公众提升认知辨别能力，如识别真假字迹、发现换脸视频中奇怪的表情、人造音频中不合理的唱法等，以避免虚假信息给认知域带来侵害。

此外，人们在利用认知技术的同时，还应注重对智能本身的理解与评估。一方面，在人类智能之外还有动物智能、机器智能；通过研究其他的智能，人们可以认识到其他的认知机制，发现人类自身在认知上的优缺点，从而明确可以改善认知能力的方向。而且，每种智能的衡量方式也是不一样的；当人们的认知域不再是单纯的内部因素时，人们也需要改变衡量智能的方式，来评价自己在认知水平上的变化。这意味着针对人类设计的IQ测试需要被替换成可衡量异质系统的多维度评价体系。而挑选衡量标准的需求反过来又要求人们理解其他智能的运行机制。另一方面，人类难免有偏见，人类设计的认知技术设备也是如此。有研究发现，在人们的自然语言中，人们更倾向于将典型的女性名字与家庭词而不是职业词配对，将典型的非裔美国人名与令人不悦的词汇相连，将典型的男性名字与科学、数学词汇关联等。[18]因为自然语言中存在这些潜在偏见，人们使用自然语言训练认知技术设备时，这些偏见自然而然地渗透到了技术设备中。因此，当人们与这些设备发生交互时，可以通过设备输出的异常结果来认识自己的偏见，并由此能够更加深入地理解认知域中不同要素之间是如何相互关联和协同作用的。同时，为了提升认知域的合作质量，人们也应该思考如何向设备输入高质量的、少偏见的训练数据，让整个认知域产出的结果变得相对公正。

结论

认知域包含的不仅仅是人类大脑内部的因素，它还可以囊括人们所使用的认知技术设备，甚至容纳社会机构等更多异质性的构成要素。面对认知域的延展，人们在高度重视认知安全问题的同时，应该清楚地认识到认知域延展过程中出现的“人—技”关系新特点。人们需要建立与认知技术合作共存的信心，准备好应对策略。对于政府来说，需要考虑制定规则防止他人侵犯个人的认知域，创造安全的认知环境。对于专家来说，需要在认知技术设备的设计中纳入更全面的伦理考量，促进认知域内的人机顺畅交互。对于民众来说，需要提升自己的数字素养，学会用好认知技术，在与认知技术的交互中增强认知能力，实现认知主体和认知技术的协调发展。

（本文系教育部人文社会科学重点研究基地重大项目“当代认知哲学基础理论问题研究”的阶段性成果，项目编号：22JJD720007；北京大学哲学系博士研究生廖新媛、杨军洁对本文亦有重要贡献）

注释

[1]P. Smart， "The Web–Extended Mind，" Metaphilosophy， 2012， 43（4）.

[2]A. Clark and D. Chalmers， "The Extended Mind，" Analysis， 1998， 58（1）.

[3]刘晓力：《延展认知与延展心灵论辨析》，《中国社会科学》，2010年第1期。

[4]D. Chalmers， Reality+： Virtual worlds and the problems of philosophy， W. W. Norton & Company， 2022.

[5]D. S. Alberts， "Network centric warfare： current status and way ahead，" Journal of Defence Science， 2003， 8（3）.

[6]K. Sterelny， "Minds： Extended or scaffolded？" Phenomenology and the Cognitive Sciences， 2021， 9（4）.

[7]J. A. Carter. "Varieties of （Extended） Thought Manipulation，" in M. J. Blitz and J. C. Bublitz （eds.）， The Law and Ethics of Freedom of Thought， Volume 1， Springer International Publishing， 2021， pp. 291–309.

[8]D. Ihde， A phenomenology of technics， Chichester UK： Wiley–Blackwell， 2010.

[9]G. Marcus， "Deep Learning： A Critical Appraisal，" ArXiv， 2018.

[ 0]J. Zerilli， et al.， "Transparency in Algorithmic and Human Decision–Making： Is There a Double Standard？" Philosophy & Technology， 2019， 32（4）.

[11]P. Smart， "Human–extended machine cognition，" Cognitive Systems Research， 2018， 49.

[12]A. E. Buchanan， Beyond humanity？ The ethics of biomedical enhancement， Oxford University Press， 2011.

[13]N. Levy， Neuroethics： Challenges for the 21st Century， Cambridge University Press， 2007.

[14]M. Blitz， "Freedom of Thoughts for the Extended Mind： Cognitive Enhancement and the Constitution，" Wisconsin Law Review， 2010， 4.

[15]J. A. Carter and S. O. Palermos， "Is Having Your Computer Compromised a Personal Assault？ The Ethics of Extended Cognition，" Journal of the American Philosophical Association， 2016， 2（4）.

[16]P. Gilster， Digital literacy， New York： Wiley Computer Pub， 1997.

[17]李正風、王硕：《数字素养、数据权利与数字伦理》，《科普研究》，2022年第6期。

[18]G. M. Johnson， "Algorithmic bias： On the implicit biases of social technology，" Synthese， 2021， 198（10）.

责 编∕肖晗题