论口译认知负荷的眼动研究∗

苏雯超 李德凤 曹洪文

（广东外语外贸大学高级翻译学院／外国语言学及应用语言学研究中心双语认知与发展实验室，广州 510420；澳门大学人文学院，澳门 999078；重庆大学语言认知及语言应用研究基地，重庆 400044）

提 要：认知负荷是翻译认知过程研究的核心要素，是了解译员大脑运作的重要窗口。但是，目前认知负荷的概念、特质和理论仍有待明晰。本文首先论述认知负荷的本质，辨析认知负荷、注意／认知资源、认知努力等相关概念，阐述口译认知负荷的理论构建；其次详细讨论口译认知负荷眼动研究的3个热点问题，即口译难点的识别、口译多模态过程的认知负荷以及认知负荷与口译专业能力的关系；最后指出目前口译认知负荷眼动研究中存在的主要问题。

1 引言

翻译传译认知过程研究是翻译学的最新发展，在很大程度上代表该学科的发展方向。而认知负荷（cognitive load）是其中一个关键概念，与困难、注意力和认知资源密切关联，是影响认知努力（cognitive effort）的重要因素。众所周知，翻译的过程就是选择、决定和创造的过程，每个活动都会消耗大量的认知资源，因此认知负荷必然贯穿翻译的全过程，是探索译员大脑“黑匣子”如何运作的重要参照。但是，目前大家对这个概念的认识仍然模糊不清，严重影响相关研究的可信性以及相关结论的可比性。可见，厘清这个概念十分必要，它将直接决定该研究领域未来的发展。眼动追踪技术是本领域最新、最常用的研究方法，本文将聚焦基于眼动追踪法的口译认知负荷研究，从心理学以及跨学科的视角，尝试厘清口译认知负荷的本质、特征和机制，以促进对译员大脑运作的认知探讨。

2 认知心理学渊源与跨学科特质

认知负荷是认知心理学的一个构念，最有影响力和代表性的探讨是Sweller（1988）的认知负荷理论。该理论认为，认知负荷实质就是工作记忆负荷，指工作记忆在特定时间加工信息时的强度（Kalyuga 2011：12）。信息的元素交互性越强，复杂性就越高。如果此时学习者的专业知识水平越低，工作记忆处理该信息时的强度就越大，认知负荷就越重。认知负荷理论主张，教学要考虑人类认知结构的局限，通过相关教学设计减少对学习者不必要的认知负荷（Sweller 2019：1）。

与认知负荷密切相关的概念是注意／认知资源、认知努力和脑力／心理负荷（mental workload）。认知负荷影响所需的注意／认知资源，而认知努力则是实际投入的注意／认知资源。个人在某项任务中投入的注意／认知资源越多，付出的认知努力越大，反映出该任务的认知负荷越重。脑力／心理负荷是比认知负荷范畴更大的一个构念，多见于人因工程领域，指任务所需处理能力和实际处理能力的关系（何妍等2020：76）。有学者认为，认知负荷和脑力／心理负荷的本质差异不大，脑力／心理负荷的相关理论可以为认知负荷研究所借鉴（孙崇勇 李淑莲2017：6）。

译者的认知负荷是随着翻译认知过程研究的兴起而逐渐得到关注。口译认知过程研究者借力认知心理学和人因工程学关于认知负荷和心理负荷的相关理论，构建口译认知负荷的理论模型和研究框架。Kahneman（1973）以注意资源的中央或单一容量理论为基础，提出注意的能量分配模型。受此启发，Gile（2009）提出口译的认知努力模型，关注译员在口译过程的各项子任务中实际分配和协调的认知努力和精力，描述译员在口译过程中可能遭遇的认知能力局限，为解释有时译员口译表现欠佳的现象提供认知依据。例如，在同声传译过程中，译员需要在听力理解、短时记忆、口头产出和协调这些子任务上投入认知努力。某项子任务所需的处理资源增加，译员所投入的认知努力相应增加，可以分配到其它子任务的认知努力则相应减少。也就是说，若译员在某项子任务中加大努力，可能会影响其它子任务的认知加工。

Wickens的多重资源模型则认为，注意资源并不是单一和不可分割的容量，不同类型的加工结构由不同类型的注意资源支持（Wickens 2002：162）。但是，当多个任务的加工阶段（编码Per⁃ceptual、中央加工Cognitive、输出Response）、编码方式（视觉Visual和听觉Auditory）或编码类型（言语Verbal和空间Spatial）相同时，加工活动占用同一个认知资源库，任务之间存在较大干扰，容易出现相应的认知资源容量限制，因此这些任务所需的认知负荷变大（魏柳青等2014：735－736）。Seeber从多重资源模型出发，提出另一个针对同声传译的认知负荷模型，认为同传是一项由源语理解和译文产出与监控实时结合而成的任务，源语理解和译文产出与监控根据加工阶段、编码方式和编码类型，均细分为多项子任务，各项子任务所需的认知资源由资源需求向量表示，这些资源需求向量反映出各项子任务的认知负荷（Seeber 2011，2017：466－473）。任务之间的干扰程度由冲突系数表示，整体同传任务的认知负荷则由各个子任务所占用的认知资源和冲突系数整合而成。

以带稿同传为例，源语理解的子任务包括听觉言语信息（如讲者的讲话）、视觉言语信息（如讲者的稿子）、视觉空间信息（如讲者的表情和肢体语言、幻灯片里的图像）的编码加工，以及言语、空间信息的中央加工；译文产出与监控的子任务包括听觉言语信息的编码加工、言语信息的中央加工和言语信息的输出（Seeber 2017：472）。由于源语理解编码加工中的听觉言语和视觉空间信息属于不同的编码方式和类型，两个任务的同时加工是互补关系，各自的资源需求向量分别为0.5；虽然源语理解编码加工中的视觉言语和听觉言语信息属于不同的编码方式，但两者的编码类型相同，即都是言语信息，因此视觉言语信息编码加工的资源需求向量是1；若源语理解编码加工中的听觉言语信息和视觉空间、视觉言语信息的内容一致，译员对该信息的加工会加快（同上：463，472－473）。

另外，当源语理解和译文产出与监控中各自的听觉言语信息编码加工同步进行时，或者源语理解和译文产出与监控中各自的言语信息中央加工同步进行时，任务间的干扰程度最大，所需认知负荷比上述不同加工阶段，或者不同编码方式或不同编码类型的子任务的同步处理要大（同上：472）。各项子任务所消耗的认知资源量和任务之间的冲突系数构成整个带稿同传任务所预测的认知负荷。该理论预测，针对整体任务的认知负荷与仅仅带有视觉空间信息的同传活动相比，同时带有视觉空间和视觉言语信息的同传的认知负荷要大，而这两种同传都比不带任何视觉信息的同传认知负荷要大。

Gile的口译认知努力模型对译员的认知负荷，尤其是口译中的认知困难和译员的解决策略有较好的解释力。译员在口译表现中出现错误、漏译或不流利的现象，是因为译员分配到每个口译子任务中的加工能力或注意资源，即所谓的认知努力、精力或心力，不足以满足子任务所需的认知资源，或者是由于译员既有的认知总资源不能满足整个口译任务所需的认知资源（王斌华 邓海波2018：23）。要有效利用有限的认知资源，译员会运用经验和策略来合理分配精力。最近的一项基于脑电的（无稿）同传研究发现，职业译员在工作记忆负荷较高的情况下，会相应地减轻在听力理解上的认知努力，以有效地处理工作记忆负荷的积压，为Gile的口译认知努力模型提供了实证依据（Koshkin et al.2018）。

而Seeber的口译认知负荷模型则侧重于预测多模态加工对口译认知负荷的影响。该模型依据资源需求向量和由不同任务之间的相互干扰所造成的冲突系数，对口译过程的认知负荷进行量化，为预测和解释不同模态下，即具有不同编码方式或编码类型的口译任务所产生的认知负荷提供理论依据。其次，该模型首次提出视听信息的一致性对口译认知负荷的影响。在一致条件下，需要口译出来的听觉言语信息与视觉言语和／或视觉空间信息相互补充，有利于信息整合，加强听觉言语信息的短时记忆（Heikkiläet al.2015）。因此，视听信息的一致和相容会提升信息的加工速度，有效降低口译过程的认知负荷，为在口译实践中如何选择视觉信息提供理论依据。

3 口译认知负荷的眼动研究

廓清翻译认知负荷研究的基本变量，采用实验—实证的研究方法，可以提供翔实的实证研究证据，加深我们对译员认知加工机制的认识（李德凤2017）。口译认知负荷研究主要关注3个核心问题：（1）通过测量源语引起的认知负荷来识别口译难点；（2）口译的多模态特征如何影响认知负荷；（3）认知负荷与口译专业能力的关系。识别认知负荷高的源语内容可帮助译员快速锁定口译难点，进而采取合适的认知策略优化认知资源分配，提高口译质量和效率；探讨不同视觉信息对口译认知负荷的影响可以优化译员选择视觉信息的策略；鉴别具有不同口译能力译员的认知负荷可以加深我们对新手和职业译员认知加工差异的直觉理解，也可为口译新手提供可参照的职业译员认知努力模式，以提升口译能力。

3.1 认知负荷与口译难点

口译难点的划分和讨论常见于口译教材和工具书中，主要根据译员的个人口译经验编写而成。随着眼动技术的普及，有学者开始尝试利用眼动研究方法来识别口译难点。研究者意识到译员在视译或带稿同传过程中对某语言片段的注视与对该片段的认知加工同时进行；译员在口译某语言片段时，注视时间越长、瞳孔直径越大说明其引起的认知负荷越高、处理难度越大（Shreve et al.2010）。

现有研究发现，英语到西班牙语视译中的动结式（Rojo，Valenzuela 2013）、波兰语到俄语视译中的专有名词、隐喻、副词、数字（Płuz·yczka 2013）、英语到波兰语带稿同传中的数字（Korpal，Stacho⁃wiak⁃Szymczak 2018）都引起译员较长的注视时间，即这些原文结构产生较大的认知负荷，从而构成口译难点。Su和Li（2019）进一步考察翻译方向性对视译过程中难点识别的影响发现，认知负荷较高的译出方向（汉语到英语）比认知负荷较低的译入方向（英语到汉语）有更多种类的口译难点，这些难点包括汉英视译中的低频词、抽象词、逗号、中心词后置的名词短语和英汉视译中的低频词、中心词前置的名词短语。

眼动技术不仅能有效识别有视觉信息伴随的口译，如视译和带稿同传中的翻译难点，也能帮助我们发现没有视觉言语信息伴随的口译，如无稿同传和（无笔记）交替传译中的翻译困难。Seeber和Kerzel（2012）发现，在德语到英语的无稿同传中，当职业口译员开始接收动词后置结构的听觉信息时，由于译文产出需要转换结构，译员的瞳孔直径变大，说明德语的动词后置构成无稿同传的难点。在波兰语到英语的无稿同传和（无笔记）交替传译中，数字和名词列举会增加学生译员和职业译员的认知负荷，构成口译难点（Stachowiak⁃Szymczak 2019）。

3.2 认知负荷与口译多模态

口译是一项多模态的翻译活动，译员在口述译文时，往往需要同时加工听觉信息和视觉信息，如讲者的原稿、幻灯片和其他视觉资料等。近年来，不断有学者关注口译的多模态特征对译员认知负荷的影响。Seeber（2012）最早使用眼动技术对口译的多模态特征进行研究，以总注视时间为变量考察不同视觉信息类型如何影响译员在同传中的认知负荷。职业口译员听讲者说话的同时，眼前的屏幕上显示讲者的表情、手势和幻灯片。幻灯片上一直显示讲话中将会出现的两位以上的数字，而较为简单的个位数则由讲者用手势表示。研究发现，译员在讲者面部的总注视时间比在幻灯片和手势上都要长，且译员仅在处理较为复杂的两位以上数字时才稍加关注幻灯片。这一发现似乎佐证Seeber（2011，2017）的口译认知负荷理论，该理论预测在同传过程中，译员同时加工视觉空间（面部或手势）和视觉言语（数字）信息比仅仅加工视觉空间信息的认知负荷要大。因此，译员选择大部分时间仅仅注视讲者的表情，可能是为了减轻整个同传任务的认知负荷。译员选择大部分时间看面部而不是手势或数字，可能因为讲者的唇部运动会不断提示译员紧接而来的听觉言语信息，从而促进口译加工。

在同传实践中，讲者有时会添加或更改讲稿信息，因此译员提前拿到的讲稿不一定和讲者实时的措辞完全一致。Chmiel等（2020）以总注视时间为变量，考察听觉和视觉言语信息的一致性对译员认知负荷的影响。职业口译员听讲者讲话的同时，眼前的屏幕上显示讲稿文字。研究者通过改变讲稿中部分词语，如专有名词、数词和实词的内容，使讲稿的部分信息与讲者的讲话不一致。研究发现，对比加工与听觉言语信息一致的视觉言语信息，译员在加工与听觉言语信息不一致的视觉言语信息时，表现注视时间更长，这说明视觉言语信息和听觉信息的不匹配会造成同传过程中的认知冲突，导致职业译员花费更多的认知资源来解决冲突，增加同传中的认知负荷。研究结果表明，信息是否一致会影响口译任务的认知负荷水平，为Seeber口译认知负荷理论中，听觉和视觉信息的一致有利于提升加工速度，从而减轻认知负荷这一观点提供实证支持。

3.3 认知负荷与口译专业能力

学生译员在口译训练前，并没有在抑制、刷新和转换等执行功能上比双语学生更具认知优势（Rosiers et al.2019）。但是，越来越多的实证研究发现，随着口译训练的增加和口译经验的积累，相关知识进入程序化阶段，译员的口译专业能力不断提高，表现出在认知控制、工作记忆和双语平行加工上的优势（Dong，Zhong 2017），且口译过程亦趋向自动化，即口译任务的认知负荷降低，需要较少注意和认知资源便可完成。口译专业能力的提高能有效降低口译任务的认知负荷，在同传这种口译模式中更为显著，如Korpal和Stachow⁃iak⁃Szymczak（2018）发现，在带稿同传中，职业译员在幻灯片的数字和背景信息上的平均注视时间比学生译员的要短得多，表明口译专业能力的提升能降低口译难点加工的认知负荷。在后续研究中，Stachowiak⁃Szymczak（2019）进一步验证口译专业能力的发展能降低认知负荷的优势。

4 口译认知负荷的眼动研究存在的问题

目前，口译认知负荷的眼动研究已取得一些成果，但也存在一些问题。首先，目前的研究主要从宏观层面上对认知负荷的相关发现进行解读，但缺乏微观层面上的深入分析。也就是说，我们知道哪些原文片段或者哪些视觉信息会增加译员在口译中的认知负荷，但还无法确定当这些信息增加译员的认知负荷时，译员具体的心理过程是什么。了解译员的心理过程有助于我们更加深入地理解认知负荷加重或减轻的原因。Gile（2018）提出的回溯性有声思维法可以在一定程度上弥补眼动数据收集的不足，在二者结合基础上的三元数据分析模式有助于我们更好地解释译员在感知认知负荷的过程中其大脑的运行过程。

其次，对注视次数这一眼动指标的概念不清晰。一些研究对注视次数和注视时间不加区分，认为它们都是测量认知负荷的有效指标。Hvel⁃plund指出，注视次数“不一定等同于加工强度或认知负荷，因为任务可能更耗时，吸引更多注视点，但不一定更复杂、更困难”（Hvelplund 2017：63）。最新的研究开始意识到注视次数更多是测量译员在口译过程中对视觉信息的视觉注意程度（Stachowiak⁃Szymczak 2019，Su 2020）。例如，Su（2020）考察新手和职业译员在视译活动中的眼动行为特征时发现，所有译员在为视译准备的阅读比实际视译过程中的阅读花费更长的时间，呈现更多的注视点；但平均注视时间更短，表明译员由于在准备阅读阶段刚接触文本内容，需要投入更多时间和注意力来熟悉文本内容；而在实际视译的阅读阶段，由于多了口头产出和理解—产出协调等任务，所需认知负荷增加。

在未来研究中，以下3个问题值得我们关注。第一，口译认知负荷研究需要细化认知负荷的概念，从而探讨不同类型的认知负荷。口译过程往往涉及原文理解、译文产出、理解—产出协调等活动，分别产生与理解、产出和协调相关的认知负荷，每种认知负荷分别与原文接收、双语转换、顺序或平行加工等认知加工过程所需要的认知资源密切相关。例如，口译过程中译员的注意焦点经常在原文和译文之间转换，原文理解与译文产出之间的协调是翻译（口译）活动区别于单语阅读的重要特征之一。后续研究可以利用“眼口跨度”等指标探讨口译过程中协调活动的认知负荷（Su，Li 2020）。

第二，口译认知负荷研究可以更加关注口译策略的使用与认知负荷的关系。口译策略往往是根据译员的个人经验总结而成，目前缺乏实证数据，尤其是基于眼动研究的实证数据证明口译策略是否可以降低译员的认知负荷，提高口译质量和效率。后续研究应着力探讨诸如切分、等待等口译策略对译员在口译中眼球运动的影响，从而测量相关口译策略是否能有效降低认知负荷。

第三，口译认知负荷研究可以进一步考察多模态加工对认知负荷的影响。多模态加工是口译实践的常态，何种形式的多模态加工能有效降低译员的认知负荷，这方面研究才刚刚起步。在全球抗疫阶段，远程口译成为会议口译活动的解决方案。远程口译的兴起让译员和研究者更加意识到多渠道信息接收的重要性。2019年，国际会议口译员协会（AIIC）首次推出远程口译工作指南，建议译员应该配有足够大和清晰的屏幕，以便接收诸如文本、图像、演讲者、参会者和会场全景等视觉信息①。那么，在视听信息一致的条件下，视觉言语信息、视觉空间信息还是两者的结合，哪种方式更能降低译员的认知负荷，提高口译质量？视觉言语信息应以译入语还是译出语形式呈现？眼动技术作为探索视觉信息加工的有效研究方法，能够帮助我们就上述问题进一步探索多模态加工对认知负荷的影响。

5 结束语

本文描述了认知负荷的本质和相关概念，论述了口译认知负荷的理论构建、研究热点和测量口译过程中认知负荷的眼动指标，并指出目前研究存在的问题和未来发展方向。基于眼动技术的口译认知负荷研究才刚刚起步，现象探讨居多，成因探讨单薄，且尚未形成体系。后续研究应使用精准的眼动指标，聚焦核心问题，一如既往地采用跨学科研究路径，充分发挥认知科学、神经科学、心理语言学、认知语言学、神经语言学以及翻译学相结合的优势，聚焦口译认知负荷现象、特征、本质和机制，开展深入研究，藉此推动翻译传译认知过程的研究。

注释

①AIIC Guidelines for Distance Interpreting（Version 1.0），published 9 January 2019.https：∥aiic.ch／wp－content／uploads／2020／04／aiic⁃guidelines⁃for⁃distance⁃interpreting⁃version⁃10.pdf