数字技术辅助下的交传笔记研究

厦门大学 杨柳燕

1.引言

翻译学的研究取向包括译作、功能和过程，其中，前两个取向的研究都已经取得丰硕成果，惟过程研究进展甚微。这与该领域研究的基本特点和难度有密切关系。不过，近年来新方法和新工具的不断出现为翻译过程的实证研究提供了更为可靠和可操作的数据收集方法（肖开容、文旭，2012：5）。例如，翻译研究在20世纪90年代引入击键记录法，通过特定软件记录译者的键盘和鼠标活动了解译者在翻译过程中的认知活动。再如，近10年来，眼动追踪技术也被引入到翻译研究中，它可以精确记录眼球注视屏幕的位置，通过注视时间、注视次数、回视、眼跳等指标了解译者相应的认知活动。冯佳、王克非（2016：15-16）指出，键盘记录工具使“目标语文本产出”的过程得到了有效解析，而眼动追踪技术则使翻译过程中的阅读活动得到了更深入的研究，两者同时使用则可以深入探悉源语文本理解和目标语文本产出的协同过程。可以说，以键盘记录和眼动追踪技术为代表的新技术是近年来推动翻译过程研究的重要驱动力（O'Brien，2013：5）。就口译研究而言，数字技术的作用也日趋突显。以交传笔记为例，智能笔能够把书写转化成数字信号传送和存储，而当这些数字信号被特定的计算机程序处理后，可以变成数据、让我们产生新的认识。本文将介绍一种智能笔，基于其功能特性，探索智能笔在交传笔记研究中的应用。

2.现有交传笔记研究的局限性

笔记是交替传译中的一项核心技能，对笔记的研究起步非常早（如Rozan，1956）。经历了早期对“笔记行为规范或操作纲领”（杨承淑，2010：112-113）的众多讨论，学术界的关注点日益转到学习者的学习过程和效果上来。梳理近年来国内外关于交传笔记的研究成果，笔者发现现有的研究在方法上暴露出以下不足：

首先，无论选取的对象是学习者／新手译员还是熟练者／职业译员，对其笔记的研究基本为结果研究。Orlando（2010：76）认为，笔记和口译评估应区分“过程型评估”（process-oriented）和“结果型评估”（product-oriented），如果脱离记笔记的过程、单看最后的笔记成品并不能判别译员的记忆效果和笔记的质量好坏；而且，目前并无多少研究关注学习者笔记技能的习得。

第二，笔记研究基本为静态研究，即对笔记在纸面上的最终呈现状态（即笔记文本）进行分析，一般包括笔记符码的数量、布局、表征方式及其含义和功能（如戴炜栋、徐海铭，2007；王建华、郭薇，2015），也有一些研究借助摄像机对笔记的过程进行了记录，但是其目的多为辅助研究对象回忆做笔记时的心理活动，对其记录过程进行分析的研究比较少。Andres（2002）曾用视频记录并分析了14名职业译员和14名学生译员的笔记，通过对笔记时间的测量对比了两类对象在做笔记时的认知负荷状态（Pöchhacker 2004：124）。遗憾的是，这种通过时间指标对笔记过程进行动态描述的研究至今屈指可数。

第三，笔记研究视野狭窄，尤其缺乏认知视角的考量。Pöchhacker（2004：124）指出，口译员的笔记为记忆服务，笔记既是某些信息的外部存储器（external storage devices），也充当从记忆中提取概念结构和意群组织形式的线索（retrieval cues）。杨柳燕、苏伟（2014：112）也强调了笔记与记忆在口译中是一种互动关系，且笔记是对记忆的延伸和补充。但现有研究鲜有论及笔记在记录时与解读时与记忆的交互，往往抛开记忆评判笔记质量。

综上所述，前人研究主要集中在作为最终产品的笔记文本，缺少对笔记记录过程的研究。究其原因，一方面固然是研究问题的需要，另一方面，技术手段的限制也是一个重要原因。笔者还以“口译笔记”、“交传笔记”和“译员笔记”为关键词在CNKI进行检索，发现在过去2年中，笔记研究方面的论文每年不到10篇，且在核心期刊上发表的寥寥无几。这在一定程度上说明，笔记研究可能已经到了一个瓶颈。交传笔记研究的视野、方法和内容的扩展取决于技术。与翻译研究中的键盘记录和眼动跟踪技术类似，交传笔记研究也可借助技术拓展研究思路。智能笔技术的日臻完善使口译笔记研究的深化、细化成为可能。

3.智能笔辅助口译研究

含智能笔在内的手写设备在过去5年得到了快速的发展。Orlando（2010）最早提出将智能笔运用到口译教学和实践中，他主要介绍了Livescribe Smartpen的工作原理及在口译课堂中的应用前景。在过去几年里，Orlando一直致力于研究智能笔与口译的结合，提出智能笔辅助下的同传式交传（Consec-simul with notes）这一新的口译工作模式（2010；2014；2015）。

借助智能笔，笔记研究将开启“过程研究”的新方向。译员记录笔记的整个过程将被保留和重现，并与原音保持同步，这将使我们有可能更细致地观察笔记过程中的细节，对记录动作进行量化分析，也为译员事后回忆记录时的心理活动提供强有力的刺激，使译员在回忆和解释自己笔记行为时能提供更加全面和准确的信息。正如键盘记录工具可以精确、全面记录译文产出的整个过程，以及不同键盘活动的时间差，智能笔技术可以实时、客观地记录译员记笔记的过程，为笔记过程研究提供定量的“硬”数据支撑。同时，借助某些视频分析工具（如ELAN），研究者可以对笔记记录过程进行严密的跟踪和量化，从时间维度来衡量笔记记录的效率，描述其特点，其精度是普通摄录所取得的视频所不能比拟的。

目前市面上比较成熟的电子化书写工具主要有三种类型，一类是配备高速摄像头可在普通纸张上书写的智能笔，一类是配备高速摄像头需要在专用纸张上书写的智能笔，还有一类是在移动设备屏幕上直接书写的电容触控笔，而且各种书写工具在参数和功能细节上差异巨大。但就功用而言，能真正服务于口译研究的智能笔并不多见。笔者认为，笔记研究需要的智能笔首先应与现实生活中常见常用的圆珠笔、水笔等书写感觉相似，同时要能在纸张上书写，这样才能保证记笔记时能保留和反映译员的真实状态。第二，智能笔在捕捉笔迹和将其数字化的性能上必须十分优越。第三，必须能够实现捕捉笔记时同步录音，且跨页记录时不打断录音。第四，必须能够将动态和静态的笔记便捷地存储与迁移。经过对现有智能笔的技术参数和功能的调查和实际使用，笔者认为Neo smartpen N2（以下简称N2）智能笔可以满足上述要求。笔者将在下文中介绍N2的基本功能及其在笔记研究中的适用性，并以实例展示其在研究中的运用。

4.Neo smartpen N2智能笔①N2智能笔的相关信息来源于官方网站：http：／／www.neosmartpen.com。

N2是由NeoLAB Convergence公司设计开发的智能笔，长156毫米，宽11.5毫米，笔身重22克，在造型、书写手感和材质使用上与普通圆珠笔类似，使用的是标准规格的圆珠笔笔芯和NCodeTM技术专用点阵纸张，笔尖附近的高速摄像头可捕捉笔尖的轨迹，压力感应器可识别256级的笔尖压力，捕捉速度可达每秒120帧，分辨率1 100像素。其ARMTM9双核处理器可快速处理数据，从而实现纸张书写内容的数字存储、传输和加工。

N2在使用上十分便捷。笔尖接触纸张即可自动开机，内部存储空间为90 MB，离线存储最多1 000页A4规格的书写内容；充电时间2小时，一次充电后，持续书写时间约为5小时。与N2配套的Neo Notes应用在Android和iOS系统的移动设备上均可使用。

N2的主要功能有：

（1）书写数字化。N2通过蓝牙与移动设备连接，可将书写数据实时传输或同步到 Neo Notes，页面可以 JPEG、PNG、PDF、SVG 格式导出。

（2）书写轨迹的记录与回放。书写的过程被作为数据存储下来，在Neo Notes中可播放指定页面上书写内容的轨迹。

（3）数字书写的编辑功能。在Neo Notes中可对书写内容进行编辑，包括：增加书写，删除已有书写，改变笔记颜色和笔画粗细，高亮显示等。

（4）手写识别和检索。Neo Notes中可将笔记数据转换成文本文字，目前可识别包括英文、中文简体和繁体在内的15种语言①一次只能设定辨识一种语言，所以不适用于多语混合书写的辨识。并以.txt格式导出，还可搜索出带有指定关键词的手写页面。

（5）结合app可同步录音与回放。在与移动设备（开启其麦克风）连接状态下，在Neo Notes中的相对应页面启动“语音备忘录”，即可在书写时录音；在回放该页面书写轨迹时，可选择同时播放该声音。

以下以一位译员的笔记为例，演示如何利用N2智能笔和ELAN软件分析其笔记。

5.笔记个案研究

1）研究对象

本研究对象为一名经过3年硕士口译学习并有2年口译实践经验的自由职业译员。实验材料为一篇关于“无人驾驶汽车”的汉语篇章，共一段，字数为227字。经难度控制，确保篇章内容在专业性和词汇难度方面不会对译员造成理解和表达的困难，原文由普通话标准的女声以中等匀速念出并录制成音频，总长度为1分10秒，原音结束时有“嘀”声提示。

2）操作步骤

（1）在实验开始前，打开iPad上安装的Neo Notes应用，将智能笔与iPad通过蓝牙进行连接。

（2）向译员说明实验要求，即听一段关于无人驾驶汽车的中文录音，同时用指定的纸笔做笔记，在“嘀”的提示音后开始后将原文口译为英语。②在正式实验前已用该智能笔记录过另一段中文篇章，以便译员熟悉智能笔的使用。

（3）在iPad所显示的相应记录页面开启“语音备忘录”，点击电脑里的原音音频开始播放，播放完毕后关闭音频。

（4）译员先做笔记，而后口译。

（5）译员口译完毕后，结束“语音备忘录”。

（6）请该译员根据自己的笔记讲解每一个记录的文字、符号、图形或线条（以下统称为笔记符码）的含义，笔者在带有原文文稿的纸张上圈出所记符码所对应的原文，如无明确对应则在文稿上注释其功能或含义。

（7）在iPad上的Neo Notes应用内点击笔记页面顶端的下拉菜单中的“重播”按钮，选择“声音”，请译员观看带原音的笔记记录过程，并据此进一步回忆记录笔记时的心理过程。（6）和（7）步骤中译员讲解笔记的过程予以录音，以备事后整理。

3）数据分析

笔者将iPad与苹果电脑连接，使用QuickTime Player的屏幕共享和录制功能将带原音和译语的笔记录制到电脑中，保存为.mov格式，使用音视频转换软件抽取视频文件的音频，保存为.wav格式。图1为笔记。

图1.笔记

将笔记视频和音频在ELAN4.9.2中打开并进行标注和分析。标注分为三个层次，分别命名为：笔记符码含义，笔记符码类型和笔记符码对应原音。标注界面见图2。

图2.标注界面

在笔记符码含义层，按笔记符码的起止时间分割出标注段，并按其含义和功能用中文予以标注，凡是在原文篇章中有对应的词汇一律以原文词汇为准，在原文中无明确对应词汇的按其意义或功能予以描述，并用括号以示区别。为方便分析，一个笔记符码一般对应于一个字或词所代表的概念，以其字形与周围字形的相对位置以及原文为判断依据。例如，符码“tho”对应原文的“尽管”，符码“：”标注为“（冒号连结）”，符码“／”标注为“（分隔）”。

在笔记符码含义层标注完成后，复制并重新命名为“笔记符码类型”层，将每个符码归类。本文将笔记分为六类：原语、目的语、混合语、数字、符号、分隔。其中，原语类符码包括汉字整字、部件、轮廓框架和不规范字，目的语类符码包括完整、部分、拼写错误的英语单词（组）以及缩略语。任何文字与符号、图形、线条的组合归入“混合语”类型，如“改′”，“N ”。所有因象形、会意、谐音或其他功能而使用的音标、标点、字形（除汉语和英语之外）、图形等都不再作进一步区分，统称为“符号”。①在进行类别标注时可先创建“受控词汇表”。在正式实验前已用该智能笔记录过另一段中文篇章，以便译员熟悉智能笔的使用。数字类符码指的是包含数字的概念，如“2030年”、“220 万”、“3.3 m 人”。在出现线条时，如果线条的用途是作为句间或符码间的分割，则归入分隔类符码。

符码对应原音层是在笔记符码含义层的基础上，保留与原文有对应关系的词汇，并在原文音频中找出其起止时间确定标注段。

在标注完毕后，利用ELAN的统计功能，将数据导出为.txt文本文件并借助Excel做整理。

4）数据汇报与讨论

据统计，该译员共使用了58个笔记符码，累计书写耗时56.02秒，平均书写耗时为0.97秒／符码。书写耗时同原音耗时（68.8秒）的比率为81.4%。6个类别的符码个数与各自的平均书写时长见表1。

表1.符码类型与平均书写时长

具体来说，以原语（汉字）记录的符码有17个，其中只有一个是完整的两字词汇“人为”，其余16个都是抽取原文词汇中的个别字，如“无车”表示“无人驾驶汽车”，“普”表示“普及”，“交事”表示“交通事故”。

以目的语（英文）记录的符码有14个，其中4个是不完整拼写的单词，如“tho”是“though”的片段，“y”表示“year”，有 10个是完整拼写的单词，如“dispute”。

以混合方式书写的符码只出现2个，一个是单个汉字“方”加删除线。该译员表示，听原音时根据自己的预测以为会出现“方便”，所以书写了“方”字，结果听到了“改变”，于是将“方”字删除。另一个混合语符码是英文字母n加下划线（表示now，对应原文的“现如今”）。

4个数字类符码中，3个表示总数的数值以汉语书写法记录，如“3.3万”，1个是年份。数字书写全部正确，译文也正确。

在16个符号类符码中，与原文有明确意义对应的符号有2个，1个是向下的箭头表示减少，一个是圆形加横线贯穿，表示“全世界”。另外14个符号／图形均没有明确意义指向，其中7个是冒号（表示主题或主语），2个是弧线（表示并列关系），1个是向右箭头（表示连接），4个是向下箭头（表示连接）。

就记录速度而言，在这六类符码中，符号的书写速度最快，平均耗时0.33秒，其次为混合语（0.58秒），画分隔线也只需 0.74 秒；而使用汉语、英语书写和出现数字信息时，则书写速度需要1秒以上，超过了整体平均书写耗时（0.97秒）。

从意义表征的角度来看，除去1个预测失败而书写的无效符码（方字删除）、14个没有明确意义指向的符号和5条分隔线，58个符码中有明确意义指向的有38个，意义表征率为65.5%。在这38个符码中，有37个与原文词汇有明确的对应关系，笔者继而计算出各符码的书写反应时。计算公式为：

书写反应时＝书写启动时间－原音出现时间

该译员的平均书写反应时为1.71秒。各类型符码的反应时见表2和图3、图4。

表2.符码书写反应时

图3.书写启动与原音出现时间的关系

图4.书写反应时

以上图表显示，该译员书写滞后于原音较长的是编号为 4、12、26、32 和 35 的符码（3.25—4.73秒）。笔者查看了这几个符码所在的原文片段和相邻符码，发现译员在书写 4（“if”）、12（“die”）、26（“反”）时都出现了未按照先后听到的顺序书写的现象（如图5所示）。

图5.部分笔记符码书写顺序

以符码4为例，原文为“……还存在争议，但是如果这类车辆普及……”，当译员画完箭头时，已同时听到“普及”，因此译员先记录了“普”字，而此时原文正说到“势必会给我们的生活……”，因此译员决定记录之前还存在记忆里的“if”。符码 32（“普”）出现较长的滞后现象（3.25 秒），这是因为前后几个符码都是用中文／英文书写，本身耗时较长，而且在表示“而无人驾驶汽车如果普及”时，译员用了3个符码，这也导致下一个小句继续滞后，符码35“交事”与原音也相差了3.25秒。值得注意的是，在每个滞后时间较长的符码后，该译员都能立即将紧跟其后的符码的反应时间缩短，如符码5的反应时为1.05秒，符码33的反应时为2.13秒，这说明他在做笔记时有很强的时间意识，能够快速决策，使自己的书写内容不会落后原文太远。

笔者接着将译员译文产出与其笔记和原文做比较，分析其笔记的有效程度，结果发现，该译员笔记中有明确意义指向的符码全部体现在译文中，且与原文信息保持一致。而从笔记与记忆的协调而言，全文有3个细节性概念（很多，每年，数百万）未在笔记中体现但出现在译文中，说明该译员利用记忆记住了一些细节。尤其是“数百万”，这个概念出现在最后一个小句中，而译员当时已经滞后原文3秒多，此时他没有一味追求记录的完整，而是只书写了“生”（表示“生命”）而把“数百万”记在脑中，在提示音结束后1.8秒即开口翻译，这再次说明他有很强的时间控制意识。

总体而言，该译员的笔记决策过程迅速有效，绝大部分的信息点都记录了下来，而且听、记的反应速度较快，平均保持在2秒以内。当记录出现滞后时，他会主动选择放弃记录个别细节而用脑记，以维持正常的笔记加工速度。在记录时使用原语和目的语的比例差别不大（17∶14），说明他在听原文时即在思考如何用译文表达，而且在产出译文时不拘泥于所记录的语言形式，而是会根据整句结构改变对概念的表述（例如，原文为“人为的错误”，记录为“人为 mistake”，而译文为“human-related factors”）。而其应改进的地方，是过多使用冒号和箭头表示连结，而且没有明确表明连结的类型，因此使用效果较差。在笔记中，他已经较好地运用了空间布局和分行缩进来表示概念间的相对关系，因此，无明确意义指向的冒号和箭头属于冗余符码。其本人也表示，使用冒号和箭头连结已成为书写习惯，应该予以改正。

5）启示

从以上示例可以看出，与传统研究手段相比，数字辅助技术分析口译笔记借助智能笔，从视频、音频、文本三个维度再现口译笔记过程，为口译过程研究提供更丰富的研究窗口。近年来，键盘记录法和眼动追踪技术极大地丰富了翻译研究的内容，充实了数据，有效地提升了研究结果的可靠性，是新技术推动翻译研究的有力例证。而本研究介绍的数字辅助技术可保存和还原笔记文本的产出过程，且与原语音频在时间维度上保持一致，研究者可以从视频、音频、文本三个维度交叉校验研究数据，最大程度上实现对口译笔记认知过程的还原，这为口译能力研究、口译决策的认知过程、译者的监控机制等口译重难点课题提供了新的研究路径和窗口。如本文示例中符码35与原音相差3.25秒，但该译员能立即采取策略将反应时间缩短，这表明他做笔记时有很强的时间意识，能够快速决策、动态调整，使自己的书写内容不会落后原文太远，因此，此视频片段能揭示职业译员的自我监控和决策判断过程。再如，与借助笔记文本进行有提示的回忆（stimulated recall）相比，与原音同步的笔记回放功能在最大程度上为译员构建了与其记录笔记时相似的情景，使译员更容易回忆起记录过程中的心理活动和决策动因，这无疑为内省法提供了有益的补充，使研究数据更为准确、可靠和详实。

此外，数字辅助技术分析口译笔记在口译教学上亦有其独特优势。首先，动态的笔记更形象地展示了笔记文本产生的过程，学生在观摩职业译员的笔记记录过程的视频时更容易产生“代入感”，从职业译员的角度去评判和思考笔记。第二，实时记录和重现笔记书写过程为课堂即时形成性评估（杨华、文秋芳，2013）提供了更为鲜活和宝贵的评估依据，使教师和充当评估者的学生能更全面地考量被评估者对笔记技能的掌握程度。第三，数字化的笔记也更利于培养学生的自主学习能力和合作学习能力。学生可借助ELAN等工具对本人或他人的笔记进行标注，利用量化数据对笔记的效率和效果进行自我／同伴评估和反思，尤其是关注笔记与原音之间的时间差和记录过程中的停顿现象，实现学习和互鉴。

6.结语

作为交替传译的核心技能之一，对于笔记的研究一直囿于技术手段的匮乏和落后而无法突破。本文以Neo smartpen N2智能笔为例，介绍了这一新科技成果的主要特点、功能及其在口译研究中的运用前景。从本文的个案研究可以看出，智能笔与ELAN标注工具的结合将为口译过程研究开启新的研究空间。相信随着智能笔技术的日臻成熟，口译笔记研究将朝着动态化、多维度的方向拓展，更多地关注过程研究，细化对笔记记录过程的观察和分析，从而还原笔记记录时的心理决策过程并更好地指导教学。

Andres， D.2002. Konsekutivdolmetschen und Notation.Frankfurt：Lang.

Jakobsen，A.L.1998.“Logging time delay in translation”.In G.Hansen （ed.）.LSP Texts and the Process of Translation （Copenhagen Working Papers in LSP Vol.1）.Copenhagen：Copenhagen Business School.

O'Brien，S.2013.“The borrowers：Researching the cognitive aspects of translation”.Target 25.pp5-17.

Orlando，M.2010.“Digital pen technology and consecutive interpreting：Another dimension in note-taking training and assessment”.The Interpreters'Newsletter 15.pp71-86.

Orlando，M.2014.“A study on the amenability of digital pen technology in a hybrid mode of interpreting：Consec-simul with notes”.Translation ＆ Interpreting 6.pp39-54.

Orlando，M.2015.“Digital pen technology and interpreter training，practice，and research：Status and trends”.In S.Ehrlich ＆ J.Napier （eds.）.Interpreter Education in the Digital Age:Innovation，Access，and Change.Washington DC：Gallaudet University Press.

Pöchhacker， F. 2004. Introducing Interpreting Studies.London／New York：Routledge.

Rozan， J.1956.La Prise de Notesen Interprétation Consécutive .Geneva：Georg.

戴炜栋、徐海铭，2007，汉英交替传译过程中译员笔记特征实证研究——以职业受训译员和非职业译员为例，《外语教学与研究》第2期：136—144。

冯佳、王克非，2016，探悉翻译过程的新视窗：键盘记录和眼动追踪，《中国翻译》第1期：12—18。

王建华、郭薇，2015，口译笔记认知与非英语专业学生交传质量的相关性，《外语与外语教学》第4期：68—74。

肖开容、文旭，2012，翻译认知过程研究的新进展，《中国翻译》第6期：5—10。

杨承淑，2010，《口译的信息处理过程研究》，天津：南开大学出版社。

杨华、文秋芳，2013，课堂即时形成性评估研究述评：思考与建议，《外语教学理论与实践》第3期：33—38。

杨柳燕、苏伟（主编），2014，《口译教程（第 2版）》，上海：上海外语教育出版。