翻译能力测试构念和效度研究∗——以俄语翻译硕士专业学位为例

韩博文

（北京外国语大学俄语学院，北京 100089）

提 要：截止至2020年，全国共有21所院校开设俄语翻译专业，教学中翻译能力的界定一直是翻译学者关注的问题之一。本文以PACTE翻译能力模式为基础，对俄语翻译硕士专业的翻译能力进行分析和讨论，并在此基础上，对测试构念和效度两方面问题进行剖析，以测促评，以测促建，对俄语翻译硕士专业教学起到积极的反拨作用。

1 引言

新世纪以来，国内高校纷纷设立翻译硕士专业学位（以下简称MTI）或成立高翻学院。2006年经教育部批准，国内3所大学首次获批作为试点开设英语MTI，“招生规模从2007年约350人，发展到2017年超8000人”（仲伟合2017：7－10）。俄语MTI招生开始于2009年。

MTI的核心培养任务是提高学生的翻译能力，而对翻译能力的测试成为翻译专业教学中的核心问题，对于“教什么”和“怎么教”有较强的指导作用。翻译能力测试在很大程度借用语言测试理论，测试的“构念与效度”是以测试分数为基础对假设的能力做出推理判断。它主要研究两个方面的问题：一个是从正面提出能力构成作为翻译测试的判断依据，另一个方面是通过实验证据对测试进行效度验证。

2 翻译能力构念的界定

2.1 翻译能力

翻译能力是通过翻译过程和结果，对译者内在能力的一种理论假设，是一种抽象概念。翻译能力一直是翻译理论研究关注的焦点问题之一，国内外诸多学者从不同视角提出诸多翻译能力模式。国外学者对翻译能力中“能力”概念的界定从不同视角有着不同诠释，Pym（1992）和Hatim（1997）等学者认为翻译能力中的“能力”是一种技能（ability或skills）或者是属于应用（performance）性质。依照Chomsky对行为表现和“理想说话者、听话者”语言能力的区别，也有学者认为翻译能力中“能力”应为competence.Campbell经过多次修正，认为翻译能力是以译者为研究中心，翻译过程为研究对象的一种能力，包括译者的性情、熟练程度和监控能力（Campbell 1998：8－26）。

国内学者结合翻译研究本地化特点对翻译能力概念进行界定，认为翻译能力是由若干个相互关联、作用、补充、辨识的要素子能力构成。姜秋霞和权晓辉（2002：11－15）认为翻译能力是由语言能力、审美机制能力、转换能力和文化能力构成。刘宓庆认为翻译能力是源语的语言分析能力与文化思辨能力通过审美判断能力转换成译语的双向表达能力与逻辑校正能力（刘宓庆2003：34）。多项子能力的观点越来越被研究者接受，即翻译能力可以拆分成若干多元要素次能力。

2.2 俄语MTI专业翻译能力构念模式

巴塞罗那自治大学的PACTE研究小组成立于1997年10月，以西班牙语、英语和加泰罗尼亚语等语种为研究对象，利用实证—实验研究方法，一直致力于翻译能力的特性、组成和习得过程及评估等问题的研究。该小组借用“语言能力”构念，基于假设前提，认为翻译能力不仅是一种双语技能、交际能力或主观条件，提出TC多元要素模型，是迄今为止最为系统、复杂的可视化翻译能力模型，该模型被翻译界研究者广泛接受，对于教学中翻译能力的界定有较强的指导意义。TC模型由6个要素组成，6要素间是一个动态、相互作用的系统，如图1所示（PACTE 2008：106－107）。

图1 TC模型要素图

翻译专业教学核心任务是培养提高学生的翻译能力，而测试翻译能力的核心就是将翻译能力拆分成子能力多元要素进行评估，测试命题时围绕翻译能力多元要素，通过翻译实践操作体现。

3 俄语MTI专业背景下的翻译能力测试

3.1 翻译能力测试实践

我国现有翻译测试有两类，第一类为教育部与北京外国语大学联合举办的全国外语翻译资格考试，只针对英语一个语种；第二类是人力资源和社会保障部委托中国外文出版发行事业局组织和实施的全国翻译专业资格（水平）考试（CATTI），涵盖俄语、日语、阿拉伯语、西班牙语、英语、法语等8个语种。CATTI分为4个等级，分别对翻译口译和笔译能力进行测试和评价，俄语MTI专业学位的研究生入学前如未取得二级口译或笔译证书，学习期间必须参加口译或笔译二级测试。我们拟以二级笔译考试为例，对CATTI测试的内容进行介绍。俄语MTI在校生免试“笔译综合能力”，只需参加“笔译实务”的考试，考试时间为180分钟，题型为2篇俄译汉，约八百个俄语单词，2篇汉译俄，约四百个汉字。

CATTI二级笔译俄语测试中“笔译实务”题型较为单一，以篇章翻译来考查译者的翻译技巧和策略，无法全面评测学生的俄语翻译能力，忽略测试的效度要求。俄语MTI在校课程“笔译综合能力”的题型为阅读理解、词汇语法选择题和完形填空，着重测试学生的语言能力。翻译活动是在真实情景中语际间的转换，因此应确保目标语使用特征与测试特征具有一致性、真实性和多样性。该考试中译者的超语言子能力要素、工具子能力要素等考查不能有效、客观地反映出来。

3.2 翻译测试的分类

根据测试题型的类别差异，将翻译测试分为分立式测试和综合测试（徐莉娜1998：31）。分立式测试方法一般为客观题，具有较高的信度，题型为选择、判断、改错，考查学生的翻译知识和技能。综合测试一般为主观题，题型为译评题、篇章翻译、问答题等。根据测试目的与终生学习教育理念，测试分为终结性测试和形成性测试，终结性测试是课程学习的效果，形成性测试是课程的发展。

3.3 测试构念的提出

构念为测试提供一个概念特征框架，是检查人类行为特质或变量的假设性概念（AERA et al.2014：11－15）。测试构念则是以测试为显现基础，将不可测量的行为过程变为可观测有意义的阐释，是测试效度研究的必要先提条件。测试构念内涵特点有两方面的显著特质：第一，测试的设计者从理论和实证两个方面，结合研究结果提出理论假设；第二，测试构念通过可观察事件表现，翻译能力测试构念是由若干相关联子能力要素集合成的构念域（construct domain）。

俄语MTI专业测试以学生学习成果为考察对象，为保障测试和评估具有较高的可行性、信度和效度，要结合职业翻译评估方法。国内开设俄语MTI院校中，测试文本体裁多是文学翻译语体。根据PACTE的TC模型，对于翻译知识子能力、超语言子能力、工具子能力等方面考察还不够全面。我们应结合不同体裁文本，针对不同目标，使用不同的评估标准对翻译能力各项子能力要素进行测量考查。

我国《翻译专业硕士学位基本要求（2018）》（以下简称《要求》）对MTI专业明确规定学生能力的考查目标，学生应具备“语言能力、翻译能力、跨文化交际能力、百科知识获取能力及团队协作能力”。翻译能力测试构念以效度为导向，结合TC模型对翻译能力构念界定和《要求》为基础，对测试的内容、方式和评价等进行设计。

3.4 表征行为子能力构念测量

翻译测试根据测量原则、理论和目标能力而判断测试是否涵盖翻译能力构念中的各子能力要素。区别于语言测试，翻译测试功能具有多重性特点，对6个表征行为子能力进行考查。我们以俄语MTI专业为例，各表征行为子能力与测量要素间关系概况如表1所示。

表1 俄语MTI专业翻译能力表征行为子能力的测量

3.5 测试的设计与实施

俄语MTI翻译能力测试是一个教学评估过程，在TC模型多元要素指导下，我们对翻译测试设计原则、试题题型、评分方法进行阐释。

3.51 试题设计原则

翻译测试的试题设计原则应遵循一致性、多样性和真实性原则以及应有良好的测试效度。一致性指对翻译能力多元要素的测试需与教学大纲知识内容一致，测试的特征与目标语使用任务特征需保持一致（Bachman 1996：23）。多样性指在目标语言使用域，语段和语篇选取上保证句法、语用结构的多样性。真实性指测试任务（test task）和真实的目标语使用任务（TLU task）之间的相关联程度（同上：46）。

基于认知效度和效度整体观，翻译测试效度是对考试结果做出判断和决策提供的验证证据。既要关注测试效度的统一性，也应考虑效度的差异性，在测试中应充分将TC模型的子能力元素纳入效度考查范围。

3.52 测试题型

科学的测试题型是保证测试效度的基础，翻译测试以诊断翻译能力为目的，命题的难度为重要依据。PISA2015测试框架提出，认知需求、解答问题所需知识数量、术语的复杂程度与命题难度密切相关。参数设定法指根据源语的题材、文化符号、语境特点来确定试题难度。根据翻译测试分立式测试和综合测试分类观点，除CATTI测试规定的题型之外，常见的测试题型还包括：（1）判断正误：考查学生的汉俄互译基础知识，试题错误类型不仅局限语言上，还要涉及语境得体使用的语用能力。（2）译文评述：考查学生翻译知识深度与综合分析能力，对指定语篇的译语进行翻译评论，用辩证、动态的视角来审视翻译过程和译文的巧拙。

3.53 评分方法

关于翻译测试的标准和评分方法，不同的MTI培养院校和翻译组织都有各自的评价体系。为保证客观、公正、准确评估翻译能力，翻译测试评分方法我们采用“整体印象评分法和分项评分法相结合的方式”（严明2012：27－28）。整体印象评分法是评卷人根据翻译任务总体完成效果打分，即依据设定的译语若干个翻译评分参数，其中参数包括：源语信息是否有遗漏、语言和语域选择是否适当、语法是否正确、语义是否清晰、有无严重错误干扰译语的理解等。参照美国译者协会（ATA）研发的5级评分等级量表，依据译语的完成效果，从源语的理解和译语的表达视角，我们将整体印象评分划分成5级评分等级量表，其中5级为最高级大师级。分项评分法是评卷人通过分析翻译文本和任务过程所表现的6个维度子能力作为评分指标，赋予每个子能力要素一定的权重／分值。测试目的不同，子能力要素权重／分值配比也不同。分项评分法兼顾考查学生翻译子能力要素不均衡的发展，适用于以教学成果检验为目的的诊断方法。

在俄语MTI翻译能力测试中我们采用整体印象评分与分项评分相加，将二者得分合成总分的评分方式。该评分方式的优点在于一方面可以将翻译能力进行总体判断，另一方面可以将翻译能力分解成可以测量的表征行为进行考查，并据此准确地推断学生的翻译能力。

4 翻译能力测试效度研究

4.1 测试效度框架研究

效度因素反映测试目的成功实现程度，是否考查翻译能力预期内容，效度是测试质量的有效阐释。Weir的社会认知效验框架如图2所示，将理论框架从社会、认知与评分3个层面对测试效度进行验证，体现出翻译测试中言语交际功能的社会属性和认知过程。语境效度、理论效度、效标关联效度、评分效度和后效效度彼此间关联，用于相关效度关系做出理性假设（Weir 2005：12）。该框架按照测试的时间顺序，将效度验证过程分为“测试前、实施阶段和测试后”3个阶段（严明 吕晓轩2018：100）。本研究以俄语MTI课程“俄汉经贸翻译”测试为证据来源，为翻译能力测试效度验证提供一个理论框架。

图2 社会认知校验框架（Weir 2005）

4.2 测试效度诊断：以俄汉科技翻译为例

“俄汉科技翻译”是针对俄语MTI二年级上学期开设的一门课程，测试对象人数为26人，测试时间为120分钟，试卷由5个部分组成，试题内容侧重考查翻译专业技能、翻译专业知识和科技相关专业知识，命题性质为产出性试题与接受性试题相结合。俄汉科技翻译题型设计如表2所示。

表2 俄汉科技翻译测试试卷构成

4.3 基于认知效验框架下效度验证模式

本研究收集俄汉科技翻译测试的相关数据，结合调查、访谈等方式，基于Weir的社会认知效验框架，从语境效度、理论效度、效标关联效度、评分效度和后效效度5个效度维度对翻译能力测试进行效度验证。

第一，语境效度是测试内容对于学生所学知识掌握程度及科技语体翻译能力的水平判断，测试的翻译涵盖测试任务“所提出的语言要求、对话者的需求和任务情境要求”（Weir 2005：19）。语境效度是教学与测试间一致性的效度验证，反映测试内容与预期项目的关联。阅卷专家通过教学大纲与测试分值比例、试卷构成之间的契合度来评价测试的语境效度。

第二，理论效度是5个效度验证的核心效度，是测试构念可操作化检验的重要验证手段，用于验证测试是否达到预期的目的。俄语MTI测试构念是对翻译能力的测量，依据本文对翻译能力构念的界定，结合测试实证做出测试推论的适合性效度。理论效度反映学生的双语次子能力、翻译的技巧和策略，互文转换和功能对等表征能力。

第三，校标关联效度是测试工作结果与外部校标关联性的解释说明，外部校标是学生另外一门考试的成绩，测试成绩与外部校标间的相关系数体现出测试目标的校标关联效度。学生提供的外部校标成绩应与所做测试相关联，从而保证测试结果校标关联效度的解释具有公平性和概推性。

第四，评分效度是主观题的评分验证。俄汉科技翻译考试主观题评分是由两位专家根据整体印象评分和分项评分得分相加的综合评分方法进行背对背打分，利用SPSS 20.0软件对结果的评分效度进行校验。回访结果进行校验表明KMO值大于0.9，为0.905，Cronbach'α系数显示内部一致性在0.815－0.837之间，表明该课程测试具有良好的评分效度。

第五，后效效度是测试结果对教学方法和学生学习效果的影响，通过对测试结果和测试后学生调查反馈信息的收集，用于分析测试结果预期和非预期教学反拨作用，指导学生对自我翻译能力的有效认知和改进，进一步提高教学方法和内容。

5 结束语

俄语MTI教学的核心任务是培养学生的翻译能力，翻译能力测试是将“翻译能力”拆分成可以量化评估因素的科学衡量过程，而效度验证是保障测试质量的有效手段。本文依据现有测试理论与教学经验，确定俄语MTI专业测试的原则、设计与实施和评分方法。并以“俄汉科技翻译”课程为例，阐释翻译能力测试的效度研究框架。希望通过本研究进一步推动俄语MTI专业教学质量，对教学起到积极地反拨作用。