从需求分析到行业评分标准:LSP测试探讨

2011-09-22李梦莉

重庆交通大学学报（社会科学版） 2011年1期

关键词：评分标准用途受试者

李梦莉

(宁波大学外语学院,浙江宁波315211)

从需求分析到行业评分标准:LSP测试探讨

李梦莉

(宁波大学外语学院,浙江宁波315211)

LSP(专门用途语言)测试是语言测试的一个分支,属于交际语言测试和标准参照测试。LSP测试的特点是需求分析、专业针对性、真实性、行业评分标准。以澳大利亚日语导游测试的设计过程为例,说明LSP测试的设计过程和特点。

专门用途语言测试; 特点; 设计过程

一、引言

ESP测试的存在同ESP教学一样,一开始就引起诸多争议。一些观点认为,专业英语与通用英语没有明确界限,专业英语只是通用英语加技术词汇,因此,不需要专业英语测试,通用英语测试可将专门用途英语包括其中。对ESP测试还有更多反对的声音:因为测试中专业知识会影响语言能力的测评,所以ESP测试没有信度和效度;ESP测试没有理论依据;ESP测试实施中存在实用性、可行性问题[1]。在此,笔者认为没有必要再对ESP测试存在与否进行辩论,也不愿刻意找出ESP测试与EGP测试的区别。尽管ESP测试有其固有的属性——专业针对性和知识性,但它本质上属于语言测试,不是专业知识测试。虽然ESP测试的存在理论上容易引起争论,但实践中有它存在的依据和生命力——现实需求。我们对ESP测试的注意力应该从争论它是否有必要、是否可行,转向怎样完善ESP测试,怎样为ESP测试设计和实施建立科学的理论框架[1]。若以一种开放的态度对专门用途英语测试的具体问题做更多的探索,会有益于对这一测试的进一步认识[2]。正是基于以上考虑,本文将客观地描述LSP测试的诸多特征,尽管有的特征并非LSP测试所独有。

二、LSP测试的本质属性

(一)属于交际语言测试

在专门用途语言(LSP)测试中,测试内容和方法来自于对专门用途目标语使用情景的分析,受试者完成测试任务既需要有语言能力和专业知识的交互,又需要语言能力与测试任务的交互[3]。LSP测试的定义决定了它的交际性特征。在理论上把LSP测试与交际语言测试分开是不可能的。在《交际语言测试》一书中,Weir这样描述:在测试交际能力时,我们在特定语言使用语境(specific contexts of use)中,在一定测试条件限制下(particular test constraints)对行为抽样进行评价,以推断受试者的交际能力或语言能力[4]。在这个定义中,有一些关键词——交际语言能力、特定的语言使用语境、测试限制条件。LSP测试涉及所有这些概念,我们将把它作为交际语言测试的特殊情况[3]。因此,交际语言测试所具有的特征,即重视需求分析、强调真实性、倾向于标准参照、接近行为测试等等,在LSP测试中均得到体现。所不同的是,交际语言测试中的交际能力转换成了LSP测试中的专门用途语言能力。

(二)属于标准参照测试

标准参照测试的目的根据受试者是否具有圆满完成某个任务和一系列任务的能力来为考生分类,这就意味着鼓励学生根据有意义的标准来评估他们的进步[5]。标准参照考试往往需要事先确定一系列标准和及格线。达标的人意味着达到目标要求,未达标的人意味着重修课程。标准参照分数解释模式有以下优点:标准具体化为“能做什么”,这样对考试使用者和考生都有明确的解释意义;标准不会因人而异,每次考试分数都以此为解释依据[6]。

LSP测试很重要的一个概念就是标准参照测试。尽管常模参照和标准参照都与LSP测试有关,标准参照测试的设计过程需要对目标语使用情景进行详细分析,所以与LSP测试有更直接关系。此外,还需要考虑到LSP测试的基本概念的真实性问题。标准参照测试为LSP测试提供了更重要的视角,即准确描述作为行为标准的能力水平和内容范围。设计标准参照测试不仅要对专门用途目标语使用情景的特征进行准确、详细的描述,还要明确评价测试表现的标准。实际上,评价标准和评分等级的制定也许是LSP测试中最重要也最令人头疼的问题[7]。评分标准的精确定义是LSP测试的必要部分,标准参照测试程序为确定这些标准提供了一个系统的方法。

三、LSP测试特征分析

(一)重视需求分析

测试界学者普遍认为,对某一专门用途英语的语言能力界定,应建立在对目标语实用情景(TargetLanguage Use)分析或需求分析的基础之上。ESP测试设计最初的工作就是对考试目的、受考因素和行业需求进行分析。ESP测试设计者应事先了解某一专门用途英语的实际使用者在目标语使用情境中应具备什么样的语言能力、什么样的专业知识,完成什么样的任务。这项工作可能需要测试人员去记录真实语境中的话语,采集这一专业领域专家的意见,以确定这一专门用途语言的语域、语体、专业知识、语言技能等[2]。

分析目标语使用情景包括五个步骤:定义问题,初步调查,原始资料收集,二手资料收集,分析目标语情景下的语言特征和任务特征。LSP测试设计者通过需求分析,找出受试者可能碰到的交际情景,归纳语言和情景特征,以获取测试设计所需要的材料。更有趣的是,在LSP测试中,测试方法也常常来自于需求分析。语言使用者在目标语情景下完成的典型任务也可通过参照任务特征转换成测试任务。

总之,需求分析贯穿ESP测试的始末,从测试内容、测试任务、测试方法的确定,到评分标准的制定,都离不开需求分析。

(二)具有专业针对性

专门用途语言能力包括语言能力、策略能力和背景知识[3]。其中背景知识就是指与特定专业和职业有关的专业知识。语言知识和内容(或背景知识)的交互是LSP测试最关键的特征,因为在普通语言测试中,背景知识通常被看作意外的变量,容易导致测试误差,所以应尽量减少其作用。在LSP测试中,背景知识是LSP能力必要的、不可分割的一部分。LSP测试的专业针对性来自LSP的固有特点[1]:需求上满足特定的学习者;内容上与特定专业和职业有关;词汇、句法和语篇放在与特定专业、职业相关的活动的语言运用中;必须与通用英语有鲜明的对照。

EGP测试不能代替ESP测试原因在于:语言表现(language perfor mance)因语境不同而不同;专门用途语言更精确[3]。研究者们普遍赞同语言表现随语境和测试任务的变化而不同。此外,任何专业领域的语言都有其词汇、语义、句法甚至音系特征,因此行业内的人能够说或写一些在外行看来无法理解的东西。

在LSP测试中,语言知识与专门用途背景知识的关系体现在:(1)测试输入应该具有专业性,以确保受试者调动合适的话语语域。(2)测试内容专业性越强,交际行为中LSP背景知识与语言知识交互时,LSP背景知识所起作用越大。(3)在受试者充分利用他们的LSP背景知识前需要有一定的语言能力。(4)既然测试设计者不容易评估输入材料的专业性,他们需要求助于学科专家。正如Rea-Dickins所说,与从业者在专业领域的合作似乎是设计专门用途语言测试的前提,因为专业领域所包含的语域已经超出了语言学家所能独立做判断的范围[8]。

最后，当出现生猪发病较重的情况，应当执行联合给药治疗。在进行药物选择时，应当规避有可能产生抗药性的常用抗菌药，着重选取青霉素、氯霉素、环丙沙星、特效米先等药物进行治疗，依据具体病症选取适合药物、坚持对症下药，并密切观察病猪症状，以便针对突发问题进行及时有效治疗。

综上所述,LSP测试与普通语言测试具有共性,都属于语言测试的范畴,最大的区别在于专业知识的介入,专业从业人员参与设计测试,参与评分。当然,LSP测试内容的专业程度具有相对性。

(三)强调真实性

真实性是任何语言测试所具有的特征,而ESP测试的真实性有其独特表现:ESP测试中的受试者一般是实际工作中的目标语使用者;测试材料与受试者在现实生活中需要处理的材料在专业内容和体裁风格上比较一致;受试者所要完成测试任务与目标语使用情景下的任务相似;ESP测试情景模拟目标语使用情景[1]。

真实性不止存在于对真实文本和任务的模拟中,即情景真实性,还存在于文本、任务特征与受试者语言能力的交互中。换句话说,真实性并不是口语文本和书面文本的固有特征,也不是不同职业、行业和学术领域的任务所具有的特征。只有当测试题目、提示和输入材料所建立的交际情景足以让受试者的专门用途语言能力得到参与时,真实性才得以实现[3]。LSP测试的目的决定了LSP测试对真实性的较高要求,真实性是LSP测试的效度保证。

(四)行业评分标准

对于交际目的明确的ESP测试来说,评分标准不仅要考虑语言本身,更应该考虑的是对交际任务的完成程度。要对ESP测试任务的完成程度进行判定,需要着眼于考试的目的、用途和测试使用者等各种因素[2]。在LSP测试中,测试内容和方法总是来自于对目标语使用情景的分析,但测试表现评分标准却并非出自同一来源。为此, Douglas认为,LSP测试评分标准也应该来自于对目标语使用情景的分析,并使用了行业评分标准(Indigenous Assessment Criteria)的概念,行业评分标准是指学术或职业领域的专家们评价新手及其同事的语言交际能力时所运用的标准[9]。

不管是普通用途还是专门用途测试,评分标准在传统意义上都是源于语言知识和心理测量学的相同理论。但是,在LSP测试中,目标语使用情景可能提供从业者认为重要但语言测试人员却视而不见的标准。因此,LSP评分标准不仅来源于对交际语言能力的理论理解,还应来源于对目标语使用情景的实证分析[9]。来自澳大利亚的行为测试职业英语测试(Occupational English Test,OET)一开始就使用了具有语言倾向的评分标准,有文件规定OET测试语言能力而非医护能力,医护能力放在第二阶段由医疗专家负责。这种分离测试尽管从政策的角度具有一定意义,但是用基于语言理论的评分标准来评价医疗行业从业人员的语言能力,而不考虑测试内容和方法及医学语境,可能存在严重问题。在OET开展6

年后,测试设计者就收到了许多抱怨,一方面来自对海外学生进行临床测试的医生,另一方面来自有海外医生的医院负责人,原因在于那些通过OET测试的海外医生所具有的英语能力不能胜任与病人和同事的交流。究其原因,可能是测试任务对真实世界任务不可避免的简化(simplifica

四、LSP测试举例

以上我们已经谈到LSP测试的各种特征,下面以墨尔本大学语言测试研究中心设计的Japanese Language Test for Tour Guides(JLTTG)为例,来具体说明LSP测试设计的过程。

(一)测试目的

JLTTG属于日语导游高级口语考试,该测试不仅需要测试语言能力,还要测试受试者是否具有在导游—游客交互中得体的交际能力。JLTTG属于行为测试,要求受试者在模拟的实际目标语任务和情景中进行展现。

(二)测试设计

测试设计的第一个阶段是对日语旅游市场导游/游客交流中的重要言语行为和互动模式进行分析。通过两个途径实现:第一,得到允许伴游(由日语本族语者和非本族语者导游),对交际行为做笔记或者录音以便以后分析;第二,通过查阅有关旅游行业日语的文献以及对行业代表(导游和雇主)进行系统的访问来补充一手数据。通过所收集的信息,草拟出最典型的互动形式。这些互动形式再反馈给一组专家,专家由旅游行业的代表(雇主和导游培训者)和有旅游日语专业知识的语言学家组成,他们将对列出的任务的合适性和代表性进行评论。这个阶段实际上属于需求分析阶段。这一阶段确定导游可能遇到的互动形式和这些互动形式可能出现的语境。通过这一阶段的分析得出以下测试结构:第一部分:介绍,即介绍与个人有关的事情;第二部分:选择旅游(帮助游客对自由安排日的旅游线路和景点做出选择);第三部分:处理棘手问题,即能够处理游客在旅游中可能碰到的问题;第四部分:文化陈述,即就文化有关的话题进行即兴演讲;第五部分:给出指示,即给游客提供详细的知识和信息;第六部分:日程表和旅游景点介绍。

第二阶段是为每一测试部分设计测试题目。在编写任务时要确保每一个任务都代表了受试者可能遇到的情景。在这一阶段确定成绩报告程序将是描述性的,不仅包括对受试者语言能力的描述,还包括受试者成功完成任务要求所需总体能力的描述。这一决定是根据行业代表的一致意见,他们认为语言不能与其他方面的表现分开,在导游交流过程中,具有有限日语能力的导游可能通过其它特点弥补。这里的其它特点指能够影响听者对测试行为表现做出判断的非语言交际技巧和特征。McNamara通过区别两种不同的语言行为测试(strong andweak),指出这些特征的作用:第一,在真正意义上的行为测试中,语言能力只是评估测试表现的诸多标准之一。测试表现将通过真实世界标准(real-world criteria),即任务的完成程度来评判。这种测试需要语言作为测试表现的媒介,测试表现本身是评价的目标。一定的语言能力是成功完成任务的必要但不是充分条件。交际任务表现如劝说、安慰等将通过真实世界标准来评价(如我被说服了吗?我感到安慰吗?),同时还包括对一些非语言因素如受试者的个性和同情心等进行评价。第二,表面意义上的行为测试目的在于通过任务表现来获取语言样本,从而评价语言能力[7]。

因为JLTTG测试项目包括对语言和任务完成度的评估,属于真正意义上的行为测试。在设计试测项目时,从以下方面收集反馈意见:(1)询问行业代表的意见,包括测试题目和输入以及给测试考官的信息和指令是否能有效地使受试者(不管有无导游经验)产生自然的交流;(2)进行有限制的试测前测,收集受试者的反馈,确认测试中的交际是否反映了真实情景中的交际;(3)向参加试测的受试者进一步收集关于测试效度的信息。

(三)制定评分标准

由日语教师、日语导游培训师和旅游调解员组成的专家组通过反复分析试测录像,从而制定评分标准和等级。

第一,语言标准。包括流利度,语法和表达,得体的礼貌(包括敬语的使用)、理解、词汇的广度、发音。不同阶段测试中不同的标准会被强调,如礼貌和理解在更具交际性的测试阶段来评价,而流利度和语法等则在更独白的测试阶段进行评估。

第二,任务完成标准。考虑到评分员在评估任务完成度(task-fulfillment)时所考虑的各种因素的平衡因人而异,评估任务完成度最有效的方法不是确定受试者表现出应该有什么和不应该有什么,更不用界定这些能力的等级,评分标准主要是列出一系列问题供评分员参考。这些问题反映了专家组的一致意见。下面是JLTTG第二部分的任务完成标准:

Phase 2:Task fulfillment

Is the advice helpful?

Is there adequate detail?

Does the guild give enough detail without extensive prompting?

Is the guide sympathetic to my indecision?

Does the guide help me make up my mind?

LSP测试通常涉及到对某一行业从业人员语言能力的评价,从测试目的来说与通用语言测试有区别。在LSP测试中,专业知识成为构念定义的一部分,而在通用语言测试中,需要找出所有受试者都熟悉的语言共核(common core)。LSP测试的另一特点是行业评分标准的引入,行业评分标准已经超出了对语言能力的单一评价,而是用行业眼光来观察受试者用特定语言从事某个行业的整体素质。尽管如此,我们不得不承认LSP测试只是语言测试的一种分支,本质上属于语言测试。上述很多LSP测试的特征同时也被通用语言测试所共有,如交际测试、真实性、需求分析、标准参照等都不是LSP测试所特有的,因此有人认为LSP测试没有自己的理论依据,但它本质上既然是语言测试,也应该符合语言测试有用性的评价标准,如具有信度、效度和可行性等。

[1] 黄大勇.ESP测试的特征、存在依据和设计原理[J].考试研究,2007,(3).

[2] 唐雄英.ESP能力测试问题再探索[J].外语与外语教学,2004,(6).

[3] Douglas D.Assessing Language for Specific Purposes[M]. Cambridge:Cambridge University Press,2000.

[4] Weir C.Communicative Language Testing[M].New York: Prentice Hall,1990.7.

[5] Hughes A.Testing for Language Teachers[M].Cambridge: Cambridge University Press,1989.18.

[6] 邹申,杨任明.对标准参照考试的再认识——兼谈其在考试反拨效应中的积极作用[J].外语电化教学, 2006,(10).

[7] McNamara T F.Assessing the second Language proficiency of health professional[D].PhD thesis,University of Melbourne,1990.

[8] Rea-Dickins P.Testing doctor's written communicative competence:an experimental technique in English for specialist purposes[J].Quantitative Linguistics,1987,34:185～218.

[9] Douglas D.Language for Specific Purposes assessment criteria:Where do they come from?[J].Language Testing, 2001,18(2):171～185.

[10] Jacoby S,McNamara T.Locating competence[J].English for Specific Purposes,1999,18(3):213～241.

From Needs Analysis to Indigenous Assessment Criteria:On LSP Test

LI Meng-li
(School of Foreign Languages,Ningbo University,Ningbo,Zhejiang 315211,China)

LSP(Language for Specific Purposes)test is a branch of language test,which often belongs to communicative language test and criterion-referenced test.The following characteristics of LSP test:needs analysis,specificity,authenticity,indigenous assessment criteria,are analyzed.Then Japanese Language Test for Tour Guides(JLTTG)in Australia is taken as an example to further elaborate the designing process of LSP test and its characteristics.

LSP test;characteristics;designing process

H319

1674-0297(2011)01-0141-04

(责任编辑:张璠)