民航英语口语测试对英语学习反拨效应的实证研究

曹佳,王爱国

摘 要 通过课堂观察、问卷调查和面对面访谈的方法，从4个维度进行定量与定性相结合的分析研究，旨在探讨中国民航飞行人员英语能力测试口语面试对学生英语学习的反拨效应。结果表明，口语能力面试对学生英语学习所产生的主要是正面反拨效应，其中，对民航专业英语学习的反拨效应显著，对通用英语学习的反拨效应较弱。

关键词 民航飞行人员；英语口语测试；英语学习；反拨效应

中图分类号 G712 文献标识码 A 文章编号 1008-3219（2012）05-0023-05

一、研究背景

中国民航飞行人员英语能力测试（Pilots English Proficiency Examination of CAAC，PEPEC）用于评估飞行人员的基础英语能力及在正常和非正常无线电通话中基本的语言交际能力，对被测试人的英语能力进行评估，其中4级为工作级，5、6级为专家级。

测试的最后一部分是口语能力面试（Oral Proficiency Interv- iew，OPI），主要测试被测试人的口头语言运用能力及语言的综合表达能力。从语言的发音、结构、词汇、流畅程度、理解能力以及应对能力等六个方面，对被测试人的英语能力从6级到1级进行评估。这是一种基于计算机视频的、面试员与被测试人之间的半直接考试，即面试员与被测试人以电脑为媒介进行视频和发音连线，从而完成口语考试任务[1]。OPI测试分为：准备阶段、等级初评阶段、等级评定阶段以及结束阶段。面试员根据不同测试阶段的测试要求，进行由浅入深的提问。该测试分值占PEPEC总成绩的30%（4级）或40%（5、6级），考试时间约为15分钟。

由于PEPEC是大规模高风险考试，以及OPI所占的分数权重，必然会对学生英语学习产生明显的反拨效应。民航英语口语测试作为专门用途英语（ESP）测试的一个分支，国内外在这个领域的研究并不多见，更没有人对中国民航飞行人员英语能力测试口语能力面试进行过研究。因此，本文从语言学习者角度对口语能力面试进行反拨效应实证研究，从而深入了解该项测试与学生英语学习的关系。

二、研究理据

反拨效应（Backwash Effect）是指测试对教与学的影响[2]。在语言学界，不同学者用不同的术语表示测试与教学的关系，如基于测量的教学[3]、后果效度[4]、系统效度[5]、考试影响[6]、课程连结[7]等。由于在学术文献中使用频率最高的术语是反拨效应，为了保证研究的连贯性和严谨性，本文采用这一表达方式。

有关反拨效应的理论模式，Alderson和Wall[8]的反拨效应假设和Hughes[9]的反拨效应模式运用得最为广泛。基于上述理论，创建OPI反拨效应研究基本理论模型：参与者（教师、学生等）对该考试的态度，教师的教学过程和学生的学习过程以及结果（教师的教学效果和学生的学习效果）。

三、研究方法

（一）研究问题

结合上述理论模型及民航英语口语测试与学生英语学习的关系，提出四个研究问题：学生对OPI的了解程度；OPI对学生的学习态度产生的主要影响；OPI对学生英语学习反拨效应的性质和强度；备考课程对学生参加OPI起的作用。其中问题1、2涉及OPI对学生学习态度的反拨效应，问题3、4涉及OPI对学生学习行为的反拨效应。

（二）研究对象

个案学校为中国民航大学，被试为飞行学院大三2个班的养成飞行员。由于在出国飞行训练前，要对这些学生进行民航专业英语培训，并且在培训期结束前要参加PEPEC考试，因此他们对该测试的认识和态度是最直接、真实和重要的数据。被试人员共56名，均为男生，年龄为20~22岁，其中22人通过大学英语四级考试，且所有的学生都没有参加过PEPEC考试。

（三）研究工具

采用多种研究手段，包括课堂观察、问卷调查、面对面访谈，定量研究与定性研究相结合。首先进行课堂观察，调查课堂教学情况并为学生的具体学习行为提供细节性信息；其次通过问卷调查从学生对OPI的了解程度、对OPI各项措施的态度、OPI对学生英语学习的反拨效应及对备考课程的评价四个维度进行分析；最后，通过面对面访谈对得出的数据进行分析和验证。

1.课堂观察

研究中的课堂观察是前期观察，目的是调查OPI是否对学生的学习内容及学习行为产生影响。主要包括：教师的教学内容和教学方法；课堂上教学时间的分配；备考资料的使用；训练的语言技能；学生民航专业英语（主要是无线电陆空通话）和通用英语的学习；学生的反馈等。

OPI备考课程由一位教师承担，共持续8周。在2011年4月~5月间共进行6课时的课堂观察与记录。为保证信度和效度以及后续研究，在课堂观察时采用现场做笔记并现场录音的方法。

2.问卷调查

问卷调查是本研究的主要研究手段，以上述理论模型为基础，根据国内外实证研究的主要结论，以及专家同行的观点和建议，设计OPI反拨效应问卷调查表。为避免非预测性问题和歧义，在作为样本发放之前，进行了试测，由6名学生完成。根据试测的数据结果和反馈建议，对其进行修改，形成最终的调查问卷。该调查问卷由两部分构成：第一部分为被试的个人基本信息；第二部分为OPI对被试的反拨效应调查，共18题，均采用李克特式（Likert Scale）五级量表。问卷一次性发放给学生，被试自愿完成，共收回有效问卷54份。

3.面对面访谈

面对面访谈是辅助研究工具，目的是对收集的数据进行定性解释，并尽可能提供精确和细节性信息。访谈在问卷调查之后进行，选取完成调查问卷的10名学生。主要包括两方面内容：学生对OPI的态度以及OPI对学生英语学习的影响。为使访谈自然、顺利进行，没有进行录音，采取现场做笔记的方法。

四、研究结果与讨论

表1、2、3、4是问卷中18个问题涉及的四个不同方面的人数比例、得分平均值和标准差，以下各表都按平均值从高到低排列而成。

（一）学生对OPI的熟悉程度

表1数据显示，大多数学生对OPI的测试内容和测试程序都有不同程度的了解，测试对这两项的反拨效应较弱。评分标准和测试题型两项的平均值最高，标准差最低，说明测试对这两项的反拨效应较强，特别是评分标准一项，对其不了解的学生比例37%（25.9%+11.1%），高于对其了解的学生比例33.4%（3.7%+29.7%）。

有三个主要原因解释以上现象：第一，PEPEC实行的时间比较短，学生对其组成部分OPI测试的了解程度不够；第二，学生对测试内容、测试程序比较了解与讲授OPI课程的教师在课堂上反复强调密切相关；第三，学生认为评分标准与他们的测试关联度不大，一部分学生认为只有教师才应该去关心该问题。

（二）学生对OPI测试标准的态度

表2数据显示，大多数学生认可OPI测试的必要性，说明它对学生有显著的反拨效应。根据与题项的相符程度，排在前三位的分别是：OPI分数所占PEPEC分数的比例很合理，能准确反映英语口语能力，考察的6方面内容很合理。OPI在工作级（即4级）占PEPEC分数比例为30%，在专家级（即5、6级）占40%。它体现了专门用途英语测试的重要特点：真实性。语言测试中的真实性是指受试者在测试中使用目标语完成测试任务与其在现实生活中使用语言进行交际活动的相似程度，也就是语言测试与语言交际的一致程度[8]。所以，OPI是在真实或接近于真实的语境中，通过完成实际任务，测试考生运用语言的能力，其特点是实用性和交互性强，因此，大多数学生认为能准确反映其英语口语能力。

对于喜欢OPI的测试形式，即基于计算机视频的半直接考试选项，学生的态度各异。从平均值和标准差显示的数据看，该项对学生有很强的反拨效应。总体而言，学生的态度分为两种：大多数学生认为就传统的面试型考试而言，机助英语口语考试具有显而易见的优势，由于有过类似测试的培训或经历，这种形式在一定程度上能缓解心理紧张因素，比较公正；但是，另一部分学生认为他们更喜欢传统的与考官面对面形式的口试，因为面对计算机，表达效果不够真实自然，而且增加了他们考试的焦虑感。

（三）OPI对学生英语学习的反拨效应

从表3可以看出，OPI测试对学生英语学习影响的整体性质是正面的，该项的平均值最高，证明对学生的英语学习有显著的积极反拨效应。积极的反拨效应是指考试能对教学和学习产生有利的影响，这种有利影响是指测试能“反映和鼓励良好的课堂实践”[9]。

关于OPI测试对学生英语学习的反拨效应，表3数据显示，OPI对学生的无线电陆空通话口语、听力学习反拨效应较强，而对通用英语（EGP）口语、听力学习反拨效应较弱。OPI属于专门用途英语测试，体现了与通用英语测试的区别。二者的区别就是专业针对性：ESP测试中，受试者的专业知识和语言水平共同影响测试成绩；而EGP测试中，影响受试者测试成绩的主要是其语言水平。ESP测试的专业针对性直接影响其结构效度的定义和对测试分数的解释[10]。在陆空通话中，管制员与飞行员使用的是一种有别于任何生活语言的专业语言。对这种专业语言特性掌握和理解的程度如何、对这种专业语言使用的熟练程度如何直接关系到陆空通话质量的高低。而通话的每一句话都是在传达有关的指令，必须要做到百分之百准确，因为通话质量达不到要求所产生的任何差错和误解都会给飞行安全埋下事故隐患[11]。因而，OPI测试既评估被测试人的通用英语能力，同时，也是对其民航专业英语（以无线电陆空通话为基础）能力的测试。

从学生的访谈了解到，在英语学习的五项基本技能中，他们认为口语能力是提高得最慢的一项，这也与陈纪梁、陶伟的研究一致[12]。而且，通用英语口语和听力又是民航专业英语口语和听力的基础，所以，大多数学生认为OPI测试对其英语学习有正面反拨效应。同时，该测试还是一种高风险测试，因为测试的准确性关系到飞行安全，测试成绩关系到飞行员工作岗位的高低或有无[13]。而且，反拨效应的程度和类型会因考试风险高低程度而发生变化[14]。因此，学生认为测试对英语学习造成了很大的影响。

（四）学生对备考课程的评价

有关备考训练作用一项的平均值和标准差的数据说明，大多数学生对备考课程持肯定态度，测试对此项的反拨效应不明显。在前期的课堂观察中，发现讲授OPI的教师教学态度认真、内容充实。在第一次课首先对OPI进行了整体介绍，包括测试内容、题型、程序及评分标准，并对学生详细讲述了该测试主要从六个方面对被测试人的语言能力进行考察。在以后的课堂教学中，基本按照OPI考试的四个阶段（即准备阶段、等级初评阶段、等级评定阶段以及结束阶段）所涉及到的内容，以专题的形式分别进行介绍。课堂活动的主要形式包括：回答问题、小组讨论、口头陈述、情景对话。接受访谈的部分学生认为：一方面，飞行学院的教学非常重视学生的英语口语训练，从大一开始就开设外教的口语课，大二时开始开设民航专业英语口语课，所以，一些学生认为自己的英语水平比较高，不需要进行备考训练；另一方面，英语口语能力的提高是一个长期的过程，而OPI又是一项水平测试，一部分学生认为不可能通过短期的培训使英语口语提升一个层次，但是另一部分学生认为备考课程确实帮助他们提升了民航专业英语口语能力。

关于教师的敬业精神、教学策略的数据表明，测试对这两项有一定的反拨效应，大多数学生都给予了充分的肯定对于教学效果一项，在4个题目数据中平均值最高，标准差较低，说明测试影响了教师在备考课程上的教学效果，大多数学生认为对英语口语学习有正面反拨效应，备考课程确实对自己的口语学习有促进。但是，由于OPI的权重，整个备考过程产生了一定的学习焦虑。

对本研究的定量和定性数据分析表明，OPI对学生英语学习的反拨效应比预见的要复杂，但是，整体而言，产生的是正面反拨效应。其中，对学生的学习态度反拨效应较强，对学生的学习行为反拨效应较弱。具体表现为以下四点：第一，大多数学生对OPI测试有不同程度的了解，对评分标准和测试题型两项的反拨效应显著；第二，OPI测试的必要性及测试的形式两项对学生有显著的反拨效应；第三，OPI测试对学生的英语学习有正面反拨效应，其中，对民航专业英语学习（主要是无线电陆空通话英语学习）有很强的反拨效应，而对通用英语学习的反拨效应较弱；第四，大多数学生对备考课程持肯定态度，对此项的反拨效应不明显，对于该课程教师的教学效果却有显著的反拨效应。

总之，口语能力面试为飞行员英语能力的自我评价提供了一个客观、公正的手段，有利于其发现自己的优势和不足，并意识到英语交流的重要性，使其在常规及非常规情景中与管制员的对话进行灵活的转换，保持对话的互动性。

参考文献：

[1]中国民用航空局飞行标准司.中国民航飞行人员语言能力考试大纲[Z]，2010-01-20.

[2]Alderson，J.C.& Wall，C.Does Washback Exist? [J].Applied Linguistics，1993 (2): 115-129.

[3]Popham，W.J.The Merits of Measurement-driven Instruction [J].Phi Delta Kappa，1987(68): 679-682.

[4]Messick，D.E.Meaning and Values in Test Validation: The Science and Ethics of Assessment [J].Educational Research，1989(18): 5-11.

[5]Fredericksen，J.R.and Collins，A.A Systems Approach to Educational Testing [J].Educational Researcher，1989(18): 27-32.

[6]Baker，E.Alternative Assessment and National Policy.Paper Presented at the National Research Symposium on Limited English Proficient Students'''' Issues: Focus on Evaluation and Measurement.Washington，D.C，1991.

[7]Andrews，S.The Washback Effect of Examinations-Its Impact upon Curriculum Innovation.Paper Pres- ented at the 19th International JALT Conference.Sonic City，Omiya，Japan，1993.

[8]Hughes，A.Testing for Language Teachers [M].Cambridge: Cambridge University Press，1989.

[9]Bachman，L.F.and Palmer，A.Language Testing in Practice [M].Oxford: Oxford University Press，1996.

[10]Bailey，K.M.Working for Washb- ack: A Review of the Washback Concept in Language Testing [J].Language Testing，1996(3):257-279.

[11]黄大勇.ESP测试的特征、存在依据和设计原理[J].考试研究，2007(3): 66-75.

[12]王爱国.陆空通话与飞行安全[J].中国民用航空，2006（1）：69-70.

[13]陈纪梁，陶伟.谈大学英语口语考试及其反拨作用[J].山东外语教学，2001(1): 82-84.

[14]黄大勇，吴土星，张永忠.民航英语测试的特征和设计原理[J].中国民航飞行学院学报，2008（3）：18-25.

An Empirical Study of Washback Effect of Aviation English Oral Test on Students'''' English Learning

——A Case Study of OPI

CAO Jia，WANG Aiguo

(School of Foreign Languages，Civil Aviation University of China，Tianjin 300300, China)

AbstractAs a branch of ESP testing，Oral Proficiency Interview (OPI) is a high stakes test，so it has an impact on students'''' English learning.This paper aims to explore its washback effect on students'''' English learning in four dimensions.The research employs various methodological techniques such as classroom observations，questionnaires and interviews to collect both qualitative and quantitative data.The findings show that OPI mainly exerts positive washback effect on students'''' English learning，and it generates more intensive washback effect on aviation English learning，but EGP learning has received weak washback effect.

Key wordscivil aviation flight personnel; OPI; English learning; washback effect