民航英语测试对英语学习的反拨效应研究——中国民航飞行人员英语能力测试(PEPEC)个案研究

曹 佳

(1.中国民航大学 外国语学院,天津 300300;2.北京外国语大学 中国外语与教育研究中心,北京 100089)

民航英语测试对英语学习的反拨效应研究
——中国民航飞行人员英语能力测试(PEPEC)个案研究

曹 佳1,2

(1.中国民航大学 外国语学院,天津 300300;2.北京外国语大学 中国外语与教育研究中心,北京 100089)

民航领域引入中国民航飞行人员英语能力测试(PEPEC),无疑会对学生的英语学习产生影响。通过课堂观察、问卷调查和深度访谈的方法,从学生对该测试的了解程度、学生对测试标准的反响、测试对英语学习的反拨效应、学生对备考课程的评价4个维度探讨该测试对英语学习的反拨效应。研究结果显示,中国民航飞行人员英语能力测试对学生的民航英语学习产生了较强的积极反拨效应。

中国民航飞行人员英语能力测试；民航英语；反拨效应

Abstract： Pilots’ English Proficiency Examination of CAAC (PEPEC) undoubtedly has an impact on students’ English learning in civil aviation field.This paper aims to explore its washback effect on students’ English learning from the perspective of students’ understanding on the test,their responses to the standards of the test,the test’s washback effect and students’ evaluation of test-preparation courses by classroom observation,questionnaire survey and interview.The findings show that PEPEC exerts a stronger positive washback effect on students’ aviation English learning.

Keywords：Pilots’EnglishProficiencyExaminationofCAAC(PEPEC);aviationEnglish;washbackeffect

语言测试与教学的关系是密不可分的。反拨效应(washback effect)是指语言测试对教师教学与学生学习产生的影响[1]，特别是指外语测试对相应领域的影响[2]。国内外学者主要从理论探索和实证分析两方面对反拨效应进行研究。反拨效应研究主要集中于大学英语四六级考试、英语专业四八级考试、高考英语等测试。对专门用途英语(English for Specific Purposes,即ESP)测试的研究屈指可数，对中国民航飞行人员英语能力测试(Pilots’ English Proficiency Examination of CAAC,即PEPEC)的研究更是寥寥无几。由于各航空公司对民航飞行人员的英语能力要求日渐提高，中国民航飞行人员英语能力测试作为专门用途英语测试的一个分支，是对从业人员英语听力和口语水平衡量的一个参照指标，它必然对相关人员的英语学习产生影响。因此，笔者通过课堂观察、问卷调查和深度访谈的研究方法，分析该测试对英语学习的反拨效应。

一、中国民航飞行人员英语能力测试(PEPEC)的形式和内容

国际民航组织(ICAO)对相关从业人员制定的新的语言标准是，2008年开始，所有从事航空运行的民航飞行员必须达到民航英语四级以上的语言标准才能从事运行业务[3]。为了更专业、有效地评估中国民航飞行人员英语听力及口语会话能力，我国采用了中国民航飞行人员英语能力测试(以下简称PEPEC)。这种任务型语言测试基于规定的任务来评定受试者完成任务的表现[4]。

PEPEC作为一种专门用途英语测试，旨在评估飞行人员的通用英语能力及无线电陆空通话中的语言交际能力。作为一项“标准关联参照测试”，从六方面评估受试者的英语水平：发音、词汇、语言结构、流利程度、理解能力和反应能力。测试结果以6个级别体现受试者的语言能力，其中，4级为工作级，5、6级为专家级。受试者的英语成绩由多个评分员评定，从而保证了测试的信度和效度(见表1)。

二、理论框架与研究方法

(一)理论框架

本研究的理论基础是反拨效应假设(Washback Hypotheses)及反拨效应模式(PPP Model)。

Alderson和Wall的反拨效应假设采用二分法从教师-学生、教学-学习两个层面提出了15个反拨效应假设[1],为反拨效应的实证研究奠定了理论基础。从教学角度看,测试会影响教学,影响教师的教学内容,影响教师的教学方法,影响教学的速度和顺序,影响教学的程度和深度;从学生的角度看,测试会影响学习,影响学生的学习内容,影响学生的学习方法,影响学习的速度和顺序,影响学习的程度和深度,另外,测试会影响教学和学习的态度;从测试的影响大小看,重要的测试才有反拨效应,不重要的测试不会有反拨效应,测试会对所有教师和学生产生反拨效应,测试只对教师和学生产生反拨效应不会对其他人产生反拨效应。这一理论假设把反拨效应的研究重点放在了测试对课堂教学的影响上,这种影响是一种静态过程,它对师生既可能产生正面反拨效应,也可能产生负面反拨效应。

表1 PEPEC的测试题型、内容及评分标准Tab.1 Types,contents and scoring criteria of PEPEC

另一个对反拨效应影响深远的理论是反拨效应模式。Hughes用三分法从参与者、过程、结果三方面建构了反拨效应的运行模式[5]。与Alderson和Wall的理论相比,Hughes认为参与者不仅包括教师和学生,还涉及到其他教学相关人员,如：教材编写者、制定者,教学管理人员;过程是指能产生正面反拨效应的教学和学习手段,如改进教学方法,采纳新的学习方法,编写可行的教学大纲等;结果是指学生学到的知识的内容和质量。所以,测试的性质会影响参与者对测试的态度,这种态度又影响到参与者教学与学习的过程和效果,整个动态过程就构成了反拨效应的运行模式。

本文基于上述两个理论框架以及民航英语测试与学生英语学习的关系,把参与者中的学生作为主要研究对象,提出以下4个研究问题:1)学生对PEPEC的了解程度如何?2)学生对PEPEC测试标准的反响如何?3)PEPEC对学生英语学习产生了何种反拨效应?4)学生对备考课程的态度如何?

(二)研究对象

本研究选取某民航大学为个案研究学校,该校每年都承担4+1(即经过4年本科学习,已取得学位证,且毕业后招聘到航空公司的飞行学员,他们要在国内进行1年的民航专业课程培训)学员的民航专业英语培训。研究对象为该校飞行学院4+1的学生,由于这些学员在1年的培训期结束前要参加PEPEC,所以安排了一些备考课程。这些受试者对PEPEC的了解和反响能真实地反应测试的影响程度。被试共78人,均为男生,本科毕业,年龄为22至25岁,都已通过大学英语四级考试和雅思考试,且均没有参加过PEPEC。

(三)研究工具

本研究采用课堂观察、问卷调查、深度访谈等研究工具,将定量研究与定性研究紧密结合起来。

首先,进行课堂观察。以前期观察为主,目的是调查PEPEC是否及多大程度上影响学生的学习内容、学习态度、学习方法等。观察的主要内容包括:教师的教学内容和教学方法;学生民航专业英语(内容主要是无线电陆空通话)和通用英语的学习、课堂的参与度等。其次,通过问卷调查进行分析。问卷调查是本研究的主要研究手段,用以回答上述研究问题。根据上述4个研究问题探讨学生对PEPEC的了解、测试标准、备考课程以及形成的反拨效应。最后,从被试中选出了10名学生进行访谈,根据访谈内容以定性的方法对调查所得数据进行分析和验证。

三、研究结果与讨论

(一)课堂观察

PEPEC备考课程由五部分构成:听力理解模拟训练、回答问题模拟训练、飞行员陆空通话、情景对话模拟训练、口试模拟训练,每部分内容均持续8周。笔者在征得这五门课程任课教师同意后,分别于2014年9月和12月共进行了14课时的课堂观察与记录(见表2)。

表2 PEPEC五门备考课程的课堂听课记录Tab.2 Classroom observations of 5 test-preparatory courses for PEPEC

因为PEPEC备考课程并没有固定的教材及模拟训练题,在一定程度上增加了教学及测试的难度。在教学内容上,讲授飞行员陆空通话课程的教师在前期阶段完全按照正常的教学进度讲解《非常规无线电陆空通话》这本教材,但在后期阶段则通过情境设置等方式强化学生的输出;其余四门课程的教师并没有根据固定教材进行讲解,而是根据相关的参考资料或作为面试员的经验,做成多媒体课件辅助讲解。所以,测试可能影响教学或学习的某一方面,但可能不会影响另一方面,或者对不同的师生影响是不同的[6]。

总体而言,学生的学习态度是认真的,他们能够积极配合教师,并且按照教师的教学进度进行学习与复习。教师提出问题后,立刻会有学生作答,教师与学生之间、学生与学生之间互动效果良好,课堂气氛活跃。课堂听课反映出PEPEC对学生的英语学习态度产生了较强的反拨效应,备考课程对学生参加测试起了重要的作用。

(二)问卷调查

调查问卷由两部分构成:第一部分是被试的基本信息,第二部分是关于PEPEC对被试的反拨效应,共19题,均采用李克特式(Likert Scale)五级量表。问卷由笔者一次性发放给学生,学生自愿完成。共收回有效问卷76份。

表3～6是问卷中涉及的19个问题选项结果构成的人数比例、得分平均值和标准差,以下各表均按照平均值从高到低排列而成。

1.学生对PEPEC的了解程度

表3数据显示,大多数学生对PEPEC的测试程序、测试内容有不同程度的了解,说明测试在这两项上的反拨效应不明显;但是,评分标准和测试题型这两项的平均值较高,尤其是评分标准一项,证明其对学生有显著反拨效应。 以上现象可由三个因素来解释:第一,PEPEC是一个新的测试体系,实行时间比较短,学生对其需要一个熟悉过程。虽然在备考的课堂上,教师对整个测试做了一些介绍和解释,但是,学生即使了解了测试的大致要点却容易忽视其评分标准,因为他们认为教师才需要对此给予关注;第二,被试都是没有过飞行经历的飞行学员,他们对该测试与其工作的直接关联还没有实际意识,之后的访谈也说明了这一点;第三,各个航空公司的要求不一,有的航空公司允许在一定条件下飞行员可以免考PEPEC。

表3 对测试的了解程度Tab.3 Students’ familiarity with PEPEC

表4 对测试标准的反响Tab.4 Students’ responses to the standards of PEPEC

表5 测试对学生英语学习的反拨效应Tab.5 Washback effect of PEPEC on students’ English learning

表6 对备考课程的评价Tab.6 Students’ evaluation of preparatory courses

但是,无论测试的潜在反拨效应能发挥得多好,如果学生和教学负责人员不知道或不了解该测试的要求,此效应也不能充分实现[5]。因此,为了促进PEPEC对英语学习的正面反拨效应,还应加强学生对该测试的了解及测试重要性的认识。

2.学生对PEPEC测试标准的态度

表4的数据显示,大多数学生都肯定了PEPEC测试的意义。根据与题项的相符程度,排在前两位的是:“PEPEC使我更加重视与管制员的交流和飞行安全”“PEPEC测试对飞行员来说非常重要”,与二者相符的比例分别为94 .8%(31 .6%+63 .2%)、81 .5%(28 .9%+52 .6%),这两项的平均值和标准差都很低,证明测试对这两项的反拨效应较弱。由于大部分学生已对该测试给予足够重视,测试对学生的影响不大。而且,学生对PEPEC的态度与国际民航组织实行该测试的背景一致,对多起航空事故的分析表明,民航从业人员的专业英语口语和听力的表达能力有限,由此引发的沟通和交流失误是航空事故的主要原因之一[7]。所以,为了增强飞行员和管制员对民航英语的意识,提高其民航英语能力,设立了此项测试。

“PEPEC能准确反映实际语言能力”这一选项的平均值最高,说明测试对该项的反拨效应显著,但该项的标准差也较高,另外,有31.6%的学生对该项持不确定的态度,说明学生的看法差异较大。究其原因,该测试以考察学生的英语听说能力为主,所以,学生对其与自己英语实际水平的关系有一定的质疑。

对于“把4级定为工作级很合理”“PEPEC等级量表(即分为6个等级)很合理”这两个问题的平均值和标准差显示,测试对这两项有一定的反拨效应,学生整体上对测试是认可的,但是,对此表示不确定的学生比例也较大。可能是因为并没有参加过该测试,所以学生对PEPEC的等级划分概念比较模糊。

3.PEPEC对学生英语学习的反拨效应

从表5可以看出,97.4%(36.8%+60.6%)的学生肯定了测试对英语学习的正面反拨效应,但该项的平均值最低,标准差也较低,说明反拨效应不大,学生已经意识到PEPEC对英语学习明显的正面影响,这个结果和大多数学生对PEPEC各项措施的支持态度一致。

关于PEPEC对学生英语学习的反拨效应,表5数据显示,在学生的口语和听力学习上,PEPEC对民航英语(主要是无线电陆空通话)学习的反拨效应比通用英语(English for General Purposes,即EGP)学习显著。PEPEC作为专门用途英语测试,与通用英语测试的区别是明显的,而二者的区别性特征就是专业性[8]。专门用途英语测试中,考生的专业知识和英语语言水平共同影响其测试成绩；通用英语测试中,影响受试者测试成绩的主要是其语言水平[9]。对这些飞行员来说,他们的专业英语以无线电陆空通话为核心,测试结果是其民航专业知识技能与英语语言水平的共同体现。PEPEC作为一项标准关联参照考试,也是一项水平考试,更倾向于测试受试者的民航专业英语能力,但是这种能力是以通用英语能力为基础的,是英语语言使用本身在某一个领域的特定应用。在英语无线电陆空通话中,交际能力是安全的关键,而这种能力又建立在通用英语的基础上。ESP测试是语言测试,不是专业考试[9]。因而,该项测试对学生民航专业英语和通用英语学习都产生了反拨效应,相比而言,对无线电陆空通话学习的反拨效应更强。

4.学生对备考课程的评价

“备考训练”一项平均值和标准差的数据说明,PEPEC对学生的学习行为有正面反拨效应。总体而言,备考课程对学生的英语学习起了一定的作用,但也分别有10.5%和2.6%的学生对备考课程持不确定和否定态度。学生对备考课程的态度差异,总结起来大概有两个原因:一是一些学生对自己的英语能力有信心,认为不需要进行备考训练,因为学习成绩只能通过努力和积累提高,而不能通过短期的集中训练改进;二是一些学生质疑教师的教学内容与PEPEC关联的紧密度。

由于教学和测试的复杂性,测试影响的个体是多方面的,其中最直接的是教师和学生[10]。谈到备考课程中教师的教学行为,大多数学生都给予了积极肯定的评价。表6的数据显示,测试对教师的教学效果、教学水平有很强的反拨效应,而对教师的教学策略、敬业精神反拨效应较弱。这与学生并没有参加PEPEC测试,教师讲授的内容与考试的相关度没有得到直接检验有关。

(三)深度访谈

在问卷调查之后,与完成问卷的10名学生进行了深度访谈。访谈包括两方面内容:学生对PEPEC的态度以及PEPEC对学生英语学习的影响。

学生对PEPEC的态度:接受访谈的学生一致认为,测试使他们更进一步意识到作为飞行员的责任和安全的重要性,对他们将来的工作也是有帮助的。对于PEPEC测试的等级划分问题,支持者表示这是对自己的一项挑战,毕竟是对民航专业英语水平的一次检测;但也有一些学生抱怨这样的分级会让他们产生焦虑感。

PEPEC对学生英语学习的影响:通过对学生的访谈了解到,英语的五项基本技能中,听力和口语是最受重视的。原因之一是听力是获取信息的主要媒介,而口语是交际、交流思想的主要媒介;原因之二是前文讨论过的ESP与EGP的关系问题。ESP应建立在EGP的基础上,它是为学生未来进入各个不同领域而做准备的[11]。PEPEC是ESP,其测试的主要目的是评估中国民航飞行人员专业英语听力及口语会话能力,而飞行员与管制员的交流构成了无线电陆空通话的主要内容,同时,通用英语听力和口语能力又是民航专业英语的基础,因而,PEPEC对学生这四方面能力的提高有明显的促进作用。

与学生的访谈结果表明,PEPEC对学生的英语学习态度产生了较强的反拨效应,对学生的英语学习内容的反拨效应不大。

四、结束语

中国民航飞行人员英语能力测试(PEPEC)对学生的英语学习产生了反拨效应,由此进一步证实了语言教学与测试的相辅相成关系。总的来说,PEPEC对学生民航专业英语学习的反拨效应大于通用英语学习。该测试以客观、公正的手段评价民航从业人员特别是飞行人员的英语能力,对民航英语教学内容、教学方法可以提供有价值的参考,也证实了该项测试的积极意义。

[1] Alderson J C,Wall D.Does washback exist?[J].Applied Linguistics,1994,14(2):115-129.

[2] 黄大勇,杨炳钧.语言测试反拨效应研究概述[J].外语教学与研究,2002,34(4):288-293.

[3] ICAO.Manual on the implementation of ICAO language proficiency requirements[R].Montreal:International Civil Aviation Organization,2004.

[4] 韩宝成.语言测试的新进展:基于任务的语言测试[J].外语教学与研究,2003,35(5):352-358,401.

[5] Hughes A.Testing for Language Teachers[M].Cambridge:Cambridge University Press,1989.

[6] Alderson J C,Hamp-Lyons L.TOEFL preparation courses:a study of washback[J].Language Testing,1996,13(3):280-297.

[7] 中国民用航空局飞行标准司.中国民航飞行人员语言能力考试大纲[M].北京:中国民航出版社,2010.

[8] Douglas D.Assessing Language for Specific Purposes:Theory and Practice[M].Cambridge:Cambridge University Press,2000.

[9] 黄大勇.ESP测试的特征、存在依据和设计原理[J].考试研究,2007,3(3):66-75.

[10] Bachman L F,Palmer A S.Language Testing in Practice[M].Oxford:Oxford University Press,1996.

[11] Dudley-Evans T,St.John M J.Developments in ESP:A Multi-Disciplinary Approach[M].Cambridge:Cambridge University Press,1998.

(编辑: 朱渭波)

AStudyonWashbackEffectofPilots’EnglishProficiencyExaminationofCAAConStudents’EnglishLearning—ACaseStudyofPEPEC

CaoJia1,2

(1.CollegeofForeignLanguages,CivilAviationUniversityofChina,Tianjin300300,China;2.NationalResearchCenterforForeignLanguageEducation,BeijingForeignStudiesUniversity,Beijing100089,China)

2016-02-17

中国民航大学教育教学研究项目“项目学习理论视域下英语学术论文写作教学模式改革与创新研究”(CAUC-2016-C2-22)阶段性成果

曹 佳(1975-),女,副教授。研究方向外语教育、语言政策。E-mail:caojia105@163.com

H 319.1

A

1009-895X(2017)03-0212-06

10.13256/j.cnki.jusst.sse.2017.03.003