基于TEM4听力测试标准的英语专业期末听力测试信度和效度分析
——以长江大学外国语学院为例
2015-02-13叶贝贝
叶贝贝
(长江大学外国语学院,湖北荆州434023)
基于TEM4听力测试标准的英语专业期末听力测试信度和效度分析
——以长江大学外国语学院为例
叶贝贝
(长江大学外国语学院,湖北荆州434023)
TEM4是国家认定的英语专业水平测试,有较高的信度和效度,英语专业各项专业技能教学以此为指导,自然就有较高的教学效果。文章在基于TEM4听力测试标准上,对长江大学外国语学院英语专业学生的期末听力测试进行信度和效度分析,不仅检验了教师制定的英语听力测试的信度和效度问题,还对存在差异的听力测试制定提出修改意见,以期望对英语专业听力试卷的编制起到一定的积极作用,同时为英语专业学生提高TEM4中的听力理解部分提供一定的借鉴。
TEM4;听力测试;信度;效度
TEM4(TestforEnglishMajors,Level4)是一种测试英语专业学生的语言基础知识,以评估学生的英语综合技能的国家级水平测试。根据《高等学校英语专业英语教学大纲》(下文中简称《大纲》,2000)的规定,它对高校英语专业的学生在不同阶段应达到的英语水平提出了具体要求。其中对专业四级的听力水平要求是:A.听懂英语国家人士关于日常生活和社会生活的谈话;B.听懂中等难度(如TOEFL中的短文)的听力材料,理解大意,领会作者的态度、感情和真实意图;C.听懂VOA正常速度和BBC新闻节目的主要内容;D.能大体辨别各种英语变体(如美国英语、英国英语、澳大利亚英语);E.能在15分钟内听写根据已学知识编写或选用的词数为200个左右、语速为每分钟120个单词的录音材料,错误率不超过8%。与此对应的TEM4听力测试结构包括听写和听力理解两个方面,听写就是《大纲》E部分的具体表现形式,这部分的录音材料会播放四遍;听力理解的这部分题型都是多项选择题,通常分为三节即对话、篇章和新闻,此部分的录音材料只播放一遍。鉴于此,TEM4对英语专业学生的英语听力教学就有很重要的指导作用,那么如何正确利用它的指导作用是值得英语教师们研讨的。为此,文章在基于TEM4听力测试标准上,对长江大学外国语学院英语专业学生的期末听力测试进行信度和效度分析,它不仅检验了教师制定的英语听力测试的信度和效度问题,还对存在差异的听力测试制定提出修改意见,以期望对英语专业听力试卷的编制起到一定的积极作用,同时为英语专业学生提高TEM4中的听力理解部分提供一定的借鉴。
一、测试信度和效度
1.测试信度
测试信度(testreliability)是指考试结果的可信度或者说可靠度。邹申(2005)把它定义为考分的一致性(consistencyoftestscores)。信度通常是评价测试的其中一个重要标准,作为测量工具,一个测试要有效度,它首先必须可信。比如,如果相同的一部分学生无论在什么情况下参加某个测试,相同的学生在每次考试中取得的结果是相接近的,从理论上来说,这个测试具有较高的信度。
2.测试效度
测试效度(testvalidity)是指考试是否考查了原计划需要被考查的内容,考试的结果能不能用来评判预定要测试的语言能力。作为评价测试的另外一个重要标准,它所反应的是测试与测试目标之间的一种相关性即关联程度。如某教师编制了一套口语测试题目,主要是为了测试学生对校园生活中常见情形的对话表达能力,比如在图书馆与图书馆工作人员之间的常见对话、食堂排队与他人之间的对话等,如果测试结果显示这套试题确实测出了学生在规定方面的能力,从理论上来说,这套口语测试题目具有较高的效度。
二、现状分析
长江大学外国语学院每年招收的英语专业学生大约为300名,学生要求在大二下学期即每年4月份第三个星期六参加全国英语专业四级(TEM4)考试,如果第一次没有通过,仅有一次补考机会,毕业之前没有通过就无法取得学位证书,由此可以看出TEM4对于该校英语专业学生的重要性。在平时的学习中,每个学期的期末听力测试是评估学生听力水平的重要方式,为了让学生提前熟悉TEM4的听力场景,这些期末听力测试通常模仿TEM4的听力出题标准,尤其是在题型这个方面,同样设置了一篇听写和多篇短文、对话和新闻形式的听力理解题目。期末听力试卷通常是由担任听力学科教学的其中一名老师编制,分为AB平行试卷。为了大部分学生能够通过考试,出题的内容主要以教材为主,一般要求试卷的60%内容来源于课本,并且还是教材中所学的内容,题目难度要求基本和教材一致,题量稍微比TEM4多一点,通常是会增加一道问答题或者填空题,以保证学校要求的测试的时间需为45分钟左右。测试完成后,试卷都会分别交给每个班级的听力任课老师批改。
三、期末听力测试信度和效度分析
1.期末听力测试信度分析
对于长江大学所举行的英语测试,在信度方面,由于是同一个老师负责整个试卷的编制,并且制定了AB平行卷,一定程度上保证了测试结果的信度。但是,针对阅卷这一过程,TEM4是考完之后以学校为单位寄到上海由上海外国语大学统一批阅,而该校则是交给任课老师分别批阅,由于每个老师的评阅标准不同,对于听写这一部分的评分尺度就会因人而异,再加上各个老师的个人时间、任务不同,也有可能不会按照统一的标准阅卷,这些因素都会降低测试的整体信度。
2.期末听力测试效度分析
在效度方面,主要从表面效度和内容效度来分析该院系的英语听力测试效度。该院系的英语测试题型结构基本与TEM4的听力标准一致,其中增加题型与TEM4的听写效果相似,所以该测试看上去符合TEM4的听力测试标准,具有表面效度。在内容效度方面,该院系的英语测试内容只有少部分与TEM4的《大纲》所提的标准一致,主要是指新闻材料基本来自于VOA和BBC的新闻节目,剩下的听写、篇章和对话大部分听力材料则来源于教材。虽然老师提前不会透露听力材料的来源,但学生们通过历年高年级学生的反馈大概明白了考试内容,为了应对这样的听力测试,学生们在备考期间就会通过熟悉甚至背诵教材中的听力材料,以求在测试中取得高分。不合理的测试方式导致不合理的听力学习方法,不管是在测试内容的代表性和所选内容的充分性都不符合TEM4的听力标准,因此该院系英语听力测试在效度这方面做得有所欠缺。
四、建议
通过对上面的现状进行分析,基于TEM4的英语听力测试标准,长江大学外国语学院英语专业听力测试无论是在信度还是在效度这两个方面都有待提高,现存的测试方式不能有效地衡量学生们的听力水平,更无法帮助学生们提高TEM4的听力这部分的得分。因此提出以下修改意见:
1.在测试内容的选择上,不应该仅仅局限于教材,而应该更多地选择符合《大纲》要求的听力材料,而且选材的涉及面应该尽可能广泛,减少学生仅仅通过死记硬背就能通过考试的几率。这样能迫使学生在课外主动去进行听力练习,对学生们提高TEM4的听力这一部分无疑有很大的帮助,更重要的是培养了学生们自主学习的能力,对于学生们的整个听力水平提高起到了帮助作用。
2.在题型设置方面,像期末考试这种大型测试中最好与TEM4保持一致,可以通过增加客观题的数量来保证学校要求的45分钟考试时间。学生通过平时这样的测试熟悉TEM4的出题形式,在参加真正测试时可减少慌张。
3.在阅卷过程中,学院应组织所有该科目任课老师一起集中阅卷,对于听写部分的评阅提前制定一个评分标准,由其中的两位老师负责所有试卷听写部分的评阅,这样就保证了整个阅卷评分的可信度。
总之,英语专业TEM4的听力部分是衡量英语专业学生听力水平的基本标准,而平时进行的听力测试作为对参加TEM4之前的一种阶段性的评估,测试的信度和效度都应该得到重视。本文通过对长江大学外国语学院英语专业学生的期末听力测试的信度和效度分析,旨在对教师进行听力测试试卷的编制提出了一些建议,以期促进我校学生们的听力水平及学生们对于TEM4听力测试的备考能力。
[1]HeatonJB.WritingEnglishLanguageTests[M].Beijing: ForeignLanguageTeachingandResearchPress,2002:162-165.
[2]李旭奎,左金梅.TEM4听力理解各部分难易程度分析及其对听力教学的启示[J].外语电化教学,2005(1).
[3]高等学校外语专业教学指导委员会英语组.高等学校英语专业教学大纲[M].上海:上海外语教育出版社,2000.
[4]武尊民.英语测试的理论与实践[M].北京:外语教学与研究出版社,2002.
[5]邹申,杨任明.简明英语测试教程[M].北京:高等教育出版社,2005:34-41.
G642
A
1673-0046(2015)9-0135-02