英语试卷质量分析
2017-02-25汪启凯
【摘要】本文从语言测试的相关理论出发,选取安徽省黄山市黄山区第一中学高三(十)班参加的一次高考英语模拟考试作为研究对象。运用SPSS软件处理收集来的数据,利用定量研究方法客观分析本份试卷的质量和学生的表现,希望对本份试卷的设计和英语教学都提供一定的帮助。
【关键词】SPSS软件 试卷信度 试卷效度 项目分析 试卷质量
一、引言
测试对每个人来说并陌生,对于拥有学习经历的人来说,学习期间需要参加各种各样的考试,不同的测试用于不同的目的。语言测试(LT)是“一种手段,用于评价对一门外语课程或一门课程中部分内容的掌握程度,其目的在于检测运用一门语言的能力” 。语言测试(LT)作为一种测试手段,涉及语言的各各方面,其中包括:听,说,读,写,词汇,语法等等。近年来,伴随语言测试的兴盛,语言测试研究也得到了蓬勃发展。
二、文献回顾
1.语言测试类型。根据不同视角,语言测试可以进行多重分类,一般来说根据测试目的分为四种:水平测试、诊断测试、等级测试、成就测试。
水平测试旨在测量“一个人学习语言的能力,不管这门语言学习者之前是否受到过训练”。诊断测试旨在检测“语言学习者的优势和劣势”。等级测试用于“判断语言学习者所处的阶段,以便安排最适合其学习的语言学习项目”。成就测试与所学的语言课程相关旨在检测“语言学习者对语言课程目标的掌握程度”。
2.信度和效度。对于任何形式的测试研究,信度和效度都是不可或缺的重要指标,测试必须保证信度和效度的有效性。测试信度(指的是“相似内容在不同的环境中能否达到相同的测试分数”。四种主要方法用于检测试卷的信度,再测信度:用相同的测试对测试者进行两次测试,比较前后两次的分数。评估信度:用两份类似的测试对测试者进行测试,并对这两份相关测试的分数进行比较。对半测试:一份试卷拆成两部分对测试者进行测试。哥伦巴赫系数:利用方差计算试卷的信度。
测试效度指的是“测试是否达到了测试所要求的目的”。传统测量效度的方法可以分为五种,卷面效度:试卷结构直观看起来是一份质量高的测试。大纲效度:测试精准的反映了大纲的要求。预测效度:测试精确反映受试者在之后一些学习情景中的表现。共生效度:测试给出了先前测试效度的相似结果。结构效度:测试精准的反映了外语学习理论及原则。
3.项目分析。“用数据统计的方式对每个测试者所测试项目的有效性进行统计,通过这种数据的统计方式能够帮助测试制定者在未来测试中编制出更为有效的测试项目,对现行的测试进行规范”。
三、实验材料和研究问题
1.数据来源。本研究选取安徽省黄山市黄山区黄山一中高三(十)班在2016年5月参加的全市高考英语模拟考试为研究对象,本次模拟考试完全按照高考规定的时间和要求完成答题,试卷完成后评卷老师都是按高考要求完成评卷,最后由笔者完成所有测试者分数收集。
2.数据分析。用SPSS软件录入和處理收集来的数据,运用语言测试相关理论结合定量分析的基本准则客观评价本份试卷的质量。为了统计方便笔者将本次150分的高考模拟试卷折算成100分,折算后的各个题型为:听力(20%),阅读(20%),完型填空(20%),无选项填空(10%),改错(10%)和写作(20%)。
3.研究问题。
(1)本次测试的信度和效度如何?
(2)作为高考的模拟试卷本份试卷是否达到了高考卷的标准?
四、分析与讨论
1.测试信度。“一份高质量的测试信度是能够让测试者在不同的环境下进行相同的测试,依旧能够取得相近的测试结果”。因此,科学做法需要相同的测试者在不同条件下进行相同测试,获取测试结果,进而分析测试的信度。现实情况下这种方法实行起来困难重重。多数情况下会采用哥伦巴赫系数分析信度,原因在于哥伦巴赫系数适用于主观和客观题的信度检测,本次信度检测将采用此法。
中我们可以看出,哥伦巴赫系数值是0.777。标准化后的哥伦巴赫系数值是0.802。通常情况下,如果哥伦巴赫系数值在0.5~0.6之间说明测试的内部信度较差,0.6~0.7之间表明内部信度存在一定的问题,0.7~0.8之间内部信度可以接受,0.8~0.9之间说明内部测试信度较好,当数值等于或大于0.9表明测试具有非常高的内部信度。鉴于此,本份试卷的信度是可以接受的,然而作为一次高考模拟试卷信度略微偏低。近年来,在高考信度研究报告中多数学者将高考作为一种高信度测试,数值一般在0.8~0.9之间。
2.测试效度。高考作为选拔性考试,属于考试类型中的成就测试。对于评判成就测试效度的一个最为重要因素就是大纲效度。保证成就测试效度的最好方式是“按照大纲的要求保证足够数量,适合的项目”。但实际情况下很难做到这一点,因此,对于大纲效度,“选择符合大纲的测试内容,控制项目难度成为评判效度的一种通行做法”。
(1)测试内容:作为一份高考模拟试卷,其测试内容要严格的依照高考大纲规定的要求来设置内容。由于2016年安徽省英语高考试卷将采用全国卷,因此我们将依据高考英语全国卷大纲来评判本份高考模拟试卷的项目内容。2016年高考英语全国卷的大纲将英语测试分为了两个大的部分,第一部分是语言基本知识(要求高中生熟练掌握3500个英语词汇和英语的语法知识);第二部分是语言应用(要求高中生具备一定的英语听,说,读,写能力)。我们可以看到本份试卷的Part4和Part5符合了语言基本知识考察的要求,Part1;Part2;Part3和Part6符合了语言应用考察的要求,因此从测试内容角度来说本份模拟试卷基本符合了高考大纲要求。
(2)项目难度:“项目难度如果低于0.3表明该项目难度偏大,项目难度如果高于0.7表明该项目难度偏易”。根据全国高考大纲规定,试卷难度以适中为宜,单个试卷的难度以0.3~0.7之间为好,整卷以0.5~0.6之间为最佳。可以看出,大部分项目落在了0.3~0.7之间,然而整卷难度为0.48略微偏难,这也说明部分题目需要改进,从上表中我们可以看到“无选项完型填空”难度为0.26,此题偏难无法很好区分等级,因此需要做相应的改进。
综上所述,本份试卷的效度尚可,如果从高考模拟试卷的角度来说,本份试卷部分题目需要改进来达到较为理想的效度。
3.基本数据分析。
中可以看到平均分为48.32,标准差为10.573,说明试卷难度偏大,两级分化比较严重。这也从侧面说明本份试卷在某些项目知识点的设置上存在一定的问题。学生对知识结构的掌握不是很好,在某些知识点的设置上有很大的改进空间。
4.项目分析。从表2可以看到试卷当中项目难度最大的是“无选项填空”这道题型,此处将对这一题型进行项目分析,来观察其内部有无不符合测试的项目。项目分析有两个非常重要的指标:难度(P)和区分度(D)。
其余的题目都极大的低于0.3,大部分项目难度都偏大。“如果好的学生在相同题目上比差的学生发挥稳定说明该题具有较好的区分度,一般认为如果区分度指标大于0.3说明该项目有较好的区分度,如果低于0.2则要考虑移除或修改该项目”。依据上述的标准,我们可以看到1,4,7和10没有很好的区分度,而剩下的题目能够很好拉开距离。因此结合两个方面来看,这道题型当中1,4,7和10需要修改或者删除,翻开试卷发现这四个题中有三个是没有给任何提示,需要学生依据语境和文章填写适合的词项,这无疑增加了难度。如果要修改可以考虑对这些题添加一些提示信息让难度降低,从而提高区分度。
五、结语
通过数据分析可以客观描述本项研究所探讨的两个问题,作为一次测试本份试卷的信度和效度尚可。然而作为一份高考模拟试卷本份试卷难度略微偏大,试卷部分题型需要改进。从探究的原因看,学生的英语层次也有一定的差距。因此在高考毕业班的英语教学中,教师也需考虑有针对性的教学方案,以期提高不同层次学生的英语能力。
参考文献:
[1]徐鸿昌.对英语试卷讲评课的建议[J].学苑教育,2016(20):69.
[2]常健.教会学生如何做英语试卷分析[J].语数外学习(英语教育),2013(12):62.
作者简介:汪启凯(1989-),男,汉族,安徽黄山人,硕士,研究方向:外国语言学及应用语言学。