APP下载

基于SPSS的高校试卷质量分析

2021-05-28曾如明

绵阳师范学院学报 2021年5期
关键词:区分度效度信度

曾如明

(西华师范大学数学与信息学院,四川南充 637009)

0 引言

成绩分析与试卷分析是一次考试结束后应该进行的工作.试卷质量分析是考察试卷能否客观准确的检测出学生对知识的掌握程度以及衡量教师教学效果的重要依据[1].目前主要依据难度、区分度、信度及效度对试卷进行综合分析[2].已有的试卷质量分析的相关文献都是针对语言类试卷,这类试卷在同一题型下的各个小题的分数设置基本相同,在计算试卷的信度时,往往只需要将试题按照题目顺序的奇偶进行分半,计算所划分的两部分试题的分半信度,即可得到整张试卷的信度.对理工科类的试卷质量的分析却比较少,是因为理工科类试卷的分数设置较为复杂,即使在同一题型下的各个小题之间的分数都不尽相同,故在计算该类型试卷的信度时,如果仍采用一般的奇偶分半法来计算折半信度,会使试卷整体的信度大幅降低.

目前已有众多国内学者展开了相关研究,主要以难度、区分度、信度及效度为指标展开分析.艾尼瓦尔·斯地克,张 峰,再米热·阿布都沙拉木[3]主要对试卷进行定量和定性分析这两方面展开说明,通过对试卷进行质量分析,为进一步提高试卷的质量积累经验;施俊,杨勇[4]首先简单介绍了SPSS软件的作用与功能,然后详细给出了利用SPSS软件对试卷进行难度、区分度、信度及效度分析的操作步骤;苗利明, 冯健文[5]首先分析了难度、区分度、信度及效度的主要应用场合,然后利用这四个指标对某高校2015级计算机科学与技术专业的软件工程试卷进行了详细的试卷质量分析;张敬东, 闫红, 李付学[6]简要阐述了试卷分析的重要性,并提出试卷质量分析主要从定性和定量两个方面进行;石佳灿[7]运用SPSS软件,以某中学的一次科学考试的试卷展开分析,通过难度、区分度、信度及效度这四个指标的计算结果发现,该套试卷的试题设置较为合理,为日后考试试题的设置提供了模板;王剑华,向玉鸾,杨宏颖[8]等人对某高校2014-2018学年临床医学专业期末内科学试卷成绩展开了分析,结果发现,该套试题的题目设置还有待改进;敖希琴,蒋静,曹莉[9]利用SPSS软件从定性及定量两个角度对试卷进行质量分析,并利用古林法确定难度、区分度、信度及效度这四个指标的权重系数,最后建立了基于这四个指标的试卷综合评价模型.

为此,本文以某高校16级高分子化学课程的试卷成绩为例,运用SPSS软件对试卷进行定量分析,并根据试卷分数的设置采用合适的分半法将试题分为两部分,然后采用折半信度计算整个试卷的信度.并对该课程教学过程中存在的问题以及需要改进的环节进行说明,意在促进该高校高分子化学课程教学改革,提高高分子化学专业学生的专业技能,为以后工作打下良好的专业基础.

1 理论基础

1.1 信度

信度[10]即可靠信,它是指采用同样的方法对同一对象测量时所得结果的一致性程度.通常信度包括:重测信度、复本信度、内部一致信度、折半信度和评分者信度.而试卷的信度一般采用折半信度来衡量.折半信度是通过试卷的具体构成,采用合适的分半方法将试卷的题目分为两部分,通过二者的相关系数计算整张试卷的信度.

1.2 效度

效度[10]即有效性,它是指测量工具或手段能够准确测量出所需测量的事物的程度.效度包括:表面效度、内容效度、校标效度、内在效度和外在效度.试卷的效度通常包括内容效度和校标效度.

1.3 难度

试卷中每一题的难度[11]通过难度系数来反映.难度系数是衡量试卷设置合理性的指标之一,一份好的试卷应该设置合适的难度系数,难度系数既不能太大,也不能太小,例如,高考数学试卷的前几个选择题的难度系数一般较低,是为了考察学生对基础知识的掌握情况,而最后几个选择题的难度系数一般较高,是为了筛选出较为优秀的学生,其他题型的设置也是如此.本文中,每一题的难度系数=1-该题平均分/该题总分.

1.4 区分度

区分度[11]是衡量试卷质量的主要指标之一.试卷区分度能够将学生分为优秀、一般、较差三个层次.一份好的试卷应使得优秀、一般、差三个层次的学生都有一定比例,如果某一分数区间学生相对集中,高分太多或不及格太多的考试,则认为区分度低,试卷试题设置不合理.通常情况下,D>0.4,认为此题的区分度很好;0.3

2 研究过程

2.1 卷基本情况

对某高校2016级参加高分子化学课程考试的66位考生的试卷得分进行分析,试卷满分100分.包括四个大题,第一大题,填空题,共14个小题,34分;第二大题,合成题,共4个小题,16分;第三大题,选择题,共10个小题,20分;第四大题,计算题,共3个小题,30分.基本得分情况如下表1-4:

图1 总分直方图Fig.1 The column diagram of total points图2 总分箱线图Fig.2 The boxplot graph of total points

由直方图和箱线图可知,全班平均分为69.83分,学生成绩大致服从正态分布,且学生成绩相对集中,没有异常值出现.大致认为该套试题内容设置合理,能够较好的反应学生平时的学习情况.

2.2 试卷的难度与区分度

表1到表4为该套试卷每一小题下的具体得分情况及难度系数与区分度,从每个题的难度系数来看,第一大题填空题里的每个小题的难度适中,但区分度却很大,说明部分学生的基础知识掌握的不太扎实,而老师的选题却很经典;同样的,第二大题每个题目的选取也很有代表性;第三大题的第五个选择题的区分度仅有0.06,表明该题的选取不太合适,可以将其删除或修改;第四大题的每个小题的难度和区分度都很适中.总的来说,该套试题题目的设置能够较好的反应该班学生在这一时期的学习情况.

表1 填空题得分情况表Tab.1 The marks of Completion

2.2 信度分析

由于是考试,故重测信度,复本信度等其他信度不适合用来判断考试试卷的信度,本文选择折半信度.该套试题只有四种类型题,且每一类型大题下又设有个数、难度、区分度不等小题,所以不能依据传统的奇偶分半法把试卷简单分为两部分,且每一大题中每一小题的分值设置不同,故不能直接把每一大题下的小题按所处题项的奇、偶分为两部分,而是根据两部分试题总分、区分度基本相同的原则将试题进行划分.为了做到两部分试题区分度,总分基本相同,选择第一大题的1-7小题,第二大题的第2、4题,第三大题的1、2、4、5、10题和第四大题的1、3题做为分半的一部分,其余题目做为另一部分.此时第一部分包括16个小题,共51分;第二部分包括15个小题,共49分.且第一部分总的区分度为11.77,第二部分总的区分度为11.86.

首先根据公式(1),计算两部分试题的折半信度系数为0.82,(其中,N表示试卷的份数,x1表示第一部分试卷的得分,x2表示第二部分试卷的得分)0.82>0.7,表明两部分试题有较好的一致性.接着根据公式(2)计算可得整个试卷的信度为0.90,表明整张试卷具有很好的信度.

(1)

(2)

2.3 效度分析

校标关联效度是测量试卷有效程度的主要方式.通过选择合适的校标,计算学生本次考试成绩与所选校标之间的相关系数,能够较准确地测试出学生掌握和运用所学知识的真实度.校标即为一种参照标准,常见的效标主要有平时成绩、等级评定、临床诊断、特殊训练成绩、实际工作表现、对团体的区分、其他测验成绩等.

好的校标测量应满足:

1)校标测量必须真实的反应观念校标的重要侧面;

2)校标测量必须稳定、可靠;

3)校标测量必须客观,避免偏见;

4)在保证有效性的前提下,校标测量必须尽可能简单、省时、花费少.

基于以上原则并考虑到工科类考生不仅得掌握理论知识,更要注重实践这一特点,故选择参与本次高分子化学课程的考生的平时成绩与实验成绩作为校标.首先计算每位考生平时成绩与实验成绩的平均分作为本次考试试卷的校标,再计算考试成绩与所选校标之间的校标关联系数,一般来说,效度系数在 0.4 到 0.7 之间符合标准,效度值越大效度越高.借助SPSS软件19.0,计算可得二者之间的相关系数如下表所示:

由表5可以看出本次考试成绩与所选校标在显著性水平为0.01下的相关系数是显著的,即学生的考试成绩与平时成绩及实验成绩相关性较强,本次考试基本上反映了学生平时的学习情况,故效度基本符合要求.

4 结束语

对试卷进行合理、有效的试卷分析,既能客观的评价教师的教学效果,也能有效的掌握学生的学习状况,方便教师及时发现课程教学所存在的问题,以便做出调整.试卷质量分析主要从难度、区分度、信度及效度四个指标展开.若通过折半系数来反映试卷的信度,要对试卷采用合适的分半方法,不同的分半方法会影响对试卷信度的判断.对于各题型设置下每一小题分数不尽相同的试卷,也可以使用分半信度系数来判断试卷的信度.此时,不能直接按照题目序号采用奇偶分半法,而要根据两部分试题题量、总分、区分度基本相同的原则将试卷分为两部分,进而计算试卷整体的信度系数.校标效度是最为常用的试卷效度的衡量方式,对于工科类学生,不仅要掌握基本的理论知识,更要重视实际操作,故将平时成绩与实验成绩相结合作为校标,能更好的体现校标的客观性.

猜你喜欢

区分度效度信度
平衡损失函数下具有两水平共同效应的信度模型
净保费在平衡损失函数下的回归信度估计∗
问卷是否可信
——基于体育核心期刊论文(2010—2018年)的系统分析
图形推理测量指标相关性考察*
Beep test评估11~15岁少年游泳运动员有氧能力的效度研究
谈高效课堂下效度的提升策略
巧用模型法提高科学课堂教学的效度
浅观一道题的“区分度”
利用垂直平分线的定义巧解题
语言测试效度研究的另一视角:考试的因子结构研究