地理测验的分析技术*
2013-03-11华东师范大学资源与环境科学学院200241段玉山中华地图学社200063陈春方
华东师范大学资源与环境科学学院(200241) 段玉山中华地图学社(200063) 陈春方
地理测验的分析技术*
华东师范大学资源与环境科学学院(200241) 段玉山中华地图学社(200063) 陈春方
当一份地理试卷摆在我们面前,我们应该科学地进行试卷的反馈:一方面是针对测题及试卷的质量,另一方面是针对测验结果的分析。
一、测题分析的几个指标
对测验质量做定性分析,需检测构成测验的每一道题目是否真正符合了其相应的命题原则。通过定性分析选出来的测题,其质量并没有足够客观的指标进行说明,因此必须将测验进行预测,然后运用统计分析技术,对所收集到的数据进行客观的定量分析,从而确定每一道题目的难度与区分度指标,进而根据各项指标进一步筛选题目以及对题目进行分类以供题库使用。
1. 测题难度
难度是指题目的难易程度,它是反映题目对学生知识和能力水平的适合程度的指标。
对地理测题,其原始回答数据由答题者对问题的正确作答、错误作答及未作答的试题数构成。根据这一信息可以立即算出正确作答题数的比例或百分比。这个统计量称为题目难度。换句话说,难度的指标通常以通过率来表示,即以答对或通过该题的人数比例来表示。当题目分数是二分变量(即答对为1,答错为0,如选择题)时:
式中:P为题目难度值,R为答对或通过该题的人数,N为全体人数。
【例1】在一地理测验的某道选择题上,100名学生中选择正确答案的有68名,则该题难度为:
当题目分数是多分值时,难度是全体学生在该题上的平均数与该题满分的比例:
【例2】一组学生在某道地理题上得分分别为2,5,9,10,4,8,7,5,3,0。该题满分为10分。则该题难度为:
当被试人数较多时,则可以根据测验总成绩取被试的高分组(一般取分数最高的27%被试)和低分组(一般取分数最低的27%被试),分别求这两组被试的通过率,再求题目难度:
式中:P为题目难度,PH高分组通过率,PL为低分组通过率。
当题目以二分法计分时,上式即为:
式中:P为题目难度,RH、RL分别为高、低分组被试答对人数,NH、NL分别为高、低分组被试总人数。
当题目分数是多分值时,难度又为:
【例3】从例2中取高分组学生3人,低分组学生3人,则该题难度为:
与例2的结果十分近似。可见这一方法可以简化分析过程。
此外,当题目采用多项选择时,由于有多个可能的答案可供选择,正确作答的数目可能受机遇的影响而增长,这就使P值变化。为了平衡选项数目对难度的影响,也可以对难度值做如下矫正,但这种方法使用不多。
式中:CP为矫正后的难度值,P为未经矫正的难度值,K为选项数。
2. 测题区分度
测题的区分度又称鉴别指数,是指测题对于被试反应的区分程度和鉴别能力。一般用某测题的得分与测验总分之间的相关关系数来表示。二者的相关程度高,表明该题的区分度高。就教育成绩测验来说,区分度高就意味着该题对于学习成绩好的和学习成绩差的学生,有较好的区分和鉴别能力。也就是说,学习成绩好的学生在该题上得分高,学习成绩差的学生在该题上得分低。如果某题得分与测验总分之间的相关程度低,表明该题的区分度低。这意味着该题对于学习成绩好的和学习成绩差的学生的区别和鉴别能力差,即学习成绩好的学生在该题上的得分反而低,学习成绩差的学生在该题上的得分反而高。区分度是筛选测题的主要依据之一。
当题目分数是二分变量(即答对为1,答错为0,如选择题)时,用分组法估计测题的区分度。
将由高到低排列的测验总分,分成高分组和低分组。两组的人数可以各取总人数的50%、33%、25%或27%,其中以取总人数的27%为最好。某题的区分度可以用高分组该题答对的人数比率与低分组该题答对的人数比率之差来表示,称为测题的鉴别指数。用公式可表示为:
式中:D表示测题的鉴别指数,PH表示高分组该题答对的人数比率,PL表示低分组该题答对的人数比率。美国测量学家伊贝尔根据自己编制测验题的经验提出了从鉴别指数上评价测题的标准。
表1 鉴别指数的评价标准
【例4】一次地理测验的学生共18人,高分组和低分组若各取总人数的27%,那么两组各为5人。其中第4题高分组5个人中全部答对,低分组5个人中有1个人答对,根据公式,该题的鉴别指数为:
3. 地理教学标准参照测验的题目分析
以上所述是常模参照测验测题的分析方法。由于常模参照测验的目的在于测量学生的相对位置,因此测题的区分度相当重要,而且难度也要能使它充分发挥提高鉴别力的作用。标准参照测验的目的在于测量学生是否完成了预先规定的教学内容和目标。测题的难易程度应根据教学内容及目标来确定。而测题的区分度对标准参照测验来说意义不大。例如,假如教学内容及目标较为简单,那么,测题也必然比较容易。在此情况下,有可能所有的学生都能答对某一测题。虽然其区分度为零,但对于标准参照测验来说,该题还是有效的。
标准参照测验测题的品质,可以用教学前后答对的人数比率之差来表示。用公式来表示为:
式中:RA表示教学后某题答对的人数,RB表示教学前该题答对的人数,T表示作答该题的总人数(不包括未答者)。
表2 初中地理标准参照测验测题分析结果
当S值为正,则数值越大,表示测题对教学效果或学生的学习效果反映得越敏锐;当S为零或为负值,则为不良的测题,表示该题不能反映教学效果或学生的学习效果。
二、测验成绩的解释标准
一次测验结束后,须判断学生是否达到了预定的标准,一般的传统做法是以60分作为判断的标准,60分以上即为及格分数。在教育测量学中我们将这一过程叫做设置标准。在地理教学标准参照测验中,我们需在施测前设置一个切点分数,以此分数作为参照,对学生的测验分数作出解释。设置标准就是指建立切点分数的过程。有多种方法设置标准,这里列出三种:
1. 由了解测验内容的专家和有经验的教师来判断标准
由了解测验内容的专家和有经验的教师来判断标准,判断学生正确回答百分比应该是多少,才表明学生达到了最低能力水准。例如通过确定学生正确回答了60%的测验内容,就认为学生达到了最低能力水准。
2. 根据测题内容分析设置标准
这种方法也是由专家和有经验的教师来判断标准,但做法比较细致。考虑到测题内容和难度都会影响标准的设置,所以此法采用两维的表格,从测题的内容和难度两方面对测题进行分类,一维是测题与教学目标的关联性,分为三类:实质性的、重要的、一般的;另一维是测题的难度,分为三类:难、中等、易。见表2的例子。表中的题数是统计出的地理测验属于各类测题的数目,如属于实质性的容易的题目有6题,表中的百分比表示专家判断出的该类题学生至少答对百分之几十才能视为达标。具体分析方法是:
(1)将测题逐一归类到方格中,计算出属于各方格的测题数量。
(2)由专家和有经验的教师判断每个方格中的测题,达标的学生至少应答对百分之几十。例如,重要的中等的测题,及格的学生至少应答对30%。这样就编制完成表3。
表3 根据内容设置测验标准的分析表
(3)计算切点分数。即达标学生的最低得分。计算公式如下:
式中:X为切点分数,P为各方格达标学生至少应答对的百分比,M为各方格中测题的规定的得分的总和,∑为全部方格的P与M的积的连加和。
在表3的例子中,假定每题1分,则切点分数为:
(4)如果由多位专家判断切点分数,则要各位专家判断的切点分数的平均数,以平均数为达标的标准。
3. 根据学生的成绩设置标准
由熟悉学生的教师将学生分为成绩较好的、中等的、不达标的三组,分别统计成绩较好组、不达标组两组该测验的分数,在同一个直角坐标系中绘制两组次数多边图,以图中两个次数分布多边形的交点的横坐标为切点分数。该例中两组次数多边图的交点横坐标为“71”,则以71分为这次测验的达标分数线。
图1 学生成绩次数分布图
*本文系全国教育科学“十二五”规划2011年度教育部重点课题“高考加强能力考查的创新研究——以地理学科的命题研究为例”(项目号:GFA111014)的阶段性研究成果。