高职数学本位测验编制及学习困难监控与干预应用
2021-07-08李中良
李中良
(江苏电子信息职业学院,江苏 淮安 223002)
一、前言
课程本位测量(Curriculum-Based Measurement,简称CBM)是一种特殊的方法,通过对学业技能(包括阅读、拼字、书写、数学等课程)直接地、持续不断地评估,看其是否达到所设的长期目标。课程本位测量对教学最具有实质性帮助,就是可以根据施测结果对学生的错误进行分析。CMB是对相关领域学生学业表现进行的直接和持续的监控,因此对学生在课程学习上的变化很敏感,能在较短的时间里侦测出学生的变化,这样教师就可以及时有效地评价学生的学习情况和教学干预的效果。
当前高职数学教育中,存在着“教师觉得难教”“学生觉得难学”的双重矛盾,考虑到高职学生整体学业素质不高的现实背景,高职针对学情都进行了高等数学教学改革,无论是模块化教学还是分层教学,都一再降低难度,但学生学习的效果一直提不上去。高职学校教师如何在早期对学习困难学生进行鉴别,并及早的进行干预,最大限度地减少学习障碍的发生和降低严重程度,提高教学质量是关键,因此集鉴别与干预为一体的数学课程本位测量是当前高职数学教学的急切需要。CBM在数学课程国内应用方面,主要是台湾地区学者有研究,例如张朱利运用数学课程本位测量以三名国小学生为研究对象,分析学习障碍学生分数单元文字题及计算题错误类型、数位分数学习表现、概念分数学习表现,结果三位学生都有不同程度的进步。大陆地区数学CBM运用于数学课程的研究较少的原因是目前尚未有研究者编制数学CBM测验。但从前人的研究中可以看出,数学课程本位测验有其优势所在,对于像高职院校学生这样总体上存在一定数学学习困难的群体,编制该测验并用于课程鉴别和诊断,帮助教师把握学生学情,具有非常好的效果。
二、高职数学CBM编制过程
CBM虽然符合课程本位评估的基本原则(强调用实际授课的内容与材料来评估学生的学习,并以此作为判断学生学习问题所在及做出教育决策的依据),但与一般非正规、非标准化的课程本位评估不同,CBM是标准化的,在所测量的行为、测量程序和数据处理上都有标准程序可循,具有良好的信效度。因而CBM测验的编制也遵循标准化操作的测验编制过程。
(一)测验内容的选择
Fuchs等人提出的编制数学课程本位测量卷的方法是首先分析与确立一学年(或一学期)课程中所包含的问题类型(problemtype),以及每一问题类型的相关题目。教师运用问题类型细目表,从题目中随机取样编制系列测验卷。如图1。
图1
本研究中编制课程本位测验的是根据《高等数学(A层次)》课程教材内容结合教学大纲,确定问题类型主要包括三大模块的内容。具体如下:
一是极限的思想及其掌握。掌握极限的描述性定义,了解左、右极限的概念并能在学习过程中逐步加深对极限思想的理解;掌握极限的四则运算法则,会求一般函数式的极限;掌握两个重要极限;了解无穷大,无穷小的概念,能进行无穷小的比较,能用等价无穷小替换求极限。能够建立无限的思想观,并能用“分割、求和、取极限”的思想方法求一些诸如图形面积的问题。
二是能用微分知识解决变化率问题。能利用导数研究函数的单调性,会求简单函数的单调区间;结合函数图像,了解函数在某点取得极值的充分条件和必要条件;会用导数求简单函数的极大值和极小值以及闭区间上函数的最大值与最小值,生活中的利润最大、用料最省等优化问题解决,体会导数在解决实际问题中的作用;掌握判断曲线的凹凸性和求拐点的方法;会用洛必达法则求未定式极限的值;会作简单函数的图像。
三是能用积分中的微元思想解决实际中的求和计算问题。熟练掌握不定积分的基本公式;掌握不定积分的换元法和分部积法;会求较简单的有理函数的积分。
这三大问题类型内容模块是研究者根据三位专家的共同评分制定的,评分一致性系数超过0.95,之所以没有纳入曲线拟合、优选法等内容,是因为实际授课中,高等数学(A层次)只占4学分,即一学期的课程,这些更高层次的内容通常是选修。另外也要考虑课程本位测验的量不能太大,要短时间内测试学生的掌握水平,只能选择最基础的教学重点内容。在课程本位测验内容比重问题上,认为这三个模块各自占比为40%、40%和20%,这是由于极限和导数是微积分的基础,掌握好极限和导数,微积分内容能够更清晰,而且在实际的教学安排中,通常这些模块内容的学时也符合这一比例。研究者采纳了专家的建议,将课程本位测验内容选定暂定为这三个模块。
(二)测验框架
在确定了测验的内容和比重后,要形成测验,还需要拟定测验的框架,因为课程本位测验需要形成具体的双向细目表,将模块内容、考察的知识点,评价目标等三方面内容进行细分,由于这里测验的编制,其中评价目标不再以一般的细目表方式,如了解、掌握、应用等表达,而是直接用权重代替,这是由于数学课程本位测验的0或1计分方式,无法看出属于能力要求的什么层次。经过与专家商定,制定的测验内容双向细目表如下,见表1。
表1 测验双向细目表
从表1中,大致可以看出课程本位测验的框架雏形,由于课程本位测验对于题量和测验时间的要求,题量不宜大,测验时间要短,因此,在测验题项的确定时,根据双向细目表,每个知识点编制1题,这样一份测验卷只有15题,15题要囊括整个高等数学(A层次)的大纲内容,CBM是系列卷,数学组教师协助测验编制者共编制了16套数学课程本位测验卷。
(三)测验形式和时间
CBM以测试卷的形式发给学生,研究者统一了指导语:“亲爱的同学,请认真完成这份数学卷,试卷仅用于了解你的数学掌握水平,第一题开始做,做完第一排的最后一题,接着做下一排。如果你答不出来,就在该题上划个‘×’,然后做下一道题。我说停止,就放下笔立即交卷。不需要有顾虑,这不是考试,你只要答出你的真实情况即可,完成后有小礼物发放。”研究者为了消除学生的心理压力,在初测时没有要求学生记名,而实际上每一份问卷都进行了编号,每个学生拿到的是固定编号的问卷,这其实是单盲的测验,为了避免学生对测验的误解,影响真实作答,例如会为了得高分在一题上花费太多的思考时间等情况。
初始问卷编制好了以后,研究者找了一些学生进行预测试,了解学生大概所需的时间,同样不会做的直接画×,唯一不同的是,不限定学生作答时间,做好了就交卷,发现学生所需时间为12-25分钟之间,实际上,课程本位测验所需的时间要尽量短,研究者认为理想的状态是在10分钟以内,但是高等数学需要进行一系列的求解运算,一题从审题到作答完毕,正常情况都需要15分钟左右,因此,并且需要考虑到学生目前的学情,基础比较差,学业情况不佳的学生偏多,15分钟内完成的要求也未必能达到,需要根据实际情况进行放宽处理,因此结合预测试情况,将测验时间规定为20分钟。
三、研究结果
由于编制的课程本位测试卷不是单一题型,是涵盖一学期数学课程内容的试卷,因此适于施测的对象是学完了课程的学生。但还需要考虑时间因素,被试不能对知识点遗忘太多,而且被试个体差异不能太大,因此测验编制好后,研究者选取了在寒假过后一开学就进行初测。初测的对象是16级汽车工程与维修专业高职生,随机抽取60人,为了平衡性别差异,男女各一半,即都为30人。每周一和周三的晚自习第一节课,让被试集中到合班教室内集体做测试。这样每周完成2套卷子,历时2个月时间,共完成16套CBM。中间严格控制被试的流失情况(不允许请假和迟到,必须提前签到),这样保证了每一套问卷都有详实的初测数据,用于评估问卷的统计学指标是否达到要求。由于每一套试卷都要单独去施测,因此计算统计学指标时,也是只能每一套逐一计算,由于篇幅的限制,研究者无法罗列每一套试卷的难度、区分度、信效度的情况,仅以测试卷1为样例,说明测验标准化的过程,其他15份测试卷都采用了同样测验标准化指标统计方式。
(一)难度与区分度
项目的难度取决于测验目的。如果测验是为了考察学生对某些方面的知识、技能是否掌握(掌握性测验),可不考虑项目难度。本研究编制的课程本位测验目的是了解学生对课程内容的掌握情况,因此,项目的难度可以不考虑。
项目区分度分析的方法是以量表总分最高的27%为高分组、最低的27%为低分组,对高低分组在每题上的得分进行独立样本t检验,删除没有达到统计显著性水平的题项。并计算每题与总分之间的相关,将相关较低(r<0.20)的项目剔除。对测试卷1的被试进行高低分组划分后,每题得分独立样本t检验的结果见表2.
表2 高分组和低分组在每题上得分的差异检验(M±SD)
注:*p<0.03,**p<0.01
从表2中可以看出,高分组和低分组在各题上的得分差异都达到了统计学水平,说明题目区分度好,对各题目与总分相关检验,未发现相关低于0.20的项目,说明没有不符合区分度统计指标的项目。
(二)信度分析
课程本位测验不适合采用分半信度(一套卷子中题目无法对半分,形成平行测验),因此这里的信度检验,仅考察复本信度和内部一致性信度。
数学课程本位测验为系列测试卷,编制的16套卷子都为平行卷,因此可以用测试卷1与剩余15套测试卷中任意一套进行相关分析,计算复本信度。在SPSS软件中进行相关统计发现,测试卷1与其他测试卷之间的总分相关系数在0.887-0.911之间,各题项相关系数在0.855-0.903之间,说明编制的测验具有较高的复本信度。
在SPSS统计软件计算得到针对编制的测验进行内部一致性系数检验得到,测试卷总分Cronbachα系数为0.89.各题目Cronbachα系数在0.69-0.87之间,测试卷的信度情况良好。
(三)效度分析
高职数学本位测量是在查阅相关文献的基础上进行的,项目编制也基于课程大纲、同时兼顾了实际教学情况,项目由多位专家进行了评定,每份测试卷题目来自于课程题库,保证了测试的内容效度。
根据因素分析理论,因子之间应该有中等强度的相关,Tuker指出了相关的具体范围,即因子与总分之间的相关在0.30-0.80,各因子之间的相关应该在0.10-0.60,只有在这些相关全距内,才能说明问卷具有较满意的信效度指标。各题项与总分的相关在0.30-0.56之间,各因子间的相关在0.19-0.59之间,在符合标准的相关全距内,说明结构效度好。
高职数学CBM最恰当的校标是该数学课程的期末测试卷。将编制的课程本位测试卷与期末考试卷进行相关检验,发现16套测试卷总分与课程期末考试总分的相关为0.84-0.92之间,相关系数高,说明效标效度佳。
四、CBM监控干预学习困难的应用
(一)干预对象
假设课程本位测量能用于诊断学生学习问题所在,所得信息可以作为制订下一步教学方案的依据。经过多次CBM测验并教学目标和策略后,学生的学业不良情况能得到显著改善。所以研究对象就是高职数学学习中存在学习困难的学生,通常挂科必须重修。由于这部分学生已经学习过了一学期课程大纲的内容,CBM测验用于施测这部分学生非常符合。但挂科的学生并不是全部属于数学学习困难,也有是因为缺考、甚至有一些学生考试时候不认真审题的也可能造成错题较多的情况,因此要选出真正的学习困难被试还是需要CBM进行鉴别。研究者将16套测试卷,分为了8套正式测验用卷,和8套测验复本。用测验复本对该某专业《高等数学(A层次)》需要重修的学生进行施测,按两个标准筛选了被试:一是8套试卷每套总分低于8分,二是某一类题目通过率低于12.5%,也就是说8套卷子在考察该题目是最多只有一套试卷上能够顺利通过。这样筛选出了8名被试。
(二)干预过程
根据Fuchs等人提出的应用CBM对数学学习效果进行干预的方案,本研究制定干预方案如下:
1.基线期
基线期(A):持续2周,对筛选出的8名学生均进行了2次CBM测量(来自正式测验的CBM测试卷)。依照CBM评估结果建立8名同学数学学习成绩和学习效率和正确率基线水平。并根据8名同学在基线期的错误类型分析确定教学干预计划。
2.干预期
干预期(B):由于CBM需要多次的评估进行分析,在干预阶段,研究者仍然选择将16份测试卷都作为干预材料,由于基线期已经使用掉2份,此时能正式用于监控和评估的是14份测试卷,持续14周,对筛查出的8名同学进行每周1次的干预测验,共14次。每周根据测验所得数据进行分析后,根据8名同学的进步情况调整教学策略。
(三)干预结果
本研究有8名被试,因此8名被试(A-H)最终状态和基线状态的情况也值得我们关注。见图2。
图2
从图2中可以看出,所有个案在CBM的监控下进行干预学习后成绩提升效果明显,最终状态都比基线状态有了大幅提升。
五、讨论
研究者认为产生CBM监控和干预取得效果的原因主要有以下几方面;
一是对学生错误的分析。每份测验卷都能按固定比例反映整学期(年)的学习目标,同一单元目标会在不同的测试卷中通过不同的题目得到反复测量,这样就能连续而详细地收集到有关学生某一特定概念或技能掌握情况的数据,对这些数据进行分析,就能了解学生的错误类型和具体学习困难所在。课程本位测量能用于诊断学生学习问题所在,所得信息可以作为制订下一步教学方案的依据。在本研究中,教师通过数据分析发现学生对极限的计算掌握情况不佳,因此极限知识点的讲授在教学中更多偏重,更多例题变式训练,这就是学生为什么反馈老师讲的东西正好是自己不怎么会的知识以及要多做练习的原因。
二是高质量的个别辅导。CBM可以进行经常性的施测,而不会对效度产生影响,对于细微的处理效果具有敏感度,并且其数据的搜集是以个别参照来决定其发展进步情况的,与常模群体的特征无关,所以可以为个别辅导的制订和调整提供及时、有效的信息。tecker和Fuchs的研究也显示,教师若依据个别学生课程本位测量的数据调整教学策略,就能显著提高学生的学习成就。反之,若教师未依照个别学生课程本位测量数据调整教学策略,学生的学习成就前后并无差异。由此可见,个别课程本位测量数据对设计学生教学方案的重要性。
三是教师的积极支持和学生的自我强化。CBM的持续评估中,学生的自信心也随着分数提高而提高,减少了以前学习上的自卑心理,这样有助于他们更投入的去学习。教师在辅导过程中也多讲授一些考试过程中的答题方法,步骤,时间安排等答题技巧,提高他们完成测验的准确度和速度。