利用实测数据反馈教学,促进学生学业成长
2011-05-10天津市和平区教研室刘增生
■天津市和平区教研室 刘增生
利用实测数据反馈教学,促进学生学业成长
■天津市和平区教研室 刘增生
为准确了解本区学生学业水平状况,帮助各学校寻找到教学的薄弱点并用以改进学校的管理和教师的教学行为,2007年和平区教研室确立了利用考试实测数据开展评价工作,研究教学、改进教研的发展思路,并于当年下半年在初三、高三两个毕业年级启动了实测数据统计分析工作。3年来,从区域层面、学校层面、学科层面和学生个体层面多角度、多指标展开跟踪、分析、诊断、研究、改进、评价。现把此项工作总结如下:
一、理论依据
(一)教育评价学理论
美国著名教育评估研究专家L.D.stuffobcam指出,“评价最主要的目的不是证明,而是改进”。我们在理念上破除了“只有难倒学生,才能体现评价人水平”的陈腐观念,注重帮助学生树立成功的信心,发现发展中的问题,通过反馈信息,促进学生更好地发展。反对仅仅为名次或升学率而进行的评价,使其真正成为促进学生、教师和学校全面和谐发展的工具和手段。
(二)教育心理学理论
当代教育心理学指出,学生个体在性格、智力、动机和认知风格等方面都存在差异,并对其学习结果产生直接的影响。因此教师在课堂教学和对学生进行评价的过程中不能“一刀切”,而应该针对不同学生因材施教,对其学习结果进行纵向考察,实施“增值”评价。
二、研究的创新点
(一)本研究与国内外相关学生学业质量分析系统最大的不同是采取整体抽样
每次全区统一质量调查后,都对九年级和高三年级所有中考和高考的纸笔测验科目数据进行登统,以便于正确解读数据,全方位了解数据背后所揭示的教育教学过程中的问题,合理利用数据,为全区各中学教育教学改进提供依据和建议。
(二)本项研究防止了以往评价方法单一、过分注重结果而忽视学生的学习过程的问题,充分考虑最大限度调动学生学习的积极性和教师教学的积极性
尤其是学校对数据的二次开发,可以帮助教师关注学生在各个方面的掌握和发展情况,而不是某一个方面甚至在某一点上的掌握和发展情况;可以让教师帮助学生认知自己的“长处”和需要改进的方面,帮助学生建立“我可以学得更好”的自信心,也为教研员更好地指导全区的教研工作提供了依据。
(三)本项研究防止了以往质量调查评价以点带面、以偏概全的情况的发生。
本项研究帮助我们准确地了解了本区学生学业水平状况,帮助各中学寻找到教学的薄弱点,改进了学校和教师的教学行为,通过目标达到度和发展度两个尺度进行综合分析,评价的方法既考虑教师接班时的原有基础,又要注意到进步因素;既考虑了学生的原有基础,又注意到学生学习的进步提高。
三、课题研究的思路
本课题本质上是教学研究项目,是基于标准的、大规模数据采集与分析基础上的教学研究和教学改进项目。研究的基本流程是:系统软件的研发—考试实测数据的录入与统计—统计结果的分析与研究—考试结果的评价、反馈、改进、总结。
(一)软件研发,即天津市和平区学生综合素质评价之一——学生学业成长分析系统软件的开发与实施
“实测数据统计与分析系统”研发小组负责组织记录每次实验数据,并利用信息技术手段开发一套“天津市和平区学生综合素质评价之一——学生学业成长分析系统软件”,为教研员、基层学校和局领导提供数字化分析报告。
(二)利用实测数据进行统计与分析
1.对采集到的第一次实测数据,进行本体自我分析和相对评价,分析目标达到度。
具体而言,就是在一组评价对象内部进行相互比较,通过比较来确定每一评价对象在组中的相对位置。教研室对第一次实测数据统计的结果进行了分学科、分学校、分题型的初次具体诊断,初步分析出各基层学校,在各学科、各题型、各采分点教与学的情况。通过与区常模的对比,一方面使学校比较清楚地了解到自己的长处与短板、优势与弱项、改进点与提升点;另一方面也使我们对全区所有参加质量调查的学校、学科、学生有了“实证+经验”的了解。(注意:因为原始分数没有绝对的参照点,我们要寻找一个参照点,这就是常模,由于各种客观条件的限制,我们只能通过对全区所有本年级学生的测量成绩来代表总体,这就是地方常模,也就是文中提到的区常模。)随后教研室召开全体教研员联合会诊分析会;教研员利用区域学科教研活动做得失分点分析与对策指导;基层学校得到自己学生的实测数据统计后,第一次清晰地了解到教师的教与学生的学两方面存在的不足,从而能进行有针对性的研究与改进。
2.对采集到的第二、第三次实测数据,增加纵向形成性评价。
随着第二、第三次实测数据的输入,具备了纵向跟踪的前提条件,我们又增加了对各学校、各学科实测数据的过程性跟踪,及时发现其中的相对增长点,加以肯定鼓励。依照木桶原理,要求学校的管理层找“问题学科”,从学科找“问题题型”;教研员(或课任教师)找“问题题型”和知识点漏洞,分析问题产生的原因及改进措施,通过这种跟踪分析研究,学校和教师从中发现自己在管理和教学方面存在的薄弱环节,并在此基础上修正、调整和改进自己的工作;学生了解自己在学习方面掌握和落实的效果,看到自己的差距和出错的“症结”,从而及时调整自己的学习方法。
3.随着实测数据一年之后的积累,增加横向同期对比性评价。
随着研究工作进入到第二年,数据库中内存实测数据有了量的积累,我们的实验工作具备了横向同期对比的前提条件,我们又增加了对各学校、各学科实测数据的同期横向对比,即利用比较分析法,把全区各学校历届同期实测数据加以对比,分析出相同点、差异点、提升点和改进点。
4.实行交接班制度,增加个体内差异增值性评价,充分考虑发展度。
充分考虑各学校生源的差异,对各学校历次质量调查实测数据的跟踪也应该是一个多元化、动态的体系。在深层次为不同类别学校诊断分析的过程中,我们发现,由于客观上生源状况不佳、编制不确定等原因,使得有的学校、有的教师存在畏难情绪;教学不能实现正常循环,无法进行跟踪考察;学生进步与提高幅度不明显,直接影响了自信心的树立和工作学习积极性的调动。根据这些因素,我们增加了个体内差异增值性评价,即以评价对象群体中各对象自身的发展变化为参照点的一种评价,把评价对象过去和现在相比较或把某一对象的不同侧面进行比较,看自己与自己的变化点,找自己与自己的增长值。我们以各学校、各学科交接班时的质量调查实测数据统计作为起点,采用自我相对评价、纵向形成性评价、横向同期对比评价以及个体内差异增值性评价等方法,从不同的角度、不同的侧面和不同的方法,对同一学校、同一学科进行自身历史纵向和整体同期横向的跟踪、比较,最大限度地全面、客观、公正反映学校、学科、教师及学生的实际状况。
5.利用箱线图对不同学生群体学习情况进行深入的再分析。
利用各学校全体考生实测数据的总平均分、最高分、最低分、第25%位置处学生的平均分及第75%位置处学生的平均分这5个特征值作为绘制箱线图的原始数据,得到“各学校试卷总分数分布箱线图”,可以清晰地反映出各学校学生整体成绩分布的离散程度(箱体的高度)以及对称性(箱体上下须的长短)等信息,尤其是对于相同层次学校之间可以通过“箱线图”分析出学校学生群体之间的差异。
(1)通过箱线图,可以清楚地看到各学校的“异常值”。
(2)利用箱线图,可以将某个数据点放在不同群体的相应位置进行比较。
(3)通过对标准“箱线图”取值范围的修改,系统实现了可将各学校学生分为若干个群体。例如对同一类型学校之间的5个不同群体学生平均分绘制“箱线图”,这5个不同群体分别是全体学生即100%、中间80%学生 (去掉前10%高分段学生和后10%低分段学生)、中间50%学生(去掉前25%高分段学生和后25%低分段学生)、前40%学生(中上等水平)和后40%学生(中下等水平)。通过对同一类型学校之间不同学生群体的筛选、比较、诊断与分析,帮助学校发现不同层面学生群体的闪光点、问题点和增长点,从而科学指导其有针对性地选准切入点,制定有效措施,采取有效方法,实施增效减负下的有效教学与强化训练。
6.对分数的解释逐步趋向标准化。
在实测数据的使用过程中,由于不同学科试卷的难易程度不尽相同,满分值又不一样,在对同一学校不同学科间的评价时不好把握,在对学生的分析时也不够科学准确。针对这一问题,我们将原始分数转化为标准分(T分数),解决了各学科试题难易水平等价看待的问题,而且对同一类型学校之间的分析也更趋向客观。
7.利用实测数据,对试卷命题进行分析。
(1)加强对教研员命题科学化的培训。
优质的考试需要对命题的质量进行控制,需要加强对考试效度的验证和质量的评价。这就要求教研员命题科学规范,题型和难度应以课标要求、考试说明和历届中、高考试卷作为参照标准,并结合每年生源状况和特点科学命题。考试后要根据实测数据统计分析,研究试卷结构、题型、知识点和能力水平要求与预期的切合程度是否吻合;研究各项指标的可调控性。因此,我们对全体教研员多次进行了如何使用实测数据的培训,开展如何利用实测数据提高命题科学化的研讨。先后提供了《天津市中、高考试卷多向细目分析表》、《中、高考试卷结构、内容、分值一览表》、《天津市中、高考试卷实测数据分析报告》、《和平区自2008届以来历届质量调查学科成绩与难度系数情况跟踪统计表》、《各学科质量调查试卷反馈表》、《各学科试题命题蓝图》等供教研员学习参考、探讨研究。目前教研员都能较熟练地运用实测数据作分析,借助实测数据进行跟踪,在掌控命题的难度和把握命题的质量上均有不同程度的提高。
(2)从三个维度对试卷命题进行分析。
难度是指试题的难易程度,它是衡量试题质量的一个重要指标参数。命题前,根据不同年级、不同阶段对教研员提出不同的试题难度指数要求;考试后,通过实测数据统计跟踪观察各学科试卷的难度系数情况。
区分度是区分应试者能力水平高低的指标。区分度和难度一起共同影响并决定试卷的鉴别性。
利用正态分布曲线统计学生的质量调查的成绩是否服从正态分布。
通过给教研员提供本学科历次实测数据报告,一是引导教研员按照课程标准的考核要求,在考试内容、知识点所占比例、覆盖面和试题量的确定,材料的自编、改编或选用的选择,试题难度、区分度和可信度的控制,试卷内容、参考答案和评分标准的科学性把握等方面,就其是否恰当、合理、科学进行深入细致的学习与研究。二是充分发挥实测数据的正导向作用,真正为学生的学、教师的教、学校的管起到有效管用的增效减负之目的。三是逐步积累和构建在实测数据论证下的各学科试题库,为今后更加科学化地做好命题工作打好基础。但是由于受各方面因素的影响,对试卷信度和效度的评价还未进行,我们将在“十二五”期间继续开展此项研究工作,使之不断地充实与完善,更好更科学地服务于一线的教与学。
四、研究的成果与结论
(一)创建了《天津市和平区学生综合素质评价之一——学生学业成长分析系统》网站及软件
(二)通过三年的实践,我们基本形成了“命题—测试—统计—分析—诊断—反馈—研究—改进—总结—评价”的质量调查反馈指导体系。并形成了我区特有的质量调查反馈指导特色
1.以强化对实测数据的研究,提升工作水平为最高追求。
质量调查是对教学工作的一种质量验收,也是一种教学反馈。区教研室将科研和教学、研训的未来发展联系在一起。向科研要质量,向科研要成效。连续三年的初中、高中毕业班教学指导意见都是基于对初、高中毕业班实测数据分析的基础上提出的,并多次召开了初、高中包括一把手校长参加的教学校长、主任全区分析会;初、高中分层推进分析会。在区教学工作会议上,还就此课题进行了研讨,对评价过程的最后一个环节——评价结果的反馈做了精心安排,以达到成绩说透、问题说清、措施找对、方法得当、增效减负的目的。
2.对问题的诊断和分析,采用定性和定量的分析相结合的方式。
以对各学校的反馈为例,对于从实测数据中得到的量化评价结果,采用了通俗易懂的描述性统计方法,对专业的统计数据进行了通俗化的解读,给所有用户提供了最现实的帮助,每个人都能对数据一看就懂,对图表一看更明。对于从观察或访谈中得到的对各学校的质性评价结果,采用了综合描述,这些言语性评价,既是对数据量化结果的详细补充和说明,又有总体性评价,对各学校下一阶段的工作,也给出了明确的指导意见。
3.对结果的反馈,选择了恰当的形式。
反馈结果通常是教研室服务上门,直接到基层学校与领导和教师共同分析研讨,和他们一起分析成败的原因,引导学校或教师做自我分析,调动其自我评价的积极性。大家一起通过深入查找问题的症结所在,制订出有效的解决方案。
(三)构建与新课程相适应的多角度分析的评价指标
各评价指标是在“诊断教学问题、提供反馈信息、检验教学效果”的思想指导下建构的。根据各评价指标可以对各学校、各学科、各个学生进行比较系统的评价,使评价的过程有迹可循、有法可依,使评价更加公正、科学、有效。
指标1:对100%学生的实测数据进行评价。具体指标有全区各学校各学科成绩汇总分析图表、各学校N科总成绩及各分数段人数汇总分析图表、选择题逐题或分类诊断分析图表、非选择题逐题诊断分析图表等套图表组成。
指标2:从不同的侧面和角度对实测数据进行分析。具体指标有全区各学校各学科主要指标自我比较分析表、总成绩重点档次比例自我比较分析表、历届历次各学科质量调查实测数据跟踪分析报告等套表组成。
指标3:对同一层次或不同层次学校实测数据进行深入分析。具体指标有对各学校、各学科中间x%或前后x%(x为变量)学生平均成绩诊断分析表,帮助学校深入分析和查找薄弱学科、薄弱学生群体。
指标4:对学生个体整体学习情况、某学科知识点掌握情况、学业情况变化趋势等进行跟踪分析,建立学生学业成长跟踪档案。具体指标有学生个体学科整体学习情况(试卷成绩)对比分析(针对某次考试)、学生个体某学科知识点掌握情况(所有采分点得分率)对比分析(针对某次考试)等,并通过学生学业情况跟踪曲线,给学生归类并对不同类型的学生采取不同的干预方案。
通过各种评价指标,我们多角度、多方面衡量各学校教学质量,充分发挥评价的指导功能,及时把握学生的变化动态并给予恰当的指导;注意获取教学中的反馈信息,及时调整教学与教研;客观评估教与学的现状,在充分肯定成绩的同时,找出问题并弄清问题产生的原因,制定有效可行的改进措施,发挥考试评估所特有的监督、调控、导向、激励的功能作用。在评价的方法上采用定量和定性分类指导相结合的原则,同时充分考虑各学校生源的差异,对各学校历次质量调查实测数据实行一种多元化、多角度、动态的跟踪观察看变化评价体系。对完成目标达到度进行检验时,同一类型的学校之间进行多指标的评价,增加评价的指导性和有效性,为全区各中学教育教学改进提供了依据和建议。使学校、教师、学生能及时了解教与学中存在的问题和缺陷,有针对性地帮助他们改进教学和缩小差距,促进学生全面发展,促进教师专业水平提升,促进课堂教学增效减负,促进区域教育质量的整体提高,满足社会和家长日益增长的教育需求。同时也为教研员进行有针对性的教学研究、指导服务工作提供了重要的依据。随着学校和教师对实测数据信息价值认识的逐渐提高,利用它指导教学实践的需求将会进一步深化。我们要在“十二五”期间,继续深入学习研究,反复实践探索,在现有基础上进一步充实与完善,形成具有真正意义上的发展性评价理念和评价方式方法,进一步为基层学校、教师、学生及家长做好教学质量的研究、指导与服务工作。