基于动态学习数据流的“伴随式评价”框架设计
2020-03-18王小根单必英
王小根 单必英
[摘 要] 在“为了学习而评价”的影响下,教学评价日益表现出以数据为导向、追踪教学全过程、面向学生全面发展的“伴随”取向。但囿于时间不足、技术条件限制等原因,数据类型单一、反馈不及时、脱离教学情境等仍然是教学评价所面临的重要难题。随着智慧课堂的介入,更多、更细、更高频率的数据可以得到及时的采集,处理、分析这些数据,将有助于发挥评价的导向、激励、调整功能。因此,研究以智慧课堂中动态学习数据的生成、流动与转换为契机,引入了“伴随式评价”的理念,结合智慧课堂中学情诊断—备课、互动参与—教学、成果检验—迁移三个节点,从评价的时间、目的、内容、主体和工具五个层面构建了“伴随式评价”的设计框架,并面向初中英语课程设计了案例。
[关键词] 动态学习数据流; 伴随式评价; 智慧课堂; 初中英语
[中图分类号] G434 [文献标志码] A
一、引 言
在“为了学习而评价”这一理念影响下,评价正逐步由纸笔测验向方式更为灵活、响应更为及时、更加情境化的下一代数字化评估转型[1]。“教”“学”“评”三者一体化的趋势[2],使得以数据为导向、嵌入学习全过程、提供及时反馈、旨在促进学生全面发展的“伴随式评价”成为可能。
“伴随式评价”是一种追踪连续学习过程,并对其进行“全程动态”评价的方法。它主张及时采集、分析学习过程数据,关注数据对教学过程的指导、反馈作用[3]。从实践来看,多次获取的成绩数据[4],难以全面地把握学生的发展;用于评价学生课堂表现的自我报告数据[5],其有效性和客观性仍需进一步提升;作业、测试等阶段性数据,又难以持续、动态地定位与追踪学生的进步[6]。因此,数据类型单一、反馈不及时、脱离教学情境,仍然是教学评价所面临的重要难题[7]。
随着智慧课堂的介入,粒度更细、范围更广、渠道更多、频率更高、精度更小的教学数据得以被便捷、及时地采集[8]。对其进行深度挖掘和多元分析,展开“持续的评价与反馈”[9],促使数据流动于教学过程中,不仅可以及时评估学习表现、诊断学习质量,还可以发挥评价的导向、激励功能,推动课堂评价从阶段性静态评价向全过程动态评价转变[10]。
二、“伴随式评价”的价值与理念
开展“伴随式评价”,首要问题是理清其内涵,剖析其价值,并明晰其何以能迁移应用到教学中。
(一)“伴随式评价”的内涵与价值
“伴随式评价”是“Accompanying Assessment”的直译,起源于生命周期评估(Life Cycle Assessment,LCA)伴随应用于反应过程之时。生命周期评估是生物工程等领域常用于检验服务或产品绿色度的评估工具,其核心是通过追踪、评估产品或服务“萌芽—发展—消亡”的整个生命过程,诊断产品或反应是否绿色环保;甄别具有高环境影响的阶段并避免该阶段问题的转移,规避其对下游阶段的影响;以及挖掘产品或反应过程的环保盲点,寻找污染根源,为后续绿色工艺的设计提供决策支持[11],强调将评估、常态化地应用于生产与反应过程中。因此,应用时,通常以“Accompanying”或“Accompanied by”的形式出现在环境影响因素检验中,由此衍生“伴随式评价”的概念。
将这种伴随化的思想沿用到教学中,可以通过监控、追踪学生的行为表现和情绪变化,推断学生“学到了什么”,详细、有力地支撑对学生现在“在哪里”的诊断;也可以分析学习过程中表现出来的显性错误,挖掘存在的隐性问题,从而评定学生“未学到什么”,并明确地指导“如何进行干预”;而评定现阶段水平,剖析与目标之间的差距,则可以树立“到哪里”的标杆,明晰为之努力的目标,并具体指导“如何去”。
(二)“伴随式评价”的教学解讀
实质上,早在Vygotsky提出“最近发展区”、主张诊断学生理解、识别学习问题之时,便已有了动态、伴随评价的影子[12]。实践中,台湾学者郑定洲基于张志耀提出的“稳定水平”和“动态累计水平”[4]概念,主张对各次成绩作连续相关计算来动态地评价学生的发展,从而判定学生的进步[3]。Naeini等人则通过持续的错误诊断,追踪大学生英语阅读能力的发展[12]。
但囿于数据采集与处理方面的技术限制[13],评价效果并不理想。现如今,在大数据与学习分析的应用热潮下,有学者指出基于实时数据监控和反馈的评价表现出“伴随生活全领域、伴随学习全过程、伴随个体自适应”三大特征[14]。随后,李锋将“伴随学习全过程”这一特征引入在线学习评价中,主张“伴随式评价”侧重于评价伴随学习过程而发生,是一种及时判断学生的学习状态和效果、给予针对性反馈和干预的评价方式,并分别针对知识掌握、问题解决、态度发展设计了评价内容[15],丰富了“伴随式评价”的内涵。
因此,从课堂教学视角,可以将“伴随式评价”理解为:面向课堂教学全过程采集数据并加以评价,评价结果又及时反馈和作用于教学过程,评价反馈与教学“伴随”发生的一种综合性评价方式。其核心是借助支持工具,对教学全过程的学习数据进行分析,从而针对性、及时地给予反馈与干预,以实现对学生发展的动态追踪。
三、 “伴随式评价”与动态学习数据流
数据的采集、分析、处理是评价得以“伴随”的关键。因此,开展评价之前,有必要先根据教学流程,追踪数据变化,摸清其生成与流动的路径。
(一)动态学习数据流的生成与流动
“数据流”是通讯领域的概念,它指的是一种带有流向的数据。智慧课堂作为一种基于数据架构的信息生态系统,由数据与主体、资源、环境等要素共同构成[16]。在这个系统中,大量的教学活动数据、多维度的师生互动数据、多节点的智能检测数据以及跨平台、跨产品的交互数据等不断产生,以数据流的形式生成并运行于教学各环节之中,形成了一条具有正向流动与反馈调整的教学链,准确、及时、精准地驱动着教学[8]。
因此,生成并流动于教学过程中的学习数据便构成了学习数据流。而把握动态学习数据流,即分析动态学习数据,追踪学习过程,记录学习路径,并进行及时的诊断与反馈[17],是展开“伴随式评价”的首要准备。
从课前、课中、课后三环节出发,分析学习数据流的流动与走向,可以将智慧课堂中系统层、服务层、数据层与应用层架构成如图1所示的关系。
依据教学设计流程,参与课堂流动的数据不只有教学过程中生成的数据,还应包含课前的学习者特征数据,以及课后的个人反思数据等。因此,为进一步明晰数据流动的路径和走向,遵循数据流图(Data Flow Diagram)的理念和方法,教学流程间的数据流动如图2所示。其中,学习者档案袋指的是学习者已有的代表学习风格、学习态度、能力与知识水平等信息的集合。箭头表示数据流的流动方向,“+”代表数据之间的“与”关系。教学过程中,数据流的走向包括以下几个方面:
(1)学习者档案袋1将以往的成绩和作业等表示初始能力和知识水平的信息、学习态度和风格等输入到准备环节,支撑教师完成初次备课。而在师生借助预习资源、课前测验等产生交互时,又会生成资源学习记录、课前测验结果以及疑难点讨论交流等数据,及时对其进行分析,可进一步掌握学生的个性化特征。从而在考虑整体学情时,兼顾对个体学习者的关注,完善差异化的教学设计。
(2)资源学习、测验、讨论等数据进入教学阶段,支持教师定位学生的疑难点,明确教学的重难点,并指导教学中的情境创设、难点讲解、弱点巩固、重点拓展等。在此过程中,可同步追踪学生的行为参与和互动表现,分析学生的情感变化,并对测试、练习进行及时反馈,在互动、反馈中实现教学的动态性调整。
(3)随堂测验、互动行为等数据进入拓展迁移环节,支撑教师推断学生重难点掌握情况,并以此为依据进行分层化的资源推送与针对性的辅导答疑,强化学生的再次理解与个人反思。与此同时,从中生成的作业练习、答疑、反思等数据,可用于验证作业布置、资源推送的合理性,从而进一步明确学生练习和拓展的方向。
(4)作业练习、辅导答疑、自主学习等数据保存到学习档案袋2中,协同反映学生学习后的知识能力水平、学习态度和风格等。并在下次教学时,自动变成学习档案袋1,进入下一个循环,指导新一轮的教学设计。
(二)动态学习数据流与“伴随式评价”
评价承担着促进数据流动、转换并作用于教学的关键角色,连接着学习数据与教学流程。它的实现以动态学习数据分析为基础[18],以智慧课堂为教学背景。在智慧课堂中,采集、处理并分析流动的学习数据,为评价的“伴随”发生提供着牢固的现实基础。一方面,包含备课系统、在线学习系统在内的智慧课堂系统架构为教学提供了全过程、全方位的服务支持,如资源管理与应用、在线学习与服务、测试发布与评价等,如图1所示。另一方面,服务层在教学中发挥作用,为评价的“伴随”提供了丰富的动态学习数据,如包含浏览时长等的资源学习数据、包含师生互动次数的互动行为数据等。而通过评价对其进行深入挖掘和多元分析,使数据流在生成、流动时,又服务于教学流程,指导教学的改善与优化,便可实现数据层与教学层的紧密连接与相互作用,如图2所示。
在此情境下,教师可以用资源学习情况和课前测验结果来评估、分析学生的知识储备和能力状态,以完善备课和确定教学重难点;分析学生的理解误区来诊断需要额外教学和针对性指导的关键概念[7];依据互动行为表现和随堂测验结果来调整教学,并指导课后的任务布置;结合作业练习情况和个人反思分层推送作业与任务,并指导下一次备课。学生则可以查看自己的测验结果,了解自己的薄弱环节,可以根据智能报告和反馈结果进行针对性的改进,可以借助智能推送的资源与习题进行强化训练等。教学与评价,交互进行,“伴随”成为可能。
四、“伴随式评价”设计要素与切入点
“伴随式评价”隶属于评价,其本质仍是特定教学情境下,评价主体围绕评价目的对评价内容所进行的價值判断活动。但它又在评价的基础上发展了哪些变式,以及如何应用至教学中,需从其要素中去把握。
(一)“伴随式评价”设计要素
从要素来看,高凌飚认为,评价是对评价方法、功能和主体等的界定[19]。郑燕林等人认为,评价是对评价范围、对象、内容、目标、方法等的整体规划[20]。在此基础上,魏非从“评价什么”和“如何评价”两个方面,认为评价内容、任务、工具及策略是评价设计的四个要素[21]。其中,评价内容包含知识、技能和态度三个层面,它的实现是以评价任务为载体,以问卷、课堂观察、测试等作为工具,以自评、互评为驱动策略。陈明选等人则从实施角度,认为评价设计包含目标设计、方法设计、任务设计和工具设计四个步骤[22],而主体、内容和方式设计均属于方法设计范畴,需在确定评价方法时予以说明。
此外,生命周期评估也对“伴随”提出了要求,其中,“目标与范围定义”阶段,其关键在于回答“为何评估”的问题,与教学评价中的目的相对应。进行“清单分析”,则抱有双重目的,第一,建立周期模型,即确定“何时评价”;第二,确定输入输出数据,即确定“评价什么”。而“影响评价”和“结果解释”,则与教学中的展示评价结果、提供反馈两项需求相吻合。
因此,开展“伴随式评价”时,不仅要对目的、主体、内容、工具四个要素进行设计,还需要加入对评价时间的考量,根据教学目标和过程,划分评价阶段,确定评价节点,围绕如图3所示的五项要素展开设计:
(1)阶段划分。“伴随式评价”虽强调评价伴随教学而发生,但并不是时时刻刻评价,而是根据需求,规划评价时间。如为了提高学情诊断的精确度,使教学设计更具针对性,在课前阶段实施前备知识测验,并分析测验结果,获知学生学习的疑难点,将其转换成教学重难点,实现教学活动的再设计。
(2)目的确定。“伴随式评价”各个阶段、各个时机的评价目标均不相同。如诊断学情以支撑教学设计是课前阶段的目标;课中阶段的评价目标则是诊断学习问题并予以及时反馈,以实现教学的调整和优化;课后阶段则在于把握学生的个性化水平,从而给予针对性的资源推送和辅导答疑,实现面向学生个体的拓展与迁移。
(3)内容选择。“伴随式评价”不仅强调对知识、技能掌握的评价,还关注对学生能力发展和情感体验的评价,重视学生的课堂参与、互动表现等。如通过知识性、技能性测验,检验学生的知识掌握程度;根据课堂实录、互动分析、行为参与等评价学生的情感态度变化;依据量表测验、项目式活动判断学生的能力发展等。
(4)主体遴选。不同主体进行评价,其结果和效应并不相同。由教师或研究者进行互动行为分析,结果更为客观可信;而同伴互评的参与性和公平性更好;自评则可以促进学生反思并进行自我调整。应结合评价目的和内容,选取评价主体。
(5)工具设计。教学评价不是一个随意的价值判断行为。不同的评价内容和目的,需要不同的工具支撑和标准界定。例如:分析互动行为时,需要设计分析指标;评价行为表现时,需要设计课堂观察量表;互评参与度时,需要设计互评工具;自评和自我反思时,需要设计自评和反思支架;等等。
(二)“伴随式评价”设计切入点
评价的“伴随”,是围绕学生全面发展的多维度“伴随”。其中,知识目标是基础,评价需“伴随”学生的知识掌握情况变化;能力培养是关键,评价需“伴随”学生的能力发展;情感体验是重点,评价需“伴随”学生的情感态度变化。但考虑到学生这一评价对象的特殊性,教学过程中着重强调知识的“伴随”评价,而情感体验和能力培养的“伴随”则多置于教学前后。
除此之外,评价还需满足精准化、个性化、智能化的教学要求。第一,评价结果精准化。评价结果的准确来源于对学习状态及时、准确的把握。所谓及时,即及时进行评价与反馈;所谓准确,即通过数据评价而非主观经验。第二,评价内容个性化。以个体为单位进行数据收集与反馈,帮助教师根据个人需求、技能和兴趣定制适应学生特征的学习方式与内容。将对整体的关注细化到对个体的关注,尊重学生的个性化发展。第三,评价方式智能化。以笔迹读取、语音识别等为技术基础,强化“红黄绿标签卡”等工具在客观题评价中的使用。
五、基于动态学习数据流动的“伴随式评价”
活动框架构建
综上所述,数据是在一定周期内循环流动的。在智慧课堂中,其流动又分为课前、课中、课后三个阶段。而对每一个阶段进行数据分析与评价的目的各不相同,其中,课前主要是为了诊断学情,支撑教学设计;课中主要为了定位学生发展,促进互动参与,支撑教学的调整和改进;课后则主要为了诊断教学效果,实现针对性辅导和个性化推送。因此,研究以智慧课堂教学过程为线索,以学情诊断—备课阶段、互动参与—教学阶段、成果检验—迁移阶段为三个评价节点,对评价的五要素进行分析和阐释,设计“伴随式评价”活动框架,如图4所示。
(一)学情诊断—备课阶段
该阶段的评价活动可设计为:基于量表的学习风格测量、基于问卷的學习态度调查、基于预习测验的知识水平调研以及基于记录的资源学习评价等。首先,教师借助智能终端发布问卷,采集学生的学习风格和学习态度,获得学生的学习偏好和特征。然后,教师以分析结果为依据,从备课资源库中选取符合学生特征的预习资源与测验,并借助智能终端推送给学生,同时,完成备课。接着,教师在学生学习和测评过程中,通过管理后台收集资源学习情况、借助智能测评获取预习效果,并从中分析学生的已知和易错知识点,尤其是错误率较高的题型和知识点,把握学生的薄弱环节,以完善备课,确定重难点,实现教学再设计。
(二)互动参与—教学阶段
该阶段的评价活动可设计为:基于随堂测验的知识性评价、基于同伴互评的互动参与评价、基于课堂观察的学习表现评价等。首先,教师结合课前评价结果与教学内容,创设教学情境并明晰教学目标或活动规则,激发学生的学习兴趣。然后,师生共同参与教学过程,教师依据口头问答或测评检验学生的知识点掌握情况,并通过评分评语、批注等形式进行反馈;依据终端支持下的学习行为判断学生的学习状态,并予以提醒和反馈;基于互动工具,获取师生、生生互动行为数据,监督、促进学生的互动参与;借助智能录播系统采集情绪数据,诊断学生的情绪转变,并及时予以预警;还可借助错题记录功能,统计分析学生的易错题,从而给予针对性的训练与辅导答疑。最后,师生针对教学活动作总结,总结共性问题,挖掘个性化问题,基于不断生成的问题迭代调整。
(三)成果检验—迁移阶段
该阶段的评价活动可设计为:基于试卷的知识性评价、基于量表的自主学习能力评价以及基于问卷的满意度调研等。教师先依据课上的作业练习、互动内容等推送课后任务。然后收集并分析练习完成情况,反思内容等,多维分析学习效果;据此分层、个性地推送拓展学习资源和练习,以及一对一的辅导答疑;系统则根据错题记录等个人档案和记录,智能推送自主学习资源和拓展训练。最后,依据课下自主学习诊断学生的自学能力等;通过问卷调研学生的学习满意度等。另外,家长需观察学生在家的学习状态并及时与教师取得联系;管理者则从升学、教学管理角度参与到评价之中。
六、“伴随式评价”活动案例设计
就初中英语而言,它是一门以培养学生语言技能与知识、情感态度、学习策略和文化意识为目标,既关注学生知识学习和技能发展,又注重能力培养的综合性学科。其课程标准关注评价对教学的导向作用,主张通过平时测试、成长记录袋以及口语测试等形式全面评价学生的学习行为、学习结果以及情感、态度、能力,及时、有效地监控学习过程和结果,发挥评价的作用。
据此,在包含学习终端(如平板等)、录播系统等硬件设施,拥有互动工具(如微信等)、数据采集与分析支持(如极课等)、作文批改工具(如批改网等)、语音识别工具等软服务的智慧课堂环境中,对七年级英语下册Unit 7 Abilities的“Helping Hands Club”进行教学活动和“伴随式评价”设计,如图5所示。
(一)学情诊断—备课阶段
[12] NAEINI J,DUVALL E. Dynamic assessment and the impact on English language learners' reading comprehension performance[J]. Language testing in Asia, 2012, 2(2): 22-41.
[13] 蔡旻君.信息技术环境下“学”与“教”分离现象透视和成因分析[J].电化教育研究,2013,34(2):93-99.
[14] 中国教育信息化在线.任友群:伴随式评价:变革的先导[EB/OL].[2019-11-10].https://www.sohu.com/a/55441530_372506.
[15] 李锋,王吉庆.旨在促进学习者发展的在线评价:伴随式的视角[J].中国电化教育,2018(5):74-79.
[16] 晋欣泉,邢蓓蓓,杨现民,狄璇.智慧课堂的数据流动机制与生态系统构建[J].中国远程教育,2019(4):74-81,91,93.
[17] 劉邦奇,李鑫.智慧课堂数据挖掘分析与应用实证研究[J].电化教育研究,2018,39(6):41-47.
[18] 孙曙辉,刘邦奇.基于动态学习数据分析的智慧课堂模式[J].中国教育信息化,2015(22):21-24.
[19] 高凌飚.过程性评价的理念和功能[J].华南师范大学学报(社会科学版),2004(6):102-106,113-160.
[20] 郑燕林,柳海民.大数据在美国教育评价中的应用路径分析[J].中国电化教育,2015(7):25-31.
[21] 魏非,肖立志.教师远程培训中的学习评价设计:现状问题、内涵意义及优化策略[J].中国电化教育,2016(11):94-99.
[22] 陈明选,龙琴琴,马志强.基于概念图的协作评价活动设计与应用研究[J].电化教育研究,2016,37(11):75-84.
[23] 李晓燕.指向英语学习活动观的初中英语读写教学活动设计——以Unit 6 Head to Head教学为例[J].英语教师,2019,19(2):121-127.