循证评价:教师网络研修协作效果增值性评价模型构建与应用研究*
2022-10-17炕留一叶海智通讯作者李瑞丽
炕留一 叶海智 朱 珂[通讯作者] 李瑞丽
(1.河南师范大学 教育学部,河南新乡 453007;2.河南科技学院 信息工程学院,河南新乡 453003)
一、引言
教师网络研修作为促进教师专业发展的途径,将从新形式走向新常态。 以信息技术为支撑,有效整合多维数据与资源的教师网络研修,为教育的高质量发展提供了实践途径(黄锐,等,2019)。 鉴于教育评价是教育事业改革与发展的指挥棒,教师网络研修提质增效的关键即在于对其协作效果所开展的评价。 对此,中共中央、国务院印发《深化新时代教育评价改革总体方案》并指出:探索增值评价,健全综合评价,充分利用信息技术,提高教育评价的科学性、专业性、客观性(国务院,2020)。 可见,增值性评价作为新时代教育评价改革的形式, 强调评价的过程性、发展性与动态性等特性,为网络研修协作效果评价提供了新思路,为循证评价提供了新范式。
目前, 有关增值性评价的研究主要聚焦于两个方面:一是开展教育、教学效能的评价(任玉丹,等,2019;范美琴,等,2019;杜屏,等,2011);二是开展教师或学生发展效能的评价(尹忠根,等,2022;梁文艳,2022;张志泉,等,2018;边玉芳,等,2015)。 而通过增值性评价对教师网络研修协作效果进行研究,目前相对较少。由此,通过过程性证据对教师网络研修协作效果做出价值判断、有效还原教师的成长轨迹,具有重要的实践意义。
评价三角(Assessment Triangle)囊括了任何评价都存在的三个关键元素:一个认知与学习的模型;一套证据相关的原则;一个解读证据的过程(R·基思索耶,2021)。评价三角的三个元素产生有意义联结,能实现评价过程的有效性和评价结论的可靠性。 基于此,本研究以评价三角理论为基础,通过探究教师网络研修协作效果增值性评价的模型与实践, 以期为优化网络研修效果和提高教学质量, 提供理论支持和实践指导。
二、相关概念及理论基础
(一)核心概念
1.增值性评价概念
增值性评价(Value-added Assessment)的相关研究起源于1966年科尔曼报告(Coleman,1966)。他认为, 开展增值性评价有助于分析教师对学生成长发展的影响 (Griffen,et al.,2021;Blazar,et al.,2017),也有助于为政策制定者和教师教育领导者提供有用信息(Noell,et al.,2018)。 关于增值性评价的研究主要有两个层面:一是以特克维等(Tekwe,et al.,2004)为代表的“成绩说”,即以学习者成绩变化的增值来实现对教师或学校的评估; 二是以阿斯汀(Astin,1985)为代表的“全面说”,即以学生素质发展程度对教育整体效能的评估。 基于智能时代技术的发展与应用,该评价为教育、教学过程数据的收集与分析,提供了有效的解决路径(炕留一,等,2022)。 本研究中的增值性评价侧重“过程说”,即依据教师网络研修的过程性数据对师生发展水平进行价值判断,数据既涵盖教师网络研修前后的知识、技能、认识论与价值观等信息,又包括学生的成绩信息。
已有研究认为, 增值性评价是一种比较科学的评价方法(萨丽·托马斯,等,2012),是体现绿色升学率理念的评价模式(李斌,等,2011),也是关注每个学生发展的评价方式(边玉芳,等,2015)。 这些研究为拓展增值性评价的内涵与外延提供了基础。 为了避免简单衡量“产出”(Output)与“投入”(Input)差值所带来的弊端,本研究引入中间变量,即依据“投入”生成“发展预测值”,由发展预测值与实际值间的差值,进一步计算学生发展的净增值,从而体现评价的科学性、公正性和客观性。
2.增值性评价模型
增值性评价模型是开展增值性评价的核心。 关于增值性评价模型的研究,可归纳为两大类:一是通过增值分数实现对教师或学校效能的评估,比如,以零模型和完整模型为依据对中考和高考数据进行分析,实现对学校教育、教学效能的比较研究(范美琴,等,2019)。二是通过增值进一步分析教师、学校或教学策略的有效性,比如,采用平均值增值模型和多元线性回归增值模型对PISA 2009 和PISA 2012 的数据进行增值分析,以探索教育、教学的有效性(王晓华,2021)。已有模型为增值性评价的实施,提供了丰富的依据, 但是不同的评价模型将会生成不同的分析结果。 因此,在具体的应用中,应以现有模型为基础,选择适切的模型,以此来产生有效的评价结果。
3.教师网络研修
随着“互联网+”教育的深化,信息技术与教师培训的有机融合,促进了网络研修的新发展。 网络研修是以信息技术为支撑, 突破时间和空间限制,有效整合多维数据与资源,表征轻松和谐的研讨氛围, 为教师成长与专业发展提供高效的实践途径(黄锐,等,2019;王永固,等,2020)。 教师网络研修通过网络境脉中的有意义参与,促进设计者、研修者与实施者的多元对话, 实现 “获得观”“参与观”“成长观”。 目前,关于教师网络研修评价主要采用单一的评价方法,实现对某一维度的分析与价值判断(范美琴,等,2019;张志泉,2018)。 具体表现在:(1)评价内容以某一层面的分析为主,而过程性证据匮乏;(2)评价结果采用结论性的概述,缺乏对学生的个性化指导与反馈;(3)评价功能以决策或甄别为主,难以促进师生共同发展。 传统的网络研修协作评价,存在过程性证据匮乏、师生发展评价分离、可靠性较弱、易出现“搭便车”等问题(张红英,等,2019)。 然而,基于教学证据的循证评价,能够彰显评价的过程性、发展性、动态性等特征。 因此,本研究基于过程性证据对教师网络研修协作效果进行测评,从师生共同发展的视角评价网络研修前后的净增值,以此消弭传统评价的困顿。
(二)理论基础
1.协作活动设计的POEE 策略
教师网络研修评价基于协作情境、持续反馈和关键对话,实现研修过程的逐步完善。在一定策略指引下开展网络研修活动是前提, 利用教学策略为研修活动搭建“脚手架”是保障,基于研修活动产生的师生行为是体现, 以此还原研修过程中师生成长轨迹。 本研究借助玛姆(Mamun,2020)等提出的预测、观察、解释与评估策略(Predict,Observe,Explain,Evaluate,POEE)开展研修活动,如图1 所示,通过一系列有组织的研修活动促发教师之间的协作交互,以促进教师网络研修过程中新知识的形成。
在协作活动的预测阶段, 教师通过认知冲突增强多重刺激, 来建立新旧知识间的联结; 在观察阶段,教师依据研修目标开展适当的活动,通过与研修内容产生互动,实现有意义的建构;在解释阶段,教师通过设置合理的脚手架, 在构建新认知中促进内容的保持与迁移;在评估阶段,教师主要通过完成对研修效果的评测与反馈,促进师生的新发展。借助脚手架策略,参与者动态预测可能的结果,并及时调整解决问题的过程。 教师作为网络研修活动的关键参与者,通过参与式交流和批判性反思,促进研修内容的保持与迁移,从而达到新发展。
2.证据中心设计理论
证据中心设计(Evidence-Centered Design,ECD)是基于证据构建教育评价的方法。 证据中心设计的概念性评价框架,包含学生模型(Student Models)、证据模型(Evidence Models)、任务模型(Task Models)、呈现模型(Presentation Models)和组合模型(Assembly Models)。 其中,学生模型是指需要测量什么;证据模型是指如何测量,包括证据规则和测量模型;任务模型是指依托什么进行测量; 组合模型是指需要测量的程度,以说明学生模型、证据模型和任务模型之间的协同关系; 呈现模型是指测量结果的表征(Mislevy,et al.,2003)。已有研究表明,证据中心设计理论可以有效地测量教师的过程变量对教育结果的贡献或影响程度(Brennan,2010)。 随着智能化、数字化等技术的发展, 促使人们不断捕捉丰富的过程性证据,实现增值性评价的生态转变。
循证研究是通过科学研究, 来寻找和确证行为有效性的一种测评方式(李华,等,2019)。 循证评价将评价方式由学生的感知印象, 转变为基于教学数据的证据评价(牟智佳,等,2021)。 本研究的循证评价是以教师网络研修过程中的数据源为证据, 基于证据对师生的发展情况, 进行精准化评估和可视化呈现,使评价过程有据可循,从而科学地优化教育、教学过程。
三、循证评价:教师网络研修协作效果增值性评价模型构建
根据已有的研究成果,所有评价均遵循共同的原则,即由认知模型、过程观察和证据解释构成的评价三角,以帮助描述价值判断的过程(Pellegrino,et al.,2001)。 因此,本研究基于评价三角理论(王健,等,2019),从认知角、观察角和解释角构建了立体化的研修过程协作效果增值性评价模型, 如图2所示。 该模型基于双向的协作过程促进活动立体,破除了单向传输的困境,不仅促进教师与他者之间的交流互动, 而且还促进教师自我的内在反思;基于过程数据促进评价立体,评价数据超越单一成绩数据, 基于过程的全方位数据实现证据的全覆盖;基于证据可循促进增值立体,从师生共同发展视角解读增值效果。 并遵循基于活动挖掘教学证据、基于证据描述推理过程、基于推理建构循证体系的逻辑过程。
(一)模型要素阐述
1.坚持活动导向,实现评价过程启动
坚持活动导向,着眼问题解决。 该模型以POEE策略支持的研修活动设计构成认知角, 通过创设一定的问题情境,引导教师借助先验知识、教学经验和教学资源共同解决问题,从而提升问题的解决能力。通过研修活动的预测、观察、解释和评估四个阶段,建立与先验知识之间的联结, 有助于研修者形成新的理论、观点和思想,达到基于问题学习的目的。 在研修活动设计层,以建构主义学习理论为指导,构建协作学习活动模块,促使研修者积极开展协作交互,培养研修者独立学习能力和创造性思维能力。
真正的学习是“活动的、合作的、反思的”学习,均遵循“目标→达成→评价”的设计逻辑(佐藤学,2003)。 在原点意义上,教育活动是教师以其言行影响学生身心发展的探究性行动。 协作过程在一定的应用情境下, 以研修者特有的方式不断应对情境中的疑难问题,不仅能够促进教师与他者的交流互动,而且还可以促进教师自我的内在反思。换言之,协作活动不仅调动了师生已有的经验和知识, 并对其知识结构进行重组、检验和更新,即完成新知识建构的过程,从而达到以协作促发展的目标。
2.坚持过程导向,实现评价数据收集
坚持过程导向,着眼证据获取。以过程数据组成的证据构成观察角,实现对研修过程中的话语数据、关系网络和成绩数据等收集与处理, 完成基于证据的评价活动。 证据链涵盖研修过程、教学起点、发展支持和教学结果等层面, 建立研修协作及师生发展之间的关联(牟智佳,等,2022)。 过程性数据超越了单一成绩数据,是基于全方位、全过程的证据,全面反映师生成长发展过程, 体现过程性与发展性相统一的特点,以提高育人过程的针对性和有效性。
基于过程数据的评价,可使学习者的学习过程和教师的发展过程得以澄明。 进入智能时代,大数据技术的应用意义不在于掌握庞大的数据信息,而在于对数据进行分析与处理, 使其得以增值(方海光,2016)。 在大数据技术、数字化技术的推动下,为教育评价提供了新思路、新范式,基于数据的评价将成为未来评价改革的重要转向:其一,形成增值性的教育评价观点, 强调以评价对象的发展性、增值性为目的,从教育者的需求出发,重视教育过程、学习体验和师生互动;其二,拓展了教育评价的证据范围, 强调评价证据应超越单一的学生视角,可涵盖教师的知识、技能、认识论和价值观等对教育教学有重要影响的要素;其三,打破片面化的成绩取向,不能仅凭直观的分数进行评价,需依托“参照系”实施评价。
3.坚持增效导向,实现评价结果表征
坚持增效导向, 着眼共同发展。 探索增值性评价,拓宽评价界限,以网络研修作为师生共同发展的着力点,通过从单一评分到师生综合发展的转型,实现对技能、知识、身份、认识论和价值观的综合评测,是回归教育评价本真意蕴的体现。 从网络研修前后教师的认知结构变化和学生发展增值效果开展评价活动,实现对评价结果的表征,为学生个性化培养提供及时反馈与指导, 可促进学生的自主学习和问题解决等高阶素养的提升(王鹤瑾,等,2021)。
通过网络研修过程,研修者可实现人机互动、同伴互评、师生互评等,以促进评价习性的养成,将会以一种不自觉的和未被系统化的形式进行(李静,2018)。以增值性评价为主的评价结果,可以打破原有“一次分数定终身”的局限,以增值性、发展性为导向,有助于实现评价的科学性、有效性。评价涉及价值判断的问题, 价值既可指具有价值的对象, 也可指价值本身。在结果表征层面,评价指向的对象是师生通过数字化平台对学习内容进行理解、重构的发展与变化情况。
(二)模型结构解析
该模型以协作活动设计为认知角, 描述评价的应用情境;以协作过程数据为观察角,获取评价的相关证据;以增值性评价实施为解释角,解读相关证据的内涵。
1.认知角:协作活动设计层
协作活动设计是开展增值性评价的前提。 网络研修活动主要关注不同个体间的交互, 以及行为与交互间的情境。为了保证活动实施的效果,需设计脚手架以帮助参与者理解研修内容并参与情境活动,从而提高网络研修活动的意义。
协作交互有助于实现活动立体。 基于POEE 策略组织网络研修活动, 有助于教师之间的协作交流。 在预测阶段,依托教师的先验知识和研修目的,设定适切的研修主题,以问题的形式开始,进而实现研修活动的“启动”。 在观察阶段,主要促进教师间的协作交互。 当参与者从事高水平的认知活动时,有意义的学习就会发生。 参与者与参与者之间、参与者与内容之间的互动是研修活动的重要互动形式。 积极的参与者倾向对研修内容协作交流,以实现对内容的重复与回顾, 以形成认知检索实践(Maldonado,et al.,2018),以此实现活动的“促发”。在解释阶段,主要实现研修内容的推理验证。 在研修内容设置上,应鼓励参与者进行提问交流,可涵盖具有趣味性、创造性、探索性或实践性的内容,以聚焦于观念、想法、应用和问题的解决。 通过参与研修活动实现探究问题的解决,以此实现活动的“回应”。 在评估阶段,则主要实现同步反馈。 从评估的实施来看,将以死记硬背技能为主的评估,转向以促进参与者高阶能力培养为主的评估,如批判性思维、问题解决能力等。 通过提供解释或阐述,实现对研修效果的评测,以此实现活动的“终结”。
2.观察角:过程数据收集层
过程性数据收集是开展增值性评价的保障,是循证评价实施的关键。 过程性的本质是关注发展、关注变化,通过探析评价的影响因素,促进被评价者的成长与发展。 网络研修活动关注教师发展过程中话语数据、交互数据和成长数据的挖掘和提取,为实现协作效果评测提供依据。 网络研修活动需确保数据的即时性,以实现数据的应用价值。 经过对评价数据的提纯(Distillation of Assessment Data)(R.基思·索耶,2021),将研修过程中的数据以可视化的方式呈现给教育者, 有助于教育者根据反馈结果提高研修活动质量。
过程性证据有助于实现评价立体。 教师网络研修包括准备阶段、协作阶段和实践阶段三个部分。其中, 准备阶段主要完成与任务相关资料和素材的收集;协作阶段主要依据研修方案,开展同伴互助和研修方案的完善,从而实现建构个人理解与认知;实践阶段主要结合研修过程的理念与内容, 完成教学活动的实施, 从理论与实践层面触发学生认知能力的提升。数据是所有事物的构成元素,网络研修活动可达到“数据化”(郑思思,等,2020)。 过程性数据收集需要结合研修活动流程, 实现对教师话语数据、交互数据与学生成绩数据的获取。 其中,话语数据主要指教师在网络研修平台发帖、跟帖所产生的文本信息; 交互数据主要指教师在网络研修平台上发帖、跟帖等所形成的关系网络;成绩数据主要指教师网络研修前后开展教学促使学生发展变化的成绩信息,这三种数据基本涵盖了教师网络研修过程中的关键信息。
3.解释角:增值评价实施层
增值性评价实施是网络研修协作效果的可视化表征, 即让不可见的变得可视化, 实现以评价促发展。 从教师协作效果和学生发展情况完成增值性评价可从以下两个步骤着手实施:其一,依托网络研修活动中的过程性数据,对教师的技能、知识、身份、价值观和认识论进行编码, 并在此基础上实现对教师协作效果的价值判断;其二,依托教师研修活动结束后开展的教学活动,对学生成长发展情况进行预测,以实现对学生发展净增值的价值判断。
证据可循有助于增值立体。 在教师协作效果表征上, 基于社会认知网络分析法 (Social Epistemic Network Signature,SENS),采用技能、知识、身份、价值观构成的认知论和认知框架(Skill,Knowledge,Identity,Values,Epistemology,SKIVE)对数据进行编码。 其中,技能是解决“怎么教”的问题,即需要让教师明确应该具备的基本教学技能和管理技能等;知识是解决“教什么”的问题,结合舒尔曼的整合技术的学科教学知识,明确教师应具备的技术知识、学科知识和教学法知识及其相互构成的知识域; 身份是解决“谁来教”的问题,教师的身份认同是提高教师专业发展的首要条件, 认同有助于参与者理解组织并更好地找准自己在其中的角色与定位; 价值观和认识论是解决“为何教”的问题,教师应坚持以德立身、以德立学、以德施教,促进师生共同发展。
在学生发展水平表征上, 根据混合式学习支持服务模型(武滨,等,2021),对情感支持服务、行为支持服务和认知支持服务进行编码。 其中情感(Emotion)支持服务包括内容设计、课前指导和线上辅导等子维度,分别用E1、E2…En表示;行为(Action)支持服务包括签到、学情反馈和学习闯关等子维度,分别用A1、A2…An表示;认知(Cognitive)支持服务包括教学互动、学习资源、练习测试等子维度,分别用C1、C2…Cn表示。 采用公式1 计算出教师网络研修后对学生发展的支持服务指标值S,其中wi、mi、vi为情感支持、行为支持和认知支持的对应权重。根据前测成绩和学生发展支持服务指标值S, 采用Matlab 回归模型生成发展预测值, 以直观呈现学生发展的增值情况,即发展的正增值或负增值或零增值,并进行可视化表征。
四、循证评价:教师网络研修协作效果增值性评价的实践表征
立体化的教师网络研修评价模型, 从理论层面论述了循证评价的实施关键, 为了呈现教师网络研修前后的增效, 需从实践层面表征循证评价的关键要义。在内容上设计双向立体化的协作活动,在数据上获取全方位的过程性证据, 在方法上运用多样化的技术手段表征增值效果。在此基础上,基于网络研修前后教师的认知结构评价协作效果、学生成绩的增值情况, 评价其发展水平; 并从师生共同发展视角,对教师网络研修协作效果进行应用分析。
(一)教师认知结构表征
教师认知结构的表征是以评价的方式回溯到教育的本质。 为了表征教师网络研修前后认知结构的变化,本研究对教师网络研修前后的帖子进行分析,以形成可管理的语料库,采用主题生成(Latent Dirichlet Allocation,LDA)模型,对大量文档进行评估(张瑾,等,2021),以揭示最佳的主题数量和提取突出的研究主题。 通过梳理搜集的主题并归类到SKIVE 认知框架中,将认知框架元素完成0 和1 的编码,并将话语数据转换成邻接矩阵。 最后,选取经过社会网络分析识别出的凝聚度较高的子群(陈向东,等,2020),再使用认知网络分析,对教师的认知情况进行可视化呈现,并开展网络研修前后教师认知结构网络分析,如图3 所示。
图3 中两点之间是否存在连线, 表示关注内容的数量, 两点之间的连线粗细, 表示关注内容的强度。从关注内容的数量来看,网络研修前的教师在技能、知识、身份、认识论之间存在连线,而与价值观不存在连线。即在技能、知识、身份、认识论层面产生了联系,而对价值观关注较少。这表明网络研修前教师聚焦探究新知识、新方法的协作活动,较少关注学习素养相关的内容。 而网络研修后教师五个认知维度之间均存在连线, 即五个认知之间均产生了相互联系。从关注内容的强度来看,网络研修前教师在技能与知识、技能和认知论之间的连线较粗,说明其对技能的关注和需求更多;网络研修后教师在技能、身份和认识论三者之间的连线粗细相当, 说明教师更加注重技能、身份、认识论三者之间的关联,这样有助于促进师生的全面发展和综合发展。
(二)学生发展过程增值分析
学生发展增值采用残差模型 (Residual Gain Model,RGM)分析教师网络研修对学生成绩的影响。学生发展过程的增值情况是利用算法计算教师对学生成长的贡献, 以学生在标准化测试中的成绩来估计教师对学生的影响(任玉丹,2022)。本研究中残差模型的核心思想是根据学生的前测成绩和学生发展支持服务指标值S,生成学生的预测成绩,然后,计算出预测成绩与后测成绩之间的 “残差”(王晓平,等,2018)。 为此,本研究选取A 大学20 级教育技术学专业的110 名学生, 前测成绩是教师参与网络研修前开设的《教育技术学导论》课程使学生学习后的测试成绩; 后测成绩是教师参与网络研修后开设的《教学系统设计》课程使学生学习后的测试成绩。 在培养方案中,《教育技术学导论》与《教学系统设计》前后的关联性较强,课程均由同一教师开设,均属于专业核心课程。
1.学生发展预测值的轨迹分析
为了避免简单衡量“产出”与“投入”差值带来的弊端,本研究引入中间变量“预测值”,即借助Matlab回归模型, 根据学生的前测成绩与学生发展的支持服务指标值S,预测协作后的学生成绩。 其中,学生发展的支持服务指标值S 为自变量, 前测成绩为因变量;通过回归分析得到:回归系数估计值及它的置信区间, 残差r 及其置信区间和用于检验回归模型的统计量;最后,利用回归系数估计值,建立与自变量S 有关的回归方程, 综合得到了110 名学生的预测成绩轨迹,如图4 所示。 其中,横坐标表示学生编号;纵坐标表示学生发展成绩。
图4 中黑色线表示教师参与网络研修前的学生成绩,深色线表示学生的预测成绩;浅色线表示教师参与网络研修后的学生成绩。从轨迹中可以看出,学生发展的预测值与前后测成绩趋势保持一定的相关性,预测值在可接受的范围内。 然而,从图中较难直观呈现学生发展的净增值。
2.学生发展增值情况分析
教育评价的本质不是为了评价而评价, 而是指向教育的本质,即促进师生的共同成长与发展。教师和学生作为教育活动的一体两翼, 对师生发展增值的分析,有助于研究者了解网络研修过程的全貌。依据残差模型分析教师网络研修对学生发展情况的影响,残差模型属于纵向测量的一种形式,即对同一被测群体在不同时期开展的跟踪测量。 而横向测量则是在同一时期针对不同的被测群体进行的测量。 相较而言, 纵向测量可避免不同被测群体带来的重叠影响,从而有助于剖析学生发展的“净影响”。学生发展的增值是由预测水平与真实水平之间的差值来表示,为了直观呈现学生发展净增值的总体情况,可视化表征结果如图5 所示。 其中, 横坐标表示被测学生;纵坐标表示学生发展增值。
图5 中增值分为正增值、负增值和零增值三类。横坐标上方均表示正增值,用圆圈表示,为了突出呈现增值的大小,用不同深浅颜色表示;横坐标下方均表示负增值,用空心圆圈表示;位于横坐标中间的表示零增值,用空心圆圈表示。 根据结果显示,学生发展的正增值比例高于负增值, 即教师网络研修的协作效果有助于学生发展正增值。需要指出的是,学生发展增值源于多种因素, 并不能把学生的成长完全归结于教师网络研修的效果。
五、循证评价:教师网络研修协作效果增值性评价的实施路径
智能技术为教育评价提供了可行路径 (骆方,等,2021), 智能化的教育评价已呈现新趋势(牟智佳,等,2022),依托数据开展循证教育评价将成为重要的研究范式。理念作为开展评价的指引,需构建相应理论支持的评价过程;数据作为开展评价的基石,需建立师生成长历程的数据库; 活动是开展评价的保障,需设计活动聚焦教师研修协作。
(一)以增值性评价为理念,促进教师网络研修的共同协作
在理念层面, 增值性评价为教师网络研修协作交互的价值判断提供了新的视角。 增值性评价作为一种科学的评价方法, 在评价内容上实现了从注重结果向注重过程的转变; 在评价数据上实现从单一成绩向多维内容的扩充; 在价值内涵上实现从选拔与甄别为主向师生共同发展的转向。 这些转变都在积极推动教育朝更高质量、更加公平的方向发展。基于此, 一方面应坚持以动态的观点审视网络研修活动前后发生了哪些变化,在原先基础上有哪些提高,以及提高的程度如何等;另一方面,应坚持以全面发展的观点审视教师是否在知识、技能、身份、认知论和价值观等方面都得到了提升与发展。
本研究以教师网络研修为着力点, 旨在通过教师的协作交互促进师生的共同发展。 面向增值性评价的教师网络研修活动,通过科学地、客观地衡量教师协作效果成效和学生发展情况, 弥补传统师生评价分离的弊端。以增值性评价为理念,坚持以动态的观点审视网络研修活动前后的变化, 坚持以全面的视角审视教师在知识、技能、身份、认知论和价值观方面是否得到了提升。
科技部、教育部等六部门联合印发的《关于加快场景创新以人工智能高水平应用促进经济高质量发展的指导意见》中提到:教育领域应积极探索虚拟教研室、虚拟课堂等场景,鼓励开设研修班、组织场景专题培训等多种形式,培养创新能力的专业人才(科技部,2022)。 而元宇宙、人工智能、虚拟现实与增强现实等新兴技术的加持, 可实现虚拟场景和现实需求的深度融合(朱珂,等,2022),从而促使教师网络研修得到高效开展。
(二)以过程数据为保障,解密教师协作评价的黑箱机理
过程性数据是循证评价实施的基础, 为增值性评价提供了量化资料。 以过程性数据为基础的教育评价数据是客观存在的, 其通过展示事实性信息有助于解密教师评价的内在机理, 满足教育评价的有效性和可靠性,这亦是教育评价研究的实然所指。过程性数据为师生的发展提供及时、高效的反馈机制;通过可视化的图谱, 实现评价结果的直观、准确呈现; 通过智能系统实现对评价结果的精准推送。 可见,以过程数据为保障与教育评价,要着眼于与过程的观念相吻合,是一个实现“收集信息→价值判断→优化教育”的逻辑过程。
采用智能技术实现对过程性数据的采集是实施循证评价的关键。 (1)就动态性而言,需跟踪教师网络研修协作活动,描述协作轨迹与路径,剖析变化特点和协作交互趋势。 (2)就伴随性而言,需对网络研修中交互数据和话语数据进行持续观察、记录和挖掘, 才能解密教师网络研修协作交互的黑箱机理。(3)就方法论而言,需采用不同的技术方法,对教师网络研修过程中的认知结构与学生发展变化的增值情况进行解析。 为了保证过程性数据的即时性与有效性,网络研修过程可以智能化、数字化为技术保障,以更好适应智能时代的复杂性及不确定性。具体而言,在网络研修方式上,可选择灵活的形式使研修者随时随地开展交流成为可能;在网络研修内容上,可采用跨学科视角, 引入优质的外部资源并实时更新;在网络研修方案上,可实现定制化以满足研修者个性化需求;在研修效果上,可实现伴随性数据采集以动态关注研修进展。
(三)以活动设计为引领,聚焦教师网络研修的协作交互
协作活动是教师网络研修的保障,是开展循证评价的前提。以POEE 策略设计协作活动,可实现预测、观察、解释和评估的完整过程。 具体而言:(1)在预测阶段,基于先前的知识和经验促进教师观念的转变;(2)在观察阶段,基于最近发展区理论,借助合适的脚手架促进教师间的协作研修;(3)在解释阶段,最大程度地激发教师的合作动机、学习动机和知识迁移;(4)在评估阶段,通过教师与研修者、研修内容间的互动实现对发展的评估。
进一步而言, 协作活动的设计仍需强调以下内容:(1)活动以问题或主题为驱动,参与者在先前知识的基础上,建构自己对知识体系的理解,建立新旧知识间的内在联系;(2)参与者的活动取决于参与者间的交互合作,既包含与其他教师个体之间的交互,又包括与网络空间中的共同体成员之间的交互;(3)活动以形成结论或完成作品而结束, 参与者可以进一步反思理解并根据其他参与者的反馈或评价动态调整自己的理解,促使内容趋于丰富完善。为了提高教师协作交互水平, 在活动设计中可引入认知学徒制下的主导教师角色, 主导教师既具备组织研修活动的专业知识和经验, 又具备引领活动成员积极协作参与的管理能力。在主导教师的引领下,教师的认知网络结构趋于紧密, 教师之间的协作交流与互动得以加强。此外,通过认知学徒制开展有意图的研修活动, 采用脚手架、反思等策略可为参与者提供指导,还可促使研修过程中内隐要素可视化。
六、结语与展望
增值性评价不仅拓宽了循证评价的实践路径,更是推进《深化新时代教育评价改革总体方案》落实与实施的有效举措。增值性评价聚焦起点、过程和结果,以涨幅为评判标准,彰显了其独到的优势(胡钦太,等,2021)。
首先,在增值性评价探索过程中,将形成以理论创新为取向、指标建构为基础、增值模型为核心、组织架构为保障的评价体系(辛涛,等,2020)。 评价的价值取向将更趋向育人为本, 技术手段将凸显智能为基。 增值性评价不同于其他评价方法, 不是采用“一把尺子”去衡量所有的被评价者,而是强调被评价者自身的进步幅度。因此,在具体的评价实施过程中,增值性评价指标将作为一项重要的创新性指标,纳入到现有的评价体系中。 具体表现为:(1)在理论创新层面,促使评价过程的利益相关者积极参与、表达观点,争取参与评价的各方达成共识;在指标建构层面,通过映射师生的知识、能力、认识论和价值观等因素, 以全面发展的视角揭示教育现象所蕴藏的规律;(2)在增值模型层面,依托数据选择适切的模型或对典型模型进行有效扩展, 实现分析结果的合理化、多元化和精准化;(3)在组织架构层面,需国家、区域、学校、教师、学生和利益相关者共同发力,保障评价方法、评价程序、组织机制和结果应用等内容顺利开展。
此外,循证评价是未来教育评价的应然路径(兰彧,等,2022)。 大数据技术、人工智能技术使评价有据可循,循证评价在教育、教学中的应用,更契合智能时代的发展需求。首先,为了彰显循证评价以数据进行评测的核心理念,可持续探索眼动技术、脑电技术、皮电技术等在数据获取与分析中的应用,以丰富的师生画像,提高教育评价的全面性、科学性和有效性;其次,为了实现一体化的评价运行路径,可持续推进智慧教育平台建设, 提高教育评价场景的全覆盖,以实现证据获取的便捷性、信息处理的有效性、评价反馈的及时性、评价结果的精准性,从而为教育评价相关研究提供可操作性的实践范式。
基于此, 本研究以教师网络研修协作情况对教学效能的影响为主题,以过程性数据为循证支撑,对增值性评价的模型和应用进行探索, 旨在探求教师网络研修协作效果增值性评价的可行路径。 未来教育评价将以数据为证据、以活动为保障、以体系为指引助力师生的共同成长, 以评价撬动教育生态的优化发展。