一种智慧课堂交互行为数据的标准分数常模计算方法研究
——基于改进型弗兰德斯互动分析系统iFIAS
2023-10-23方海光孔新梅郑志宏黄颖文惠
□方海光 孔新梅 郑志宏 黄颖文惠
一、问题的提出
大数据赋能新时代基础教育评价改革过滤与挖掘隐含教育信息和规律,满足学生个性化学习的应然要求(宋乃庆,等,2021)。海量的课堂教学行为数据蕴含着巨大价值,通过对课堂交互行为数据的采集与分析,透视隐藏在数据背后的教学特征,帮助教师了解自身行为和学生行为,有效反映了教学效果(王冬青,等,2020)。国家教育数字化背景加速了数字化课堂交互行为数据的系统化采集,但传统研究往往根据主观经验开展课堂交互行为数据的比例分析和评价,实际上这样的方法是依据数据的经验性方法,更多的还是主观判断,而常模可以衡量个体水平并反映其在群体的相对位置,为数据驱动的课堂交互行为评价提供了一种新思路。因此,本研究基于大量的课堂交互行为数据建立标准分数常模,并对相关维度数据进行分级应用,以期为教师合理分配课堂教学行为提供标尺。
二、文献综述和核心概念
(一)课堂交互行为分析的研究
课堂交互行为分析是课堂教学研究的重点,可以揭示教师、学生等行为的交互关系和教学现象。根据不同的分类方法,课堂教学分析主要是从两个方面开展研究:一是以数据采集类型为基础来分析课堂教学,有研究从视频数据、音频数据、平台上数据和问卷开放题等多模态数据为出发点来构建智慧课堂协作学习投入分析模型(吴军其,等,2022);还有研究以多模态数据为支持构建课堂教学行为分析模型,包括师生互动行为数据、人机交互数据、师生情绪管理数据等(张乐乐,等,2022);相应地,有研究通过计算机视觉技术来识别课堂行为,帮助教师准确把握学生学习状态(贾轶钧,等,2022)。二是构建互动编码系统来分析课堂教学,有研究从教学环节、互动主体、互动形式、互动媒介、使用功能、互动内容、技术支持度以及互动参与度八个维度构建了数字化课堂互动行为分析体系;我国也有研究提出了基于信息技术的互动分析编码系统ITIAS,从教师言语、学生言语、沉寂和技术四个方面来分析课堂教学交互情况(顾小清,等,2004);还有研究从互动编码赋值与意义理解上建立联系(宁虹,等,2003)。
其实早在20 世纪60 年代,美国教育学家弗兰德斯(Flanders Ned A.)就提出了弗兰德斯互动分析系统(Flanders Interaction Analysis System,FIAS),这是一种课堂教与学行为量化分析工具(Flanders,1963)。20 世纪70 年代,弗兰德斯等利用FIAS 对大量课堂案例进行分析,计算各项课堂教学行为变量的平均数得出FIAS 常模(Flanders,1970),对教师了解教学情况具有一定参考意义。有研究提出改进型弗兰德斯互动分析系统iFIAS (improved Flanders Interaction Analysis System)(方海光,等,2012),是基于现代智能技术常态化运用以及日益成熟的教育大数据对课堂教学量化观察和数据处理的一种方法。iFIAS 课堂交互行为研究已趋于成熟,其对应的常模研究亟需开展,以解决教师在使用iFIAS分析课堂交互行为中的课堂教学专业发展问题。本研究从课堂交互行为数据基础出发,探讨如何利用智慧课堂交互行为大数据构建iFIAS 标准分数常模,讨论在量化教学行为的前提下如何采用标准分数常模计算方法来评价课堂交互结构和分布情况。
(二)常模、百分等级与标准分数之间的关系
常模是指在分析测验结果时,用来确定被试者相对水平的参考系(徐纪良,1991),是衡量个体水平的标准。常模是所构建模型作为参考的基线,充分发挥评价指挥棒的作用,例如,有研究认为基于大规模数据,通过学生综合素养评价数据模型的迭代和演化,形成学生综合素养评价常模库极其重要,如不同学校的常模、不同家庭的常模等(郑勤华,等,2022)。要建立有意义的常模,一是要获取有代表性的常模团体,二是要以常模团体的原始分数为基础,用统计学方法来导出一种具有特定意义的数据,能反映个体在群体的分布情况和相对位置。根据测验需要,可以选取不同样本来制定常模,如全国性常模、地方性常模、年龄常模、年级常模等(顾明远,1990);根据组内常模来看,可以分为百分等级常模和标准分数常模,来反映个体在群体中的相对位置。在正态分布下,标准分数对应的百分等级与一个以标准分数为界点的正态曲线左尾部面积比例数相对应(徐红,2016)。需要说明的是,标准分数是基于数据样本服从正态分布的假设情形下所使用的。
三、课堂交互行为数据标准分数常模的计算方法
(一)课堂交互行为数据标准分数常模计算工具选择
由于iFIAS 平台采用iFIAS 课堂观察方法量化课堂教育行为,所导出的课堂编码数据量极大,手工操作需耗费大量时间和精力,为此,选取python 3.9版本进行数据整理和清洗,对每节课的交互行为进行分类处理和运算统计,并借助SPSS 25.0 计算iFIAS 各项教学行为的百分等级。
(二)课堂交互行为数据标准分数常模计算样本选取
选取iFIAS 系统平台上3566 节课产生的802179 个课堂交互行为数据形成数据集。为保证数据的准确性和可靠性,本研究遵循数据清洗、数据规范和数据规约等策略规则进行数据预处理,去除缺失值、异常值和空值,并且考虑到一节课时长常见为40 分钟,筛选出35~45 分钟的课程,即每节课为700~900 个编码,共保留376 节课、306840 个课堂交互行为数据,依据iFIAS 维度计算统计算法形成课堂交互行为变量。在数据聚合过程中发现有18节课中存在某一个行为持续不变的无效课堂数据,最后确定选取358 节有效课堂和292380 个课堂交互行为数据。该样本涉及不同学习阶段、不同课型、不同教学内容且样本数量足够大,是具有代表性的常模团体。
(三)课堂交互行为数据标准分数常模计算过程
描述性统计数据得出样本服从偏态分布,可对其做正态化转化(黄光扬,2012),从而建立iFIAS 课堂交互行为标准分数常模。先将原始数据从小到大排序,计算每一个行为数据以下的数据所占总数的百分比Pi 或百分等级PRi,百分等级PRi=100-(100R-50)/N(R 表示在数据集中原始数据从大到小排列的数列的位置,N 表示数据集中数据的总个数),再依据正态分布表得到正态化的标准Z 分数与百分等级之间的关系。如图1 所示,根据3σ 原则对应Z 在[-1,1]分数范围下的百分等级,将获得的百分等级和正态分布表下的百分等级一一对应,即[0.1587,0.8413],得到iFIAS 课堂交互行为标准分数常模。标准分数常模建立过程,如图2 所示。
图2 课堂交互行为数据标准分数常模计算过程(基于iFIAS)
四、课堂交互行为数据标准分数常模分级应用框架
iFIAS 将课堂交互行为分为4 部分14 类,其中14 类课堂交互行为是指教师接受情感、教师表扬或鼓励、教师采纳学生观点、教师提问、教师讲授、教师指令、教师批评或维护教师权威、学生被动应答、学生主动说话、学生与同伴讨论、无助于教学的沉寂、有助于教学的沉寂、教师操纵技术和学生操纵技术,分别用编码1~14 表示,即教师语言为1~7 编码、学生语言为8~10 编码、沉寂为11~12 编码和技术为13~14 编码。基于14 类课堂交互行为类别编码的时间序列和统计计算,iFIAS 分析结果主要包括课堂时间动态线、迁移矩阵和课堂交互比例。本研究基于课堂交互比例得出iFIAS 课堂交互行为数据标准分数常模分级框架,1 个总体是指课堂整体结构,14 个子维度是课堂总体结构的补充,即14 类课堂行为类别,4 个主维度是指课堂教师语言影响、课堂使用技术、课堂问题影响和学生主动性。
如图3 所示,矩阵A 中14 行表示14 类课堂行为变量,0~13 行分别对应1~14 编码课堂行为类别,5 列依次表示1 个总体和4 个维度,矩阵A 中1 表示该级标准常模需通过这类行为对应的数据项计算,0 表示其课堂交互行为不参与到该级常模的统计中。如A[0,1]=1,说明在课堂教师语言影响中,教师接受情感行为类别为课堂教师语言影响的数据项之一,A [4,4]=0 表示教师讲授的频次数不是学生主动性分析统计的数据项;再如,在教师语言中学生的积极强化与消极强化的计算方式为(sum(A[0:4,1]))/(sum(A[4:7,1]))。
图3 课堂交互行为数据标准分数分级应用框架(基于iFIAS)
五、课堂交互行为数据标准分数常模的计算结果
根据358 节有效课堂和292380 个课堂交互行为数据,本研究通过标准分数常模的构建方法建立了iFIAS 的14 个行为比例标准分数常模(14 个子维度,如表1 所示),以及iFIAS 课堂交互比例重要维度(1 个总体和4 个主维度),具体包括:(1)iFIAS 课堂整体结构数据分析比例标准分数常模,如表2 所示;(2)iFIAS 课堂教师语言影响数据分析比例标准分数常模,如表3 所示;(3)课堂技术比例分析标准分数常模、课堂问题影响数据分析比例标准分数常模和学生主动性数据分析比例标准分数常模,由于此三类维度的具体每个数据构成互补关系,因此其标准分数常模于一表中,如表4 所示。需要说明的是,在常模样本中由于14 个行为比例的百分等级数值未遍布于0.00%~100.00%,在对应原始数据及其百分等级和正态化转化后的百分等级时,在不能准确对应保留两位小数的情况下,采取四舍五入保留一位小数的方式。常模样本团体的均值和标准差可做参考,其数值在表1 至表4 中呈现。
表1 iFIAS 14 个行为比例标准分数常模(14 个子维度)
表2 iFIAS 课堂整体结构数据分析比例标准分数常模(1 个总体)
表3 iFIAS 课堂教师语言影响数据分析比例标准分数常模(4 个主维度-1)
表4 iFIAS 课堂行为数据维度内互补比例标准分数常模(4 个主维度-2)
由表1 至表4 可知,基于iFIAS 课堂交互行为的各级各类标准分数常模为某一具体数值范围,为了直观化和形象化展示数据,体现鲜明的数值范围的上限和下限,本研究将基于iFIAS 课堂交互行为的标准分数常模采用雷达图可视化表达。雷达图从同一点开始逐层扩大同心圆的半径,轴表示各级框架下各类标准分数常模的含义,轴上不同位置表示不同的数值,不同轴的相同位置其数值相同,连接起来是一个闭环图,根据各级各类标准分数常模的具体数值范围依据雷达图的标准线确定其具体位置,同级各类iFIAS 的课堂交互行为标准分数常模的上限值连接形成闭环,下限类似。需要说明的是,由于iFIAS 14 个交互行为比例标准分数常模的起始差距大并且雷达图多达14 个轴,所以该级标准分数常模采用表格的形式呈现。基于iFIAS 课堂交互行为分析标准分数常模结果图在下一部分的案例中可见。
六、应用案例
(一)案例一
本研究应用iFIAS 对某未来学校示范校的一节小学四年级数学课 “认识三角形和四边形” 进行课堂交互行为分析。本节课时长为41 分钟,产生820 个课堂行为数据,如图4 所示。其中,教师借助电子白板授课,主要用于播放课件和使用数学动态工具网络画板;每两名学生配备一台平板,用于在网络画板上交互探索和理解知识点,其产生的具体数据结果和标准分数常模分析结果如下。
维纳滤波语音增强技术能有效改善语音质量,抑制带噪语音中的噪声,但和大部分语音增强算法一样,它并不能有效提高语音可懂度(Speech Intelligibility)。维纳滤波算法增益函数依赖于语音各频点的估计信噪比,大量的研究工作用于分析信噪比估计算法的性能对提升语音质量和减少残留噪声的影响,而忽略了分析信噪比估计误差对语音可懂度的影响。而助听器的主要目的是提高使用者的语音可懂度,因此对增强算法的研究需充分考虑增强算法对语音可懂度的影响。
图4 某课堂iFIAS 课堂交互行为观察原数据
(1)本节课整体结构数据比例:教师语言比例为42.25%、学生语言比例为34.08%、沉寂比例为9.11%和技术所占比例为14.23%,与iFIAS 课堂整体结构数据分析比例标准分数常模对比分析研究结果,如图5 所示,灰色虚线条所构成的范围为iFIAS课堂整体数据分析比例标准分数常模,黑色实线条构成图为本节课课堂交互行为整体数据。结果表明,本节课教学行为四大模块教师语言、学生语言、沉寂和技术比例均在标准分数常模范围之内,说明本节课教师行为以及教师指导学生行为、学生沉寂思考的行为和教师以及学生使用技术的行为分配合理。其中,教师语言比例与常模下限较接近,同时学生语言比例同常模上限接近,教师语言与学生语言比例较均衡的情况下体现出了学生对课堂的影响。在教师与学生使用技术的比例中,更加接近标准分数常模上限,这是因为本节课除教师使用电子白板授课之外,每两名学生配备了一台平板用于探索和体验三角形和四边形的知识。
图5 案例一与iFIAS 课堂整体结构数据分析比例标准分数常模对比分析
(2)本节课在课堂教师语言影响数据分析中,教师语言中对学生的间接影响与直接影响比例为45.30%,教师语言中对学生的积极强化与消极强化比例为247.62%,教师语言中提问所占的比例为15.88%,学生语言中主动说话的比例为86.45%。与iFIAS 教师语言影响数据分析比例标准分数常模对比分析研究结果,如图6 所示。结果表明,教师语言中对学生的积极强化与消极强化比例远远超出标准分数常模上限,说明本节课中教师对学生行为的反馈采纳、鼓励、表扬等行为远远大于指令和批评行为,该教师积极响应学生的认知过程。但教师语言中对学生的积极强化与消极强化比例的平均值为291.32%,低于均值,这与其952.70 的标准差有关,同时也说明在绝大多数课堂中教师语言对学生为积极影响。本节课中学生主动说话所占比例与标准分数常模上限相接近,说明学生行为主要为学生主动说话而非被动应答。
图6 案例一与iFIAS 课堂教师语言影响数据分析比例标准分数常模对比分析
(3)本节课在课堂技术比例分析中,信息技术应用中教师操纵技术的比例为37.72%,信息技术应用中学生操纵技术的比例为62.28%;在课堂问题影响数据分析中,开放性问题占教师提问比例为94.44%,封闭性问题占教师提问比例为5.56%;在学生主动性数据分析中,主动应答占学生主动说话的比例为98.31%,主动提问占学生主动说话的比例为1.69%。与iFIAS 课堂技术使用比例、课堂问题影响、和学生主动说话数据分析标准分数常模对比分析研究结果,如图7 所示,这三大模块的具体数据结果在每个样本中为互补关系,为更加直观形象地呈现二者关系,该三大模块下的两个维度于雷达图的相反径向。结果表明,在本节课课堂问题影响数据分析比例中,封闭性问题占教师提问比例低于标准分数常模下限,开放性问题占教师提问比例高于标准分数常模上限,说明本节课中该教师提问倾向于开放性问题而非封闭性问题,对于培养学生的创新性思维具有一定意义,有利于学生深度思考。在学生主动说话维度中,可发现本节课学生主动说话比例和标准分数常模都偏左下方,并在标准分数常模范围之内。本节课学生使用平板学习,在技术应用中教师操纵技术和学生操纵技术比例在标准分数常模范围之内并且教师和学生操纵技术比例均衡,但学生操纵技术比例高于均值,同时也说明有较多课堂学生使用技术频繁。
图7 案例一与iFIAS 课堂技术使用比例、课堂问题影响数据、和学生主动说话数据分析标准分数常模对比分析
(4)从iFIAS 的14 个行为来看,可更详细地了解课堂交互行为数据分析比例。其14 个课堂交互行为比例分析与iFIAS 的14 个行为比例分析标准分数常模对比研究结果,如表5 所示。在案例数据列中,白色底纹单元格表示在标准分数常模范围之内,深灰色底纹单元格表示超出常模上限,浅灰色底纹单元格表示低于常模下限。结果表明,在学生被动应答行为中,本节课不存在学生被动应答行为;在学生主动说话行为中,本节课堂交互行为高于标准分数常模,二者也说明学生以应答为主,主动参与到课堂的整个活动。
表5 案例一与iFIAS 14 个行为比例标准分数常模对比分析
(二)案例二
本研究应用iFIAS 对某示范校的一节初中一年级英语课“Do You Think You Will Have Your Own Robot? ” 进行课堂交互行为分析。本节课时长为40分钟,共产生800 个课堂交互行为数据,如图8 所示,其中教师借助电子白板授课,主要用于播放课件,并且教育机器人为助教,辅助教师共同教学。本节课应用iFIAS 产生的具体数据结果和标准分数常模分析结果如图9 所示。
图8 某课堂iFIAS 课堂交互行为观察原数据
图9 案例二与iFIAS 课堂整体结构数据分析比例标准分数常模对比分析
(1)本节课整体结构数据比例是:教师语言比例为47.76%、学生语言比例为21.93%、沉寂比例为28.63%和技术所占比例为7.68%,与iFIAS 课堂整体数据分析比例标准分数常模对比分析研究结果,如图9 所示,灰色虚线条所构成的范围为iFIAS 课堂整体结构数据分析比例标准分数常模,黑色实线条构成图为本节课课堂交互行为整体数据。结果表明,本节课交互行为中教师语言、学生语言和技术比例在标准分数常模范围之内,沉寂超出常模范围上限,说明本节课教师行为以及教师和教育机器人指导学生行为、学生行为和师生使用技术的行为分配适中,而在沉寂层面,在本节课中为学生留出的思考时间较长,相比于案例一的小学课堂来讲,初中课堂更加注重培养学生独立思考能力。人类教师和机器人教师二者共同教学发出的行为比例与常模下限较接近,学生语言比例处于常模范围中间,从而对课堂产生影响。
(2)本节课在课堂教师语言影响数据分析中,教师语言中对学生的间接影响与直接影响比例为296.47%,教师语言中对学生的积极强化与消极强化比例为393.94%,教师语言中提问所占的比例为36.2%,学生语言中主动说话的比例为66.1%。与iFIAS 教师语言影响数据分析比例标准分数常模对比分析研究结果,如图10 所示。结果表明,教师语言中对学生的间接影响与直接影响的比例远远超出标准分数常模上限,同样地,教师语言中对学生的积极强化与消极强化比例也远远超出标准分数常模上限,说明本节课中教师对学生行为的反馈采纳、鼓励、表扬等积极行为远远大于指令、批评等消极行为,教师在上课过程中积极响应和促进学生的情感培养和认知发展,并且在教师语言中问题所占的比例也超出标准分数常模上限,这与学生学习未来发展前沿内容的英语课有关,本节课程内容具备前瞻性和探索性的特征。本节课中学生主动说话所占比例在标准分数常模范围内,说明学生行为主要为学生主动说话而非被动应答。
图10 案例二与iFIAS 课堂教师语言影响数据分析比例标准分数常模对比分析
图11 案例二与iFIAS 课堂技术使用比例、课堂问题影响数据、和学生主动数据分析标准分数常模对比分析
(4)iFIAS 的14 个课堂交互行为比例分析与标准分数常模对比研究结果,如表6 所示。在案例数据列中,白色底纹单元格表示在标准分数常模范围之内,深灰色底纹单元格表示超出常模上限,浅灰色底纹单元格表示低于常模下限。结果表明,本节课不存在教师批评或维护教师权威行为,教师讲授低于标准分数常模,教师接受情感、教师采纳学生观点、教师提问和有助于教学的沉寂均超出标准分数常模上限,再一次验证了本节课堂内容是一个开放的课程学习,教师将更多的课堂时间交由学生独立思考。
表6 案例二与iFIAS 14 个行为比例标准分数常模对比分析
七、总结与讨论
本研究所构建的iFIAS 课堂交互行为标准分数常模,在一定程度上为教师合理分配课堂教学行为提供了指南,为课堂行为评价提供了标尺。在建立课堂交互比例五个层面的标准分数常模的基础上,构建了iFIAS 的14 个行为标准分数常模,有助于教师更全面、更细致地分析整个课堂的教学行为比例分布和从14 个维度把控整个课堂情况。“1 个总体,4个主维度,14 个子维度” 标准分数常模表的构建,便于教师和研究者准确归因,iFIAS 标准分数常模科学地为课堂交互行为量化分析研究服务,本研究在两个案例中运用iFIAS 标准分数常模方法发现:
1.标准分数常模
在使用iFIAS 标准分数常模数据与新打点的课堂交互行为数据对比分析时,可查看其数据是否在i-FIAS 标准分数常模范围之内。若在,说明本节课堂的教师行为、学生行为等分配合理,师生对整个课堂影响均衡;若不在,则可根据iFIAS 的14 个课堂交互行为标准分数常模继续深入挖掘与常模之间的距离,也可结合iFIAS 均值和标准差为教师之后的教学行为提供指导。比如在两个案例中,教师语言中对学生的积极强化与消极强化比例都高于常模,并且案例二中的比例将近高达400%,再详细查阅iFIAS 14 个行为比例常模与案例二数据会发现,教师接受情感、教师采纳学生观点行为也远远高于标准分数常模上限,这与案例一属于知识传授的小学数学课堂和案例二属于前沿探索的英语课堂有关。一个宏观的结论数据可以追溯到具体的14 个行为标准分数常模,宏观和微观的标准分数常模共同佐证课堂情况。
2.三值内在逻辑关系
三值是指课堂交互行为各个维度的 “均值、标准差、标准分数常模” 三个不同的数据结果,三个结果内部存在一定的逻辑关系。具有代表性的是,在课堂教师语言影响数据分析角度中,教师语言中对学生的积极强化与消极强化比例标准分数常模为30.00%到64.95%,而均值为291.32%,悬殊较大,这与常模样本团体标准差952.70%的数据特征一致,说明绝大多数教师语言对学生积极强化影响显著,积极响应学生的认知过程,也存在小部分教师语言对学生积极强化的影响不大。
3.课堂特点
在课堂技术比例角度下信息技术应用中对教师/学生操纵技术比例标准分数常模和课堂问题影响下开放性问题/封闭性问题占教师提问比例的常模跨度较大,几乎遍布整个百分比,均值均接近50%,这与课堂的教学内容和课程类型有关。在学生主动性数据下的主动应答/主动提问占学生主动说话比例标准分数常模具有明显的偏向性,由案例一的图7 可知,整个雷达图的标准分数常模偏向左下方,这也验证了在我国课堂中学生更擅长主动思考教师的问题但不主动向教师提问的现象。比如,案例一的图5 和案例二的图9 相比,案例二的课堂更加突出沉寂对于学生学习的重要性,同时也表明对于初中学生的培养比小学生的培养更注重独立思考能力;案例一比案例二的学生语言行为比例高,案例一是学生借助网络画板分组探究新知的过程,案例二是学生动脑思考和想象前沿知识的过程,这与两种课型不同、知识重点不同有关。
4.无学科限定
在使用iFIAS 标准分数常模时没有学科限定,适用范围广泛,在使用过程中不受课堂教学内容和课堂类型影响,具有一定实用价值,同时也表明本研究的iFIAS 标准分数常模是不具有学科特色的。当前的研究结果提供了一个通用的标准分数常模,常模的区间范围较大,在后续研究中会分门别类地采集不同形态课程的数据,从而得出更加具体的、具有针对性的不同形态课程的各个维度的分布情况,为教师提供不同学科、不同类型课堂的标准分数常模表。
5.常模漂移
本研究的iFIAS 标准分数常模样本数据来自iFIAS 平台的358 节有效课堂,均为实际测评而来,但随着时间推移,该平台上会积累更多课堂交互行为数据并且后积累的课堂交互行为会基于前期的标准分数常模结果反馈和调整,推动新型课堂教学模式的出现,所以可能会出现大数据分析下的常模漂移现象。目前的标准分数常模结果体现最近两年课堂交互行为状况,可预测在未来课堂交互行为比例发生变化的情况下,进行新旧标准分数常模比较是值得进一步思考和研究的问题。