数据驱动教学决策真的有效吗？*——基于近十年国内外43项相关的实验和准实验元分析

2023-09-21顾秦一蒋少杰郑旭东

现代教育技术 2023年9期

李静顾秦一蒋少杰郑旭东

李静1顾秦一1蒋少杰1郑旭东2

（1．中国矿业大学公共管理学院，江苏徐州 221116；2．江苏师范大学江苏省教育信息化工程技术研究中心，江苏徐州 221116）

数据驱动教学决策是大数据时代循证科学研究在教育教学中的应用与发展，具有促进决策科学化、教学有效化、教育现代化的功能，但研究对于“数据驱动教学决策是否有效”这一问题仍然存在争议。对此，文章对近十年国内外43项相关的实验和准实验研究文献进行了元分析，结果显示：数据驱动教学决策对学生学习效果具有显著的正向促进作用，具体体现在认知发展、行为发展、情感发展三个维度；数据驱动教学决策受决策主体角色、决策技术工具、决策驱动过程、决策执行方式四个调节变量的影响，但不同调节变量对数据驱动教学决策的影响存在差异。基于研究结论，文章针对数据驱动教学决策的优化提出建议，以提升教学决策的科学性和有效性，助力教育数字化转型的深度推进。

数据驱动；教学决策；学习效果；元分析

一研究现状

教学决策是教育工作者为了促进学生发展，通过感知、采集、分析、处理信息并选择教学方案的动态过程。“教学决策的合理性基本等同于教学有效性”[1]，因此教学决策不仅是教育教学活动的核心，还是保证教育质量的关键，更是教育工作者素养能力的基本组成。传统的基于经验的教学决策存在决策准备阶段信息搜集不足、决策过程中过分依赖个人经验、决策执行阶段信息反馈流动不畅等问题，降低了教学决策效果的广度、效度和力度。随着大数据、云计算、AI技术等智能技术的蓬勃发展及其在教育领域的深度应用，教育科学的研究与实践逐渐由“假设驱动”转向“数据驱动”，并步入数据密集型科研的“第四范式”（The Fourth Paradigm），“数据驱动决策”（Data Driving Decision Making）由此应运而生[2]。

数据驱动决策是大数据时代背景下循证科学研究在教育教学中的应用与发展，是指“决策者在智能技术的辅助下，搜集、分析事实性数据，形成信息驱动链，进而智能推荐决策方案并执行的一种形式”[3]。值得说明的是，虽然初始表达“数据驱动决策”并没有出现“教育或教学”，但是基于该词组的起源和常见应用场景，学术界普遍认可数据驱动的决策是教育或教学决策[4]，因此本研究统一表述为“数据驱动教学决策”。目前，我国学术界对“数据驱动教学决策”的研究方兴未艾，数据驱动教学决策是否真的有效、效果如何等问题亟待解答。

对此，中外学者针对数据驱动教学决策对学生学习效果的影响进行了大量实证研究，但得出的结论不尽相同。有研究者发现：在认知发展维度，数据驱动教学决策对于学生在概念理解、知识记忆留存、思维能力等方面均有不同程度的提升[5][6][7]；在行为发展维度，数据驱动的教学决策有助于优化学生的学习技能、问题解决、互动行为等[8][9][10]；在情感发展维度，数据驱动教学决策在提升学生学习态度、学习满意度、学习兴趣等方面也卓有成效[11][12][13]。但是，也有研究者得出了相反的结论，即数据驱动教学决策没有显著促进学生发展。例如，2010～2015年荷兰特温特大学对教师团队进行了2年的数据驱动教学决策培训，通过对比培训前后学生成绩的变化，发现数据驱动教学决策对3～8年级学生数学成绩的影响不显著[14]。

基于此，本研究采用元分析方法，以“数据驱动教学决策对于学生学习效果的影响程度”为切入口，梳理了国内外近10年来相关的实验和准实验研究文献，并按照元分析方法的规范要求对这些文献进行筛选、梳理、分析，以解答“数据驱动教学决策真的有效吗？”这一问题。同时，本研究将决策主体角色、决策技术工具、决策驱动过程、决策执行方式四个维度作为调节变量进行分层分析，以探究不同维度对数据驱动教学决策效果的具体影响。

二研究方法与过程

1 研究方法与工具

元分析（Meta-analysis）是一种针对特定目标，通过统计学的方法对多个独立的、相关的实验或准实验研究进行统计整合、再分析，以验证这些独立研究的共同效应或差异原因的方式[15]。目前，元分析已被广泛用于教育学、医学、心理学等领域，帮助决策者确定哪些干预措施有效、哪些干预效果最佳。本研究采用元分析方法，整合、分析数据驱动教学决策对学生学习效果影响的实验及准实验研究，以评估数据驱动教学决策能在多大程度上影响学习效果。本研究将标准化平均差（Standardized Mean Difference，SMD）作为效应量，用来表征数据驱动教学决策对学习效果的影响程度。同时，本研究采用元分析软件CMA 3.0进行数据处理与分析，将来自不同独立研究的样本数量（N）、实验组和对照组前后测的均值（Mean）、标准差（SD）等原始数据录入软件，进行合并计算。

2 研究过程

（1）文献检索

本研究的英文文献数据主要来源于Web of Science、Scopus等数据库，检索主题词为“data-driven decision making”or“technology-driven decision making”or“technology-empowered instructional decision-making”or“data-based decision-making”and“students’ performance”or“learning performance”等；中文文献数据则主要来源于中国知网、万方、维普等电子数据库，检索的主题词为“数据驱动模式”或者“基于大数据学习”或者“数据驱动教师决策”或者“数据库”并且“学习效果”；同时，中英文文献检索的起止时间均设为2003年1月～2022年12月。之后，本研究采用“滚雪球”的检索方式对第一轮所得文献进行第二轮检索。最后，删除前期重复的文献，获得可供进一步筛选分析的中英文文献221篇。

（2）文献筛选

本研究按照以下标准对文献进行了筛选：①文献主题应为数据驱动教学决策对学生学习效果影响的研究，因变量为学习效果。②文献必须是教育实验或准实验研究。其中，单组实验需要有前后测的对照，双组实验必须包含一个数据驱动教学决策干预下的实验组，以及与之相对应的对照组。③文献中应报告样本数量（N）、均值（MEAN）用以计算效应量（SMD）。依据上述筛选标准，按照如图1所示的文献纳入排除流程，本研究得到43篇纳入分析的文献，共有55个可用于元分析的效应量（其中部分实验与准实验研究包括多个效应量）。

图1 文献纳入排除流程

（3）元分析框架

本研究将数据驱动教学决策视作一个整体活动，并作为本研究的研究对象，构建了“数据驱动教学决策的效果”元分析框架（下文简称“元分析框架”），如图2所示。

根据布鲁姆的教育目标分类，元分析框架将数据驱动教学决策对学生学习产生的效果分为认知发展、行为发展和情感发展三个维度。其中，认知发展包括学业成就、识别记忆、知识迁移、高阶思维，行为发展包括学习技能、问题解决、学习互动和学习参与度，情感发展包括学习态度、学习动机、学习兴趣和学习满意度。

调节变量层面，元分析框架根据Mandinach等[16]提出的“技术支持的数据驱动决策”经典模型，确定了以下四个调节变量：①决策主体角色。教育教学活动中的主体包括学校管理者、教师和学生。其中，学校管理者利用数据判断学校需要改进的特定领域，做出的决策通常包括政策决定、资源分配、课程修改等[17]；教师根据反映学生表现的数据来区分教学策略，实现个性化教学[18]；学生的实时表现数据、反馈信息等是教学执行和再决策的基础[19]，是“以学生为中心”的教育理念的“数字化展现”。②决策技术工具。不同的技术工具对数据驱动教学决策效果有不同的影响，元分析框架将不同技术工具划分为教育数据库、教师助理软件/设备和智慧实验室。③决策驱动过程。信息链理论认为，从“事实”到“知识”的转化遵循“事实—数据—信息—知识”的转化逻辑[20]。据此，元分析框架将“教育教学事实—教学决策知识”的转化过程划分为搜集教育事实数据（事实数据）、分类诊断教育问题（形成决策信息）和提出智能推荐方案（智能知识）。④决策执行方式。决策执行方式是教学决策实施过程中学习者与智能技术形成“人技互动”的过程，依据“技术干预决策执行”的维度，划分为技术单向输出（人技单维互动），如课堂使用PPT单向呈现信息；人技双向协同（技术与学生双向交互），如计算机支持的协作学习（Computer Supported Collaborative Learning，CSCL）[21]；技术多维干预（人技多维互动），如利用VR、AI等技术的游戏化学习方式[22]。

围绕“数据驱动教学决策真的有效吗？”这一问题，本研究尝试通过元分析回答以下问题：①数据驱动教学决策真的有效吗——整体而言，数据驱动教学决策能否促进学习效果的提升？具体来看，数据驱动教学决策能否促进学习效果中的认知发展、行为发展、情感发展？②哪些因素会且如何影响数据驱动教学决策的效果？

（4）文献编码

本研究依据构建的“数据驱动教学决策的效果”元分析框架和纳入元分析文献的研究样本，对决策主体角色、决策技术工具、决策驱动过程、决策执行方式四个调节变量进行编码，部分文献编码结果如表1所示。

表1 部分文献编码表

调节变量类别文献信息发表时间驱动过程分类诊断教育问题Hwang等[23]2022年执行方式技术单向输出Li Ling等[24]2022年技术工具教师助理软件/设备Lim等[25]2021年执行方式人技双向协同Keuning等[26]2019年驱动过程智能推荐方案Danial等[27]2018年驱动过程搜集教育事实数据姜强等[28]2017年主体角色教师Laia等[29]2017年主体角色学校管理者van Geel等[30]2016年主体角色学生Choi等[31]2015年技术工具智慧实验室Chao等[32] 执行方式技术多维干预Chaeller等[33]2013年技术工具教育数据库鲁艳辉等[34]2009年

三研究分析与结论

1 文献样本检验

①发表偏倚检验。通常来说，期刊倾向于接受研究结果显著的文章。发表偏倚正是由于研究者、审稿人或编辑选择论文发表时对研究结果的偏好所形成的[35]，元分析的结果也可能因为选择文章的偏差而造成误差。因此，为保障本研究所得结论科学有效，需要对纳入元分析的独立研究样本进行相关评估和检验。发表偏倚可以通过漏斗图来分析鉴定：漏斗图形似倒置的漏斗，如果形状显示非对称，就表示有研究结果不显著的文章尚未被找到与纳入。而本研究的漏斗图形状对称，且位于顶部有效区域（如图3所示），说明纳入元分析的研究样本中存在发表偏倚的可能性较小。Begg’s检验结果（Z=1.938＜1.96，=0.053＞0.05）也表明，本研究不存在发表偏倚。

图3 研究样本发表偏倚检验漏斗图

②异质性检验。本研究主要采用I2，作为分析研究样本异质性的衡量标准。异质性检验结果显示，I2值为94.1%，表明大约有94.1%的观察变异由效应量的真实差异导致，而由随机误差造成的变异大约只有5.9%。因此，为适应研究样本的异质性，本次元分析采用随机效应模型（Random Effects Models，REM）进行整体效应层面的数据处理与分析，来确保研究结论的可靠性，并将效应量进行合并（效应量的置信区间CI值定为95%）。

2 研究分析

（1）数据驱动教学决策对学生学习效果的影响分析

整体效应检验结果如表2所示，可以看出：数据驱动教学决策的学习效果包含55个效应量，合并效应量SMD=0.504（＜0.001）。根据Cohen的效应值统计理论，当效应量＜0.2时，表示影响较小；当效应量介于0.2～0.5时，说明影响程度为中等；当效应量介于0.5～0.8时，说明影响较大；当效应量＞0.8时，说明影响很大[36]。本研究中的效应量SMD=0.504＞0.5，说明数据驱动教学决策对学生的学习效果具有较大的促进作用。

表2 数据驱动教学决策对学习效果的整体效应检验

效应模型研究数量效应量SMD95%置信区间双尾检验下限上限Z值dfp 随机效应模型（REM）550.504***0.4000.6079.544540.000

注：***表示＜0.001。

本研究主要从认知发展、行为发展、情感发展三个维度来衡量数据驱动教学决策对学生学习效果的影响，相关数据统计结果如表3所示。其中，认知发展主要评估对学业成就、识别记忆、知识迁移、高阶思维的影响效果；行为发展主要评估对学习技能、问题解决、学习互动、学习参与度的影响效果；情感发展主要评估对学习态度、学习动机、学习兴趣、学习满意度的影响效果。

表3 数据驱动教学决策对学生学习效果的影响

维度分类数量效应量SMD95%的置信区间Z值合并效应量SMD95%的置信区间上限下限上限下限认知发展学业成就140.1250.2440.0062.063*0.296**0.4990.093 识别记忆40.5280.8090.2483.690*** 知识迁移30.3240.5960.0522.333* 高阶思维50.2940.5480.0402.267* 行为发展学习技能20.7491.603-0.1051.7190.762***1.0470.477 问题解决120.7811.1270.4364.431*** 学习互动30.7681.4990.0372.058* 学习参与度10.5421.734-0.6500.891 情感发展学习态度50.5960.9550.2373.257***0.804***1.1410.467 学习动机11.1191.9790.2592.551*** 学习兴趣21.0991.7110.4863.515*** 学习满意度30.7281.2350.2212.815**

注：*表示＜0.05，**表示＜0.01，***表示＜0.001。下同。

①在认知发展维度，数据驱动教学决策对认识发展的合并效应量为SMD=0.296（＜0.01），表明数据驱动教学决策能在中等程度上促进学生的认知发展。其中，识别记忆（SMD=0.528，＜0.001）、知识迁移（SMD=0.324，＜0.05）超过认知层面的整体水平，说明数据驱动教学决策对学生这两项能力的提升最为显著。而学业成就（SMD=0.125，＜0.05）、高阶思维（SMD=0.294，＜0.05）的效应量略低于认知层面的整体水平，说明数据驱动教学决策对学生这两项能力的影响还有提升空间。

②在行为发展维度，数据驱动教学决策对学习行为发展的合并效应量为SMD=0.762（＜0.001），表明数据驱动教学决策对学生学习行为发展具有较大的促进作用。其中，问题解决（SMD=0.781，＜0.001）、学习互动（SMD=0.768，＜0.05）的影响效果最为显著，超过行为层面的整体水平；而学习技能（SMD=0.749，＞0.05）、学习参与度（SMD=0.542，＞0.05）的影响效果并不显著。

③在情感发展维度，数据驱动教学决策对学生情感发展的合并效应量为SMD=0.804（＜0.001），表明具有数据驱动教学决策对学生情感发展有很大的促进效果。其中，效果最显著的是学习动机（SMD=1.119，＜0.001）、学习兴趣（SMD=1.099，＜0.001），远超情感层面的整体水平。此外，数据驱动教学决策对学生的学习满意度（SMD=0.728，＜0.01）、学习态度（SMD=0.596，＜0.001）也有积极影响。由上可见，数据驱动教学决策对于改善学生的情感发展效果良好，此领域可以深入研究与应用。

（2）不同调节变量对数据驱动教学决策效果影响的差异分析

不同调节变量对数据驱动教学决策效果的影响存在差异（如表4所示），具体分析如下：

表4 不同调节变量对数据驱动教学决策效果的影响的差异

调节变量维度数量效应量SMD权重95%置信区间Z值下限上限决策主体角色管理者50.124*35.70.0140.2342.888* 教师40.270*28.60.1230.417 学生50.412***35.70.1990.424 决策技术工具教育数据库30.899*18.803531.4443.064** 教师助理软件/设备80.325*50.00.0150.634 智慧实验室50.628**31.20.2061.050 决策驱动过程搜集教育事实数据60.42446.2-0.2701.1182.087* 分类诊断教育问题40.939*30.80.1071.770 智能推荐方案32.487***23.01.3403.633 决策执行方式技术单向输出30.712*25.00.1491.2744.333*** 人技双向协同30.758**25.00.2231.293 技术多维干预60.476*50.00.0880.863

①不同决策主体角色对数据驱动教学决策效果的影响存在差异。整体而言，决策主体角色的合并效应量为SMD=0.253，合并效应量检验Z=2.888（＜0.05），表明不同决策主体角色对数据驱动教学决策效果具有中等程度影响。具体来看，不同决策主体角色对数据驱动教学决策的影响按照合并效应量大小排列依次是学生（SMD=0.412，＜0.001）、教师（SMD=0.270，＜0.05）和管理者（SMD=0.124，＜0.05）。可见，学生作为决策主体的影响效果最佳，这与“以学生为中心”的教育理念相匹配；教师的影响效果次之，管理者的影响效果最小。

②不同决策技术工具对数据驱动教学决策效果的影响存在差异。整体而言，决策技术工具的合并效应量为SMD=0.571，合并效应量检验Z=3.064，＜0.01，表明不同决策技术工具对数据驱动教学决策效果具有较大影响。具体来看，不同决策技术工具对数据驱动教学决策的影响按照合并效应量大小排列依次是教育数据库（SMD=0.899，＜0.05）、智慧实验室（SMD=0.628，＜0.01）和教师助理软件/设备（SMD=0.325，＜0.05）。可见，教育数据库的影响效果显著优于智慧实验室和教师助理软件/设备。

③不同决策驱动过程对数据驱动教学决策效果的影响存在差异。整体而言，决策驱动过程的合并效应量为SMD=1.207，合并效应量检验Z=2.087（＜0.05），表明不同决策驱动过程对数据驱动教学决策效果具有很大影响。具体来看，智能推荐方案（SMD=2.487，＜0.001）和分类诊断教育问题（SMD=0.939，＜0.05）对数据驱动教学决策的效果有很大的促进作用，搜集教育事实数据（SMD=0.424，＞0.05）对数据驱动教学决策的效果没有显著作用。

④不同决策执行方式对数据驱动教学决策效果的影响存在差异。整体而言，决策执行方式的合并效应量为SMD=0.606，合并效应量检验Z=4.333（＜0.001），表明不同决策执行方式对数据驱动教学决策效果具有较大影响。具体来看，人技双向协同的影响效果最佳（SMD=0.758，＜0.01），说明学生与技术双向互动的决策执行方式符合教学与学习规律，有助于学习效果的提升；技术单向输出（SMD=0.712，＜0.05）的影响效果次之；而技术多维干预（SMD=0.476，＜0.05）的影响效果中等。

3 研究结论

围绕“①数据驱动教学决策真的有效吗？”“②哪些因素会且如何影响数据驱动教学决策的效果？”这两个问题，本研究采用元分析方法，探讨了数据驱动教学决策对学生学习效果的影响、不同调节变量对数据驱动教学决策效果影响的差异，所得研究结论主要如下：

针对问题①的研究结果显示，数据驱动教学决策对学生学习效果具有显著的正向促进作用。具体来说，在认知发展维度，数据驱动教学决策能显著提升学生的识别记忆和知识迁移能力；在行为发展维度，数据驱动教学决策有助于学生解决问题、开展学习互动；而在情感发展维度，数据驱动教学决策能显著增强学生的学习动机和学习兴趣，并对学生的学习满意度、学习态度也有积极影响。

针对问题②的研究结果显示，数据驱动教学决策受决策主体角色、决策技术工具、决策驱动过程、决策执行方式四个调节变量的影响，但不同调节变量对数据驱动教学决策效果的影响存在差异。具体来说，不同决策主体角色对数据驱动教学决策效果具有显著的中等积极效应，其中学生作为决策主体的影响效果最佳，教师与管理者的影响效果差异不大；不同决策技术工具对数据驱动教学决策效果具有较大影响，其中教育数据库的影响效果显著优于智慧实验室和教师助理软件/设备；不同决策驱动过程对数据驱动教学决策效果的促进作用很大，其中智能推荐方案和分类诊断教育问题对数据驱动教学决策效果有显著促进作用；不同决策执行方式对数据驱动教学决策效果具有较大促进作用，其中人技双向协同和技术单向输出的影响作用较大。

四数据驱动教学决策的优化建议

本研究使用CMA 3.0元分析软件，选取43篇关于“数据驱动教学决策”的实验和准实验研究文献进行了元分析，从认知发展、行为发展、情感发展三个维度探讨了数据驱动教学决策对学生学习效果的影响，同时分析了决策主体角色、决策技术工具、决策驱动过程、决策执行方式四个调节变量对数据驱动教学决策的影响。基于研究结论，本研究针对数据驱动教学决策的优化提出以下建议：

1 整体上，数据驱动教学决策效果显著，但仍有进步空间

元分析结果显示，虽然数据驱动教学决策对学生学习效果具有中等的促进作用，但在学习技能、学习参与度方面的促进作用并不显著，在学业成就、高阶思维、学习满意度、学习态度等方面的影响效果也没有达到整体水平，这与数据驱动教学决策的初心愿景和智能时代国家需求所提出的教育数字化转型目标还有一定距离。基于此，本研究建议把脉教育信息化的纵深走向，通过合理设计和执行技术政策来规范技术运行、激发技术在教育教学中的价值。例如，加强教育信息化政策顶层设计的战略性、覆盖性和科学性，将数据驱动教学决策纳入教师资格考试、教师职称晋升考评等相关的政策文件中。

2 决策主体角色上，坚持“以学生为中心”的教育理念，提升教师教学决策数据素养

元分析结果显示，学生作为决策主体参与数据驱动教学决策，对学习效果的积极促进作用最为显著，这很好地回应了“以学生为中心”的教育理念；而教师作为教学决策的主导，在作用发挥上还有很大的提升空间。基于此，本研究建议继续坚持“以学生为中心”的教育理念，同时要大力提升教师教学决策数据素养，激发教师作为教学决策主导的潜能。例如，通过职前职后培训，帮助教师认清教育数字化转型的时代趋势、深化技术赋能的教育理念、强化教师从“经验决策”到“理性决策”的数据意识和能力。

3 决策技术工具上，加强教育数据库建设，夯实数据驱动教学决策的技术基础

元分析结果显示，教育数据库、智慧实验室对学生的学习效果均有显著的促进作用，其中教育数据库的作用尤为显著。早有研究表明，教育数据库的开发与应用在公共数据分析和决策方面发挥了重大作用，且数据驱动的决策明显更科学和令人信服[37]。基于此，本研究建议继续做大、做强教育数据库的建设与应用工作，夯实数据驱动教学决策的技术基础。例如，通过资助专家团队和一线教育者开展数据库设计与建设研究，让“行内人”和“真正需要的人”加入教育数据库的顶层设计和规划工作；同时，出台国家和地方整体性的联动政策文件，建立统一的技术数据标准，消除“数据孤岛”的负面效应。

4 决策驱动过程上，强化智能推荐功能，最大程度地激发教育数据价值

元分析结果显示，智能推荐方案可显著提升学生的学习效果。基于此，本研究建议强化智能推荐功能，通过优化数据与教育实境的匹配度，更好地发挥数据在智能推荐中的价值。例如，通过加强智能教育场景库建设，为数据价值的发挥提供“场地”，实现单点优化基础上的实际价值[38]；同时，通过升级数据挖掘技术，深挖潜藏信息，优化数据与教育需求的匹配度，促进教育数据的价值释放。

5 决策执行方式上，优化人技双向协同教学，遵循学习科学规律

元分析结果显示，人技双向协同的决策执行方式对学生的学习效果有积极影响，这符合“做中学”的基本教学理念与学习规律。基于此，本研究建议遵循学生“做中学”的学习规律，为人技协同的教学优化创造条件。例如，开发技术平台和系统时从学生使用的便利性、实用性角度出发，尽量消除不同平台、系统之间的对接阻碍，实现资源的快捷共享；同时，提升数字资源的集成性和普适性，以便于学生参与创建资源、使用资源、迭代资源，降低学生在人技互动上的学习疲惫感[39]。

[1]McNaughton S, Lai M K, Hsiao S. Testing the effectiveness of an intervention model based on data use: A replication series across clusters of schools[J]. School Effectiveness & School Improvement, 2012,(23):203-228.

[2]Airasian P W. Measurement driven instruction: A closer look[J]. Educational Measurement Issues and Practice, 1988,(4):6-11.

[3]Ikemoto G S, Marsh J A. Cutting through the “data-driven” mantra: Different conceptions of data-driven decision making [J]. Yearbook of the National Society for the Study of Education, 2007,(1):105-131.

[4]Isaacs M L. Data-driven decision making: The engine of accountability[J]. Professional School Counseling, 2003,(4):288-295.

[5]Robinson A, Dailey D, Hughes G, et al. The effects of a science-focused stem intervention on gifted elementary students’ science knowledge and skills[J]. Journal of Advanced Academics, 2014,(3):189-213.

[6][24]Ling L, Chen W Y. Integrating an ASR-based translator into individualized L2 vocabulary learning for young children[J]. Education and Information Technologies, 2023,28:1231-1249.

[7]De Bruin L R.Dialogic communication in the one-to-one improvisation lesson: A qualitative study[J]. Australian Journal of Teacher Education, 2018,(5):1-16.

[8][34]鲁艳辉.基于语料库的数据驱动模式在大学英语教学中的运用[J].现代教育技术,2009,(7):94-98.

[9][31]Jaeho C, Youngju L. To what extent does ‘flipping’ make lessons effective in a multimedia production class?[J]. Innovations in Education and Teaching International, 2018,(1):3-12.

[10]Wang T, Kao C, Dai Y. Developing a web‐based multimedia assessment system for facilitating science laboratory instruction[J]. Journal of Computer Assisted Learning, 2019,(4):529-539.

[11]Juandi D, Kusumah Y S, Tamur M, et al. A meta-analysis of Geogebra software decade of assisted mathematics learning: What to learn and where to go?[J]. Heliyon, 2021,(5):e06953.

[12][23]Hwang G J,Yang C L,Chou K R, et al. An MDRE approach to promoting students’ learning performances in the era of the pandemic: A quasi-experimental design[J]. British Journal of Educational Technology, 2022,(6):1706-1723.

[13]吕林.信息技术环境下公共教育学案例教学的实验研究[J].教育与职业,2012,(21):123-124.

[14][29]Staman L, Timmermans A, Visscher A. Effects of a data-based decision making intervention on student achievement[J]. Studies in Educational Evaluation, 2017,55:58-67.

[15]Glass G. Primary, secondary, and metaanalysis of research[J]. Educational Research, 1976,5:3-5.

[16]Mandinach E B, Honey M, Light D. A theoretical framework for data-driven decision making[OL].

[17][30]Van Geel M, Keuning T, Visscher A J, et al. Assessing the effects of a school-wide data-based decision-making intervention on student achievement growth in primary schools[J]. American Educational Research Journal, 2016,(2):360-394.

[18]Dunn K E, Airola D T, Lo W J, et al. Becoming data driven: The influence of teachers’ sense of efficacy on concerns related to data-driven decision making[J]. The Journal of Experimental Education, 2013,(2):222-241.

[19]Keuning T, Geel M V, Visscher A, et al. The transformation of schools’ social networks during a data-based decision making reform[J]. Teachers College Record, 2016,(9):1-33.

[20]卢艺丰,徐跃权.“互联网+”环境下信息链的重构——交互式信息链[J].情报科学,2020,(6):32-37.

[21][26]Keuning T, Geel M V, Visscher A, et al. Assessing and validating effects of a data based decision making intervention on student growth for mathematics and spelling[J]. Journal of Educational Measurement, 2019,(4):757-792.

[22][33]Charlier N, De Fraine B.Game-based learning as a vehicle to teach first aid content: A randomized experiment[J]. The Journal of School Health, 2013,(7):493-499.

[25]Lisa-Angelique L, Sheridan G, Abelardo P, et al. What changes, and for whom? A study of the impact of learning analytics-based process feedback in a large course[J]. Learning and Instruction, 2019,72:101202.

[27]Hooshyar D, Ahmad RB, Yousefi M, et al. SITS: A solution-based intelligent tutoring system for students’ acquisition of problem-solving skills in computer programming[J]. Innovations in Education and Teaching International, 2018,(3):325-335.

[28]姜强,赵蔚,李勇帆,等.基于大数据的学习分析仪表盘研究[J].中国电化教育,2017,(1):112-120.

[32]Jie Chao, Jennifer L C, Crystal J D, et al. Sensor-augmented virtual labs: Using physical interactions with science simulations to promote understanding of gas behavior[J]. Journal of Science Education and Technology, 2016,(1):16-33.

[35]杨扬,沈志超,靳纯桥.发表偏倚的原因、后果与预防研究[J].编辑学报,2002,(3):170-172.

[36]Cohen J. Statistical power analysis for the behavioral sciences(2nd ed.)[M]. England: Routledge, 1988:19-74.

[37]Higgins J, Thompson S G, Decks J J, et al. Measuring inconsistency in meta-analyses[J]. British Medical Journal, 2003,7414:557-560.

[38]Grover J. Opportunity through education: Two proposals[R]. Washington: Brookings Institution, 2011:181-186.

[39]李静,刘蕾.技术赋能的高等教育规模化教育与个性化培养:逻辑必然与实践机理[J].中国电化教育,2021,(8):55-62.

Does Data Driving Teaching Decision Making Really Work?——Based on Meta-Analysis of 43 Relevant Experimental and Quasi-experimental Studies at Home and Abroad in the Past Decade

LI Jing1GU Qin-yi1JIANG Shao-jie1ZHENG Xu-dong2

Data driving teaching decision making is the application and development of evidence-based scientific research in education and teaching in the big data era, which has the function of promoting scientific decision making, effective teaching and modern education. However, there is still controversy on “whether data driving teaching decision making is effective”. Therefore, this paper made a meta-analysis of 43 relevant experimental and quasi-experimental research literature at home and abroad in the past decade. The results showed that data driving teaching decision making had a significant positive effect on students’ learning effects, which was reflected in the three dimensions of cognitive development, behavioral development and emotional development. The data driving teaching decision making was mainly affected by four regulated variables of the principal roles of decision making, the technology tools of decision making, the driven process of decision making and the execution mode of decision making. However, the influences of different regulated variables on teaching decision making driven by data were different. Based on the research conclusion, this paper put forward some suggestions for the optimization of teaching decision making driven by data, in order to improve the scientificity and effectiveness of teaching decision making and promote the deep propulsion of the digital transformation of education.

data driving; teaching decision making; learning effect; meta-analysis