STEM 教学对学生学习效果的影响研究
——基于62 项实验与准实验研究的元分析
2024-01-16张妮熊若欣夏海燕穆佳男
张妮 熊若欣 夏海燕 穆佳男
(贵州师范大学 教育学院,贵州 贵阳 550025)
一、问题的提出
STEM 教学是一种全新的教学实践。STEM 教学自1986 年被首次提出以来,便迅速受到业界和学界的广泛关注。国内外研究者对STEM 教学进行了大量实践探索和创新,然而,仍需系统梳理和总结STEM 教学对学生学习效果的影响。元分析(Meta-analysis)是一种对研究结果进行统计分析的方法,它可综合已有研究发现,对其相应指标进行更准确、客观的评估。基于此,本研究拟采用元分析方法,对国内外有关STEM教学实验与准实验研究结果进行定量合成,以系统分析STEM 教学对学生学习效果的影响,进而为实施STEM 教学提供参考。
二、研究基础
(一)STEM 教学对学生学习效果的影响
国内外研究者围绕STEM 教学开展了大量研究和实验,大致形成3 种结论:(1)STEM 教学能够有效促进学习效果。张屹等人[1]通过设计和实施跨学科STEM教学,发现STEM 教学可以激发学生的学习兴趣。(2)接受STEM教学的学生学习效果只有较小程度的提升,没有达到显著影响。有研究者以制作电子音乐铅笔对为学习内容,选取22 名大学生进行单组前后实验,实验结果表明采用STEM 教学前后学生的职业兴趣没有显著差异[2]。(3)STEM 教学相对于传统教学在提升学生学习效果方面存在负效应。玛格丽塔·奥尔蒂斯·罗哈斯(Margarita Ortiz Rojas)等人[3]在大学计算机编程课堂中使用STEM 教学,研究表明STEM 教学不利于提高学生的自我效能感。
学习效果是指学生经过学习后,在学习、发展和表现方面取得的成果,集中体现在知识与理解力、实际能力、态度与价值观等方面的发展。已有研究使用元分析将学习效果划分为以下两个层面:认知层面主要包括学生学习成绩、问题解决能力以及创造力的作用效果;非认知层面主要包括学习动机、学习态度和学习兴趣等。本研究进一步将学习效果划分为认知、能力、情感3 个方面。
(二)STEM 教学的元分析
部分研究者使用元分析技术来分析STEM 教学对学生学习效果的影响,发现STEM 教学在一定程度上有利于提高学生的学习成绩,并对培养学生的创造力和学习兴趣具有促进作用。然而,已有研究大多只聚焦于STEM 教学对学生学习效果的某一方面的影响,或仅仅分析在STEM 教学中使用某一种技术或教学方法对学生学习效果产生的影响,尚未从整体上全面地验证STEM 教学的效果。此外,部分研究对调节变量的考虑不充分,没有对纳入元分析的文献进行质量评价,异质性分析仍不够全面,研究过程缺乏稳健性,从而使得研究的可重复性差,且其他研究者难以对其结果进行验证。因此,设计更为严谨规范的元分析研究对已有研究结果进行整合,对STEM 教学对学生学习效果的影响进行全面、深入的探究,可在理论和实践层面上丰富和充实STEM 教学相关研究。
三、研究方法与过程
(一)研究方法
本研究采用元分析作为主要的研究方法,对STEM教学相关的多项实验与准实验研究进行梳理和整合,获取其效应量,进而对其学习效果进行系统分析与评价。基本流程包括文献检索与筛选、文献编码、计算效应量、发表偏倚分析和异质性检验5 个步骤。
(二)研究过程
本研究严格遵循用于评价元分析质量的“元分析审查表”,将研究过程划分为文献检索、样本筛选、文献编码与质量评估、数据分析4 个步骤。
1.文献检索
本研究采用数据库检索与引文回溯法相结合的策略进行文献检索。两名研究助理以“STEM 教学”和“学习效果”为关键词,对百度学术、知网和万方等国内数据库进行检索;以“STEM、STEM Education(STEM教育)、STEM Teaching(STEM 教学)、STEM Learning(STEM 学习)、Learning Effect(学习效果)、Study Outcomes(研究结果)、Learning Result(学习成果)、Study Performance(学习表现)”为关键词,对Google Scholar、Springer 和Web of Science 等国外数据库进行大范围组合搜索。之后,采用引文回溯法对已知文献的参考文献进行筛选补充,并将全部文献导入EndNote和Excel 软件,剔除重复文献,完成初步筛选。
2.样本筛选
为避免个人主观意愿,研究助理严格遵循研究目的、研究设计和内容等需要进行样本筛选。最终确定本研究样本筛选标准如下:(1)文献发表时间为2000—2022 年,所使用的语言为英文或中文,文献类型为期刊和硕博论文;(2)研究主题是STEM 教学对学生影响的实验或准实验研究;(3)实验控制条件为无论是否使用盲法,前测差异ES<0.5;(4)实验自变量为进行或不进行STEM 教学,且实验组与对照组的样本量相近;(5)研究数据完整,以便计算出实验效应量。
依据上述标准,两名研究助理分别对文献进行筛选,其中,两人一致的文章有37 篇,不一致的有10 篇,Cohen Kappa 一致系数为0.75,说明文献检索与初步筛选的内在信度很高。最终经过协商后,共得到42 篇文献作为元分析的样本。本研究使用PRISMA 流程对文献进行收集和筛选,如图1 所示(见下页)。
图1 文献检索与筛选流程
3.文献编码与质量评估
完成样本筛选后,需对文献进行特征编码,以便数据分析。结合研究目标、已有研究和相关标准,本研究的文献编码标准如表1 所示(见下页)。
表1 文献编码标准
对全部42 篇文献进行编码,总共得到62 项研究结果。两名研究助理分别对文献进行编码,其中,两人编码一致的有58 项,不一致的有4 项,Cohen Kappa一致系数为0.93,说明编码的内在信度较高。经过协商,确定最终文献编码结果。
为确保纳入文献具有较高的学术品质和研究价值,用方法学质量评价对其进行评估,结果显示文献质量整体中等。具体而言,(1)因纳入文献大多是实验与准实验研究,故不存在随机序列的产生方法及分配隐藏,结果为低风险;(2)大部分研究没有报告盲法情况,结果为高风险;(3)全部研究均不存在数据缺失,结果为低风险。
4.数据分析工具和指标
本研究选择StataSE 15 软件进行数据分析。首先,选取标准化均数差(Standardized mean difference, 简称SMD)作为效应量来评估STEM 教学对学习效果的影响程度,采用Cohen 法进行计算,其值为实验组与对照组的均数差值除以合并标准差的商;然后,采用逆方差加权法进行加权;最后,采用固定效应模型(Fixed effect model, 简称FEM)和随机效应模型(Random effect model,简称REM)及敏感性分析来分析纳入研究间异质性。
四、数据分析与结果
(一)发表偏倚检测
本研究采用漏斗图进行发表偏倚检测,以确保元分析结果的准确性和可靠性。如图2 所示(见下页),62 个效应量绝大多数均匀分布在漏斗图的中上部分,初步证明发表偏倚现象不明显。然后,进行Egger’s 检验得到截距a对应的p=0.182>0.05,95%CI=[-4.53,1.11],进一步说明不存在发表偏倚。
图2 发表偏倚检测漏斗图
(二)异质性检验
由于各个研究在样本特征、研究环境和方法等方面存在较大差异,导致元分析结果存在异质性。因此,需根据纳入研究间异质性的情况选取合适的效应模型。通常采用联合定性测量的Q 检验法和定量检测的I2,当同时满足p>0.1 且I2≤40%时,采用固定效应模型;反之,则采用随机效应模型。异质性检验结果见表2。其中,p=0.000 且I2=79.6%,说明各研究间存在较大的异质性,因此应选用随机效应模型,对效应量进行统计和分析。
表2 异质性检验结果
(三)敏感性分析
为了确保元分析结果的稳健性,需要通过敏感性分析进行结果验证。首先,在分别剔除每项研究之后,发现效应量仍具有统计学意义,森林图的方向未发生改变,初步证明元分析结果较稳健。然后,采用Rosentha法计算失安全系数,最后计算结果为596。当失安全系数与纳入文献相比很大时,说明结果较为稳健。以N/(5k+10)指标进行定量判断,最后计算结果为2.7 >1,进一步说明元分析结果稳健,结论可被推翻的可能性小。
(四)STEM 教学对学生学习效果的影响
1.STEM 教学对学生整体学习效果具有中等程度的积极影响
从随机效应模型上来看,62 项研究结果的效应量为0.626,95%置信区间为[0.525,0.727],且效应量显著性检验Z=12.17(p<0.01)。这一结果证明,与传统教学相比,STEM 教学对学生的学习效果具有中等程度的正向影响。
2.STEM 教学对学生学习效果的影响差异
本研究将学习效果划分为认知、能力和情感3 个维度,具体结果如表3 所示(见下页)。(1)认知维度方面,STEM 教学对提升学生的学习成绩有正向中等偏大影响,达到显著水平。(2)能力维度方面,组间效应量Chi2=18.31,p=0.61 >0.05,说明STEM 教学对学生学习的效果在能力维度方面的影响较为稳健,没有显著差异;STEM 教学对培养学生的思维能力和创造力有正向中等偏小影响,达到显著水平;对提升学生的实践能力有正向中等偏大影响,达到显著水平;对培养学生的批判性思维有显著影响未达到显著水平;对培养学生的问题解决能力有正向较高水平影响,达到显著水平。(3)情感维度方面,组间效应量Chi2=10.15,p=0.91 >0.05,说明STEM 教学对学生的学习效果在情感维度方面的影响较为稳健,没有显著差异;STEM 教学对培养学生的学习兴趣和职业兴趣有正向中等偏小影响,达到显著水平;对培养学生的探究精神有正向较高水平影响,达到显著水平;对提高学生的自我效能感有正向中等偏大影响,未达到显著水平。值得注意的是,在STEM 教学中,更加强调跨学科整合、创造性解决问题、情境创设和协作学习,这同时也增加了学生的认知负荷。一定程度的认知负荷有利于学生学习效果的提升,而过高的认知负荷会增大学生的精神的负担。这就要求教师在进行STEM教学时,应理性全面地认识学生在STEM 学习中的认知障碍,并通过控制认知负荷提升学生学习效果。
表3 STEM 教学对学生学习效果的具体表现
(五)STEM 教学对学生学习效果在不同调节变量上的影响
1.STEM 教学对不同学段学生学习效果的影响
学习者的认知和心智能力的发展是一个阶段性过程。因此,研究对象所处学段不同可能会对STEM 教学的效果产生不同的影响。本研究的结果如表4 所示(见下页),组间效应量Chi2=46.38,p=0.23 >0.05,说明STEM 教学对各个学段学生的影响较为稳健,没有显著差异。各学段的效应量从大到小依次为小学>初中>高中>大学,各学段的效应量均大于0.2。从不同学段来看,STEM 教学对小学生的影响效果最为显著,且随着学段的增加影响效果逐渐减小。这是因为小学生所学的知识相对简单,其学习动机多属于兴趣型,STEM 教学由于其多样性的课堂活动形式,更加能够吸引小学生的学习兴趣。STEM 教学对大学生影响程度较低,可能是因为大学生的学习习惯已经养成,并且学习目的明确和自学能力较强,所以不容易产生较大的学习改变[4]。
表4 STEM 教学在不同调节变量上的影响差异
2.STEM 教学对不同学科学生学习效果的影响
本研究将科目划分为科学、数学、计算机编程等12 门,以探究STEM 教学对学生学习效果的影响在不同科目上的差异。从表4 可知,组间效应量Chi2=40.34,p=0.47 >0.05,有显著差异。各学科效应量均大于0.2,虽然对计算机编程、物理和3D 打印与创意设计科目具有中等偏小的正向促进作用,但其效应量显著性检验p大于0.05,未达到显著性水平。从不同学科来看,将STEM 教学应用在理科学科中,可以使得抽象的问题更加具体化,更易于学生对内容的理解,同时也可以提高学生对理科学习的兴趣[5]。
3.STEM 教学对不同班级规模学习效果的影响
作为影响教学环境的关键因素,班级规模在很大程度上能影响学生学习效果。由表4 可知,组间效应量Chi2=50.80,p=0.15 >0.05,说明在STEM 教学中,班级规模对于学生的学习效果的影响较为稳健,没有显著差异。在不同班级规模中应用STEM 教学,对学习效果都有正向促进作用且达到显著水平。从不同班级规模来看,对中规模班级的影响效果最好,这是因为中规模班级的人数适中,比较适合进行协作学习与同伴学习。依据同伴效应原理,同伴之间能共享学习相关信息,相互提供知识和技能性指导,对具体问题解答的正误做出判断和纠正[6]。小规模班级由于人数较少,难以开展合作学习;而在大规模班级环境下,教学资源被稀释,教师鼓励学生思考、表达和交流的机会减少[7]。
4.STEM 教学对不同实验周期学习效果的影响
为探究STEM 教学在不同实验周期上学习效果的差异,本研究划分了3 个时间段:0 ~3 个月、4 ~6个月和6 个月以上。从表4 可知,组间效应量Chi2=45.12,p=0.31 >0.05,说明在STEM 教学中,不同实验周期对于学生的学习效果的影响较为稳健,没有显著差异。各实验周期的效应量从小到大依次为:0 ~3 个月<4 ~6 个月<6 个月以上,各学段的效应量都大于0.2,效应量显著性检验p均小于0.05,说明STEM 教学在这3 种实验周期下都有正向促进作用且达到显著水平。从不同实验周期来看,STEM教学的效应量大小与教学周期正相关。因此,研究者在进行STEM 教学实验时,可以适当延迟实验干预时间,以充分发挥STEM 教学的优势。同时,对学生的学习要进行多元化的评价。这是因为,相对于传统教学,STEM 教学更注重学生在学习中的创新精神与实践能力,所以多元化评价更符合STEM 教学的特征。
5.STEM 教学对不同教学方法学习效果的影响
为探究STEM 教学对不同教学方法学习效果影响的差异,本研究将教学方法划分为问题式、项目式、探究式等7 类。从表4 可知,组间效应量Chi2=37.75,p=0.65 >0.05,说明在STEM 教学中,不同教学方法对于学生的学习效果的影响较为稳健,没有显著差异。除了混合式,其他教学方法的效应量均大于0.2,对学习效果具有正向促进作用。其中,游戏化教学方法的显著性检验p=0.224 >0.05,未达到显著水平:探究式和项目式学习的效果最好,因为这两种学习方式更符合STEM 教学的核心特征,可加强学生在STEM 学习和集成应用方面的能力,进一步激发其学习能动性[8]。值得注意的是,混合式教学法的效应量没有达到显著水平,是因为本研究纳入采用此方法的文献较少,同时也反映出此方法运用的学科领域比较单一。
6.STEM 教学对不同教学场所学习效果的影响
为确定STEM 教学在教学场所上的差异性,本研究将教学场所划分为普通教室和实验室。从表4 可见,其组间效应量Chi2=39.21,p=0.58 >0.05,说明在STEM 教学中,不同教学场所对于学生的学习效果的影响较为稳健,没有显著差异。无论是在普通教室还是在实验室环境下进行STEM 教学,都对学生的学习效果产生了正向促进作用,且达到显著水平。从不同教学场所来看,实验室环境下的效应量高于普通教室环境下的效应量。教学场域是一种特殊的社会场域,作为师生之间和生生之间的联结纽带,教师需要对教学中涉及的活动资源和技术进行协调和系统安排,切忌把熟悉和使用实验室环境中的设备和技术作为教学目的[9]。
五、研究讨论
(一)稳健性及作用机制
在技术方面,本次元分析按照严格的检验流程,先后进行了发表偏倚检测、异质性检验及敏感性分析,并对检验结果进行详细的讨论,确保了本次元分析具有较强的稳健性。本研究为保障纳入元分析的文献具有较高的学术品质与研究价值,制定了严格的文献纳入标准,对以往STEM 教学(准)实验研究结果进行无偏筛选,并对其质量进行全面系统的评估。以上做法可方便其他研究者后期在研究对象、研究标准一致的情况下,使用元分析方法对本研究的结果进行验证,可保证研究的可重复性。
(二)边际贡献
STEM 教学实践存在着大量不可控因素,即使是在研究中对相关变量进行了严格的控制,同类研究的结果也可能会存在分歧。部分已有研究采用传统文献综述对STEM 教学相关研究进行梳理和概括,其所得到的结论更多依赖于主观经验,缺乏客观性、科学性和可重复性,难以令人信服。本研究在已有研究的基础上,通过更加规范的文献筛选标准与质量评估,保证纳入元分析文献的学术价值,从而提高了效应量估计的准确性。以往研究多数只是对某一国家或地区的研究进行分析,且只从某一方面考察STEM 教学对学生效果的影响,难以从整体上对学习效果进行考察,而本研究涵盖了STEM 教学主题的国内外(准)实验研究,将学生学习效果划分为认知、能力和情感3 个方面,基于变量关系和文献综述对调节变量进行更全面的选取,接着对其进行异质性检验与亚组分析,使得分析结果更加稳健可信。
综上,本研究可为教育文献综述提供方法借鉴,同时为研究者和STEM 教师提供了大量可用于分析的数据,将有助于研究者和实践者加深对STEM 教学内涵与规律的认知,为开展STEM 教学元分析与STEM教学实践提供了有价值的参考路径。
(三)不足及展望
虽然本研究具有较突出的边际贡献,但仍存在以下不足:(1)因元分析有严格的遴选标准,使得部分研究设计不合理、研究数据不完整的样本没有纳入分析中,导致本研究纳入分析的研究样本数量稍显不足;(2)因原始文献纳入的信息所限,所以本研究无法判断性别、种族、家庭社会地位、实验地区等调节变量对学生学习效果的影响;(3)本研究未考虑教师在STEM 教学中的态度和能力等因素是否会对学生的学习效果产生影响。在后续研究中可考虑以下方向:(1)持续关注STEM 教学(准)实验研究的新结论,严格遵循元分析文献遴选标准,进一步扩大元分析样本数量;(2)根据STEM 教学的特征分析其他调节变量(如性别、种族、家庭社会地位、实验地区等)的影响及变量间的交叉影响;(3)将STEM 教师所具备的能力、态度等因素纳入元分析中,以更加全面、科学地分析和评价STEM 教学的效果。