基于实验设计方法的高等教育教学效果研究

李莎莎 付晓飞

DOI：10.16660/j.cnki.1674-098x.2011-5640-1128

摘  要：本文采用实验设计的方法，对数据进行分类处理，分析影响本科课程教学效果的主要因素。考虑到可重复性，数据在同一高校连续两年进行收集。实验结果显示，学生主观上对影响教学效果因素的看法与采用实验设计方法得出的结果并不完全相同。该实验设计方法可以为本科高等教育过程中提升教学效果提供更广泛准确的理论依据。本次实验的局限性之一，实验选取的案例课程，为较受学生喜爱的课专业程之一，但针对不受大学生欢迎的课程进行实验研究，也是十分必要。该研究只针对本科生課程，研究生课程结果可能会有所不同。这将是未来研究的重点，可以对比出本科生与研究生教学方法的不同之处。本文得出的结果，可以帮助参与教学的老师了解教学过程中提高学生满意度的因素及其原因，并揭示了实验分析法可应用到高等教育等领域的评估中。

关键词：教学效果  高等教育  实验设计  满意度

中图分类号：G642                             文献标识码：A                    文章编号：1674-098X（2021）01（c）-0181-07

The Research of Teaching Effectiveness in the Higher Education Using Experimental Design

LI Shasha  FU Xiaofei*

（Heilongjiang Institute Technology， Harbin， Heilongjiang Province， 150001 China）

Abstract： The purpose of the paper is to demonstrate the power of experimental design as a technique to understand and evaluate the most important factors which influence teaching effectiveness in the Higher Education.The data was collected over a 2 year period from a postgraduate course offered by the same tutor for repeatability reasons.The key findings of the experiment have clearly indicated that students perceptions of teaching effectiveness based on intuition and guesswork are not identical to the outcomes from a simple designed experiment. Moreover， the results of the experiment provided a greater stimulus for the wider applications of the technique to other processes across the case study higher education sector.One of the limitations of the study is that the experiment was conducted for a popular undergraduate course. It would be beneficial to understand the results of the experiment for less popular undergraduate courses in the university in order to drive improvements.Moreover， this research was conducted only for undergraduate courses and the results may vary for post-graduate courses. This would be an interesting study to understand the differences in the factors between undergraduate and postgraduate teaching effectiveness.The outcome of this experiment would help everyone who is involved in teaching to understand the factors and their influences to improve students satisfaction scores during the delivery of teaching.This paper shows how experimental design as a pure manufacturing technique can be extended to a higher education setting.

Key Words： Teaching effectiveness; Higher education; Experimental design; Satisfaction

实验设计方法已被证明是过程优化中最有效的技术之一，几十年来在提高制造过程的效率、能力及性能的研究中被广泛的应用。但这种技术在服务流程或非制造环境中的应用是非常有限的，目前只有少数文章对其展开过讨论。实验设计的方法可以使研究者和实验者以最少的试验或测试次数同时了解多个过程及变量之间的影响，可以直接代替传统的“尝试和错误”实验方法，传统方法依靠直觉、猜测和运气，不能保证其成功率。尽管实验设计方法已存在数十年，但还并没有很好将其用于解决服务流程的效率和有效性问题。

学生及用人单位对高校的教学质量及效果越来越看中，因此，必须定期评估影响教学质量的最关键因素或变量，以便有效地满足学生及用人单位的需求。实验设计的引入，可以明确影响教学效果的关键因素，消除不确定性，从而为高校和教育部门提供有效可靠的理论参考数据。

关于实验设计应用到服务设计与环境中的相关文献较少，下面主要介绍在非制造领域下使用实验设计的文献综述，其中更侧重于高等教育及教学效果的文献综述。文章的最后，介绍了实施过程中的一些挑战，并以实际数据对影响本科生教学效果的因素展开研究。此外，还介绍了该研究方法的局限性和实际意义，并提出了该方法的未来研究方向。

1  文献综述

在高等教育研究中采用实验设计方法的相关文献较少，这表明在高等教育过程中该方法应用的潜力还有待开发。Barone和Lo France就职于意大利巴勒莫大学的环境工程专业，他们结合了服务质量模型进行了实验设计方法的研究[1]。这项研究历时两年，其中24名学生参加了两次该学术统计过程。实验结果显示，师生互动是影响学生满意度的最主要因素。

Antony、Sivanathan和Gijo在两个年级进行了三个因素的实验，以此评估可能影响本科和研究生课程质量的因素[2]。这三个因素包括：授课内容，授课人数以及授课时间。研究表明，课程的授课时间和内容是本科和研究生课程的重要因素。而且，本科生更喜欢下午上课，但研究生表示上午上课的学习效率相对较高。Pee、Park和Yoo提出了一个关于实验设计的案例研究，用以提高韩国首尔一所大学的教学质量[3]。该研究定量和定性地分析了影响教师授课质量的因素，并选择了两项可以由教师控制的因素和三个不由教师控制的因素进行分析，分析结果用以探索最佳的授课方法。结果显示，在授课之初，保持与学生的亲密关系并保持两个月举行一次学习交流会，该种方法最为有效。

如何衡量教师的教学效果一直存在激烈的争论。其主要原因是缺乏明确的教学效果定义，根据Ding和Sherman的研究，教学效果与其概念有明显的不同之处[4]。例如，作为教师，其本专业领域研究的深度与教学效果不一定正比。我认为教学效果的有效性，应该是被教师和学生双方面认可的。教学效果并非仅仅是学生的学习效果，同时也包含了其对学习过程的满意程度。本文的研究就是针对这种定义展开的，该定义将单纯意义下的教学效果与学生的学习过程及感受相关联。在本次研究中，力求从学习的角度去理解影响教学效果的因素。

教师教学效能的差异是影响学生增长的最大因素，其影响一般大于班级规模，学生家庭条件以及其他一些影响学生学习的因素。教学方法则可以直接影响学生的学习热情。在另一项研究中Marsh和Hattie使用学生对教学的感知作为教学效能的衡量标准，而不是试图直接用学生的学习情况来衡量评估结果[5-6]。在本次研究中，采用了类似的方法，并且完全根据学生对教学效果的看法进行科学实验。

国外的教育学家McKeachie将教学效果定义为“促进学生实现教育目标的程度”[7]。有的研究者通过对教师的总体评价和课程价值来衡量教学效果，有的则通过学习成果来衡量。如果没有正确的教学效果评估模式会导致错误的衡量结果。而教学效果显然是一个非常复杂且非常个人化的评估过程，其中包含许多变量。据报道，教学效果的质量与学生的学习成绩有直接关系[8]。根据不同学者的研究，有几个因素是会影响教学效果的。教学效果与教师能力之间有很强的关系。因此，影响教师能力的因素也可能对教学效果有一定程度的影响。教师的效能可能会受到教师个人特征的影响，这些特征包括敬业精神，思维、推理、期望值和领导能力。有些学者还指出，影响教师效能的因素还包括内容知识，教学实践，课堂管理技能和课堂环境等等[9-10]。

2  实验部分

本文主要针对以下两个目标进行实验设计：（1）实验设计不仅仅只能应用在制造设计中;（2）将实验设计应用于高等教育研究中。实验抽取了黑龙江某高校不同年级和专业的本科生为调研对象。实验分为以下四个步骤：①实验的前期规划;②设计实验步骤;③进行实验;④实验结果分析。

2.1 实验前期规划

在规划阶段，要求学生从自我主观角度去评价影响教学效果的因素。抽取两个年级100多名学生，学生被分成多个小组，每个小组人数不多于8人。从学生的主观角度，影响教学效果的因素主要由两部分决定，第一是教师的授课内容是否与实际应用关联紧密，第二是课程所用教材是否容易理解，便于学习。为了试图引导学生找到影响教学效果的潜在因素和过程变量，实验选取的教师具有10年的授课经验和专业背景。在本次研究中，教学效果主要参考学生的反映情况以及教学质量特征。为了简单起见，每个影响因素定义两个等级。假设因素的影响是线性的，因素的定义和等级由各个小组中的学生来确定。经过试验，学生初步确定了20个潜在因素及其级别，见表1。

随后分别对各个小组进行多次投票将初始因素减少到可控的数量。在进行多次投票后确定了前11个因素，以便后续进行筛选，进一步确定最重要因素。见表2。

为了研究兩个等级的11个因素，采用Plackett-Burman 判别方法设计实验。将实验对象分为14个小组，每组7～8个人。每个小组对影响教学效果的因素进行1～10范围的评分，1是最低分，10是最高分，分别选取两个不同年级的学生进行相同实验，以此可提高实验的可重复性。

2.2 实验设计阶段

根据实验在前期规划中得到的因素组合，展开实验设计。在这部分，采用12次的PB筛选试验，筛选试验设计不能区分主效应与交互作用的影响，但对显著影响的因子可以确定出来，因此，该设计仅用于研究主要效果，而在实验中研究或分析因素间强烈的相互作用时，则不应使用这种方法。Plackett-Burman的设计在确定最少的实验运行或试验中最重要的因素方面非常强大[7]。表3为以编码格式显示的筛选试验表。筛选试验表中每个因子的低等级由“ -1”代替，高等级由“ +1”代替。

2.3 试验实施阶段

选取2016级和2017级第一学期，来自同一学校的100多名本科生采集实验数据。为提高试验的可信度，Plackett-Burman试验设计采用了完全相同的因素，实验进行12次，选取11个影响教学效果的因素，这使实验可以有足够的自由度来计算实验误差。表4中最后一列为2016级和2017级教学效果平均分数，可以看出相同试验条件下不同年级之间的平均分数存在差异。

2.4 实验结果分析

接下来我们对所得的实验数据进行分析，以得到有效合理的结论。采用Minitab17版对数据进行分析，并使用图形工具来验证实验结果。首先，确定对教学效果平均得分影响最大的因素。通常人们都关心对实验影响最重要的因素，实际上，不重要的因素对影响产品质量或服务质量同样重要。一般是将不重要因素的成本控制在最经济的水平，便于节省成本。从图1显示各因素对教学效果影响的绝对值，图中3.05为参考线。在统计学中，任何因素如超出参考线5%则为显著因素。

图1 表明，筛选试验中最重要因素为（按重要性顺序排列）：

（1）讲师背景;

（2）教师专业素养;

（3）讲师授课风格;

（4）课堂上学生与教师之间的互动;

（5）设施;

（6）课程评估方法;

（7）讲师设定的练习类型。

不重要的因素包括学生的反馈、课程内容、课程频率以及辅助材料。

实验的最后阶段分析了解各因素的最佳设置，以此最大程度地提高教学效果平均评分。为实现这一目标，利用主要效果图。主要效果图显示了各因子每个级别的平均响应值，因此可以比较实验中各因素影响的相对强度。图2中符号指示出效果的趋势，即教学效果平均分数是递增还是递减，大小表示效果的强度。如果某因素的影响值为正，则意味着该因素影响教学效果平均得分的有效性较高。表5给出了最大化教学效果得分的最佳设置值。

2.5 实验的实际意义和局限性

本文针对之前仅限于改善制造工艺中的筛选试验进行设计研究，成功地将其用于理解和科学评估高等教育课程中影响教学效果的重要因素。在试验前，选取100多名学生，采用集思广益和多次投票的方法确定出他们认为对教学效果最为重要的前五大因素。随后将学生感知结果与筛选试验的结果进行对比，结果见表6。

从试验结果中发现，学生感知的前五大重要因素中，有部分因素在筛选试验中并不具有统计学意义。如学生感知确定的因素中“评估方法”很重要，但在实验数据分析中其并不是排在前五名的因素;“设备”和“教师专业背景”不包含在学生感知因素前五名中，但却是筛选试验的前五名因素。

该试验研究花费了大量的时间规划，设计和进行实验数据收集。在研究过程中，还发现各组之间教学效果得分存在差异，主要原因在于学生的文化背景不同所致，各组间的差异并未考虑到研究中，该研究的另一局限性是所选课程为受学生欢迎的专业课。而针对不收欢迎的课程进行研究也是很必要的，可以通过试验结果进行改进。此外，本文只针对本科生课程，实验结果对研究生课程可能会有所不同。

从本文的研究结果可以发现一些实际含义，首先，在常见的熟悉的流程中，人们会习惯性的认为某些因素对流程有着重大影响，但现实中的情况并非如此。因此，科学方法如本文采用的实验设计法就是一种强大的工具，可以让你更好地了解过程以及影响质量特性或响应性的最重要因素或参数。其次，在过程参数设置上经常所有参数均设置公差，这就导致成本过高，如能确定影响过程输出的最关键过程参数，并在此参数上设置容差，将非关键参数放宽，则可起到降低成本的作用。同样的原理也适用于高等教育部门的许多流程关节，但与制造业相比，由于缺乏对实验设计方法的好处的了解以及技术部门管理人员的潜在支持，想要将试验结果与绩效衡量相关联在实施过程中还将面临挑战。

3  研究结论和进一步研究方向

由于缺乏对过程设计好处的了解，在许多服务环境中，将实验设计技术用于过程理解的应用相对较少。此外，人们有一种先入为主的错误思维方式，认为过程实验设计仅限于制造业。本文的目的主要说明在高等教育环境中试验设计方法的使用以及可行性。实验结果清楚地表明，学生基于直觉和猜测对教学效果的影响因素与筛选试验的结果并不完全相同。此外，实验结果还为该项技术在高教部门的其他过程中提供了案例研究，为其更广泛的应用提供了更大的动力。此外，下一步需探讨不用文化背景下教学效果平均得分如何变化，以及前五大因素是否存在差异。

参考文献

[1] BARONE，S.， E，Lo FRANCO. Design of a university course quality by Teaching Experiments and Student Feedback.Total Quality Management & Business Excellence[J]，2009，20（7）：687-703.

[2] ANTONY J L SIVANATHAN， E V GIJO.Design of experiments in a higher education setting[J].International Journal of Productivity and Performance Management[J].2014，63（4）：513-521.

[3] REE S Y H Park， H Yoo.A study on education quality using the Taguchi method.Total Quality Management and Business Excellence.2014，25（8）：935-943.

[4] DING C.， H SHERMAN.Teaching effectiveness and student achievement：Examining the relationship[J].Educational Research Quarterly[J].2006，29（4）：40-51.

[5] 周玲.多元文化视域下教师教学效能实证研究-以六所国家民委直属院校为例[D].武汉：中南民族大学，2018.

[6] MARSH H W J HATTIE.The Journal of Higher Education[J].The Relation Between Research Productivity and Teaching Effectiveness： Complementary， Antagonistic， or Independent Constructs[J].2002，73（5）：603-641.

[7] MCKEACHIE W.Student ratings：The validity of use[J].American Psychologist Psychologist.1997，52（11）：1218-1225.

[8] DOUGLAS，C.MONTGOMERY.實验设计与分析[M].北京：中国统计出版社，1998.

[9] 徐文秀.英国职前教师教育课程设计与实施个案研究-以伦敦大学学院中学英语PGCE课程为例[D].长春：东北师范大学，2019.

[10] 陈长洲.上海市中学体育课堂教学效果及影响因素研究-基于以学习者为中心的视角[D].上海：上海体育学院，2020.