教育测量与评价在学科教学（物理）硕士论文中的应用研究

聂哲星　孙福玉　曹万苍

摘 要：教育测量与评价是师范生必须学习的一门课，其内容对学生时期師范生的论文撰写以及走上工作岗位后师范生继续进行教研都具有积极作用。本篇文章通过统计近年来学科教学（物理）硕士论文中教育测量与评价的使用情况，从问卷设计、信效度检验、内容分析三部分进行剖析，整理出各部分在硕士论文中常用的方法及其适用条件，为该专业的学生提供一定的参考。

关键词：学科教学；物理；论文写作；教育测量与评价

中图分类号：G643.8  文献标识码：A  文章编号：1673-260X（2023）03-0078-06

教育测量与评价是所有成功教学的基础，它不仅在教育科学体系中占有显赫的地位，而且在教育教学过程中具有重要而广泛的应用价值，也是学校和政府做出诸多教育决策的重要依据[1]。因此，教育测量与评价是师范生必须学习的一门课，其内容不管是对学生时期师范生的论文撰写还是对走上工作岗位后师范生继续进行教研都有着巨大的帮助作用。为了能更全面和深入地理解教育测量和评价的应用，通过统计近年来教育测量与评价在学科教学（物理）硕士论文中的使用情况，我将近年来学科教学（物理）硕士出现的教育测量与评价过程分为问卷设计、信效度检验、内容分析三部分进行剖析。

1 论文中问卷设计部分的研究

问卷是指研究者为了收集人们对某个特定问题的态度、价值观、观点或信念等信息而设计的一系列问题，是一种研究工具。由于问卷在调查研究中是一个非常重要的研究工具，因此，问卷的编制对于研究者来说就是一项非常重要的实践技巧。在调查中，问卷设计的过程一般包括建立理论框架和设计问题两个基本步骤，在设计问卷时，问题设计与答案设计都必须遵循一些基本的原则[2]。

1.1 论文中的问卷设计

在对近年学科教学（物理）硕士论文中的问卷设计部分进行研究后，笔者将其设计方法分为五类，分别是综合性编制并列式问卷或递进式问卷、采用李克特五点量表编制问卷、改编硕士论文研究出的量表、采用学校研究出的量表、将试题量表化。

综合性编制并列式问卷或递进式问卷就是根据调查目的，通过查阅文献资料、老师的建议和被调查学生的特点等，建立理论框架，设计具体问题。并列式问卷与梯度问卷有一定区别（如图1、2），普通问卷中设计的选项为并列式，递进式问卷中设计的选项绝大部分为递进式，偶有少量并列式选项，同时二者一般还设有少量简答题。

二者的选项设计不同，也导致了后期的信效度检验及内容分析的差异。并列式的问卷由于无法对选项赋分，因此无法代入公式，也就无法进行信效度检验以及内容分析中的均值对比、差异显著性计算等，其作用主要是直接通过统计的数据及信息进行分析，以得到相关的结论或观点。递进式的问卷往往会先进行信效度的检验再进行内容分析，内容分析往往采用差异性检验的方法，当然，也有的人按照并列式问卷的步骤进行分析得到结果。

采用李克特五点量表编制的问卷（图3）的特点是被测者用数值表示对项目的赞成或反对的程度，这些数值可以合计来测量应答者的态度。李克特量表（Likert scale）是属评分加总式量表最常用的一种，属同一构念的这些项目是用加总方式来计分，单独或个别项目是无意义的。它是由美国社会心理学家李克特于1932年在原有的总加量表基础上改进而成的。该量表由一组陈述组成，每一陈述有“非常同意”“同意”“不一定”“不同意”“非常不同意”五种回答，分别记为5、4、3、2、1，每个被调查者的态度总分就是他对各道题的回答所得分数的加总，这一总分可说明他的态度强弱或他在这一量表上的不同状态[3]。

改编硕士论文研究出的量表，顾名思义，就是根据硕士论文中专门研究的量表进行改编，制成自己需要的调查问卷（图4）。如广西师范大学的何力在2022年发表的硕士论文《现代信息技术在高中物理探究性实验教学中的应用研究》中设计的调查问卷就是改编自李建彬在其硕士论文中修订后的高中生物理学习兴趣量表。李建彬修订后的高中生物理学习兴趣量表由兴趣水平量表、测谎量表和效度项目三部分组成。物理学习兴趣水平量表包含6个因子，共计28个项目[4]。何力从中选取了20个项目，对于兴趣水平量表的每个项目，都有“A、B、C、D、E”五个选项分别代表“完全不符合”“不符合”“一般”“符合”“完全符合”，计分时根据选项顺序分为“1、2、3、4、5”分。每个项目中的因子得分之和为该项目总得分，每一阶段下的所有因子分数的总和为该生兴趣发展阶段的总得分，所有项目得分之和为被视为物理学习兴趣得分[5]。

还有一部分硕士研究生采用学校研究出的量表进行调查研究，如华东师范大学的李苏霖2022年发表的硕士论文《将智能手机应用于中学物理实验教学中的实践应用研究》中利用量表进行前后测分数对比，以及实验班对照班的量表分数对比，所用量表为科罗拉多大学博尔德分校的研究人员开发的科罗拉多州关于实验物理学科的学习态度调查，简称E-CLASS量表[6]（见图5）。E-CLASS量表是一项包含30项的李克特式调查，旨在调查学生的认识论信念和他们的期望。E-CLASS量表是由研究者经过多年来，对大量学生以及老师的测验、检验、修正所得到的，满足统计效度和信度。但该量表的开发不是为了匹配任何特定的先验问题的分类，E-CLASS不包含针对单个潜在变量的项目组，建议教师不要只关注学生的整体E-CLASS分数，因为它不能代表学生围绕一个明确定义的结构的表现。相反，教师应该单独检查学生对问题的回答，特别关注那些最符合他们在该课程的学习目标的问题。

将试题量表化就是根据某一理论来设置试题的评分标准，制定相应评分表，再以此对学生进行检测收集相关数据。如何奇在其硕士论文《基于SOLO分类理论的高中物理深度学习研究》中选取综合性物理题目进行学生测试，并依据SOLO分类理论制定了深度学习认知水平评分标准（如图6），对学生的解答情况进行分类，得出了高中生实现深度学习的程度和比例[7]。当然，也可以直接通过考试的成绩进行分析，此时一般不做信效度检验。

1.2 设计问卷的总结和建议

笔者随机从2021年～2022年学科教学（物理）专业发表的硕士论文中抽取了100篇进行研究，统计的数据中剔除不使用问卷的部分，问卷设计方法为综合性编制并列式问卷或递进式问卷的有30篇，采用李克特五点量表编制问卷的有26篇，改编硕士论文研究出的量表得到问卷的有4篇，采用学校研究出的量表得到问卷的有2篇，将试题量表化及直接使用考试的成绩的有16篇（其中有部分论文中使用了不止一种问卷设计方法，故有重复计数）。各占百分比如图7所示。

可以看到，有38.46%的硕士研究生选择综合性编制并列式问卷或递进式问卷和33.33%的硕士研究生选择采用李克特五点量表编制问卷，说明这两种方法是学科教学（物理）专业的硕士研究生最常用的，符合大部分课题的问卷制作，值得借鉴。

在设计问卷的过程中有一些部分是初学者容易出错或遗漏的，同时这也是我们应该遵循的问卷设计的一部分基本原则：①问卷要具有清晰性，在问卷上要注意不能使用专业术语或行话，或者使用抽象或有歧义的概念；②问卷要具有单一性，即不能包含多个问题，涉及多个主体或强制选答固定数目的选项；③问卷要具有中立性，不能存在叙述性倾向或存在权威性倾向；④问卷要具有简单性，不应该出现冗长复杂的描述语句或否定式陈述；⑤问卷要具有可靠性，可以通过设置两个相似的问题来检测回收问卷的可靠性；⑥问卷要具有间接性，不能够直接提问隐私或敏感问题，这类问题要间接委婉的提问；⑦问卷的选项要具有排他性；⑧问卷要具有敏感性，要做到不能通过问题区分不同的被试，也不能通过选项区分不同的被试。

初学者可能对问题的数目和顺序如何安排也有所疑惑。对于问卷的题目数量，基本在15个左右即可，回答的时间不宜过长，一般以30min能够回答完成为宜。对于问卷的顺序，可以参考如下经验：①提问的复杂程度应坚持从简单到复杂、从一般到特殊的原则；②同类问题、有关联的问题应系统整理放在一起进行提问；③将能引起被调查者兴趣的放在前面，将容易引起他们紧张或顾虑的放在后面；④问题的提问还应坚持行为、态度和特征这祥的先后排列顺序；⑤封闭性问题一般放在前面，开放性问题一般放在后面；⑥涉及隐私问题可放在问卷后面。

对于选项，初学者最容易忽略的有两点：一是穷尽性，答案需包含所有可能的回答。二是互斥性，也是前面所说的排他性，答案之间不能重叠。另外，每个问题安排的答案选项排列顺序不能冲突，比如前面问题的答案选项排列顺序是从愿意到不愿意，后面问题的答案选项排列顺序就不能是从不愿意到愿意。

最后，笔者在这里提出一些关于使用调查问卷的建议以供参考：①筛选对象，提高回答效率；②统计分组参照普查标准；③简化问答，提升配合程度；④使用总量指標比平均值指标更准确。

2 论文中信效度检验部分的研究

信度效度检验其实是两个检验，一个是信度检验，另一个是效度检验。两个检验方式是相互独立的，但是检验结果又是相辅相成的，需要一起拿来做分析才能得出我们想要的结果。大家都知道，在设计问卷的时候我们会列举出很多个题目，而在题型设计上又分为单选题、多选题、填空题、问答题等等，不同的问题结构我们需要用不同的方法来进行分析。信度效度检验其实主要是针对量表题型进行的分析。量表题型就是问题的选项是分陈述等级进行设置的，比如我们对手机的喜爱从非常喜欢到不喜欢这个程度的变化，在量表里面最出名的就是前面提到的李克特五点量表。此外，选项是递进关系的问卷也可以进行信度效度检验的分析。在笔者的统计中，使用问卷的硕士论文中进行信度检验的有32篇，使用效度检验的有20篇，分别占总数的45.71%和28.57%。

2.1 信度方法的使用

在笔者统计的学科教学（物理）专业硕士论文中，绝大多数硕士研究生在信度的分析方法上都选择了克隆巴赫系数法，还有少数选择了斯皮尔曼相关等级系数法进行评分者信度分析。克隆巴赫系数法出现的频率较高是因为本专业学生习惯将设计的问卷选项设置超过两个，以便更全面的了解相关情况。克隆巴赫α系数法是当测验包含的不仅仅是二分计分题，还包括多重计分题，即受测者在一个题目上可以获得不仅仅是0或1的不同的分数的情况下，估计这种类型的测验的信度可采用的方法，其公式为：。如果克隆巴赫系数高于0.8，则说明信度高、可靠性高；如果克隆巴赫系数在0.7～0.8之间，则说明信度较好；如果此值介于0.6～0.7，则说明信度可接受；低于0.6则证明了本次问卷的信度不佳。评分者信度（Scorer Reliability）是不同评分者对同一组受测者评分的一致性程度。若由两人评N份试卷或一人先后两次评N份试卷，则采用斯皮尔曼（Spearman）等级相关公式计算；若由三人及以上的评分者评N份试卷，则采用肯德尔和谐系数（Kendall Coefficient of Concordance）计算。

在笔者研究的100篇硕士论文中，除去不使用问卷的，有30篇选择了使用克隆巴赫系数法进行信度分析，有2篇选择了选择了使用斯皮尔曼相关等级系数法进行信度分析，剩下38篇未进行信度分析。使用克隆巴赫系数法有3种情形，分别是整体分析、维度分析、题目分析（如图8）。进行信效度检验的工具一般是SPSS或SPSSAU，它们之间的区别是：①SPSSAU是网页版，SPSS是客户端；②SPSSAU没有时间序列方法，SPSS有；③SPSSAU有人工智能分析，SPSS没有；④SPSSAU是默认出来图，SPSS需要画图。

2.2 效度方法的使用

在笔者统计的学科教学（物理）专业硕士论文中，只要对问卷进行了效度分析的，都使用了巴特利特球性检验的方法。巴特利特球性检验是一种数学术语。用于检验相关阵中各变量间的相关性，是否为单位阵，即检验各个变量是否各自独立。因子分析前，首先进行KMO检验和巴特利特球形检验。在因子分析中，若拒绝原假设，则说明可以做因子分析，若不拒绝原假设，则说明这些变量可能独立提供一些信息，不适合做因子分析。

KMO检验用于检查变量间的相关性和偏相关性，取值在0～1之间。KMO统计量越接近于1，变量间的相关性越强，偏相关性越弱，因子分析的效果越好。实际分析中，KMO统计量在0.7以上时效果比较好；当KMO统计量在0.5以下，此时不适合应用因子分析法，应考虑重新设计变量结构或者采用其他统计分析方法。KMO检验的公式如图9所示。这里解释一下公式中的简单相关系数和偏相关系数：简单相关系数是假定只存在两个变量时对其相关程度的测度，实际上这里隐含了其他未考虑的且与之相关的潜在变量的影响，比如积差相关系数、肯德尔和谐系数等。偏相关是排除了其他潜在变量影响后的两个变量间的“净相关”关系。一个变量变化可能受到不止一个变量的影响，简单相关系数可能不能真实地反映出变量X和Y之间的相关性。因此，这时就必须在除去其他变量影响的情况下，计算这两个变量间的相关系数，所计算的这两个变量之间的相关系数称为偏相关系数，具体公式见图10。

巴特利特球形检验的统计量是根据相关系数矩阵的行列式得到的。如果该值较大，且其对应的相伴概率值（P/sig）小于用户心中的显著性水平，那么应该拒绝零假设，认为相关系数不可能是单位阵，即原始变量之间存在相关性，适合于作因子分析。相反不适合作因子分析。

总的来说，在SPSS中进行KMO检验和巴特利特球形检验，KMO检验系数>0.5，巴特利特球形检验的统计值的显著性概率P值<0.05时，问卷才有结构效度。如图11所示为某一次问卷收集的数据通过SPSS进行巴特利特球性检验的结果，可以看出此次问卷数据的KMO检验系数为0.782>0.5，巴特利特球形检验的统计值的显著性概率P值为0<0.05，故本次问卷具有结构效度。

有少数硕士论文在巴特利特球性检验的基础上，为了研究变量的共同性，会对收集的数据做进一步处理。共同性为各个题项在共同因素的因素负荷量的平方加总，反映的是共同因素对各题项的解释变异量，如果题项的共同性越大，表示测得的行为或心理特质的共同因素与题项的关系越密切。提取共同因素的方法就是主成份分析法。设法将原来变量重新组合成一组新的互相无关的几个综合变量，同时根据实际需要从中可以取出几个较少的综合变量尽可能多地反映原来变量的信息的统计方法叫做主成分分析或称主分量分析，也是数学上用来降维的一种方法[8]。鉴于这种方法在笔者统计的学科教学（物理）专业硕士论文中应用极少，且复杂繁琐，在这里就不做详细介绍了。

3 论文中内容分析部分的研究

笔者将论文中的内容分析分为对问卷部分数据的统计分析、试卷的成绩分析和对其他部分如访谈、教学观察片段、教学过程性材料等的直接分析两大部分。其中，试卷的成绩分析仅仅只是判断教师采取的教学手段是否有效，采取的分析方法与问卷的数据分析方法可以通用，论文中其他部分的直接分析无须赘述，故这里笔者只讲述对学科教学（物理）专业硕士论文中的问卷部分数据资料统计分析方法的研究结果。硕士研究生将问卷数据收集完成后，剔除掉无效问卷，最常用的分析方法是对数据分布的直观描述分析、均值对比分析和假设检验分析，它们在问卷数据分析中的使用频率如图12所示。

由图12可以看出，直观描述分析是学科教学（物理）专业硕士研究生在问卷数据的处理中使用频率最高的，为88.57%，这也侧面说明了这个方法的普遍性和便捷性。直观描述分析主要是对所收集的数据使用求变量的频数和百分数的统计方法，一般采用统计表或统计图的方式来表达，以方便对数据按组进行归类整理，形成各变量的不同水平（分组）的频数分布表和图形，从而对各变量的数据特征和分布状况有一个概括的认识，还可以基于此进行数据分布的正态性检验，为进一步的统计方法的选取提供依据[2]。均值对比分析和假设检验分析使用频率分别为20.00%和28.57%，两者差距不大，但远低于直观描述分析。在论文中使用的均值对比分析主要包括对前后两次调查数据均值的比较分析和通过数据中均值与理论均值之间的差异对设置的题目进行数据的极大值、极小值与均值的比较分析。在论文中使用的假设检验分析主要包括独立样本T检验、配对样本t检验、独立样本Z检验，与直观描述分析和均值对比分析相比难度更高，可以在SPSS的“分析”中进行操作。假设检验中最常用的独立样本T检验，在用SPSS进行检验后分析其结果，一般步骤是：首先，进行的是莱文方差等同性检验，判断样本是否方差齐性。先根据莱文方差等同性检验判断方差是否齐性。若显著性>0.05则方差齐，看第一行“假定等方差”的结果；若显著性<0.05则方差不齐，看第二行“不假定等方差”的结果。接着，基于莱文方差等同性检验，选择相应的行读取结果。通过显著性数据判断是否存在差异性。若显著性<0.01，则两群体在0.01显著性水平下呈现差异；若0.01<显著性<0.05，则两群体在0.05显著性水平下呈现差异；若显著性>0.05，则两群体在0.05显著性水平下不呈现差异。如图13所示为某硕士论文中利用SPSS软件独立样本T检验功能对数据中是否存在性别差异进行的项目分析。结果显示，莱文方差F值检验的sig值大于0.05，因此采用方差齐次性检验结果，方差齐次性检验中sig值大于0.05，因此可判定性别对于调查问题无显著性差异。另外，在硕士论文中有许多同时使用多种内容分析方法的情况，同学们可以参考借鉴。

4 结语

通过对我国学科教学（物理）专业2021年至2022年的100篇硕士毕业论文进行梳理统计，分析得出三个主要结论：（1）本专业学生在问卷设计上大多选择综合性编制问卷和采用李克特五点量表编制问卷，充分表明了这两种问卷设计方法在此专业的适用性和生命力；（2）本专业学生对于信效度检验的意愿不强，统计数据中进行信效度检验的硕士研究生不足一半。在信度检验上，绝大多数学生都选择了克隆巴赫系数法。在效度检验上，所有学生都选用了巴特利特球性检验法。信效度检验方法的选择与该专业学生对问卷选项个数设置习惯有关；（3）本专业学生在对数据内容的分析上偏向于对数据分布的直观描述分析，可能是本分析方法能更便捷更直观的展现其调查结果，但均值对比分析和假设检验分析都能够与直观描述分析共同使用，故不必局限于一种分析方法。

——————————

参考文献：

〔1〕黄光扬.教育测量与评价[M].第二版.上海：华东师范大学出版社，2012.5.

〔2〕朱德全.教育测量与评价[M].北京：高等教育出版社，2016.7.

〔3〕段逸伦.基于课程思政的高中物理实验课教学探索与实践[D].洛阳师范学院，2022.

〔4〕李建彬.高中生物理学习兴趣量表的修订与应用[D].曲阜师范大学，2017.

〔5〕何力.现代信息技术在高中物理探究性實验教学中的应用研究[D].广西师范大学，2022.

〔6〕李苏霖.将智能手机应用于中学物理实验教学中的实践应用研究[D].华东师范大学，2022.

〔7〕何奇.基于SOLO分类理论的高中物理深度学习研究[D].延安大学，2022.

〔8〕韩小孩，张耀辉，孙福军，王少华.基于主成分分析的指标权重确定方法[J].四川兵工学报，2012，33（10）：124-126.

收稿日期：2022-12-15

通讯作者：曹万苍（1963-），男，教授，内蒙古自治区赤峰市人，研究方向：量子信息和量子计算及计算机仿真。