多视角教学质量评价的一致性分析与应对策略

郭克华，朱翡虹，金一粟，奎晓燕，余肖勇

（1.中南大学计算机学院；2.中南大学本科生院，湖南长沙 410083）

0 引言

“双一流”学科建设是一项重大国家战略，其目标是打造中国高等教育领域的尖端学科，为提升国家综合实力和国际竞争力培养一流人才。2015 年8 月，国务院印发《统筹推进世界一流大学和一流学科建设总体方案》［1］，推进了新时代高等教育建设改革。“双一流”教学质量是影响高等教育发展的重要因素，教学质量评价在高校教学改革中起着关键的决策作用［2］。目前，高校教学质量评价已形成一套成熟的体系，由教学专家、教学同行和学生评价以及教师自评的多视角评价方式构成［3］，其中教学专家评教和学生评教是多数高校普遍采用的评教方式。教学专家是从专业、客观的角度进行评价，具有规范性和形式性，学生评教是从主观角度进行评价，具有真实性［4］。不同视角下评教方式所反映的教学质量评价结果之间有何联系，对高校教学改革有何启示，值得深入探究。本文针对多视角教学质量评价的一致性进行分析，揭示内在的现象特征，就存在的问题提出应对策略，以推动高校教学改革，优化“评”与“教”的关系，提高教学质量。

1 相关研究

为深化高校教育改革，提高办校办学水平，完善并评估高校教育的教学质量评价具有实际应用价值。从20 世纪90 年代改革开发以来，我国教育管理体系就形成以“学生为中心，立足于育人”的教学理念［5-6］。在这种教学理念的指导下，高等教育逐渐偏向以学生评教的方式对教学质量进行评价为教学改革的重要反馈。

许多学者从学生或督导评教方面出发，对教学改革进行研究并提出相关建议。廖明等［7］基于学生视角，构建多元线性回归模型研究课程知识的实用性、教师授课方式和教科书的质量对教师授课效果的影响；朱征军等［8］则指出思政课程是高校立体化育人的核心，采用一致性原则，从思政目标的引领性、反馈评估的一致性及育才育德的结合性三方面出发，改进思政课程教学；李磊等［9］探索“教师—学生”双主体互动教学模式，结合任务驱动型与案例教学方式，有效地锻炼了学习发现、分析及解决问题的逻辑推理能力，同时避免了以单一主体确定教学质量，有利于教学客观反馈；Shen 等［10］运用模糊综合评价方法对护理情景教学质量进行评价，制定相应评价体系，利用层次分析法确定各指标权重，以指导更高质量的实践教学；Ali 等［11］提出加权区间值双主模糊集（WIVDHFS），它是一种以区间形式描述决策因子及非决策因子的关系，为影响力大的区间分配不同权重并提供关于决策结果更多信息的方法［12］，帮助决策者在决策问题上获得准确合理的结果，并验证了WIVDHFS 在教学质量评估中的应用；谢淮北［13］使用层次分析法对实验教学质量进行综合评价，构造指标层的判断矩阵；张祥瑛等［14］运用多组有序变量的秩和检验构建多主体的课堂教学评价体系，分别从各自角度解决了单一评价方案会导致教学评教可信度低的问题；吴培群［3］指出专家与学生评教存在一定差异，专家评分过于依赖显见性因素，学生评价依赖“就读经验”。

随后，学者们引入统计学方法，研究督导评价与学生评价的一致性、差异性，提出评教方式优化和教育质量改革。赵玉［15］采用统计学上的多面RASCH 模型从学生、教师、评教指标3 个侧面分析教师教学能力，消除不同侧面评分的差异性，使评教指标客观化，提高多视角评教一致性；高巍等［16］使用Jaccard 系数和Kappa 统计量的一致性检验，论证了国外科学工程专业相关指标体系（COPUS）可以作为教学质量评价的参考，但他们也指出了中外教育观的差异，引入国外的COPUS 教学评价量规具有一定困难；秦昳等［17］针对单一的教学评价方法导致人才培养目标与社会产生脱节的问题，提出建立云模型评价体系，借助云模型对概念和数值之间的转换能力，解决教学质量影响因素的量化问题。

在不同教改背景下，现有研究工作针对的对象、采用的方法大同小异。“双一流”大学是我国“国之重器”，其教学质量、教学评价直接体现了我国高等教育的最高水平。“双一流”学科建设改革研究成果相对缺乏，在《统筹推进世界一流大学和一流学科建设总体方案》阶段性完成之际，本文基于多视角并应用网络评教系统，研究某“双一流”高校的本科评教体系，对不同视角的评教数据进行差异性分析，全面优化评教体系，实行科学评教管理。

2 研究对象与研究方法

2.1 研究对象

本文以某所典型“双一流”高校2016 级本科生为研究对象，从高校网络评教系统中提取本科生4 年的培养数据，数据具体包括8 468 名学生基本信息、5 595 门课程及其期末考试成绩、3 328 位教师课程评教情况。该高校的评教方式为督导评教和学生评教两种视角，评教数据包括学生评教数据3 万余条，督导评教数据2 808 条。其中，督导评教是从教学态度、教学内容、教学方法、教学准备及教学效果等指标对课程进行评估；学生评教是完成课程学习后，在期末统一对所有课程的教师进行评教，以总分形式给出。本文借助评教数据，从督导、学生的角度，对某类课程教学质量评价结果的一致性进行分析。

2.2 研究方法

本文主要采用t 检验和相关性分析相结合的方法分析不同视角教学质量评价的一致性。为了保证评教数据的准确性，本研究对异常数据作了处理。首先，对数据进行描述性统计，了解督导评教与学生评教的特点；其次，采用独立样本的t 检验法对督导和学生的评教分数进行差异性分析［21-22］，并根据检验结果作更进一步分析，如果检验结果存在差异，则对差异情况进行特征分析；最后，运用统计学上的Pearson 相关系数刻画督导和学生评教之间的关系，揭示不同视角教学质量评教的内在联系，从而找出影响教学质量的因素，更好地指导高校教学质量改革。本文统计分析结果在SPSS 24.0 软件中完成，无特殊注释情况下，显著性水平一般取0.05（α=0.05）。

3 多视角教学质量评价一致性分析

3.1 多视角教学质量评级情况

本文对某“双一流”高校2016 级学生（包括少数重修学生）的课程评教数据进行统计分析。在3 万条学生评教数据中，清洗了无效数据（极高、极低分），得到同时有学生和督导对教师课程评教的有效数据合计1 590 条，这些课程包含的课程覆盖了全校26 个学院，其开课时间集中分布在2018-2020 年4 个春、秋季学期，描述性统计结果如表1 所示。

Table 1 Descriptive statistics of teaching evaluation scores of supervisors and students表1 督导评分和学生评分描述性统计

从表1 可知，督导评教平均分为86.12，学生评教平均分为90.68，督导的评教分数整体比学生低4.56 分，标准差比学生评分低1.03 分；从变异系数看，督导和学生的评分组内个体间离散程度较小，说明督导和学生评教分数在平均值附近较为集中。根据上述统计结果发现，督导评分普遍低于学生评分，两者存在一定差异性。

为验证督导评分和学生评分是否存在显著性差异，先对1 590 条有效的评教数据进行正态性检验。

有多少人当初把武侠书放进桌下偷看，一抬头竟忘了今夕是何夕；有多少人披个床单，拿根木棍就幻想自己是大侠；还有每年暑假不断档的电视剧。

从图1 可知，督导和学生评教分数的直方图中心趋势线呈钟形，可认为督导和学生评教分数的分布基本符合正态分布规律，说明评分数据合理。因此，可采用t 检验方法对数据进行差异性分析。

Fig.1 Normality test of supervisory and student evaluation of teaching scores图1 督导和学生评教分数的正态性检验

根据两个独立样本的检验结果表2 可知，对于督导和学生对课程评教的分数，F 值为2.498，其Sig=0.114＞0.05，可认为督导和学生的评教分数方差相等；在方差齐时，t 统计量的Sig=0.000＜0.05，故拒绝原假设，认为督导和学生在教学课程上评分存在差异，该差异具有统计学意义。

Table 2 Independent sample T-test表2 独立样本t 检验

3.2 教学质量评价差异性量化

上文已经得出督导和学生的教学质量评价结果不完全一致。为考察存在显著差异的课程情况，进一步地对教学质量评价的差异性进行分析。教学质量评价的总体情况有3 种，即督导和学生同时评分高、督导和学生同时评分低，以及督导和学生评分存在不同级别的等级差。本文设定前两种情况为一致性评教，第三种情况视为差异性评教。

为了找出评教一致和差异相对应的课程特征，进一步对课程差异性进行量化，将督导和学生的评教分数转换为5 个评教等级，即分数≥95 分设为优秀，95 分＜分数≤85 分为良好，85 分＜分数≤75 分为一般，75 分＜分数≤60 分为合格，分数＜60 分为不合格，并按等级从高到低分别量化为5、4、3、2、1。将督导和学生的评教分数转换为等级制后，能明显看出两者区别，督导评教的结果主要集中于“良好”和“一般”两个等级，而学生评教结果集中在“优秀”和“良好”两个等级，具体如图2 所示。

Fig.2 The distribution of supervisory and student evaluation levels图2 督导和学生评教等级分布

本文将督导和学生评教等级差在两个等级及以上的视作显著性差异，将评教等级差在一个等级以内的视为一致性评教。经筛选，在1 590 条有效评教数据中，得出165条为具有显著差异的数据，即约10.3%的数据显示学生和督导评教存在显著性差异；89.7%课程的评教具有一致性。其中，一致评价差（评教分数小于75 分）的课程仅有21 门，约占1.47%，一致评价好的情况占大概率，这说明该高校的评教体系是合理的。总体课程差异情况结果如图3 所示。

Fig.3 Differences in the overall curriculum图3 总体课程差异情况

3.3 具有差异与一致评价差的课程特征分析

在以上分析中，已经了解到督导和学生的评教结果有89.7%的概率趋于一致，该结果符合客观事实。为课程改革方案提供指导性帮助，对评教具有差异性的课程以及被督导和学生一致评价差的课程进行特征分析，具体如图4—图7 所示。

从图4 可以看出，显著差异课程学生成绩平均分为75.68，一致评价差的课程学生成绩平均分为69.42，可得知这两类课程对学生而言难度都较大，学生成绩整体不高。根据图5—图7 可得出以下两个结论：

Fig.4 The relationship between course performance and teaching evaluation图4 课程成绩与教学评价关系

Fig.5 The relationship between curriculum attributes and teaching evaluation图5 课程属性与教学评价关系

Fig.6 The relationship between the distribution of the course opening semester and the teaching evaluation图6 课程开课学期分布与教学评价关系

Fig.7 The relationship between curriculum scale and teaching evaluation图7 课程规模与教学评价关系

（1）显著差异课程主要是必修课，由某工科学院承担，属于工科类课程。具有显著差异的课程开课时间与所有课程分布一致。根据该类课程规模显示，上课人数在11～100 人以内，可以得出该类课程主要为专业类课程。

（2）一致评价差的课程主要是选修课，且主要由理工类学院承担。课程开课时间主要集中在2018-2019 秋季学期内，2016 级学生正处于大三下学年阶段，课程人数在100人以内，由此推断出该类课程属于基础公共课程。

综上，可总结得出差异和评价差的课程都具有规模小、开课学期集中度高、学生成绩偏低的一致特征。

3.4 督导与学生评教相关性

在高校中，督导对教学质量评价是依据一套指标体系完成，该指标体系能客观准确地反映教学基本情况，涵盖教师的思想态度、授课形式、仪容仪表、教案设计、课堂氛围等方面。本文所选取大学的课程评教体系包括一级指标和二级指标，具体如表3 所示。

Table 3 Standards for supervision and evaluation表3 督导评教标准

为了进一步找出差异课程的内在原因，考察督导评教的指标体系与学生评教之间的联系，采用统计学上的相关性进行刻画，包括所有课程上学生综合评分与督导评教各项指标的相关分析、督导和学生评分与课程特征的相关性分析，从而揭示多视角评价的内在标准，找出差异存在的影响因素。

由表4 可得，学生评教与督导的评教指标x5、x8呈现出0.05 水平的显著性，以及与x4、x7、x9和x10在0.01 水平上也呈现显著相关性。特别地，x7和x10指标的相关系数大。具体表现在学生注重教师在教学课程上的目标和任务是否清晰明确，以及教学信息技术、传统教学手段、教学资源等应用是否合理这两方面。同时也看重教师备课情况，反映在教师上课时是否能透彻阐述课程内容，还有教师的普通话水平对评教也会产生一定影响。x9和x10都属于学生上课的状态，是督导评分标准里分值最高的两项，也是与学生评教产生0.01 显著相关，说明学生上课状态是督导和学生同时比较关注的点。

Table 4 Relevance of supervision of evaluation indicators and student evaluation表4 督导评教指标与学生评教相关性

由表5 可知，督导和学生评教都与课程属性、开课学期及课程规模显著相关。具体表现为必修课的评价分数高于选修，选修分数高于任选，这种现象在督导评分中尤为明显。开课学期越往后、规模越小的课程，评价就越高。对于全校性的公共课，比如体育课、思政课等，督导和学生对其教学评价比专业类课程低。此外，学生评教还与授课教师具有正相关联系，入职时间排在靠后的教师，学生对其教学质量评价就越高，说明学生更偏向于新来的教师。

Table 5 Relevance of supervision and student evaluation of teaching and course Features表5 督导和学生评教与课程特征的相关性

4 总结与建议

4.1 总结

本文以某所“双一流”高校2016 级本科生4 年培养过程的相关数据为研究对象进行多视角教学质量评价结果的一致性分析，挖掘不同角度教学质量评价结果之间的联系，为学生个性化培养、培养方案优化、教学质量改革提供量化参考。根据对评教结果的定量分析，高校应将评教结果及时反馈至学院和教师，并在课程设置和课程教学上作出相应调整，一定程度上帮助教师改进教学，促进教师在教学过程中与学生形成良好关系。由以上统计分析，可以得出如下结论：

（1）督导评教和学生评教结果大体趋于一致。督导评教和学生评教仅有10%的数据存在差异性、督导的评教分数普遍比学生低、督导评分的区分度比学生大、督导评教的准则比学生评教标准。

（2）存在差异性的课程主要为选修课。这些课程主要由某工科学院承担开课任务，其呈现出学生考试成绩低、课程规模小、开课时间集中在大三上学期的特征。同样地，督导和学生一致评价差的课程主要是必修课，属于基础公共课程，课程特征和差异课程相同。

（3）督导和学生评教之间存在显著相关。他们着重关注学生上课的具体表现，其次关注教师教学情况。对于学生而言，教师备课是否充分，上课时是否能清晰表达课本内容，影响学生在课堂上的表现，从而影响学生对该课程和教师的评价。

（4）课程特征对督导和学生评教情况产生影响。必修课的评教分数比选修课高，任选最低；开课学期越往后、规模越小的课程，评价就越高。对于全校性的公共课而言，比如体育课、思政课等，督导和学生对其教学质量的评价分数较其他课程低。

4.2 建议

根据对差异课程特征的分析结果，督导和学生对教师教学评价存在差异，本文给出几点建议：

（1）量化指标，完善学生评教体系。目前，高校采用总分制的学生评教形式过于简单，无法从学生评教数据中获取学生对课程的反馈和对教师的建议。本文建议进一步改善学生评教方式，可采取给予学生对教师教学情况的量化指标，比如教师对课本知识的熟练程度、教师对学生的答疑情况、教师是否注重培养实践和创新能力及课程考核方式是否合理等，学生可根据自身情况给出分数。

（2）学生导向，更新课堂教学模式。课程存在差异的课程主要是专业课，学生看重的是教师教学状态和课堂氛围。对于专业类课程，其授课方式不应该与公共课一致，授课教师可设计多样化的教学方式，如采取小组讨论、课堂互动等形式，激发学生学习兴趣，通过问题引导、实验解说等方式拓展学生思考和探究问题的空间。

（3）全面发展，优化课程结构设置。学生在大学中的课程体系是由其所在专业的培养方案决定。专业类课程一般安排在大三阶段，学生在大三整年都主修专业课程，这样安排会对学生造成较大的学业压力。高校可在基础教育课程上，制订若干组“专业课组合”，由学生自由选择，每个专业课组合需要有对应的教学计划；或在修读专业课的同时，多开设通识课，以学科交叉方式拓宽学生知识面。

5 结语

“双一流”建设是中国新时代在高等教育发展的重大战略部署，本文研究的某“双一流”高校的本科教育质量评价体系具有较高的成熟度，多视角的评教分析结果大部分趋于一致，表现了“双一流”高校学科建设的优越性，充分体现了中国建设世界一流大学和一流学科所取得的成绩，其评教体系值得推广至普通高等院校的教育改革中。在学科建设发展形势表现出较好趋势时，也应持续重视高等教育本科教学质量，进一步发展本科教育中差异性大的选修课程评教体系，让中国教育普适和差异并存，为今后的教学管理工作指明方向。