高校教师教学水平评价的反思与改进：基于概化理论的视角

黎光明， 张敏强，刘晓瑜

(华南师范大学a.心理学院；b.教育科学学院，广州510631)

高校教师教学水平评价的反思与改进：基于概化理论的视角

黎光明a， 张敏强a，刘晓瑜b

(华南师范大学a.心理学院；b.教育科学学院，广州510631)

目前高校教师教学水平的评价存在着评价因素单一、缺乏统一问卷、评价时间局限、学生数难确定、分数合成困难等问题。使用概化理论，能够对高校教师教学水平评价作出改进，主要包括找出影响教师教学水平评价的主要因素、编制适合国内高校统一使用的评教问卷(量表)、考察学生评价教师教学水平的最佳时间、确定评价教师教学水平的最少学生参评人数、探索评价分数的合成方法等。

概化理论；高校教师；教学水平评价；反思；改进

高校教师教学水平评价是诊断和改进教学、帮助管理部门做出有关教师个人的人事决策的基础。这一工作直接影响到教师积极性的调动和教学质量的提高，以及管理部门人事决策的准确性。高校教师的中心任务是教学，是培养人才。对于一所高校，教师的教学水平跟不上，所培养的学生质量堪忧，即使其出了大量的科研成果，这所高校也是不成功的。因此，高校应高度重视教师教学水平的评价。

一、当前高校教师教学水平评价存在的问题

高校教师教学水平评价的目的是为了监控教育质量，提高教师的教学水平[1]。然而，目前高校教师教学水平的评价却远未达到此目的，评价中还存在许多问题：

第一，评价因素单一。大部分高校仅把“学生评教”作为考察教师教学水平的唯一依据，这样做是欠妥的。其原因是：除了评价者因素外，影响高校教师教学水平评价还存在其它许多因素，如评价项目、评价场合、评价时间、评价课程、评价专业等。

第二，缺乏统一问卷。各个高校采用自己设计的评价问卷来评价教师教学水平，是否科学值得商榷。另外，各个高校采用不同的评价内容和题目，造成了各个高校教师教学水平难以比较，不便于高校教学水平质量监测。

第三，评价时间局限。各高校一般均要求学生在学期中或学期结束前对每个任课教师进行评分，再对每个教师的所得分数进行加权。这种做法具有一定的合理性，但评估的准确性难以保证，其原因是：参与评价的一些学生碍于期末考试教师评分的压力，往往不会作出如实评价，一些学生害怕给教师打低分造成“自己”低分，往往都给高分。另外，许多高校教师会在评价前对学生实施“分数承诺”(给学生高分)，所以很可能造成学生评价失真。

第四，学生数难确定。到底多少学生参评才能保证高校教师教学水平评价的可靠性呢？没有统一和科学的规定。一些高校规定1门课程的参评学生数不得低于10人，但此规定并无科学理据。

第五，分数合成困难。大多数高校合成分数采用如下做法：一位教师担任多门课程教学任务的按不同课程统计；一门课程不同班级由不同教师承担教学任务的按不同教师统计；一门课程不同班级由同一教师承担教学任务的按一门课程合班统计。这种合成分数的做法缺乏科学性。

教学和科研是高校教师始终面临的一对矛盾。一方面，一些教师长期不从事科研，学术水平低、知识陈旧、创造力低下；另一方面，一些教师关注科研，但对教学投入不足，教学中敷衍应付。在高校的职称评定中，长期存在着“一手硬，一手软”的情况，即科研(项目、经费、论文)是硬指标，教学(教学工作量、教学效果)是软指标。在许多高校，教师只要科研水平高，就踏上了“快车道”，许多教学好的教师却没有这么幸运。究其原因：对于高校教师的科研水平和科研成果的评定比较容易量化，但不易科学地评价教师的教学水平，这是一个“老大难”问题。

二、概化理论应用于高校教师教学水平评价的优势

概化理论是现代心理与教育测量理论之一，可以解决高校教师教学水平评价存在的上述问题，其理由如下：第一，概化理论可以一并考察评价多个因素。第二，概化理论可以开发科学的标准化量表。第三，概化理论可以分析不同时间对评价的影响。第四，概化理论可以探讨最佳的评价学生数。第五，概化理论可以合理利用各种权重指标合成全域分数。相对于经典测量理论，分析高校教师教学水平评价，概化理论具有如下优势：一是能够根据不同情境进行可靠性分析；二是运用多元概化理论可以对问卷评估指标的权重作出最佳估计；三是可以预测在一定的问卷评估可靠性下需要多少参评学生。

国内外学者已将概化理论应用于高校教师教学水平评价中。国内使用概化理论分析教师教学水平评价的研究相对较少，有待发展和推动。罗发友、王记志和刘友(2002)运用概化理论，对高校教师教学水平测评问题进行设计，定量研究评分者因素对高校教师教学水平测评信度与一致性的影响，并研究减少评分者人数的可行性[2]。杨志明和张雷 (2003) 认为教学测评的数据符合概化理论的研究设计，但情况相当复杂，因为所涉及到的观测全域与概化理论中的观测全域的概念有所差别，但当需要进行教学评价或已经就教学评价的结果做出决策之后，其决策的可信度问题是应该重视的[3]。黎光明等人(2004, 2009)针对一个属多元嵌套不平衡设计教学人员测评方案，运用多元概化分析，估出测量目标及侧面的方差协方差分量、探索控制误差的方法，并为改进不同情形下教学人员测评提供实际参考价值[4]。

国外学者使用概化理论分析教师教学水平评价相对成熟。Kane, Gillmore,和 Crooks(1976)[5]用概化理论进行教师水平评价方面的分析，认为学生侧面数的样本容量以10～20位为宜，因为样本容量超过20个以后，概化系数的增加量十分小，特别值得注意的是，当参与教学评价的学生人数少于10个以后，其测评信度或可靠性程度会随着人数的减少而大幅度地变小。Crooks和Kane(1981)[6]曾通过改变评价量表中项目容量的方法，对Gillmore等人的研究数据进行重复研究，发现课程效应的数值令人满意，表明课程效应在不同设计下的效应是不同的，教师是造成课程评价结果不一致的因素，即学生对课程的评价在某种程度上取决于这门课程是由谁来教，但这又与教师主效应不影响课程质量水平顺序的情况相混淆。Pratt(1997)[7]研究中的概化理论研究设计是把教师和课程合为一体作为测评目标。这种联合体可以称之为教学事件，研究发现教师和课程的主效应不再被区分。Chang和Hocevar(2000)[8]发现影响教学评价数据的因素中测量条件可以区分为5个方面，分别是教师、课程、学生、项目和场合。Dolmans,Wolfhagen,Scherpbier和van der Vleuten(2003)[9]研究发现，当学生数为理想状态时，基于一门课程教学评价的概化系数也能达到可以接受的水平(0.60或更高)，将课程作为测量目标与教师作为测评目标相比，发现任教同一门课程的教师数量比课程数量对概化系数影响更大。

三、概化理论对高校教师教学水平评价的改进

使用概化理论，能够在以下方面对高校教师教学水平评价作出改进，包括找出影响高校教师教学水平评价的主要因素、编制适合国内高校统一使用的评教问卷(量表)、考察学生评价教师教学水平的最佳时间、确定评价教师教学水平的最少学生参评人数、探索评价分数的合成方法等五个方面。

(一)找出影响高校教师教学水平评价的主要因素。对于教师教学水平评价的概化理论分析，测量目标是教师的实际教学水平，测量影响因素可能包括学生、班级、课程和专业等。概化理论可以一并考虑这些影响因素。一个教师的教学效果好或坏，水平高或低，不能仅凭大学生的评分，而应将领导评价、学生评价和同行评价综合起来考察。因为大学生还不成熟，他们对于教师的评价还很难做到客观、公正。大学生在校时对教师的评价和毕业后对教师的评价可能会大相径庭。影响高校教师教学水平评价的因素是多方面的，不仅是评价者，可能还包括班级、场合、项目、课程和专业等其它影响因素。概化分析过程中需要注意隐藏侧面(hidden facets)对测量目标的影响，忽视隐藏侧面可能会夸大概化系数(Brennan, 2001)[10]，需探测出主要的影响因素，可构建若干设计，如i×(s: t)、i×(s: t: c)、s×t|c、i×[s: (t ×c)]等，考察因素在不同设计中的影响效果，若影响效应较小，则可忽略不计，若影响效应较大，则是主要影响因素，可认为是影响教师教学评价的主要因素。

(二)编制适合国内高校统一使用的评教问卷(量表)。目前各高校通常是根据一定的评估体系自编问卷在网上或现场发放由学生对教师教学水平进行评价，然后由教务处根据各个指标的分值求取平均分来表示教师的教学水平。缺乏统一的问卷(量表)，既不能保证数据的可靠性有效性，也不能比较各校教师之间的分数，量化数据的功能性和适用性大大削弱。因此，开发一套科学的经过标准化的“高校教师教学水平评价量表”势在必行。根据不同情境对问卷(量表)进行可靠性分析，有利于问卷编制，也能保证编制出的问卷(量表)的信效度，并给出具体指标。在找出主要因素的基础上，编制适合国内高校统一使用的评教问卷(量表)。问卷(量表)需考虑多个维度和高校的实际情况，区分不同的分问卷，如教师用、同事用、上级用、文科用等。

(三)考察学生评价教师教学水平的最佳时间。通过分析场合(occasion)这个因素对概化理论方差分量模型的贡献，探讨评估场合和评估时间是否可以根据实际情况进行调整。设置四个时间段来考察学生评价教师教学水平的时间效果，分别是开学初(time1)、学期中期(time2)、学期结束(time3)和下一开学初(time4)。将四个时间段的数据结果进行比较，主要参考指标为无效问卷百分比、学生实际愿意作答的态度以及教师评价分数效果的差异。这里面还要进行一个“教育实验”，即考察不同时间段学生评价教师教学水平的效果差异。

(四)确定评价教师教学水平的最少学生参评人数。通过构建不同研究设计，在保证误差一定条件下，预测出在减少学生人数的条件下多少学生数就能保证一般评估的可靠性。样本水平数的改变不仅会影响评价的局部可靠性，也影响评估的整体可靠性。为了保证0.80的信度，在不降低可靠性的基础上，确定评价教师教学水平的最少学生参评人数。另外，是否需要所有学生都参与评分，是随机抽取选择学生还是全部学生都参与评价，目前的研究尚没有明确的结论。如果一定数量的学生就可以满足评价要求，那么所有学生参与评价，就显得多余。在保证一定评价效果之下，如果能够减少学生数量，那么就可以大大节省高校教师教学评价的资源，不用浪费大量的人力、物力和财力，给高校减负，节约成本。

(五)探索评价分数的合成方法。运用多元概化理论可以对问卷评估指标的权重作出最佳估计，克服人为规定权重的做法，并给出对应的合成分数。评价问卷有若干个维度，如教学态度、教学内容、教学方法和教学效果等。是相等权重好，还是不等权重好，需要进行探讨。当然，可以通过改变权重计算合成的可靠性Φc，找出Φc最大值，得出对应的各维度权重，即为最佳权重。然后，根据最佳权重合成分数，并使用最后合成的评价教师教学水平的分数，标定教师教学水平，并作相互比较。这种合成分数，不同于目前采用的“简单”相加的方法(有些学校采用每门课程的最终结果是去掉评价分数高分的10%和低分的10%后的平均分)，原因是不同班级不同课程不同专业，教师所得分数统一于一个量纲之下。根据心理与教育测量学可知，处于同一量纲之下的分数，其单位是一样的，能进行加、减、乘、除等数学运算。诚然，若不能加、减、乘、除等数学运算，就不能给出高校教师一个合成的可供比较的分数，那么比较高校教师教学水平的高低只是无稽之谈。

四、结语

使用概化理论，从科学的视角可以探究出哪些主要因素影响了学生对教师的教学水平评价，能够为决策者提供参考。在探讨高校教师教学水平评价概化理论研究设计中，分析信度或其它指标，能够给出一个最优方案，从而完善高校内部质量保障体系，更好地推动高校教师教学改革。

目前，国内高校尚无统一的有关教师教学测评的标准化量表，现实的情况是每个高校所采用的教学测评问卷各不相同。这也就是说，各个高校用不同的教学测评问卷来评价教师的教学水平。所施测的问卷不同，评价的方式和过程也不一样，在学生人数和评价时间上就不能作出一个科学的规定，这对高校教师教学水平评价的实施带来了严重影响。然而，对于高校教师教学水平评价中出现的这些问题，基于概化理论的优势，大多能够得到良好的解决。概化理论能够为高校教师教学水平评价提供借鉴、有效建议及改进措施。

[1][4]黎光明,张敏强.用概化理论分析高校教师教学水平评估[J].高教发展与评估，2009,(2):68-73.

[2]罗发友, 王记志, 刘友金.概化理论在教学水平测评中的应用[J]. 理工高教研究, 2002，(4):61-63.

[3]杨志明, 张 雷. 测评的概化理论及其应用[M]. 北京: 教育科学出版社,2003.

[5]Kane, M. T., Gillmore, G. M., & Crooks, T. J. Student Evaluations of Teaching: The Generalizability of Class Means. Journal of Educational Measurement, 1976.13(3)：171-183.

[6]Crooks, T. J., & Kane, M. T. The generalizability of student rating of instructors: Item specificity and section effects. Research in Higher Education,1981.15: 305-313.

[7]Pratt, D. D. Reconceptualizing the evaluation of teaching in higher education. Higher Education,1997.34:23-44.

[8]Chang, L., & Hocevar, D. Models of generalizability theory in analyzing existing faculty evaluation data. Applied Measurement in Education,2000.13(3):255-275.

[9]Dolmans, D. J., Wolfhagen, H. P., Scherpbier, A. J., & van der Vleuten,C.P.Development of an Instrument to Evaluate the Effectiveness of Teachers in Guiding Small Groups. Higher Education,2003.46(4):431-446.

[10]Brennan,R.L.Generalizability theory.New York:Springer-Verlag.2001.

(责任编辑顾冠华)

G642

1003-8418(2014)06-0087-03

A

10.13236/j.cnki.jshe.2014.06.024

黎光明(1977—)，男，江西广昌人，华南师范大学心理学院副教授、博士；张敏强(1955—)，男，广东河源人，华南师范大学心理学院教授、博士生导师；刘晓瑜(1958—)，女，海南海口人，华南师范大学副教授。

2014年国家自然科学基金面上项目(31470050)；教育部人文社会科学研究青年基金项目(12YJC190016)；广东省教育科学“十二五”规划2011年度研究项目(2011TJK161)。