高校学生评教典型指标体系测度量表信度与效度检验

聂亚菲，刘国买

(福建工程学院，福建 福州 350003)

高校学生评教典型指标体系测度量表信度与效度检验

聂亚菲，刘国买

(福建工程学院，福建 福州 350003)

评价指标信度和效度检验是保证学生网上评教系统有效性的重要环节。为检验测度量表的可靠性和测量所需特性的程度，获得包括四个院系、十二个专业，31295个有效个案的样本。采取相关分析、主成分分析检验学生评教指标体系测度量表的信度和效度。研究发现指标体系测度量表信度很高，但效度不理想，建议采取建立专门机构定期检查指标体系的有效性和适度更新指标体系、增加二级指标和开放性评价选项等提高评价指标体系的信度与效度。

评教系统；指标体系；检验

学生评教是教学管理中教师教学效果评价最常用、最有效的环节。作为评价的核心，评价指标的科学设计及其测度量表，是决定评价有效性的关键，同时也是研究学生评教的热门话题。

当前，教学管理信息化已基本普及，全国很多高校在教务管理系统中集成了学生评教系统，实现了学生网络评教。任何量表在使用前必须进行信度和效度检验。前者检验量表的可靠性或结果一致性，后者检验量表是否能够测量出所要测量特性的程度。本文希望通过测度量表信度与效度检验，发现学生评教典型指标体系存在的问题并提出改进建议。

一 学生评教指标体系研究现状

学生评教的实质不是“学生评价教师”而是“学生评价教学”。“学生评教”解决的首要问题是指标设计，[1]其合理设计体现评价公正性与有效性。[2]指标体系的有效性是设置后的检验。相关研究可以归为以下两类：一是通过调查研究比较教师与学生两大主体的现实关注，以提高学生评教指标的有效性。[3][4]二是直接对评价指标体系进行的信度和效度研究。相关研究主要有韩磊磊(2012)分别采用内部一致性信度分析、复本信度分析与结构效度，在同一时间段内比较了广州大学现有课堂教学质量的指标体系O(以O1-O10表示10个题项)和自拟A(较详细，以A1-A8表示8个题项)，B(较为概要，以B1-B4表示4个题项)两套新的指标体系的共三套评价指标体系进行信度与效度分析，研究认为B的信度显著优于另两套问卷，问卷B与问卷A均有较高的结构效度。问卷B的综合信度、效度较高。[5]高维春(2010)应用组内相关系数测量学生评教的信度，[6]毛建青等(2011)则研究提高学生评教信度和效度的数据处理方法。[7]

当前，学生评教系统因成为许多高校教学管理系统的子模块而得到广泛应用，但现有文献还没有涉及对学生网络评教系统指标体系有效性的研究。

二 高等学校典型学生评教指标体系述评

教学评价应是多方参与、全过程的系统工程，但这仅仅停留在文献中。由于操作性等原因，现实教学质量评价往往趋于简单化。图1所示的评价指标体系就被某教学管理系统集成的学生网上评教系统所采用。

该评价指标分为“为人师表，教书育人，严格管理”“备课充分，精神饱满，语言生动，有感染力”“作业适量，批改认真，及时发还，耐心辅导”“内容充实、丰富，有足够的信息量”“思路清晰，概念准确，突出重点，突破难点”“注意介绍学科发展，能够理论联系实际”“有效利用各种教学手段，多媒体教学效果好”“引导学生积极思考，激发学习热情，培养创新精神”“课堂气氛活跃，学生听课积极性高”“学生学到知识，提高学习能力”，共10个指标。每个指标用五级定序变量“好、较好、一般、较差、差”度量。

由于简单、易行、操作性强，该指标体系已经在多个学校得到广泛应用，如广州大学[5]等，因而具有典型性。然而该指标体系有效性研究一直未匮乏，本文以东南地区某新建本科高校为例，通过学生评教指标体系测度量表的信度和效度，检验测度量表的可靠性和所要测量特性的程度。

三 研究过程

1.抽样与数据处理。

抽取5个入学年度，4个院系，12个专业，初始数据约37724个原始数据，对数据进行描述统计，发现样本共存在6429个异常个案。依次对变量进行描述统计或者频率分析，发现系列异常值，依据相应情况进行处理。经过异常值处理和数据重组后，最终获得31295个有效个案。

图1 典型的学生网上评教系统指标体系

2.评教系统指标体系的信度检验。

一般用信度系数的大小来表示信度，但是统计估计主要采用相关系数的大小来表示信度的高低，主要有再测法(用同一测验对同一被试 , 前后施测两次，根据两次测验分数计算相关系数获得再测信度，以反映测验的稳定程度，又称稳定性系数 )、复本法(对一组受测者间隔一定时间后施测两个复本所求得的稳定性系数又称等值稳定性系数或复本信度) 、分半法(将测验题目分成对等的两半，根据每人在这两半测验中的得分，计算其相关系数，又称内部一致性系数或分半信度)等方法。本文通过分半法计算内部一致性系数，利用克伦巴赫 (Cronbach) 公式计算α系数来估计测验的内部一致性。

通过调用SPSS中的Reliability过程进行信度检验。检验首先指定对各项目测定得分情况和项目与量表总体特征关系进行描述性统计(略)；然后计算项目间的两两相关系数、作重复度量的方差分析；进行项目间平均得分的相等性Hotelling 的 T 平方检验，检验结果如下。

(1)指标体系测度量表内在相关性检验。通过学生评分的10个项目相关系数矩阵和相应皮尔逊相关系数检验表格观察，各指标变量相关系数在0.4-0.6之间，指标体系测度量表内在相关性较好。

(2)项目对整个指标体系测度量表得分关系。将某一项目从量表中剔除，计算量表的平均得分、方差、每个项目得分与剩余各项目得分间的相关系数、以该项目为自变量所有其他项目为应变量建立回归方程的R2值以及α值。研究表明在每个项目得分与剩余各项目得分间的相关系数在0.6～0.7之间，表明各评价项目关系密切。R2值在0.3～0.5之间，表明各项目被其他项目解释掉的可能性较低。删除该项目后，总体α为0.88～0.89，约减少0.01。研究表明指标体系测度量表中各项目关系密切。

(3)重复度量的方差分析。由指标体系测度量表重复度量的方差分析表可知，F = 342.650，Plt;0.0001，该量表的重复度量效果良好。

(4)项目间平均得分的相等性检验。从表1可知，F = 363.518，Plt;0.0001，表明指标体系测度量表项目间平均得分的相等性好，即指标体系测度量表项目具有内在的相关性。

表1 项目间平均得分的相等性Hotelling 的 T 平方检验

(5)指标体系测度量表信度检验。在量表的信度检验中，α= 0.900，标准化α= 0.900。α系数的意义是：个体在这一量表的测定得分与如果询问所有可能项目测定得分的相关系数的平方，即这一量表能获得真分数的能力。本例为0.9，意味着学生评价教学指标体系测度量表尚有10.00%的内容未曾涉及，信度很高。

表2 指标体系测度量表信度检验的统计量

3.评教系统指标体系的效度检验。

效度分为内容效度 (指测验目的代表所欲测量的内容和引起预期反应所达到的程度)、结构效度(测验对某一理论概念或心理特质测量的程度)和预测效度(实证效度)。效度检验的方法一是专家逻辑分析，即请有关专家对测验项目与测评的内容范围是否合适进行分析，作出判断；二是统计分析，相关分析和因素分析是常用的方法。本文采用统计分析检验评教指标体系的结构效度。

(1)KMO检验和Bartlett球形检验。有效样本数据的检验结果显示，KMO值为0.954，Bartlett球形检验的p=0.000lt;0.05，表明问卷具有结构效度。

(2)效度检验的因子分析。一般认为，当KMO值大于0.5时，即可进行因子分析，而本次KMO的检验值为0.954，说明指标体系测度量表的样本数据基本适合进行因子分析。

采用主成分分析法，进行Varimax方差正交旋转，提取公因子方差如表3所示，解释的总方差如表4所示，最终提取特征值大于1的因子1个，累计解释的变异量为52.70%，且正交旋转后得到的因子成份矩阵和负荷矩阵如表5所示。

a.已提取了 1 个成份；

根据因子分析中对因子负荷的要求，各项目的因子负荷相差不大，具有在0.7左右，表明提取的公因子对原始变量的影响程度较高；因子得分系数均在0.14左右，相差无几，说明指标与该公因子之间关系较为均衡。

表3 样本数据主成分分析公因子方差

表4 样本数据主成份解释的总方差

表5 样本数据主成份成份矩阵和成份得分系数矩阵

一般地，如果主因子解释总变异一般若大于60%的和因子载荷大于0.6，说明结构效度很好。这里主因子解释总变异的52.70%，少于60%；因子载荷等于0.7左右，大于0.6。总体而言，聚敛效度和区分效度未能满足相关要求，勉强通过效度检验。

四 结论与建议

信度和效度检验表明，指标系统系测度量表信度很高，但效度不理想。为了提高指标体系测度量表的信度与效度，建议：

1.由专门教学评价发展机构组织专家，集体讨论制定标准化的学生评价教师教学的量表，从系统的角度对教师的教学进行评价并定期对学生评价的有效性进行评估，并根据评估结果对量表进行一定修改。

2.量表一般应包括课程方面(课程的组织结构、课程的难度与负担，学生对自己学习该课程的状况以及学习结果的自我评价等等)、教师教学方面(教学技巧、与学生的交流沟通、对课堂时间的利用、教师的教学特点与风格、教学各个环节等等)。现有指标体系只有10个一级指标，而没有二级指标，建议每个一级指标下增加若干二级指标。

3.增加无固定答案的开放性问答题或加上一部分延伸性评价。

[1]李昕,田张霞.国外“学生评教”的成功经验——以澳大利亚的ceq和日本kusfc的sfc-Sfs为例[J].外国教育研究，2009(08).

[2]鲍嵘,王洋.美国德州大学奥斯汀分校的学生评教系统及其启示[J].比较教育研究，2011(05).

[3]朱军,范慧慧.师生对学生评教指标的关注点——基于复旦大学问卷调查的分析[J].复旦教育论坛，2012(04).

[4]李瑞芳,王瑞芝.教师和学生对“学生评教”的看法调查[J].清华大学教育研究，2006(S1).

[5]韩磊磊,周耀旭,黄晓兵.高校学生评教指标体系的信度与效度分析——基于广州大学学生网上评教的实践研究[J].教育导刊，2012(03).

[6]高维春,白淑毅,余斌.应用组内相关系数测量学生评教的信度研究[J].教学与管理，2010(03).

[7]毛建青,秦汉林.理性对待和使用“学生评教”的结果——基于国内外学者的文献分析[J].现代教育管理，2011(11).

ClassNo.:G647DocumentMark：A

(责任编辑：蔡雪岚)

TestonEvaluation’ReliabilityandValidityforTypicalIndexSystemofStudents'EvaluationofTeachinginUniversities

Nie Yafei，Liu Guomai

(Fujian University of Technology, Fuzhou, Fujian 350003，China)

The test of evaluation’ reliability and validity is an important part to ensure effectiveness of the teaching evaluation on the internet. In order to test the reliability of the measurement scale and measure the degree of characteristics to be measured, 31,295 valid samples , four faculties , twelve professional are involved in the test .Correlation analysis and principal component analysis are used to test the reliability and validity of the measurement scale of students evaluating teaching. It found that the reliability of measure scale for indicator system is high, but the validity is not ideal ,so we recommend to establish a specialized agencies to check the effectiveness regularly , and increased the second level index and free options of evaluation in order to improve reliability and validity of evaluation System.

assessment system; index system; test

聂亚菲，硕士，讲师，福建工程学院。

刘国买，博士，教授，硕士生导师，福建工程学院。

教育部规划项目“新建本科院校教师教学与科研协同机制研究”(FFB090523)。

1672-6758(2013)12-0030-3

G647

A