医学院校网上评教利用效果评价量表开发及实证研究

陈 浩，吴玉蓉，刘婷婕，傅晓敏，李晨曦，唐继志*

(1.杭州师范大学医学院；2.杭州师范大学附属医院，浙江 杭州 310036)

学生评价是实现高校教学质量自我监控的重要环节之一，目前许多高校采用了学生通过网络途径对教师课堂授课质量进行评价。网上评教有很多优点，如节省数据处理时间，消除了人工统计误差,使学校快速获取评价结果，故学生网上评价教学工作(以下简称“网评”)得到广泛认可[1]。目前网评方式虽普及，但网评并未被充分利用，甚至出现代填，随意填写的现象。针对此现象，国内各高校开展研究，但主要局限对网评的指标、有效性、真实性的探讨，并且都以描述性分析为主，更缺乏成熟的评价量表及模型，缺乏指导意义[2-5]。本研究在复习文献基础上，自制量表并对其进行实证研究，探索改进大学生网上评教利用效果的合理评价手段。

一、对象及方法

(一)对象。

采用随机分层抽样，选取浙江省某高校医学院本科在校学生，将本科生按照学制分成5层(临床、预防、口腔)和4层(护理、卫生管理、健康管理、药学)，每层均按照30%的比例随机抽样。本次共发放805份问卷，收回有效问卷752份，有效回收率93.4%。

(二)方法。

采用自填式完成问卷，含学生基本情况及网评利用情况(结构化)，共设7个维度31项条目，每项条目均采用Likert正向1-5等级评分，量表的Cronbach's α系数为0.822。

(三)统计分析。

采用Epidata 3.1软件建立数据库，双录入并进行逻辑核对，用SPSS 20.0软件进行数据分析，结合Cronbach's α系数和Spearman-Brown相关系数评价量表信度；利用因子分析探索量表的主要贡献因子，pearson相关系数评价量表效度。检验水准α=0.05。

二、结 果

(一)量表的信度。

1.分半信度。采用奇偶分半法，将所有条目分成两半，计算两部分总分的Spearman-Brown相关系数(见附表)。

附表 网上评教利用效果量表分半信度

注：a表示条目B1-B31的奇数项；b表示条目B2-B30的偶数项

2．内部一致性。采用Cronbach's α系数估计量表各条目间内容的一致性，量表的总体Cronbach's α系数为0.822，7个维度的Cronbach's α系数均大于0.65。

(二)量表的效度。

1.内容效度。量表7个维度得分与量表总得分相关系数较高(0.384-0.673)，各维度与总量表的相关系数均大于各个维度间的相关系数。

2.结构效度。对问卷的31道题的分析显示，数据适合做因子分析(KMO=0.865；Bartlett球性检验P<0.01)。对31项条目进行探索性因子分析，用主成分分析法，经方差正交最大旋转，按特征值>1提取因子，共提取出7个公因子(维度)，累计贡献率达62.54%，正交旋转(Varimax)的累计解释百分比完全相同。其中因子1含6项条目，其负载量为0.537-0.954，前三项是学生认可网评对教学改善效果，四、五两项评教结果和该方法的可用性的认同，最后两项则是认同网评后做出的愿意做出的行为。因此都是对网评的认同感。因子2含7项条目，其负载量为0.603-0.804，反映教师本身具有某种特质或行为受到学生喜欢，导致学生给教师网评过高，如“教师暗示考试的范围”，将其称之为“感情迁移”。因子3含5项条目，其负载量为0.684-0.786，反映担心自身或教师的利益受到影响，而修改对教师的评分，造成结果不真实，故称为“担忧感”。因子4含4项条目，其负载量为0.402-0.795，反映学生在评教时出现对教师不熟或评价指标不掌握后，给教师随意给分影响结果的真实性，称之为“随意性”。因子5含3项条目，其负载量为0.640-0.829，反映是否适合用于学生评教工作的见解，由此命名为“适宜性”。因子6含2项条目，其负载量为0.616-0.655，是反映学生能否将名字和老师本人对应，以及能否将选项仔细阅读和教师实际情况对应，因此该因子称为“对应性”。因子7含3项条目，其负载量为0.592-0.739，三项是从网评的易操作，易理解，耗时少三个方面反映提高效率的情况，因此称为“效率性”。

三、讨 论

(一)量表编制过程。

本自制量表最初以为原型，构建网评的真实性、效率性、适宜性和认同感为评价的一级指标，而考虑到真实性受到多种误差心理和误差行为的影响[6]，将真实性依据误差心理的种类划分为“感情迁移”、“担忧感”，根据产生误差行为的来源分为“随意性”和“对应性”。

设计原本包含33项条目，经过初步探索性因子分析检验后提取出特征值大于1的7个公因子，累计方差贡献率为60.196%，结合专业知识，删去两个载荷小于0.5的条目后，最终保留31项条目，累计方差贡献率上升到62.55%。文献中报道，当累计方差大于60%，量表具有良好的解释度[7]。

(二)量表信度评价。

量表的信效度是目前检验量表价值及功效的主流方法。信度指测量工具的稳定性，它代表反复测量结果的接近程度。对于量表信度测量，最常见的是内在一致性分析和稳定性或重复性分析[8]。本研究利用内在一致性评价，一般要求问卷的Cronbach's α系数大于0.80，本量表总体Cronbach's α系数为0.822，7个维度的Cronbach's α系数介于0.666-0.902之间，说明量表具有较好的同质性。分半信度测试进一步验证量表的信度，第一部分的Cronbach's α系数为0.789，第二部分的Cronbach's α系数为0.849，分半信度一般要求Spearman-Brown相关系数≥0.8[9]，该量表的Spearman-Brown相关系数为0.802，综合Cronbach's α系数和分半信度系数，说明该量表具有角好的内部一致性。

(三)量表效度评价。

效度是指测量结果与试图达到的目标之间的接近程度，评价的是偏倚和系统误差问题。测量其内容效度和结构效度。按照要求标准，如果分量表总分与总量表的相关系数≥0.3，表明维度间具有良好的相关性[10]。本量表各维度得分与总得分的相关系数在0.384-0.673之间，表明问卷具有良好的内容效度。结构效度是指可观测变量对量表理论结构正确反映的程度。本次测量采用主成分分析法提取7个公因子，其中4个公因子反映真实性一个度，问卷的4个维度与理论假设几乎完全相符，即同时具有良好结构效度。

四、小 结

网评现已成为学生评教的重要手段，有着传统纸质评教不可替代的优势。但网评的利用效果的研究探讨仍缺乏统一评价指标，导致各大高校的现状难以横向比较的窘境。本研究开发的量表经实证研究证实具有良好的信效度及较好的解释能力，可作为利用效果对的评价工具，但仍存在调查样本局限、真实性评价指标较复杂的设计缺陷，有待后期研究进一步完善。