基于移动端的高校评价体系创新路径研究——以西南某高校移动APP为实证案例

石荣月，范 勇，潘 娅，李丛磊，葛修婷

（西南科技大学 计算机科学与技术学院，四川 绵阳 621000）

一、引言

实施教育评价是教育教学决策的重要前提，而有效的教育评价依赖于全面的、可靠的评价机制。[1]对教学评价理论和实践持续、深入地进行研究，科学、准确、全面地评价教学质量，则是促进教学目标有效实现的必要条件之一。近年来，伴随学生数量和运行数据的增加，迫切需要引入有效应对大规模教学评价的技术和方法。而移动端的普及、APP开发技术和教育技术学科的发展，已使“增量评价”、“全面评价”、“可靠评价”为目标的教学评价，有了技术和方法的保障。

在网络普及的背景下，学生网上评价成为了高校教师教学质量监控的主要手段，部分学者将目光从传统的学生评价转移到网上评价。关于学生网上评价的实践反思，曹辉等人在《高校学生网上评教的困境与反思》中认为，评价指标过于抽象，评价指标的题目过多，难以理解指标体系的设置，未把学生需求放在中心地位，容易失去学生对评价的耐心；另外，网络虽然为学生评价提供了方便的参评方式，但也使学生评价行为出现异化现象，这些网上评价被动参与行为所产生的评价结果是有失公允的。凌惜勤等认为传统的高校学生评教活动多从学校管理本位出发，主要体现教学管理者的意志和功利性，更注重“总结性”评价，信息反馈相对滞后，师生间沟通的渠道不畅，流于形式，效果欠佳。孔羽表示教师教学质量评价中，提倡形成性评价，全面发挥评价功能，改变以往那种突出评价的选拔分等而忽视改进教育功能的做法。张欣在《学生网上评教的现状、问题及对策研究》中指出，目前网上评价相关研究都大都停留在理论研究阶段，而且网上评价得不到学校和相关部门的大力支持，利用评价结果来提高教学质量的研究也很少。

综上，网上评价主要存在以下不足：①学校多设置教学评价为查询成绩的前提条件，强制学生参与评价，学生为了尽快完成“任务”，随意性较大，导致问卷可信度降低。②评价指标过于烦琐，为了对教学质量进行“全面”评价，设立了过多的指标。以西南某高校为例，大一至大三的学生每学期课程在10门左右。假设每个课程设立问题20个，就要做200个选择题，花费了学生过多的时间和精力，可靠性也由于过度的烦琐而值得怀疑。③充分利用评价结果，对教师进行持续跟踪，旨在提高教学质量的研究很少。④大部分研究停留在理论研究阶段，缺少实证研究的支撑。

为了更深入地了解学生对教学评价的想法，审视我们现有的评价体系。本研究从各年级随机抽取5名学生进行访谈，通过学生的访谈反馈，可以发现学生的不满主要集中于以下两点：①没有自主选择权，忽略学生对课程的主体性评价。②学校片面强调 “全面性”、“覆盖式”指标体系，忽视学生的个人意愿。

基于以上文献研究和个人访谈结果，本研究拟结合目前智能终端的普及、“点赞”文化的流行，将教师教学评价系统部署在学生常用校园APP软件上，对指标体系进行精简化处理，并赋予学生自主选择评价课程的权利，反馈教师教学质量，探讨教师教学质量的稳定性。具体研究问题如下：①“点赞”形式下的移动端评价结果能否与专家评估吻合。②该评价方法能否获得区分度较高的评价结果，使评价结果落到实处。③通过探索性分析，探讨教师教学稳定性情况。

二、研究方法

1.评价形式

随着移动互联网的普及，人们使用手机、pad等移动端上网的比例越来越高。用户在移动端设备上用“点赞”来使内心“喜爱和支持”的感情得以外化。同时点赞凭借其态度表达的直观性和快速便捷低成本的优势，迅速成为社会生活中极为常见的传播符号。[2]在对教师教学质量的评价中，引入“点赞”的方式，一方面简化了传统的评价形式，增加了学生对评价的接受度，用这种“潮流”的方式可以激发学生的评价热情。另一方面，“点赞”的方式能获得相对真实的信息，筛选出优秀教师及待改进教师。运用移动端统计的方式，可以持续跟踪教师状态，获得教师教学的稳定性及波动性状态，统计出教师擅长的课程。

美国学者Howard研究表明：在大样本情况下，“学生评价”是稳定可靠的。本文采取学生评价方式，将评价系统嵌入学生日常使用的移动APP中（该移动APP提供官网新闻、课表、一卡通、图书馆、网易云课堂、圈子等特色功能），注册学生数46722，日均活跃度16785。为解决学生自主选择权的问题，在评价系统中设置由学生自己选择要点赞的课程教师（学生最多选课程总数50%的课程，至少选1门课程），用“点赞”的方式为教师评价。这种设置节约了学生的评价时间，让学生有掌控感，发挥了学生的主观能动性，是一种基于学生视角的评价方式。

2.指标及权重设置

国内不同高校评价的指标各不相同，但是内容大致包括教学态度、授课内容、教学内容、教学水平、教学效果、师德师风等。总之，没有一个适用于所有高校的评价指标和评价标准，但是，在特定领域设计一个较为客观的评价指标体系仍是可能的。

本文通过文献调研的方法，对国内外相关文献进行整理，初步确定教学评价的指标清单。然后，以专家论证的方式对指标进行修订并最终确定教师教学质量评价的指标体系。指标体系包括师德师风、敬业精神和责任意识、课堂教与学氛围、教学效果与收获、兴趣激发、教学水平。[3]参与评价是基于学生自愿，评价课程是由学生自主选择，每位学生选评课程将在1～5门，仅根据指标设立六个对应的问题。即使主动降低了课程数和问卷数，随着学生主动评价、主动定位参评课程过程的进行，仍然提高了问卷的有效性，同时使课程区分度拉大，更便于定位优秀课程和待改进课程。指标编号及内容对照情况如表1所示。

表1 指标编号内容对照表

关于指标权重的确定，大多研究以德尔菲法、层次分析法、熵权法、均值法等来确定，本文采用层次分析法进行指标权重的赋值。层次分析法是指通过不同指标之间的两两比较来确定指标间权重的方法，它也是一种定量与定性分析相结合的多目标决策分析方法。它的系统性、所需定量数据少的特性使其受到很多研究者的追捧，这种方法对项目风险评估过程中出现的多个指标和方案的选择提供了有效的解决方案。[4]

为得到较为合理的权重值，本研究选取五位教师参与调查，其中包括两位正高级别管理层专家，这两位专家学术水平、教学经验、管理经验都较为丰富并且经常参与学院组织的专家评价活动。另外包含不参与管理工作的副高级别教师两位、讲师级别教师一位，旨在尊重被评价教师对评价内容的看法。根据问卷反馈结果和层次分析法中T．L．Satty提出9个重要度等级（见表2），对六项指标进行比较，建立五个6×6的矩阵模型。

表2 判断矩阵标度

Yaahp是一种层次分析法可视化建模与计算软件。本研究应用Yaahp软件对采集到的专家数据（矩阵）进行处理，得到指标的权重如表3所示。

表3 指标权重

三、实证研究

2017年6月中旬-2017年7月下旬、2018年1月中旬-2018年3月下旬开展调查，邀请学生通过移动APP回答相关调查题目。

根据马什（Marsh）于1984年关于“学生评价”一致性的研究表明，当有50个学生参加评价时，评价的可靠性为0.95；当有25个学生参与时，评价的可靠性为0.90，保留参与人数在25人以上的课程。2017年秋季，从教师课程评价维度，参与调查的教师课程为1969门，保留评价人数大于25人的课程，删除参与人数少于25人的课程，可评价课程731门。2018年春季，从教师课程评价维度，参与调查的教师课程为2119门，保留评价人数大于25人的课程，删除参与人数少于25人的课程，可评价课程546门。

评价结果显示，平均分为34左右，说明学生仅选择3～4门课程进行了评价。在教学评价中，我们通常认为离散程度越高，区分度越好。2017年秋季和2018年春季评价结果方差分别为334.5和373.7，我们认为离散程度高，评价结果区分度好。2017年秋季和2018年春季评价偏度分别为0.354和0.424，分布为正偏或右偏，分布图形在右边拖尾，评价得分极高的教师偏少。2017年秋季和2018年春季的评价结果中，峰度均为负值，为低峰度，观测值在分布中心附近没有正态分布那样集中，尾部更厚。如表4所示。

表4 描述性数据统计结果

1.评优等级结果

参考美国教育测验服务中心（ETS）的“学生教学评估报告表”（SIR）中将评价等级分为 “最好（前10%以内）、比大部分人好（前30%以内）、一般、比大部分人差（后30%以内）、最差（后l0%以内）”五个等级，将被评价课程的学生“点赞”率划分为五个等级，评价主客体都能够很精确地掌握指标等级的划定范围。

将可评价课程导入数据库，按照SIR的评价等级将课程划分为五个等级后，分别求五个等级的平均值，如表5所示。

表5 评价结果等级汇总

一般学校评价结果平均分在90分以上，最低分不低于80分。本研究评价结果是由点赞率得来，而学生只选自己意愿中的百分之五十以内的课程给予评价，所以课程结果非百分制计分，只表示相对分数。从表4可知，虽然学生更迭，授课教师也不尽相同，但是两个学期各个区间的平均分却十分接近。它说明，反映一个学校教学状况的客观规律是存在的，通过评价结果能明显区分出课程优劣。

在评分较高的区间中，每学期都包括高等数学、大学物理、程序设计等，不被学生欢迎的课程主要包括军事理论、体育达标、形势与政策等课程。对每位教师的教学评分，我们每学期都征求有关领导的意见，特别是对评分高的或评分低的教师，我们都会同有关的系，做进一步的调查了解，发现大多数评分与教师本人的真实教学情况基本相符。由此可知，课程的受欢迎因素，不仅和教师授课水平息息相关，课程内容也是受学生喜欢的因素之一。

对该学校计算机学院的教师性别加以区分并进行男女教师评价结果的对比。同2017秋季的调查比较，2018春季学生对计算机学院的女性教师的满意度有所下降，但是仍比男性教师高7.45。结合2017秋季的情况，可以发现计算机学院女教师的受欢迎程度高于男性教师。如图1所示。

2.教师教学质量稳定性分析

图1 男女教师评价结果对比图

从计算机学院评价结果中，随机抽取八名两学期都参与评价的教师，每个节点代表一名教师评优结果的位置，可以发现教师三、教师五、教师八评价结果相对稳定，两个学期都处于分值较低的状态，调查发现教师三和教师五两学期教同一门课程，教师八每学期教6门课程以上；而教师四和教师七两学期评价结果波动很大，这两位教师两学期所教课程并非一门，并且无明显关联，比如教师七2017年秋季所教课程为离散数学，而2018年春季所教课程为程序设计。（见图2）可见，教师擅长的课程也是影响评价结果的重要因素。这些数据可以帮助教研组指导教学检查，选择重点听课对象，确定专题进行教研活动等。

图2 教师教学质量波动图

3.学生评价与专家评价吻合度分析

为了考察学生评价与专家评价的吻合度，我们用学生调查同样的指标来编制专家问卷，用李克特五级量表测量专家评价等级，从“非常赞成”（5分）到“很不赞成”（1分）。专家以不记名的方式参加评价，选择其中一项。以该高校计算机学院为测试点，联系六名同行专家，以他们已有的听课感受给教师评分。以同样的权重为每位参评教师打分，按照“学生教学评估报告表”（SIR）中将教师划分到不同区间。运用SPSS对专家数据和学生数据进行比对，皮尔逊相关系数为0.754，显著性为0.00（显著性<0.05，相关显著），说明学生评价与专家评价吻合度较高。由于专家评价和学生评价的角度不同，例如专家听课时容易受教师课堂教学的某些“表象”情况所影响。一位语音语调好、口语流利、板书工整清楚的教师容易受到专家的认同。[5]专家更注重教师“如何教”，而学生更多地体会“学到多少”。所以专家评价和学生评价又会有所不同。

四、结论

由于本研究没有学校和教师的协助，所以学生参与率和高于25人评价的课程相对较低，仅占所有课程的30%左右，仍有很大的提升空间。从高校和教师两方面给予移动端评价以支持，可以进一步促使移动端的评价发挥最大的价值与意义。高校教务评价系统借鉴这种评价方式可以提高教学评价的有效性，发挥学生评价的功能。对于教师而言只有掌握了学生的评价信息后才能了解学生的需求与想法，进而改进教学。

本文在研究了高校教师教学质量评价中的工作流程和特点后，借助于学校现有的移动端软件，设计并实现了一套基于移动端的、运用目前流行的“点赞”形式的高校教师教学质量评价系统。结合学生反馈的意见和建议，在评价过程中给学生自主选择的权利，精简了评价指标，评价结果能够与专家评估相吻合。以学生为主体的移动端“点赞”评价结果，有明显的区分度，较好地显化了高校教师教学质量。可以对教师的评优、提职、奖励等提供行政决策性服务。通过对该高校计算机学院男女教师评价结果对比发现，女教师明显比男教师更受欢迎。学生评价是持续的，可以依据持续的评价结果跟踪每位教师的教学稳定性情况，发现教师擅长的课程，用来为改进教学服务，协助管理者更好地考察、考核教师的教学质量，并进行后续的跟踪调查，提高教师的教学质量。