基于聚类分析的学生主观评教信息挖掘与应用

张峻霞 宁 杰 李 亚

(天津科技大学机械工程学院，天津 300222)

学生评教制度是高等院校教学质量管理的主要手段，当前高校学生评教制度面临着学生不够重视、教师对评教结果的认可度较低等问题，使高校教学质量管理流于形式，因而存在较大的可提升空间。国内外学者对高校教学质量的评价和提升进行了大量的研究。其中，许晓东等[1]、Dama International[2]着重对教育数据治理进行了研究，分析了美国通用教育数据标准及其对美国高等教育数据治理的意义；李海芬[3]对美国高校教学的发展性和有效性评价系统进行了研究；陈晓竹等[4]对中外本科教育中“毕业设计”评价指标进行了比较。以上中外高等教育的比较研究均提示了教育评价与教育治理之间的相关性。在教育评价及评价效果的研究方面，刘慧芳[5]对教师的形成性评价与教师专业发展的关系进行了研究，指出了在教师专业发展过程中形成性评价的重要性；刘杭玲[6]对高校学生评教的有效性进行了研究，提出了保障评价有效性的一系列措施，并对客观评价问卷效度和学生评教有效性进行了探索；宋彩萍等[7]对教师教学效果评价进行了改革实践，取得了较满意的成效；赵馨蕊等[8]基于层次分析法建构了教学质量评价指标体系，并对大学物理MOOC的教学质量进行了评价。

上述研究中对教学质量的评价大部分是围绕客观问卷进行的。学生是教育的主体，教学质量如何评价和提升应以学生的直观感受为主要参考依据[9-11]。高校课堂教学质量评价中的主观评价作为学生对教学质量自主的直接反馈，应该被教师和管理部门更好地利用，但难点在于目前还没有能便捷地分析学生主观评价信息的工具。如何从主观评价中获取更多信息，充分发挥学生意见对课堂教学质量提升的积极促进作用，是高校教学质量提升的关键。本文将利用文本信息挖掘技术[12-14]，就如何借助学生评教的主观评价意见提升高校课堂教学质量进行探索。

本文调取了T校机械工程学院2017—2018下学期、2018—2019上学期两个学期2700多名学生对180余门课程的45474条学生评教主观评价数据，利用文本信息处理技术对学生主观评价数据进行语义分词和聚类分析，深度挖掘了学生评教主观评价信息，得到了学生在主观评价中集中关注的关键信息，希望能将其作为指导教学质量建设的参考，为高校课堂教学管理和质量提升提供一定的指导。

一、学生评教主观评价中的信息挖掘

T校选用麦可思平台开展学生评教，学生对课堂教学质量的评价分为客观评价和主观评价两部分，客观评价部分为结构化问卷设计，学生只能就给定的项目打分，主观评价部分学生可以在限定字数内自由评价，学校只应用了客观评价的分数对教师课堂教学质量进行评价，主观评价信息虽然也反馈给了被评价教师，但因为信息比较随机，且信息量大，并未被教学管理和质量监控部门很好地利用和参考。为获取学生评教主观评价中与教学质量评价相关的关键信息，本文首先对学生主观评价数据进行了分析。

1.学生评教主观评价数据筛选

为了集中研究课堂教学质量影响因素，首先从所调取的学生评教的主观评价中剔除辅导员工作质量评价信息，同时实验课和体育课的授课形式较为特殊，也被剔除。最终保留“理论课”评价27583条、“公选课”评价1985条和“两课”评价2338条，共计31906条。

对保留的评价进行进一步筛选，将无意义的评价如用表情、符号等单独作为一条评语的条目和过于简单笼统的评论剔除，仅保留直接描述教师或课程的学生主观评价。经筛选和初步整理后，保留有效评价共计18002条，占保留条目的56.42%。

2.对学生评教主观评价数据做语义分词处理

为了解学生评教主观评价中主要关注的信息，下面利用SCWS分词引擎的Excel轻量级应用对学生主观评价信息进行语义分词处理，并进行词频分析。

从评价语句文本中提取能表达实际意义的语法成分，即“名词”“动词”“形容词/副词”，输出高频词汇及各个词汇对应的词频，语义分词和词频的统计结果见表1。表1中IDF为反文档频率，IDF排名越靠前的词与文档主旨的相关性越大，故表1中词汇的排序并不完全遵照词频由高到低的顺序。

表1 分词软件抓词结果汇总

经语义分词和词频统计后，得到名词(总词频25367)、动词(总词频18214)和形容词(总词频17860)各100个。在抓取的各类型词汇词频排在前100的词汇中，名词词频最少为30次，动词的词频最少为23次，形容词词频最少为25次，对这些词进行分析已经可以覆盖到绝大多数学生的评价信息。考虑到主观评价的随机性，本研究对低频词汇进行了二次筛查，将具有明确表征的学生主观意见且对教学质量有重要影响的词汇并入高频词汇中进行进一步分析。

3.学生评教主观评价信息数据清洗和聚类分析

为了从学生评教的主观评价中寻找教学质量关键词，将非描述性的且不能判断指示方向的词汇从语义分析的300个词汇中剔除，将明显的可连用的“认真”“负责”等类似词汇合并处理。最终保留名词81个、动词59个、形容词68个，共计208个，保留词汇的词频总数为30323次。

分析保留的208个词的含义，将指示内容相同的词归至同一个条目，作为一个教学质量关键词，计算其加和在保留词频总数中的比重。经聚类分析后得到18个关键词，即学生在主观评价中所重点关注的内容，结果见表2。为便于观察，将学生主观评价对应的教学质量条目类别与对应的权重绘制成柱形图，见图1。

表2 学生评教主观评价词汇聚类分析结果

图1 学生评教主观评价关键词及权重

由柱形图可知，学生在主观评价中最为关注的“态度认真”，占比32.21%，其比重约为排名第二的“充实度”的4.4倍，可见学生对教师的教学态度十分关注。

二、T校学生评教客观评价问卷设计的合理性分析

通过以上对学生评教主观评价信息的分析，研究组得到了学生对课堂教学质量的主要关注点，麦可思平台中课堂教学质量客观评价问卷的设计者是高校的教学管理者。下面将分析目标院校课堂教学质量客观评价问卷的关注点与学生对课堂教学质量的主要关注点的异同，以评估课堂教学质量客观评价问卷设计的合理性。

T校学生评教客观评价问卷共11个客观评价题目，每题为一项评价指标，前10个指标每项8分，最后1个指标20分，满分100分。为更好地利用从主观评价信息中分析得到的教学质量评价关键词，特对客观评价问卷的关键指标进行检验，下面首先对客观问卷的问题进行分析。将客观问卷中综合性横向比较并没有具体体现出课堂教学某一方面的题目剔除，将余下的问题分成14个细分条目，计算拆分每一条目的分值比重，表3为详细条目和各条目对应的分值比重。

表3 目标院校理论课教学质量客观评价问卷题目细分

利用簇状柱形图对学生评教主观评价信息中挖掘到的关键词和客观问卷条目进行比较，图2为比较结果。客观评价问卷题目覆盖主观评价关键词的55.83%，共覆盖14个关键词，其中5项即“互动”“教学方法”“联系实际”“(注重)基础”和“自学能力”的比重差异略大。学生主观评价的4个关键词即“态度认真”“亲和力”“总体评价”“板书、课件”未在客观评价问卷中出现，所以可以在客观评教问卷设计中加入体现授课教师教学态度、亲和力等的评价指标，使得客观评价得分更符合实际情况。

图2 学生主观评价关键词与客观问卷条目对比

三、高校课堂教学质量客观评价问卷设计整体情况分析

引入麦可思教学质量管理平台的高校占全国高校的比重较大，具有代表性，可以选取麦可思官方教学质量评价问卷指标库中引用频次排名靠前的问题条目进行分析，将麦可思问卷指标库内引用频次排名靠前的客观评价问题汇总归类后，视作引入麦可思教学质量管理平台高校理论课学生评教的客观评价问卷的平均样本。

首先，从问卷库中排除“辅导员评价”“班导师评价”和“教学环境评价”。在余下的“综合评价”“教学方法”“教学内容”“教学态度”和“教学产出”五个模块中以主观评价问题为分界点，选择引用次数排在主观评价问题之前的条目，共选中客观评价问题48个，累计引用次数110113次。其中，“综合评价”问题11个，引用次数占比39.87%；“教学方法”问题9个，引用次数占比10.72%；“教学内容”问题10个，引用次数占比13.57%；“教学态度”问题8个，引用次数占比7.28%；“教学产出”问题10个，引用次数占比28.56%。

其次，以选出的48个指标作为推测引入麦可思教学质量管理平台高校理论课教学质量学生客观评价问卷的观测点，对该48个指标进行分类整理，得到14个类型。将全部条目的累计引用次数110113作为基数，计算各个条目在此基数内的比重，将比重值视作该条目在高校理论课学生客观评价问卷中的权重值。为了便于将高校引用问卷与学生主观评价关键词进行比较，参照高校引用问卷修正了主观评价关键词，即将“能力水平”“教学方法”和“备课充分”三个关键词分别与“总体评价”“关心课堂”和“讲解透彻”三个关键词合并，对应权重值相加作为合并词的权重值。表4为14个题目类型与其对应的权重汇总。应用簇状柱形图对主观评价关键词和高校引用题目进行比对。图3为比对结果。

表4 高校引用题目类型汇总

图3 主观评价关键词与高校引用题目对比

高校引用题目覆盖主观评价关键词的63.64%，共12个重叠条目(部分条目由于占比过小，未在图中体现重叠)，占高校客观问卷的82.76%。主观评价中的“态度认真”“联系实际”和“(注重)基础”三个条目未在高校问卷中体现。重叠的条目中“总体评价”“充实度”和“辅导答疑”三条的比重差距较大，其中“总体评价”一项为高校引用次数最多的题目，差距悬殊的主要原因是高校问卷引用了较多诸如‘对课程的总体评价’的题目，可知学生对课程的关注程度远低于高校的预期。另外，高校引用题目中的“课程设置”和“学习表现”未在学生主观评价中体现。

四、分析结果与讨论

本文所使用的研究方法侧重挖掘学生主观评价信息。以学生视角分析课堂教学质量的影响因素，相较于教学管理部门的固有认知可能存在一定偏颇，然而对于特定院校和特定培养层次的学生来说，分析结果具有针对性。

学生主观评价中对教师的教学态度关注度极高，从学生角度来看，老师的态度是学生情绪上的主观感受，这充分说明了分析学生主观评价对促进课堂教学质量提升的重要性。从教师的角度分析，态度体现在教学的各个方面，是教师综合素质的体现，课堂教学质量的提升应是课上课下多方面努力的结果。从教育管理部门的角度出发，对教学质量的管理仍应该遵从以人为本的原则。

学生在主观评价中对板书、课件的关注度低于教学管理部门认可的板书和课件在课堂教学中的重要程度，分析其原因，可能是教师在教学过程中依赖课件梳理教学内容，而较少使用板书，使课件的条理性大于趣味性，造成学生对板书无法给予评价，同时对课件的关注度偏低。

目标院校客观问卷与学生主观评价的关注点存在差异，如从麦可思官方问卷选用结果看，其他院校客观问卷设置也存在一定的差异。这也间接地说明了现行的客观评价标准与学生视角下的教学质量关键影响因素之间存在一定的偏差，可进一步挖掘学生主观评价的价值。本文所使用的分析方法还可拓展应用于对单个教师的多门课程进行历年累积评价的分析，总结特定教师的教学特点，为评分较低的教师提高评教结果提供参考。