继续教育领域大数据时代的教师教学评估改革与实践

赵晶

对外经济贸易大学统计学院 北京 100000

1 项目背景介绍

教学评估工作是高校教学教研的核心问题，传统教学评估存在以下几个问题：

（1）采用纸质+手工统计方式，工作流程信息化水平不够，采用网上评教加督导纸质听课表统计的半手工方式，人工成本高流程烦琐。纸制评价记录未全部实现数字化。

（2）重视结果轻过程：考核成绩是教师评估结果的汇总，无法了解教师在教学教研过程中的差异，缺少过程性评价。

（3）主观性强，客观性弱：主观性评估受环境、情绪因素影响较大，需要同时借助客观数据来辅助进行评价分析。

（4）评价反馈滞后：评教结果在年终考核时才能够反馈给教师，教师难以在整年的教学过程中实时获得教学优化反馈，从而及时调整教学教研计划。

基于以上各类痛点，与山东某所医学院共同开展项目。教师教学工作的复杂性决定了教学评估应该是一个定性与定量相结合的过程，通过构建过程性评估体系，将动态的过程性评估与静态的结果性评估相结合。这样可以在任意时间单元，实时了解到教师的教学情况，而不是等到学期末考评时才后知后觉[1]。

过程性评估的核心是多维度过程数据的实时抓取与处理，围绕着数据的搜集、清洗与分析，搭建了教学评估数字化平台，与学校教务系统、学工系统等进行了数据对接。要解决的主要问题是过程性评估信息的记录与存储、通过过程性评估判断教师的教学教研情况、通过多元评价为教师提供及时有效的反馈、基于具有一定时间跨度的、连续的评估结果和数据变化展示教师的成长过程。

数据平台建设的标准是遵循系统高可拓展性、全量数据采集与存储、应用大数据分析优化的系统设计理念。从创新与发展角度进行规划，在提升目前业务效率的前提下考虑未来的系统兼容性。以教务人员、教师为中心，在尽量降低教师工作量的基础上，提供良好的用户体验。有可靠的安防及备份容灾措施，保证数据隐私及安全。

2 教师教学教研数据的获取

本项目的数据来源包括从高校教务系统提取、学校要求上报的工作量纸质文件统计，调查问卷纸质记录，共包括近5年教师与学生的历史数据，主要覆盖以下七个维度：

（1）学生评教：学生对所有课程所有教师的评价结果，高校一般通过问卷方式下发纸质文档，学生填写完毕后回收统计录入系统中。

（2）同行及领导听课：教师对教师以及上级领导抽查听课的结果评价数据。

（3）学生成绩：每位学生历年所有课程的考试成绩。

（4）教师工作量：主要包括各为教学活动的工作量，如：理论教学、实践教学、实验教学、毕业指导、临床带教、考试工作量等。

（5）教师教学：主要包括课程资源、课堂考勤、提问、练习、讨论数据、课后辅导答疑情况、作业试卷批改情况等。

（6）教师教研：主要教师在本年度参与的科研项目，如项目类型、项目等级、项目级别、承担任务、获奖情况等。

（7）年终考核数据：教师年终考核、评级中最终认定的结果数据，这类数据也是后期机器学习的基础[2]。

3 教学教研数据采集与预处理

搜集到的七类数据中，数据量分布极不均衡，如教学工作量数据、教学数据因为院校没有硬性管理要求，数据量极少。在其他类别数据中也存在大量缺失数据。在数据量小并且确实数据多的情况下，对缺失数据的填充极其重要。基于统计学原理，根据初始数据集中取值的分布情况来对缺失值进行补齐，本项目中主要使用平均值填充。对数值型变量，根据其他对象取值的平均值来填充。对于非数值型变量，使用众数原理，使用其他所有对象取值次数最多的值来填充。总之填充的依据是使用现存数据的多数信息推测缺失值。

获取的原始数据杂乱无章，看不出规律。通过查看各项变量的分布情况，变量之间的关系来发现数据中潜藏的规律。首先进行归一化处理。归一化可以将不同维度不同量纲的数值表达转换为无量纲的数字表达成为纯量，减少方差大的特征的影响，在后续的分析中可以简化计算，使模型更准确，本项目主要使用z-score标准化方程。

4 教师教学评估分析模型建设

因为每个学校的评估标准不同，并且最终的产品目标是商业化，就要考虑需要设计灵活的评估模型，来承载各个院校不同的考核需求。每个院校的数据采集维度不同，模型会根据实际数据情况自动按分类生成。比如按上面采集到的数据分为6类，每类分别设置权重与分值。权重与分值设置可以到极小的颗粒度，如教师在不同等级的报刊发表论文考核得分不同。

这一步面临一个很大的困难，如果学校没有形成标准成熟结构化的考核体系，对评估模型的设置会无从下手。考核分值与权重设置缺乏科学依据。标准的考核体系需要院校花费很大精力去研究。在这个项目中，院校同步对考核体系做标准化规范。

依据院校给出的评估标准，基于某学年某学期，对教师6类数据分别计算得分。对所有教师的评分进行排名。围绕教师收集的数据维度越多，找出影响教师评估结果的关键因素的难度越大。我们试图通过主成分分析法进行降维处理，找出对评估结果影响最大的几个关键变量。院校的要求是教师评估结果需要符合正态分布，因此分析的重点是考察所有教师的考核结果分布是否呈现正态分布。如非正态分布就需要对教师的教学形为进行干预与调节，以达到期望的效果。

基于院校年终考核数据，运用机器学习算法对教师数据建模，对下一年评估结果进行预测。以优质教师教学教研行为为依据，可以对下一年每位教师的教学教研情况进行跟踪与预警。同时将不同教师的完成情况进行横向对比，将无形的教学质量转化为可量化的指标。

项目使用2018年春秋两个学期，共1万多条数据进行模型训练，将数据集随机分为训练集与测试集，来对比各个模型的优劣。使用MSE来对比差异，与测试集预测变量的差异越小，模型越好。最终训练出的模型测试精确度可达75%。

在变量的选择上，使用优子集选择法，对所有预测变量的所有可能组合分别进行拟合，选择出最优模型。通过计算方差膨胀因子，来确认解释变量是否存在共线性或多重共线性的问题。通常VIF大于5时，意味着共线性成为一个问题，通过去掉冗余变量来解决此问题。

5 对分析模型的评估方法

模型的优劣取决于我们选择哪些变量作为解释变量，解释变量间是否存在(多重)共线性，是否使用对数转换等等，最终可以通过以下3个指标来检验：通过计算预测偏差，MSE越小越好；计算VIF，值越小越好；计算置信区间，区间越紧越好。经过计算3个指标值的完成性均较好。

6 项目中碰到的困难与解决方案

在系统实际推进使用过程中，碰到的最大的问题就是数据搜集。除了一些易于记录与维护的数据外，如考试数据、教学评价数据，其他诸如教学工作量、教研数据等在院校的实际工作开展中，很难采集。在院校信息化平台建设中，存在使用多个甚至是十多个信息平台的情况，各系统间数据独立不互通。同时教师也增加了额外负担，需要在多个平台上进行数据维护。

院校缺少统一的数字化平台来实现各个平台间的数据共享，要想推进项目的实施，解决数据采集的方案之一是与各个平台做数据对接，需要各个平台维护团队的配合。前期成本高工作量大工期长，并且存在很高的不确定性。方案二是让教师录入相关数据。要求教师参加数据的收集无疑会增加教师的工作量，系统设计中秉承最大化降低教师工作量的原则，尽量减少教师操作流程与录入数量。随着项目的推进，如果评估结果得到院校的认可，并能够得到大面积的使用，那么则可以考虑与各个平台的对接工作。在可以得到确定成果的基础上，持续投入不断迭代平台功能与算法模型。

7 项目总结与后续规划

本项目的初衷对传统结果导向性教学评估的一种改革尝试， 院校领导希望可以通过大数据与人工智能技术来实现结果性评估到过程性评估的探索，这需要有打破传统思维模式的勇气，需要各个院系教师的支持与配合。因此，在系统建设的过程中，各类数据尽最大可能自动采集，尽量减少教师的工作量，从启动层面将教师的抵触情绪降到最小。循序渐进的改变优化教师现有的工作方式，先让教师看到变革能带来切实的益处。经过与各个院系的沟通，初期先选两个院系进行推广试运行。项目最终目的是通过教学评估方式的转变，反向推动数据的采集与教师工作方式、工作理念的转变，提升教学质量让教师和学生都受益。