基于神经网络的高校课堂教学评价策略重构与检验*

朱宗元，王秋霞

(1.浙江财经大学 数据科学学院，浙江 杭州310018；2.杭州电子科技大学 经济学院，浙江 杭州310018)

一、问题引入

虽然大学阶段学生自主选择性学习的比重上升，但是在本科乃至更高阶段的学习层次上，课堂教学仍然构成教育活动的最重要单元。在现代高等教育领域，课堂教学评价是提升大学教学质量的重要手段和制度化要素。课堂教学评价本身是一种兼具工具和价值理念判断的活动，具有一定的模糊性。实践上，课堂教学评价需要将教育理念落地，“强调实证性评价与人文性评价相结合”[1]。课堂教学评价逐步向评价理论科学化、评价内容定量化、评价方法多样化、评价程序规范化和注重师生反馈的方向发展。从评价方法论角度，系统论正在成为现代教学管理科学理论的核心。依据反馈原理，“依靠执行系统回归的信息作出分析判断，对计划指令的再输出发生影响，起到控制作用，以达到预期目标”[2]。从形成性教学评价的角度，评价的目的不在于给出终结性判断结论然后对教师进行奖惩，而应该具有包含动态前向、回馈和强化的发展性功能。只有获得动态、科学的反馈信息，才能准确控制课堂教学进程，从而做出正确的教学决策，实现潜在最优的课堂教学目标。国内高校现行的课堂教学评价策略在实施中已经暴露出诸多问题，为很多研究文献所剖析，包括“评价方法单一、评价主体设置不合理、评价指标的权重分布不科学、评价结果反馈时滞长”[3]，“教师救济程序缺失”[4]，“指标描述抽象、 陈旧、可测性差”等[5]。在课堂教学大数据获取成本日益降低的背景下，如何以动态反馈的课堂教学理论为依据，从推动教师发展、提升学生学习的角度，发展出一套可实现、具有结构学习能力的课堂教学评价模型，在理论和现实方面都很重要。信息自动化模型可降低专家偏好带来群决策结果难以达成的可能性，并具有实时跟踪反馈的优良特征。有鉴于此，本文尝试将专家打分和神经网络机器学习方法相结合，提出自动化打分动态测评课堂教学质量的思路。以收集的统计学课程教学数据为例，实证检验模型评价的效果，藉此为更科学性地评估大学课堂教学质量提供借鉴。

二、课堂教学评价指标体系设计

多维视角下系统测度课堂教学的效果，首先需要构建课堂教学评价指标体系，使其包含具体的、可测量的评价项目。评价指标体系是规范有效开展课堂教学评价的基础，对教师的课堂教学活动具有重要的导向作用。开展差异化评价区分课堂教学质量只是手段而不是目的，课堂教学评价体系设置更应具有促进教师教学反馈、引导课堂教学质量持续优化的作用。科学合理的指标体系具有区分性，能够发现不同课堂教学活动的质量差别，对其分析能发现教学存在的问题与改进方向。设计评价指标体系的基本方法包括头脑风暴法、目标要素分解法、结构分解法和目标分类法等，已经有较丰富的理论研究成果。

FIAS与PPE理论下，课堂教学语言量化系统包括矩阵分析和动态曲线双维度，进一步可细分为课堂结构、风格倾向、情感气氛、教师语言、学生语言和沉默混乱语言子模块[6]；邱文教等基于层次分析法（AHP），构建教师教、学生学、督导评的三位一体探究式课堂教学评价体系[7]；朱德全、李鹏指出课堂教学评价系统应包含矢量、定位、理念、条件、运行和输出子系统[8]。美国田纳西州发展起来的最新教师评价系统TEAM的核心课堂教学评价环节，包括了教学设计与计划、教学环境和教学过程三个一级指标，既有质性评价单元，也包括量化评价[9][10]。哈佛大学通识课程教学质量的监控与评价体系中，包含开课申请评价、Q评价系统、课程教学前期反馈以及阶段性评议四个流程，内容涉及课程内容、学生发展、师生互动、课堂组织、教学效果、阅读与作业等方面[11]。参考国内外已有的研究文献发现，课堂教学评价指标体系研究兼具共性和特性特征。共性是指课堂教学评价的对象与内容大致相似，即教学内容、艺术、态度和反馈效果，特性则是指不同的课程难度与学科差异。例如哈佛大学《通识教育评议委员会临时报告》评价结果中会考虑课程难度，但是在学生选课系统中则不公布难度系数，避免学生为获得高分选择难度低的课程。

综合以上考虑，本文在测度统计学课堂教学质量时，从教学管理部门、教师表现和学生反应三种结构要素，分解产生出评价单元。从教学管理部门出发，主要考虑教学内容的规范性；从授课教师的角度，评价主要涉及教学艺术和教学态度两个单元；从学生学习者的角度，主要针对学生在教学过程中的反应，测评其融入课堂教学的程度。根据专家调查法结合反馈教学理论，细化设计出多个可测度的系统子指标，构建出统计学课堂教学评教效果基本的评价指标体系（见表1）。

表1 教师课堂教学质量评价指标体系

课堂教学质量指标体系初步建立后，另一个重要问题就是，如何设置课堂教学评价诸指标的权重。本文首先根据测评专家的匿名打分，给出了不同的统计指标的相对重要性，诊断是否通过一致性检验，通过层次分析法(AHP)测算出多个指标的权重。对评估专家对课堂给出的打分进行加权平均，从而得出统计学教师样本数据的最终目标得分。具体方法原理和教学测评实践可参阅蔡红梅、许晓东和郭亮等的研究文献[5][12]。层次分析法能够体现人类思维过程的分解、判断、综合分析等特征，具有较好的系统性、可操作性强、计算简便等优点，因此可被广泛地应用于综合评价和群决策领域中。该方法也存在一些缺点，例如容易受到专家的知识结构、经验、效用偏好等主观因素的影响，所以有一定的人为主观倾向。不同批次专家在未有专门培训的情形下，得到的评价权重很难具有一致性。有鉴于此，本文尝试更新单纯的AHP评价方法，利用神经网络方法学习专家评价权重结果，自动化生成评价模型以保持评价的连续性，期望可得到更优的教学评价效果。

三、神经网络课堂教学评价模型构建

神经网络通过模拟神经系统的行为反馈特征，产生决策结果。以神经网络为基础发展的深度学习和人工智能技术，在决策支持系统中有广泛的应用前景，当前以BP神经网络最为普遍。该网络的结构由输入层、隐藏层和输出层组成。不同的层之间由神经元连接，该网络传递的模式是前向传播信号，反向传播误差。神经网络是高度非线性的连续时间动力系统，具有黑箱特征。通过确定神经网络模型的具体结构，选择适当的输入节点和隐藏层数，反复逼近学习可以得到稳定的网络系统。Maren A J等系统阐述了神经网络的原理和技术细节[13]。本文采用BP反向传播神经网络算法程序，更新单纯的AHP课堂教学评价指标权重确定方法，其思路是：①利用层次分析方法得到统计学课堂教学效果评价的样本数据；②利用验证集方法将教师评价样本分为训练集和测试集两部分，输入一组课堂教学评价指标打分，加权平均测算出教师课堂教学效果的综合得分，将其作为训练目标得分；③计算被调查教师得到的神经网络测试得分，并和样本数据的目标得分相比较，计算出神经网络统计数据的仿真预测误差；④反复调试模型的计算权重，直至得到稳定的神经网络；⑤开展统计学课堂教学质量的评价分析和预测。

四、统计学课堂教学神经网络评价实测

首先，获取调查数据并实施规范化预处理。本文以统计学教学为调查对象，课程主要面向经管类专业开设。利用电话网络调查和问卷调研的途径，获得了11所高校部分教师统计学课堂教学的数据，共计有63位教师。限于篇幅所限，此处不再展示样本数据。数据涉及6所省内高校（含高职）和5所省外普通本科高校。将所有评价指标的样本数据均实施归一化处理，利用层次分析法计算评价指标体系中所有指标的权重。计算显示各指标中授课内容科学性的权重最高，其次分别为备课熟练度和课堂互动的权重，最后加权计算得到所有统计学教师的课堂教学质量得分。

然后，随机抽取48位（约3/4）统计学教师的数据作为训练集，将剩下15位统计学教师的数据作为测试集。在训练集中，反复试验训练神经网络模型。最终确定出的网络结构，将14个评价指标作为输入层神经元，双隐含层分别含有7个和3个神经元，最终输出层包含唯一的神经元预测得分。模型训练设定的误差阈值为10-5，训练设置最大次数为20000次，利用梯度下降算法训练得到稳定的神经网络（见图 1）。

图1 课堂教学神经网络评价结构

最后，利用训练得到的神经网络模型，对测试集中的15位统计学教师的课堂教学得分进行预测。将已知的课堂教学得分与神经网络模型预测结果对比，计算相对误差，整理得到表2结果。

从以上预测结果的对比可见，神经网络模型运用于统计学课堂教学的测试数据，得到了较好的评价效果。15位教师统计学课堂教学质量得分的预测误差率全部控制在2%以内，其中有10位的误差率控制在1%以内，因此神经网络教学评价模型可以被投入至课堂教学测评实践之中（见图2）。本文搜集到的课堂教学评价数据集样本量较小，而神经网络模型大数据分析中优势更明显，因此如果能够在更广泛的教学活动中开发模型，理应可以进一步提升评价的准确率，因此该技术有乐观的应用前景。

表2 神经网络模型测试得分对比

图2 课堂教学神经网络评价预测效果

使用神经网络模型评价课堂教学质量，其最大优点就是评价过程不再依赖专家经验产生群决策评价权重。在现实中，由于人事更迭、离退休等原因，专家库系统发生变更后，各指标评价的权重由于专家的偏好会发生改变，从而产生了因人而异的评价结果。如要规避以上现象，需要对教学评价人员进行系统专业培训和评价资格认证[14]，过程反复且成本高昂。使用神经网络模型评价，一经训练成功并模型投入使用后，就可以通过模型学习脱离专家的重复打分过程，不但可节省教学评估的人力和物力投入，而且能保证课堂教学评价的科学性和稳定性。

五、结论与启示

本文综合教学管理部门、教师和学生三种角度解构课堂教学评价单元。从教学艺术、教学态度、学生对课堂教学反应和教学内容四个方面出发，构建课堂教学质量评价的统计指标体系。以高校统计学课堂教学数据为例，利用专家打分和层次分析法获得了评价的初始权重，并测算出样本数据的目标得分。使用神经网络模型训练课堂教学样本数据逼近专家打分，并投入到测试检验之中，取得了很好的评价效果。

研究得到的启示是，稳定的神经网络可以最大限度学习专家经验智慧，并且可在后续推广使用中脱离专家打分，从而规避了专家倾向不同导致群决策缺乏一致性和连续性的缺点。该评价方法不仅可以在课堂教学评价中得以推广使用，也可以推广至数据密集型高等教育监测评估的各个领域，提升教育管理的信息化程度。教师课堂教学质量评价是一门艺术，应具有非线性和动态性的特点。基于BP算法的神经网络模型利用学习能力最大限度挖掘教师教学输入信息与质量输出之间的内在联系，从前者的可观测教学活动记录中得到不可观测的教学质量测评值。课堂教学评价不再完全依据专家的经验知识和部门制定的规则，从而更容易得到令各方信服的评价结果，也容易缩短评价周期，增强教学反馈频次。弱化课堂教学评价过程中的人为因素，增强课堂教学评价的教师发展提升功能，是现代高等教育教学管理科学化的重要发展方向之一。