在线教学质量的双向评价体系研究

唐闺臣 梁瑞宇 谢跃

[摘 要] 基于人工智能技术对教学质量进行正确有效的评价，促进教学工作，提高人才培养质量，符合国家对当前教育的指导方针。通过分析目前在线教学质量评价的应用现状与存在的问题，基于人工智能技术提出了双向的教学质量评价体系，并对评估指标和评估方法进行了设计，以期能客观、有效地评价教与学的双向活动，从而有效提高教学质量。

[关键词] 人工智能;在线教学质量;双向评价体系

[基金项目] 2020年度江苏高校哲学社会科学研究一般项目“基于人工智能的在线教学质量双向评价研究”（2020SJA0455）

[作者简介] 唐闺臣（1979—），女，浙江三门人，硕士，南京工程学院信息与通信工程学院实验师，主要从事语音信号处理研究;梁瑞宇（1978—），男，江苏徐州人，博士，南京工程学院信息与通信工程学院教授，主要从事语音信号处理研究;谢 跃（1991—），男，江苏淮安人，博士，南京工程学院信息与通信工程学院讲师，主要从事语音信号处理研究。

[中图分类号] G643   [文献标识码] A   [文章编号] 1674-9324（2021）11-0033-04    [收稿日期] 2021-01-18

一、引言

西方发达国家从20世纪中叶就开始对课堂教学质量工作评价展开研究。近年来，随着智能技术的发展，一些智能的教学分析软件也开始参与教学质量评价[1]。美国《国家人工智能研发战略规划》中提到要利用人工智能技术改进教育机会，实施个性化学习和终身学习等。但是，这些研究工作主要以线下教学为主，且侧重于教学模式改革与课堂纪律管理方面，针对在线教学质量评估的研究工作较少。我国《新一代人工智能发展规划》提出要发展“智能教育”，推动人才培养模式和教学方法改革。《教育信息化2.0行动计划》提出要“推进智能教育，开展以学习者为中心的智能化教学支持环境建设，推动人工智能在教学、管理等方面的全流程应用”等。在全球防疫的大背景下，在线教学质量评价具有重要的研究意义。

以“在线教学质量”为关键词，在中国知网检索发现，我国对在线教学质量的研究数量从2014年以来逐年上升，相关论文共有160多篇。但基于人工智能技术的研究几乎没有，也缺乏针对学生和教师双向评价的研究。相关研究主要为线下教学质量评估。

虽然有一些文献中提到了在线教学质量评估的问题，但很少有文献提出切实可行的解决办法，究其原因，主要是没有充分利用基于人工智能的音视频分析技术，对教学数据进行及时有效的在线评估，且缺乏有效的双向评价体系和方法。关于运行人工智能技术进行课堂教学管理已经有很多案例[2，3]，但是只是停留在教学纪律管理、教学改革示范等方面[4]，缺乏深层次的教学分析和应用。为了更有效地评估教学质量，需要建立教学过程的音视频大数据平台，全面及时地识别课堂教学行为，对课堂教学行为进行自动化分析，洞悉课堂教学情境，才能实现教学评估的实时性，及时督促学生改进学习态度，并根据学生的在线表现提醒教师调整教学方法和策略，动态调整课程教学以向高质量方向发展，进而制定在线教学过程中切实可行、精准的双向评价体系和方法，力争推广到线下教学中，有效促进教育教学的高质量和针对性发展。

本文首先分析了目前教学质量评价的现状与存在的问题，提出了基于人工智能的教学质量双向评价体系，并针对体系中的数据提取、特征分析、系统决策等环节提出自己的观点，最后根据设想提出质量评价的具体实施方案。

二、在线教学质量评价现状分析

过去对本科教学质量的评价注重教学设计、教学模拟与课程建设，对实际教学过程中师生互动与学生学情关注不足，属于偏重静态的评价[5]。而且，我国高校教学质量评价存在较为严重的管理主义倾向，片面强调教学质量评价的管控功能，导致高校教学质量评价越来越表面化和形式化，难以发挥高校教学质量评价“以评促教”和“以评促学”的积极作用[6]。此外，当代导向型学习的教育理念需要体现以学生为中心、以成果为导向的核心思想，需要在学习过程中评价学生，而不是孤立、统计式的评价[7]。比如，英国“教学卓越框架”覆盖学习全过程的教学质量评价体系，聚焦学习的每一阶段[8]。

而与线下教学质量评价相比，在线教学质量评价存在着差异，面临着新的问题。

（一）受限于传统的教学质量评价方法

目前，不管是线下教学还是线上教学，仍然是以督导听课、学生课后评价为主的传统教学质量评价方法。这种评价方法的评价和判断标准会受到个人认知、情境、喜好、评价对象与评价者之间关系等影响而产生偏差。而且，传统评价忽略了不同特点的课程应具有不同特点的教學方法和内容设计。以教师是否与学生互动、学生是否坐在前排等表象作为评价的主要指标[4]，虽然与以前的点名方式相比，这种表象性的评价已经有了很大的进步。但是，离客观、公平、公正地评价教学过程以达到提升教学效果的目标仍然很远，教学质量的评价应该是更深层次的。

（二）缺乏基于大数据和人工智能技术的教学质量动态评价方法

随着人工智能的不断发展，基于大数据技术的教学质量评价方法不断涌现。但是，这些统计数据主要来源于传统教学质量评价模式下的学生评价、督导评价、同行评价等主观评价和学生成绩等客观数据。这种方法首先不能反映在线教学与离线教学的区别，也没有充分利用在线教学中电脑终端可以实时有效采集教学双方数据的便利。而有效的方法应该能充分利用在线教学中教学双方的互动性，从音视频数据中充分挖掘教学双方的情绪变化，通过对双方投入度的评估来隐性地评价在线教学质量，从而及时有效地形成动态的教学评价。在目前基于人工智能的教学评价方法中，视频技术的运用比较普遍[9]，而很少有运用基于音频的评价技术。融合音视频技术可以实现分析互补，更好地实现教学质量评价。

（三）缺乏在线教学的双向评价体系与方法

在目前的教学质量评价体系中，教师评价和学生评价在时间上是割裂的。学生评价往往滞后于教师评价，且主要以学生成绩为主。而不同班级的学习风格各不相同，使得传统评价方法得到的结论无法应用到其他班级中。其原因在于，传统评价方法不能给授课教师提供及时有效的反馈，无法使教师在授课过程中以学生为主来调整教学方法。因此，研究一种双向、实时的教学质量评价体系和方法，能有效改进当前质量反馈不能及时指导教学的问题。

由于传统教学质量评价方法存在低效、受主观制约、滞后于教学等问题，因此，我们以在线教学数据分析为基础，以大数据和人工智能技术为手段，制定出及时有效的教学过程双向评价体系及方法，促进人工智能和大数据技术在教育领域的发展。通过音视频数据，对教学双方的情绪进行分析，从教师和学生投入度、情绪变化入手，形成跨学科的教学质量评价方法。

三、基于人工智能技术的在线教学质量评估研究体系

虽然传统的教学质量评估存在一些问题，但是一些评价方法和评价指标仍然具有一定的研究和参考价值。此外，基于人工智能的教学质量评价方法本身对于数据来源并没有很严格的要求，图像、音频、文本、主观评价等都可以作为模型的输入数据，选择有效的特征可以人为地去标定，也可以通过人工智能技术进行自动学习。

在详细调研和国内外文献研究的基础上，本研究采用“资料+讨论+体系+理论+应用+评价+完善”的技术路线有计划地开展工作。具体的研究思路及方法如图1所示。从图中可以看出，本文提出的基于人工智能的在线教学质量评价体系主要分五个阶段进行，不同阶段的研究重点和方法各异。

第一阶段，采用文献法结合专家讨论确定研究思路。通过研读与研讨大量文献，对现有理论和框架进行梳理，探讨在线教学质量评价的特征与规律。了解当前主流的音视频分析技术，并聘请教育专家进行研讨，确认基于人工智能的在线教学质量双向评估的研究思路。通过研讨和交流，需要确定的是数据的来源和类型、质量评价指标的类型、选用的评价模型以及教学效果反馈的方式等。

第二阶段，教学数据采集与分析。数据来源采用线上和线下相结合的方式，线上为主，线下为辅。线上主要是针对在线教学软件进行数据采集，由于缺乏运营商的支持，可以采用桌面录屏的方式进行;而线下主要是为了扩大数据的采集量和进行补充分析使用，由于目前所有的教室都有录播系统，数据非常容易获得。数据的类型主要包括音频和视频，辅助以线下的作业、测试等文本数据或者类似分数的标量数据。与其他研究不同的是，本文提出将音频数据也列入采集的基本数据。

数据的分析分为两类：一是表象性分析，通过智能化方法获得一些容易定义、常规的教学指标，比如到课人数、人脸的关键特征点、音频的常规特征等;二是深层的非教学评价指标，这部分指标包括识别的情绪[ 10，11 ]、活跃度[9，12 ]、通过音视频分析得到的生理参数[ 13 ]等。该部分也可以借鉴专家经验，增加一些经验性的指标[9]。为了对数据进行有效标注，本文推荐采用多人交叉和多次评定相结合的方法，聘请专业人员对采集到的数据进行分析评估，对深层的非教学评价指标进行人为检验和修正。

第三阶段，质量评价指标。在获得第二阶段的数据，并进行简单分析后，模型就可以获得教学质量的一些评价指标。但是，由于教学质量评价本身带有一定的主观性，了解教学双方对教学质量评价的认识，选择可以反映教学双方在教学过程中动态行为的统计指标和过程性指标非常重要。为了有效而全面地评价教学质量，本研究建议对学生、教师、专家进行半结构式深度访谈，了解其对教学质量评价指标的认知。比如，聘请有经验的教学专家对视频中的教学质量进行评价，同时选择部分学生对教师的教学质量进行评价，并将这些主观评价作为一种学习标签来对数据进行标识。通过个体验证，调整指标的数量和权重。

第四阶段，教学评价建模。利用人工智能和大数据技术，采用统计分析法，以分析得到的指标或者原始数据为输入，以期望的质量指标为输出，建立教学质量评价模型。根据数据的规模，小数据量的可以选择支撑向量机，大数据量的可以采用深度学习网络[ 12，14 ]。由于数据的来源、结构和维度都不同，因此，此处的模型设计是研究的难点。由于视频识别通常选用卷积神经网络进行处理，因此，本文推荐使用该类网络进行教学质量评价。在异构数据处理方面可以将音频数据变为二维语谱图[ 15 ]与视频数据进行拼接融合，也可以分别针对视频和音频数据进行特征提取，选用注意力机制对数据进行加权融合。

第五阶段，教学效果反馈。采用问卷调查和专家评价的方法对教学效果进行评价，并结合学生成绩变化综合判断该评价方法对教学的促进作用。同时，为体现与传统方法的區别，采用比较法与传统教学方法进行横向和纵向比较。基于对音视频教学大数据分析，采用人工智能技术，将教学数据与过程评价指标进行关联，将动态实时的教学质量评价情况反馈给教师，并为教师提供可能的教学方法进行选择。形成每次课的整体教学质量评价报告，绘制学生的情绪变化曲线，显示学生本节课最感兴趣的内容和教学方法，促进教师改善自己的课程设置和教学方法，实现教学相长。此外，通过此处的分析反馈，有助于发现设计模型中的不足甚至错误，从而为阶段二的数据选择和阶段四的模型建立提供有价值的参考。

四、结语

随着人工智能时代的到来，传统教学评价方法已不能适应现有的线上教学模式。本文提出基于人工智能技术的教学质量双向评价体系，设计了完善评价的五个阶段，并详细讨论了每个阶段需要完成的工作，以及实施要点。该评价体系不仅适用于在线教学质量评价，也适用于线下教学质量评价，存在的差别主要在于数据分析的种类、相关指标以及评价模型上的差异。

参考文献

[1]刘清堂，何皓怡，吴林静，等.基于人工智能的课堂教学行为分析方法及其应用[J].中国电化教育，2019（9）：13-21.

[2]刘邦奇，李新义，袁婷婷，等.基于智慧课堂的学科教学模式创新与应用研究[J].电化教育研究，2019（4）：86-92.

[3]谢妤，宋卫军.智慧课堂视角下智能手机在教学实践中的应用[J].高教学刊，2019，103（7）：50-52+56.

[4]李青，刘超.基于人工智能的课堂教学过程双向管理体系研究[J].高教学刊，2019，115（19）：147-149.

[5]陆一，林珊，陈嘉.从评价到赋能：大学课程教学质量提升新方法[J].中国大学教学，2020（8）：71-77.

[6]刘强.超越管理主义的平庸：高校教学质量评价的实践审视及其重构[J].当代教育科学，2020（10）：25-34.

[7]牛富荣.财政学翻转课堂教学质量评价体系的构建[J].山西财经大学学报（高等教育版），2020，42（S2）：125-128.

[8]刘湉祎，李立国.覆盖学习全过程：“以学习为中心”评价的趋势[J].中国大学教学，2020（5）：68-74.

[9]贾鹂宇，张朝晖，赵小燕，等.基于人工智能视频处理的课堂学生状态分析[J].现代教育技术，2019，29（12）：82-88.

[10]孙发勤，邓雯心.基于人工智能的课堂学习情感评价研究[J].中国教育信息化，2019（23）：58-62.

[11]Xie Y， Liang R， Liang Z， et al. Speech Emotion Classification Using Attention-Based LSTM. IEEE/ACM Transactions on Audio， Speech， and Language Processing， 2019，27（11）：1675-1685.

[12]曹晓明，张永和，潘萌，等.人工智能视域下的学习参与度识别方法研究——基于一项多模态数据融合的深度学习实验分析[J].远程教育杂志，2019，37（1）：32-44.

[13]Chen Wang， Thierry P， Guillaume C. A Comparative Survey of Methods for Remote Heart Rate Detection From Frontal Face Videos. Frontiers in Bioengineering Biotechnology， 2018，6 （33）：1-16.

[14]趙敏，詹玮.基于深度学习算法的教学质量评价系统[J].现代电子技术，2020，43（13）：143-146+149.

[15]Liang R， Tao H， Tang G， et al. A Salient Feature Extraction Algorithm for Speech Emotion Recognition. IEICE Transactions on Information and Systems， 2015，E98D （9）：1715-1718.

On the Two-way Evaluation System of Online Teaching Quality：

A Study from the Perspective of Artificial Intelligence Technology

TANG Gui-chen， LIANG Rui-yu， XIE Yue

（School of Information and Communication Engineering， Nanjing Institute of Technology， Nanjing， Jiangsu 211167， China）

Abstract： The correct and effective evaluation of teaching quality based on artificial intelligence technology can promote teaching and improve the quality of talent training， which is in line with the current national education guidelines. In this paper， the application status and existing problems of online teaching quality evaluation are analyzed， a two-way teaching quality evaluation system based on artificial intelligence technology is put forward， and the evaluation indexes and methods of this system are designed， so as to objectively and effectively evaluate the two-way activities of teaching and learning， which will effectively improve the teaching quality.

Key words： artificial intelligence technology; online teaching quality; two-way evaluation system