“云时代”职业教育在线教学质量综合评价体系研究

周 奎 朱才荣

(江苏电子信息职业学院, 江苏 淮安 223003)

随着人工智能、大数据、移动互联等新技术的迅猛发展,信息化技术越来越多地被应用于教育,对教育的影响已经由简单的教学手段、教学方式深入对教学思想、教学理念的重构中[1]。以MOOC、SPOC、混合式教学为主的信息化课堂已逐步成为现代课堂的主流,课堂教学评价方法也从线下发展到了“线上+线下、课内+课外、校内+校外”等混合式评价。在云时代教学环境下,利用人工智能、大数据等现代信息技术,分析线上学习行为,探索开展学习全过程的纵向、横向评价,是有效实施线上教学、MOOC学习、SPOC学习、混合式学习等各类信息化教学的重要保障。《深化新时代教育评价改革总体方案》提出健全职业学校评价机制,创新评价工具,利用人工智能、大数据等现代信息技术,探索开展学生学习情况全过程纵向评价。《高等学校人工智能创新行动计划》提出探索基于人工智能的新教学模式,重构教学流程,并运用人工智能开展教学过程监测、学情分析和学业水平诊断,建立基于大数据的多维度综合性智能评价,精准评估教与学的绩效,实现因材施教。2022年11月,教育部发布《教师数字素养》(教科信函〔2022〕58号)教育行业标准,从数字化应用维度指出教师要正确运用评价数据采集工具,对课程开展数字化学业评价,实现学业数据化分析。然而,纵观目前的在线课堂教学评价模式,存在教学平台杂、质量监控队伍数字素养不高、反馈机制不全等问题。因此,优化线上教学质量评价体系和线上教学评价保障机制,对提高线上教学质量的意义重大。

一、研究现状

信息化时代的在线学习成为高等院校大规模教学的新常态,不断优化现有在线教学质量评价体系,构建科学、合理的教学质量综合评价标准及指标体系成为高校教学管理的重点。为此,国内学者围绕在线教学质量的评价制度、评价标准、评价体系等,开展了一系列研究工作。杨浩等[2]从德育养成、学习方法、学习能力、实践能力、责任意识、社会适应能力、专业知识和技能水平、终身学习能力8个方面,构建了高职院校混合式教学质量评价指标体系,并进行了评价指标体系的效度和信度分析。鲁小艳[3]提出要从教师准备、网络教学资源运用、线上教学展开和学生课后评价四个阶段构建质量评价体系,并阐述了学校要建设统一的在线教学平台,培育专业的线上教学督导队伍,建立以教师、学生、督导、管理者等为核心的在线教学共同体。李爽等[4]针对现有在线教学评价难以支持动态评测等问题,从“目标与内容、方法与过程、技术与系统”三个方面,分析了在线教学“建构性、发展性、促进性、敏捷性、个性化、智能化、开放性”的质量特征,构建了数据驱动的在线教学质量评价框架。肖云等[5]分析了传统教学质量评价在评价导向、评价标准、评价方式、评价机制等方面存在的问题,提出高校在线教学质量评价在价值取向上要强调具体个人、强调共同建构、强调学生学习、强调及时改进、强调支持服务;在建设策略上要打造有形和无形相结合的教学共同体,构建线上和线下混合教学评价目标,建立传统数据和大数据相结合的质量保障平台,坚持定期与即时反馈相结合持续改进策略。宋维堂等[6]从本校教学质量评价实际出发,提出“两评一测”教学质量综合评价体系,并从制度体系、队伍体系和平台体系方面提出了保障机制的建设。

大量文献研究发现,当前线上教学评价注重将教学评价嵌入教学活动全过程,注重在线教学资源、教学设计、教学方法、学习效果等环节的评价,并将人工智能应用于信息化课堂教学质量评价指标体系的设计和课堂管理。但是,很少有学者围绕提出的教学质量评价体系进行评价实施、评价保障等实证性研究,也很少有学者研究在线教学模式下融入课程思政质量评价元素的方法。此外,教学质量评价过多地依赖教学行政管理部门,导致行政管理部门的顶层设计能力和行政执行能力成为教学质量评价的瓶颈之一。从教师本人视角考虑,评价也存在自利现象和多元价值冲突问题。总体来看,在线教学质量评价方式、评价方法已经取得很多有价值的成果,但是在线教学的评价实证、评价保障、思政评价等环节仍然需要进一步提高和完善。

二、在线教学质量评价面临的挑战

(一)评价指标体系的完善与实证性验证

在线教学质量评价标准、评价指标体系因学校定位、教学条件、课程属性等原因而参差不齐,且尚未形成统一的评价定论。目前,各高校都有自己的教学质量评价体系,定期发布在线教学质量报告。从各高校发布的质量报告来看,大部分高校的在线教学评价体系仅是对传统的教学评价方案进行移植改造,增加了线上教学资源建设、在线教学准备、线上教学组织、学生在线学习表现以及学生在线学习效果等评价环节,但忽略了在线学习数据的追踪、分析、处理和应用,也忽略了在线课程平台的统一技术支撑和规范管理。此外,现有在线教学质量评价方案响应《高等学校课程思政建设指导纲要》中关于“课程思政融入教学全过程”文件精神的体现不足,未在现有的在线教学评价体系中设计思政元素评价方式。从现有国内学者对在线教学研究的实际成果分析来看,在线教学评价质量新体系尚未看到实质有效的验证性数据和结论。因此,完善由统一技术平台支撑的在线教学质量评价体系,将其应用到实际教学管理中并通过实施不断完善,有着重要的现实意义。

(二)在线教学统一平台的智能化支撑度

在线课程教学平台是实施在线教学的载体,为学校在线教学组织提供了大数据支撑和实施保障,其智能化技术、应用功能、用户便捷性体验是保障在线教学质量的基础。虽然互联网、大数据技术已支撑课程平台建设,MOOC学习已广泛普及,但MOOC有偿性转化为SPOC学习,却并非在每个学校都已实现。同时,课程资源开发力度参差不齐,很多教师简单地认为在线教学就是线上直播。即使是线上直播课堂,也因教学条件薄弱、教学管理松散、教师个人爱好差异等原因,使同一学校开展在线教学时存在多种教学平台共用的现象。多种直播平台致使学校在线教学管理、学生在线学习变得异常烦琐、困难,学校也会失去获取教师在线教学过程大数据的机会。此外,教师使用的各种直播App也并非因教学专用而设计的,其为获取用户流量而设计的非教学功能会干扰在线教学的正常进行。因此,为保障在线教学的正常实施,由学校提供统一的教学平台非常重要。它不仅实现了在线教学师生用户的统一管理,而且能够适时捕捉在线教学、在线学习的行为大数据,为学校科学管理在线教学、精准制定在线教学政策提供依据。同时,也为教师提供在线课堂学习效果的反馈数据,为教师及时调整在线教学内容和教学组织提供依据。

(三)教学督导信息化技术的掌握度

教学督导是高校落实在线教学质量评价的执行队伍,教学督导的任务不仅要评价教师的课堂质量,而且要起到指导课堂教学的作用。教学督导的信息化水平和教学水平直接影响着教学质量评价的结果和效果。在各高校中,教学督导一般由校内教师、企业导师、校外教师构成。其中,校内督导团队一般由有多年教学经验的优秀老教师组成,他们年龄偏大,普遍对智能化教学平台掌握不熟练,对信息化技术手段的认知水平不高;企业教师不在教学一线,难以掌握在线教学的课前准备、教学设计、教学组织等技巧;而校外教师因其兼职身份,很难和学校的信息化教学要求和教学标准保持同步。因此,教学督导的信息化教学水平严重制约着在线教学质量评价的实施。培训教学督导运用现代信息技术组织教学,提高其在线课程云平台的应用能力、智能化教学终端的操作能力以及媒体技术课堂的交互能力,是落实在线教学质量评价的有力保障。

(四)行政管理职责督导的执行度

各高校的教学质量评价管理一般设有院、校两级体系,由学校的质量控制办公室或教学质量管理中心等行政管理部门牵头执行。二级分院设有质量管理科室,配合学校完成课程教学质量的管理和分院归口课程质量监控的实施工作。在线教学质量标准的制定、在线教学实施方案的顶层设计、学校一级督导的安排都是由学校行政管理部门组织完成的。因此,在线教学质量评价体系的合理性、评价方案的科学性、实施过程的完整性以及评价结果的应用性,都与职能部门的管理水平与行政执行力度息息相关。现实中常常存在评价标准存在于纸上、评价过程流于形式、评价结果走过场等现象,导致在线教学质量评价变成形式主义,评价宗旨得不到贯彻落实。此外,院校两级质量监控体系的职责与分工也时常发生交叉、扯皮现象。因此,建立学校职能部门的职责督导机制,管理和监控行政管理部门的行政执行力显得极为重要。

三、在线教学质量评价体系的构建流程

人工智能、大数据、移动互联等新技术催生了信息化教学新生态的形成。“互联网+”条件下信息化教学生态系统各因子优化建设、协调发展,方可实现教学改革工作的全面推动。而教学质量评价是生态系统健康、平衡发展的保障[7]。在广泛调研各高职院校的教学质量评价现状及质量保障应对举措的基础上,充分研究信息化教学生态体系下各生态因子的相互影响和制约作用,通过文献学习、问卷调研、数据分析、专家经验函询、典型案例解析等方法,确定质量评价体系需要解决的问题,建立教学质量评价内容和指标体系。从评价维度、评价途径、评价过程、评价保障等角度分析并解决问题,并将评价结果应用到教学实际中,再根据试点执行反馈情况,不断完善评价方案。评价体系建立流程如图1所示。

图1 教学质量评价体系的构建流程

四、在线教学质量评价体系的主要内容

(一)延展线上教学评价指标的多重维度

1．完善有动态监测特征的线上教学评价指标。MOOC学习、SPOC教学、直播教学等线上教学很好地弥补了传统课堂受时空、地域限制的短板。但是如何保证在线学习与线下课堂教学质量实质等效,是所有在线教学需要解决的难题。在线教学评价既有传统课堂的教学内容、教学设计、教学组织、教学方法、教学效果等评价的共同特点,又有网络学习的资源质量、远程管理、数据追踪、在线互动等评价的不同点。针对这些在线学习的新特点,各高校应联合在线课程平台开发机构,发挥信息化技术管理优势,改革现有教学质量评价指标,建立新型在线教学质量评价体系和质量保障的联动机制。

一方面,要扩展传统教学评价范围,将线上教学行为、学习行为纳入质量评价体系,围绕学习资源、教学活动、学习活动、学习成效等要素,利用平台技术智能追踪教学活动和学习行为轨迹,实施在线教学质量关键数据的动态监测和伴随式评估,实现教学效果的数据智能化分析和处理[3]43。另一方面,要拓展评价时空,建立“课前+课后、课内+课外、校内+校外”的混合式评价途径。以信息化为特征的教学评价内容除了职业素养、技能测试、线下测试、课堂表现、作业完成等传统要素之外,还应包括线上学习、线上测试、自主学习、协作探究、线上讨论、线上参与等学习活动,教师线上准备、线上指导、线上互动、线上评学等教学活动,平台交互、微课质量、视频质量等学习资源,以及学生获得的知识、技能、素养等学习成效。此外,学校在制定教学质量评价体系时,还要根据MOOC、SPOC、课堂直播等在线学习的特点,分类制订教学考核方案和督导听课方案,发挥平台智能化技术优势进行分类管理,最大限度地保障线上学习质量评价的合理性。

2．线上教学融入课程思政评价元素。将课程思政融入课堂教学全过程,建立多维度课程思政考核评价体系,是信息化时代线上教学遇到的另一重点问题。建立科学有效的线上课程思政评价指标,精准评价课程思政教学效果是线上课程评价的核心。课程思政的线上实施效果不仅取决于教学团队的政治意识高度和课程思政数字化案例库的积累程度,而且取决于思政元素是否有机融入课程的线上教学设计、教学课件、教学实施等环节。对专业课程来说,课程目标应设置思政、知识、能力、素质等维度。课程数字化资源开发过程中围绕品德修养、科学精神、专业伦理设计优化教学内容,积累思政媒体素材。教学实施时恰当运用信息化手段呈现思政内容,强化学生的学习体验和思想感受。

课程思政的实施效果很难立竿见影,因此,实施线上教学质量评价时,要坚持课程常规考核和思政考核有机结合的原则,构建课程思政教学质量评价体系,主要包含课程思政教学目标、思政教学资源、教学实施、教学效果等。其中,教学目标包含创新思维、品德修养、工匠精神、使命担当、家国情怀等;教学资源包含教学大纲、考核方案、思政教学案例库、思政教学课件等;教学实施包含思政素材设计、学时安排、教学方法、教学考核等;教学效果包含学生学习行为状态、课堂精神面貌、职业素养、学习成果等。通过课程思政评价指标的建立,将立德树人融入线上、线下课程教学全过程,推动思想政治教育与技术技能培养的有机融合。

(二)建立全过程评价的大数据支撑

1.实施精准捕捉学情变化的动态评价。人工智能和大数据改变了传统课堂的教师主导和师生互动的教学模式,构建了教师—平台—学生的协同发展、智慧共生的教育教学新生态。AI技术作为线上教学新主体,发挥了教学行为、学习行为数据的智能感知、分析处理的优势,可以精准捕捉线上学情变化,以便教师能够及时发现学习需求和学习问题,做出适时响应和教学调整。而传统的课堂教学评价很难做到适时动态响应,以指标体系或者标准化量表作为评价依据而进行的静态评价难以反映学生长期的学习态度和行为等变化[8]。大数据驱动的教学质量评价,可以实现对学生学习相关数据的全程评价、记录与分析。因此,信息化时代需要实施师生高度交互、学习效果过程追踪的课堂智能管理;建立学习行为大数据评价的智能考核机制,利用云课程学习平台实时追踪学习信息,为教师教学和学生学习提供动态数据支撑,提供个性化的教学监控与诊断,以便及时进行干预。

2.建立对接教学管理系统的统一在线教学评价平台。在线教学活动的智能感知、学习数据的精准捕捉、课堂效果的动态响应均依赖在线课程平台的技术支撑。因此,学校需要统一提供在线课程教学支撑平台,利用人工智能技术动态追踪在线学习的学情数据,如视频学习、问题回答、作业测试、错题分析、知识掌握等,并根据用户需要生成班级整体或学生个人的质量分析数据报告,为教学动态评价提供数据支撑。同时,统一的教学平台还可以减少不同教师因自身喜好而选用不同平台给教学管理带来的混乱。另外,在线教学平台要与校内教学管理系统进行对接,实现校内日常教学管理数据和在线教学过程数据的共享,如师生用户信息、排课信息、评教信息等。这样,教师和学生就可以通过统一的门户进行认证、登录和交互,真正实现课堂教学数据的实时共享和分析处理。统一的教学平台不仅为学校提供了全校在线教学的过程数据,而且为师生提供了便捷的统一用户登录途径。

(三)打造数字素养高的行政管理和督导团队

教学质量行政管理团队和教学督导团队的数字素养直接影响学校在线教学质量评价体系的优良和评价方案的实施效果。教学质量评价体系在实施过程中会存在自利现象和多元价值冲突问题,这就要求学校行政管理团队能够科学制定教学质量评价的保障机制和约束机制,最大限度地预防问题的发生。此外,承担学校教学质量评价的督导队伍,也要适时地跟进信息化课堂的发展要求,通过培训、观摩、学习、实战等方式,提高自身的数字素养,具备驾驭、监控和指导在线课堂教学的能力。

(四)建立质量评价结果的反馈应用机制

正确运用教学评价结果对提升教学质量有着重要作用。如果将在线教学质量评价结果作为数据存于质量报告的文字中,评价将失去指导、预警和诊改的意义。学校应建立“评价—反馈—整改—再评价—结果应用”的闭环评价机制,并对评价结果进行溯源分析,将评价结果用于指导课程建设、课堂教学改革。这些评价结果可以和教学考核、工作考核、教学建设结合起来。对在线教学评价结果欠佳的数据,要分析成因,对症下药。如果是关键性学习行为数据不够直观、用户学习资源访问不畅等平台问题,则要通过技术手段完善平台来解决。如果是教师在线课堂组织能力弱、教学效果差等教学能力问题,则需要持续跟进观察;对不能整改或不达标的课堂,要采取单独指导、培训学习或限制教学等举措。将教学评价结果恰当地应用于课堂管理和教学管理中,通过评价结果,建立教学质量的考核、监测、预警、诊改机制,将有助于教学效果的提升。

人工智能、大数据技术推动在线教学质量评价的改革和发展,在线教学质量成为学校、家长、社会等广泛关注的重点。第一,本研究适应了“互联网+”时代教育教学改革的发展,落地《深化新时代教育评价改革总体方案》教育政策,针对当前存在的线上教学评价部分指标动态特征不明显、线上思政评价元素不足、评价保障机制不全等问题,构建了“云时代”下在线教学质量评价体系。第二,完善了线上教学动态评价指标,融入课程思政要素。第三,建立了与学校内部教学管理系统对接、实现数据共享、支撑教学活动全过程的统一在线课程教学平台。第四,提出了教学质量行政管理的职责督导机制、教学督导数字素养提升机制,以及评价结果应用反馈机制,为在线教学质量评价体系的完善提供启示。本文所述教学质量评价体系应用实施了三轮,取得了一定效果。在后续研究中,应不断完善课程教学平台的智能化技术水平,优化动态评价指标体系,并将教学评价和学校现代化治理体系建设结合起来。