基于云班课人工智能应用的过程性评价研究

刘 毅，聂志妍，杨丽君，方文娟，莫 非，盛跃颖

(上海健康医学院医学技术学院检验与检疫系，上海 201318)

2018年4月10日，教育部网站发布关于印发《高等学校人工智能创新行动计划》的通知。对于广大一线教师来说，在教学工作中使用合适的人工智能工具来辅助教学工作是一个迫切的问题。而云班课作为国内比较流行的辅助教学软件，在2017年8月即推出了“蓝墨人工智能助教小墨”“蓝墨人工智能助学小蓝”，可基于课堂即时互动反馈采集的行为大数据，采用用户画像技术，为每一位学习者和教师进行画像，并依据用户画像提出针对每一位教师和学生的个性化成长建议。该技术在2018年进行了更新，对课堂教学的辅助作用更全面、更深入、更有效；智能画像、智能预警、智能批改、智能语音、智能提醒等新功能，也实现了人工智能技术在课堂教学中较全面地应用。为了落实人工智能技术在课程教学上的应用，运用人工智能开展教学过程监测、学情分析和学生学业水平诊断，尤其是使学业预测结果贴近实际，构建科学教学过程评价方法，我们在教研室的日常教学中对此进行了尝试。

1 对象与方法

1.1 研究对象

选取2017年3月～2019年7月间本教研室任教的我校医学检验技术专业本科、高职、中高职贯通(高职段)三个层次11个班级大二、大三的学生。其中应用云班课进行课程教学的共有17门课程，796人次。

1.2 研究方法

在日常教学过程中，我们采用了线上线下互动的混合式教学方法[1-2]。课前教师将所用教学资源，如任务单、视频、课件、参考资料、在线测试习题、案例等相关教学资料上传至云班课平台，供学生自学。课堂上则采用多种课堂活动，开展课堂讨论，答疑解惑。课后利用作业、测试、问卷等形式进行教学效果反馈。我们将云班课提供的经验值积分作为过程性考核的依据。该系统能方便学生查询自己完成的各项学习活动，也方便教师全程追踪每个学生的学习情况，是实现过程性评价的有效手段[3]。

1.3 数据收集

云班课的系统会记录学生日常学习过程中的各项活动，并将记录转换为经验值分数，单项经验值分数根据教师所设置的权重加权换算成百分制总分即该生学习课程的经验值分数，可被用作课程的过程性考核成绩[3]。

我们将云班课的经验值系统中预设的各项指标进行归类，设置了六项过程考核指标，将云班课内预设的部分同类型活动项目归纳为一项考核指标，具体见下表1。通过分析云班课所收集的学生日常教学活动数据与课程的理论考核成绩，来分析各项过程评价指标与学生学习效果的相关性，并尝试能否将其用于预测学习效果中。

表1 本研究中过程考核指标与云班课经验值系统的关系

1.4 统计学处理

数据采用SPSS 19.0统计软件进行分析，分析各项过程评价指标与课程理论考核成绩的相关性，并作线性回归分析，检验水准α=0.05。

2 结果与分析

2.1 结果

各项过程评价指标换算为百分制的统计描述见表2，数据的统计结果分别见表3、表4、表5和表6。

表2 各项过程评价指标的结果与课程理论考核成绩(n=796)

2.2 统计分析

2.2.1 各项过程评价指标与课程理论考核成绩的相关性分析

将六项过程评价指标与“理论考核成绩”进行相关性分析，结果显示：“课程资源学习”“出勤情况”“单元测试”和“表扬加分”四项指标与理论考核成绩的相关性具有统计学意义(P<0.05)，且各指标的相关性强度“单元测试”>“课程资源学习”>“出勤情况”>“表扬加分”。

表3 各项过程评价指标与课程理论考核成绩的相关性分析结果(n=796)

*注：“课程资源学习”“出勤情况”“单元测试”和“表扬加分”四项指标与理论考核成绩的相关性有统计学意义，P<0.05。

2.2.2 各项过程评价指标与课程理论考核成绩的回归分析

以“理论考核成绩”为因变量，六项考核指标为自变量作线性回归分析。线性模型的有效性检验部分结果见表4、表5，各项过程评价指标与课程理论考核成绩的回归分析结果见表6。结果显示：理论考核成绩与六项考核指标之间的具有显著的线性关系，六项指标中，“出勤情况”“单元测试”和“表扬加分”三项具有统计学意义(P<0.05)。

表4 回归模型汇总表

*注：Durbin-Watson检验值为1.499，接近2，说明自变量的自相关性不明显。

表5 模型整体回归效应的检验

*注：其中F统计量为69.242，P<0.05，可认为所拟合的多重线性回归方程具有统计学意义。

3 讨论

3.1 云班课软件人工智能应用所存在的问题

教育部印发的关于《高等学校人工智能创新行动计划》的通知上要求“推动学校教育教学变革，在数字校园的基础上向智能校园演进，构建技术赋能的教学环境，探索基于人工智能的新教学模式，重构教学流程，并运用人工智能开展教学过程监测、学情分析和学业水平诊断，建立基于大数据的多维度综合性智能评价，精准评估教与学的绩效，实现因材施教”。因此，目前的教育也逐步从“人工智能教育”走向“教育人工智能”,而实现这一步转变的基础就是收集教育数据，包括学生数据、教师数据、学校数据及区域教育数据等[4]。对于广大一线教师来说，云班课这一免费的课堂互动教学 APP，是融入人工智能技术的智能教学工具。它基于移动互联环境，实现教师与学生之间的即时互动，实现学习资源推送及任务发布；有较完善的激励与评价体系，激励学生在移动设备上自主学习；可以实时记录学生的学习行为，实现对学生学习的过程性考核，为教师提供高质量的教学研究大数据支持[5-6]。同时，“移动学习”将成为教学设计领域的下一个前沿，而云班课也为实施移动学的提供了一个有效平台[7-8]。

表6 各项过程评价指标与课程理论考核成绩的回归分析

*注：“出勤情况”“单元测试”和“表扬加分”三项指标对理论考核成绩的影响具有统计学意义，P<0.05。

云班课软件中设有“学业预警”这项人工智能应用，使用时需要教师对日常学习过程中的各项过程性评价指标设置权重，软件系统通过追踪学生在学习过程中是否达标，来判断学生最终的学业成绩是否能及格，并对最终的学业成绩可能不及格的学生发出“挂科预警”，引起教师和学生注意。

在应用云班课的线上线下互动的混合式教学模式中，学生需要在线学习班课的各种教学资源，参与各种线上活动而获取经验值。云班课现行的系统只能记录学生参与了学习活动，还无法监控学生的具体学习效果。在我们的教学实践中也发现有部分学生为了获取经验值，采用教学视频只播放而不观看，教学资料只打开而不阅读，教学讨论只附和他人观点而不认真参与讨论，在线作业只复制粘贴而不是自己完成等一系列现象。这些仅仅以获取经验值而并无实际效果的活动违背了进行线上线下互动的混合式教学的初衷。因此，教师在日常教学时需要加强对学生学习行为的关注，督促学生将学习落到实处。

为了能使用云班课的这项功能，我们试图分析学生学习过程中的各项活动行为与学习成效之间的关系，即各项过程性评价考核成绩与期末理论考核成绩之间的相关性，需要通过合理设置系统过程性评价中各项指标的分值权重使“学业预警”能够真正发挥作用。

3.2 本次教学研究的成效

本次研究主要对教研室在2017年3月～2019年7月这段时间内所开设的17门班课，796人次的日常教学数据进行分析。参与本研究的学生均为本校医学检验专业大二、大三的本、专科学生，所授课程均为医学检验专业的专业课。本研究主要从总体上通过分析各项过程性评价考核成绩与期末理论考核成绩之间的关系，暂时忽略学生背景的差异。

本研究通过合理设置云班课系统过程性评价中各项指标的分值权重，构建科学的课程教学过程评价方法，结果不仅可用于对学生的学业水平进行预测，同时也能反映出进行混合式教学的日常学习过程中的一些问题。

Pearson相关系数常用于表现这两个变量之间的线性相关关系，其绝对值越大，相关性越强。当相关系数越接近于1或-1时，相关度越强，相关系数越接近于0时，相关度越弱。本研究中，在“单元测试”“出勤情况”“单元测试”和“表扬加分”四项指标中，只有“单元测试”的Pearson 相关系数为0.529，属于中等相关程度(相关系数在0.4～0.6间)，而“出勤情况”“单元测试”和“表扬加分”四项指标的相关系数均在0.2～0.4之间，属于弱相关。根据现有的数据来看，“表扬加分”这一指标的百分制得分平均仅为(14.16±18.793)，说明在本研究的大部分课程中，教师在教学过程中并未重视该评价指标的应用。不过该指标是目前系统中唯一可供教师对学生学习过程进行直接干预的评价指标，需要教师今后加强对该指标的重视[6]。

在根据这六项指标所建立的预测课程学习结果的回归模型中，F统计量为69.242，P<0.05，可认为所拟合的多重线性回归方程具有统计学意义。且德宾-沃森(Durbin-Watson)检验值为1.499。该值通常接近于0或4时，存在自相关性；而一般来说越接近2越好，说明自变量的自相关性越不明显，模型设计的越好。但该模型的相关系数R为0.587，R方为0.345，说明该模型仅能解释34.5%的期末理论成绩变异情况。其中“出勤情况”“单元测试”“表扬加分”三项指标对期末理论考核成绩的影响具有统计学意义，“课程资源学习”“班课活动”“课后作业”三项指标对期末理论考核成绩的影响没有统计学意义，这与之前各项指标与期末理论考核成绩的相关性基本一致。由于建立的回归模型中有常数存在，而云班课系统中只能设置各项指标的权重系数而不能设置常数，故未能建立预测课程学习效果的模型；此外平时的学习成绩虽然与课程理论考试成绩相关，但由于影响学习效果的因素有很多，本研究中无法全部容纳，只能根据目前云班课中预设的评价指标进行调整。因此，目前只能建议教师能够相对合理地调整各项指标的权重使“学业预警”尽量贴近教学实际，要进行精确的学业评价还需要等待技术的进步和进一步的研究完善。

对于教学活动来说，教学质量的最终体现方式就是教学结果。由于影响教学质量的因素是贯穿着整个教学过程的，若想要准确地评价混合式教学的教学质量，就必须要对教学过程进行评价。云班课是实施教学过程评价的利器。但教学评价体系的构建需要确定评价目标，确定合适的量规与权重[9]。在本次教学研究中，我们结合云班课的系统应用构建了进行过程评价的六大指标，教师可在使用云班课授课时对这些指标的权重进行合理设置，使其不仅能用于对学生的过程评价，对于学业预警也能起到一定的作用。基于本次研究的结果，建议教师在应用云班课进行辅助教学时中需适当提高“出勤情况”“单元测试”“表扬加分”三项指标的权重。

4 结论与展望

本研究主要结合云班课的人工智能应用，对过程性教学评价体系的构建进行了探讨，教师在应用其人工智能学业预警功能时，需适当提高“出勤情况”“单元测试”“表扬加分”三大指标的权重，同时在日常教学中需督促学生切实完成各项教学活动。

如今，“人工智能+教育”可体现在诸多方面，如优化课程设置、整合教育资源、融合教育教学模式、搭建技术平台、创新学习机制、构建多元教学评价体系机制、建立完善教育管理机制等[10]。而云班课是一线教师运用人工智能辅助教学的有效工具，教师应发挥自身专长，主动投入到这场变革中去，不仅利于教学工作的开展，也利于自身的职业发展。相信随着技术的进步，一定会有更多优秀的人工智能工具应用于教学，不仅能提升教学效率，也能更加精准的评价教学效果。