基于学习分析的高校在线学习评价体系研究

王 丹 王冬梅 胡晓宏

引 言

自2020年以来，全国各高校全面配合疫情防控工作部署，线上教学已成为一种不可或缺的教学形态，也推动线上教学的实施运行模式越发广泛与成熟。2020年初，教育部发布了《关于在疫情防控期间做好普通高等学校在线教学组织与管理工作的指导意见》，对高校在线教学提出了明确要求，要求制定完备的教学实施方案，以保证在疫情期间线上教学有序开展，并获得良好效果，将“教师不停教、学生不停学、质量有保障”落到实处。[1]

在线教学必将产生大量的教育大数据，庞大的教学生成数据以及其中蕴含的潜在教学规律与价值将成为新一轮教育领域变革的风向标。以“数据驱动学校，分析变革教育”为标志的时代已经到来，充分利用规模庞大的教学生成数据与学习分析技术，实现创新教学模式、发现教学潜在新规律、落实个性化教学、优化资源配置以及完善学习支持服务等目标，为学习分析技术在教育领域的创新应用提供了新思路。[2]

在线学习评价作为一种非传统学习情境下的学习评价，相较于线下课堂学习评价，尽管无法面对面地收集评价信息，但其学习过程具备实时同步记录数据的优势，[3]使开展基于学习数据分析的在线学习评价成为可能，可以发现一些隐匿的数据关联规律，促使线上学习评价从 “基于经验”转向“基于数据”，从粗泛的群体性评价转向细粒度的个体性评价，从目标性评价向自适应性评价与过程性评价转变。与此同时，这些转变也使在线学习评价研究工作面临着全新的挑战。

本文立足于高校大环境下在线学习的发展特点和形态，深度剖析导致现有在线学习效率不尽如人意、评价考核效能不理想的原因所在，以促进大学生个性化发展、提升在线学习质量为导向，在现有研究成果基础之上完善在线学习评价理念，提升学习分析效能，革新评价考核体系各要素，打造具有过程性与目标性并重，主体与客体共同参与，学习动机、过程、效果三位一体，学习过程与评价实时交融，在线教学、学习、评价有机融合等特色的评价考核体系。通过高校在线课程个案实践应用，切实提升大学生在线学习质量，促进大学生核心素养、综合素质、高阶思维与高尚情怀的培养。

一、高校在线学习评价实施现状

疫情防控期间，国内许多高校放宽了教学模式与平台选择的空间，教师可根据课程内容特点开展多元灵活、科学合理的线上教学活动。近年来，尽管部分高校也积极开展了线上教学模式与线上线下混合式教学模式，但从未达到目前这样广泛的规模与覆盖程度。笔者通过师生调研问卷、专家和教学管理人员访谈等形式，对吉林市几所高校在线学习评价方式的实施现状进行了详实的调研与分析，发现整体上存在以下几个方面的问题。

(一)缺乏对学生学习过程进行监管与干预的实效性措施标准

现有的评价考核普遍侧重于强调评价结果，对于学生在线学习的阶段性目标关注不足，大多数课程的评价依据局限于单一的硬性测试，而对于学生学习态度、实践参与等方面的细粒度学习行为评价缺乏有效的量化标准，无法保证在线学习的精度与深度。

(二)未能实现倡导内外结合、主体与客体共同参与的评价

(三)欠缺对学生学科核心素养与综合素质进行评价的内容

现有的评价内容中对于过程的考核主要体现在视频观看、测试、作业完成效果几个方面，未能综合考虑学生的在线学习动机、学习过程、学习效果等维度，对于学生的沟通与协作能力、探究创新精神方面的考核薄弱无力，无法有效促进学生学科核心素养与综合素质的形成。

综上所述，有别于传统课堂，在线学习师生分离的特性会导致自我管理能力欠缺的学生群体出现拖延、学习效率不尽如人意的现象。鉴于此种情况，探索学习评价与学习过程的实时交融机制，运用大数据技术实时采集、批量处理学习数据，并及时反馈学习效果，实现对学习过程的实时监控与管理，切实提升在线学习评价的效能，具有重要的研究意义。

二、基于学习分析之在线学习评价体系的构建

如图1所示，本文提出基于学习分析的在线学习评价体系，主要包括三个方面的研究内容：过程性学习活动的解构与表征，数据采集、融合与分析，评价体系的指标设定与结果呈现。

图1 基于学习分析的在线学习评价体系架构

(一)过程性学习活动的解构与表征

在线教学过程中，教师与学生虽然不能面对面交流互动，但是却能通过学习平台记录的数据反应学生在线学习的状态，例如平台访问、视频资源浏览、作业完成与讨论交流等学习活动数据。通过分析学习过程数据记录，对学生的学习状态进行实时地评估与监督，即为学习分析技术。近年来，学习分析技术成为一个备受关注的研究领域，[4]旨在为教学体系各要素的确定与完善提供有力的依据。

学习活动的解构与表征即是依据学生的各种在线学习行为数据来了解学生的学习状态，[5]本文将学习活动从两个层面进行解构，一种为能够直接获取的显性活动数据，例如系统登录、信息搜索、链接访问、资源下载、网页浏览等；另一种为体现学生对知识内化建构过程的隐性活动数据，例如论坛交流与交互答疑等，需要依托细粒度的学习活动记录体现出来，为学生学习活动建立柔性而适切的表征模型，实现尽可能真实评估学生个体的高层次认知能力和非认知能力，突破传统硬性测试背景下学生综合素质无法获得有效评价的局面。

基于上述分析，本文以多元、丰富的学习活动数据支撑学习分析，实现对线上学习过程进行有效的干预与管理。将在线学习过程解构为五类要素的关联与交互，即学生、教师、学习资源、交互活动及学习结果。将学习活动记录细粒度地表征为：互动交流、资源使用、学习作品、资源分享、平台利用、自我评价、学伴评价、教师点评、学习反思和成长记录、知识运用、问题解决等核心活动。

(二)学习活动数据的采集、融合与分析

本文利用网络通信、移动终端、网络爬虫、Hadoop、文本语义分析、社会网络分析、统计分析等技术工具方法为过程性评价考核提供技术支持，强调技术工具与学习分析目标的匹配性，完成对学习行为数据的采集、融合与分析过程。

超微粉碎是利用机械力或流体动力的方法将毫米级别(3mm以上)的物料颗粒粉碎至粒径10～25 μm的粉碎加工技术，是现阶段生产加工果蔬粉较为常见的方法，是食用菌深加工的重要方向。利用超微粉碎技术制备的超微粉因其颗粒大小呈现微细化，比表面积、破碎程度及孔隙率增大，故粉体的分散性、吸附性和溶解性等物理性质均有较大程度地提升；超微粉碎产生的破壁效应，使得有效物质溶出率及化学活性等也获得了提高，感官特性亦有一定的改善，产品质量随之提高[8-11]，因此，超微粉碎技术在果蔬粉加工中得到了广泛应用。

数据的采集需要以学习分析目标为导向，以保证采集的数据与分析的目标高度相关，[6]埋点技术和爬虫技术为数据采集提供了重要辅助，可弥补在线学习平台数据处理技术的不足。

数据的融合过程考虑数据的多样性，不同数据结构的数据经过预处理后，搭建通用的教育数据汇聚库，保证来自不同平台系统数据的对接与融合。[7]

数据的分析借助相应的工具，分析学生学习过程与学习内容、学习状态等变量的相关关系，支撑评价机制针对学生的学习特征开展精准知识推荐和引导。[8]采用社会网络分析技术对学生的互动过程、交互模式进行分析，采用统计分析方法对学习投入状态的各种表现进行分析，如学习时间、访问资源频次、作业正确率、学习路径选择等，对学习风格、认知水平、时间规律和资源使用的倾向进行分析与预估，进而为学生量身定制有效的个性化学习推荐支持服务。

具体的实现流程为：

(1)学生在在线学习平台上完成个人注册，进一步实现与教务系统的连接，建立学生的个人特征信息，并将其添加到学生特征信息数据库之中。

(2)依据学生的个性化学习需求，选择相应的学习内容，学习平台提供智能化导学信息，最大化辅助学生实现高效的个性化自主学习。

(3)启动学习记录数据实时追踪模式，在线学习过程中，及时将每位学生实时生成的学习交互数据保存到数据库之中。

(4)采用大数据学习分析技术对特征信息库、在线学习数据库中的数据进行综合分析，依据分析结果分别为学生、同伴、教师以及自适应学习支持引擎系统提供相应的反馈信息。

(5)自适应学习支持引擎系统依据反馈信息，对学生的学习进度进行调整。学生、教师及同伴依据反馈信息对在线学习过程给出相应的评价。教师持续完善智能导学系统，对教学内容与资源进行相应的优化与更新。

(6)学生参照自适应学习支持引擎系统反馈的自主学习进度评价、教学内容达成情况评价及在线学习实时评价等信息，结合个性化学习实际需求，完成自适应调整。教师参照反馈结果，能够准确把握学生的学情信息，并制定相应的个性化学习支持服务与导学方案，切实提升教学效能。

(三) 在线学习过程性评价体系的指标设定与结果呈现

本文研究的评价体系聚焦于学生高阶思维、核心素养与情感认知等综合素质的培养，评价指标的具体设置如表1所示。从学习动机、学习参与过程、学习效果三个维度的评价标准展开，[9]并设计精细化的评价指标项，实现评价过程的高效而全面。评价体系的构建不仅关注学生知识技能的掌握程度，更为关注学生应用知识技能实践创新的能力，注重学生的情绪塑造、价值引领与学习兴趣的激发，实现对学生兼顾知识、能力与态度三个方面的综合评价，切实提升线上学习质量、促进学生的个性化发展。

其中，在线学习动机维度的指标项围绕知识价值观、学习兴趣、学习参与度、成就归因等因素展开；在线学习参与维度的指标项关注认知参与、情感参与、行为参与等因素；在线学习效果维度的指标项侧重于对高层次思维、知识应用与实践、交流与协作、自我学习与发展以及其他综合能力等因素的考量。[10-11]评价主体包括学生自己、教师及学习同伴。

表1 基于学习分析的在线学习评价体系

表1(续)

评价结果通过结构化组织与系统化呈现，以个性化分析报告和过程性评价反馈报告的形式反馈给教师、学习同伴、学生自身，并将评价“嵌入”到学习过程中，使学生主动参与到学习与评价活动中去，不断完善与优化学生个体知识的建构与发展路径，实现在线教学、学习和评价的有机融合。

三、基于学习分析的在线学习过程性评价实施路径与效果

本文提出的评价体系在本科院校开设的“大学计算机”在线课程中开展了周期性的个案实践应用，通过落地的实证研究来验证本文提出的评价体系的适用性与有效性，并在实践过程中针对特定的实际问题探索出具体的解决方案，以达到不断完善与修正的效果。

(一)基于学习分析的在线学习过程性评价实施路径

目前，很多在线课程评价方案中已明确强调过程性评价，但是具体的落实工作却往往力不从心。本文依托“大学计算机”在线课程产生的大量学习记录数据来实现对学生在线学习效果的全面评估，收集各项学习行为记录数据，包括学生的个人学情信息、隐性的学习关注点、显示的成绩记录等多元化信息。[12-13]

具体的实施方案为：

为每个学生建立独立的学习账户。学生所有的在线学习行为均登录该账户进行，以便搜集到学生完整准确的在线学习行为记录数据，例如后台实时记载的访问量、在线学习时长以及限定的学习周期内任务完成情况等。

通过分析学生每次学习内容的具体数据记录，捕捉学生学习过程中的关注点。具体表现为学生的个人学习记录中花费时长最多的部分，标记为学生学习的关注点，并及时给予相应的学习指导与学习偏好资源推送。

对学生在线学习完成率设置限定要求。教师通过周密而及时的同步测试来跟踪学生在相应时段的学习效果，并给同步的测试作业设定一个最低的准确率标准，对于未达到这一标准的学生应给出弹窗警告与适宜的学习路径指导。

开设在线学习交流讨论社区。通过设置交流讨论社区为学生提供可最大化发挥创造力与自由探索的空间，并记录学生在交流讨论社区表现情况的量表，更准确地把握学生的内在学习效能。

在线学习记录全程可视化，学习平台能够实时同步获取并展示个体与班级整体的学习量化数据，设置可视化呈现学习路径、网络关联、学习目标等记录信息，以强化集体学习中优秀学生的榜样效应，激发学生的学习动力，提高自我认知水平与规划能力。

建立学生的个人学习评价量表，对接本文提出的评价体系，采用学习分析技术对学习平台实时生成的学习数据进行量化分析，结合教师、学生自身、同伴给出的具体评价数据，生成每个学生的在线学习过程性评价量表。

(二) 基于学习分析的在线学习过程性评价效果分析

评价体系输出的结果从基础知识、关键理论、实践应用、综合拓展几个层面呈现了学生的学习效果。结果显示，学生对于“大学计算机”课程的基础知识学习效果普遍较好，更贴合学生的普遍学习需求；对于关键理论的学习效果呈现不均衡的特征，体现了学生的个性化学习需求与学情基础的差异；在实践应用方面通过评价体系实时的评价反馈机制，促使教师提供更有力的导学服务，同时因为设置了限定要求，保证了学生的学习参与度与学习质量；在综合拓展方面，因为强化了教师的同步诊断与学习支持服务，并且设置了讨论交流区，保证了大多数学生在学习过程中能够获得及时有效的帮助与指导，因此相较于以往教学，学生在综合拓展方面获得了较为可观的学习效果。以上分析结果为在线课程体系的进一步完善与优化明确了方向。

随着学习数据规模的增长，智能分析技术对于促进学生的个性化学习体验、过程性学习评价的作用愈发显现，现有学习模式亟待向数据驱动式学习模式转变，以发挥在线学习行为可进一步量化评价的优势。在数据驱动式学习模式下，评价目标定位为持续促进学生的自我探究、反思与知识内化建构的学习过程，引入学习分析技术助力评价目标的实现。通过对学习数据的获取、融合与分析，实现实时同步监控学生在线学习行为，突破以往学习分析应用场景的静态模式，实现学习行为与学习评价动态同步融合。学习分析应该不断探索能够呈现学生学习深层次内在规律的机制，而不是局限于对学习表现的浅层分析，切实提升在线学习评价的整体效能。

结 语

本文深度剖析了现有在线学习评价运行现状中存在的不足，以提升评价机制的实效性，加强对学生高阶思维与综合素质的培养为导向，基于智能学习分析技术，构建了一种在线学习评价体系。从学习活动的解构与表征、数据的收集与分析、评价指标的设定与结果呈现等方面进行了详细阐述。通过在本科院校“大学计算机”在线课程中的个案应用，验证了所提出评价体系的效能，能够有效地为学生的在线学习提供指导与支持，助力教师优化教学策略，强化学生个性化探究与体验、自主创新的学习过程，在其他在线课程评价工作中具有一定的推广价值，为教学评估、持续改进等工作提供了全新的理论借鉴。后续的研究工作将不断完善评价体系中的数据获取与分析技术，拓宽视角、优化设置评价指标项，更全面透彻地评价学生的学习状态与效果，进一步深化学生的个性化学习过程。