大数据背景下在线学习过程性评价系统设计研究

上超望 韩梦 刘清堂

摘要：在互联网技术和教育的交汇融合下，教育数据增长迅猛，教育大数据的时代已经悄然到来。该文通过分析大数据支持下的在线学习评价，对大数据背景下在线学习过程性评价的特征进行了总结，探讨了在线学习中过程性评价的内容，设计了大数据支持下的在线学习过程性评价系统模型，并给出了该系统的工作流程。该文研究成果可以为在线学习评价提供新的视角和参考，为精准和个性化的在线学习服务研究添砖加瓦。

关键词：大数据；在线学习；过程性评价；系统设计

近年来，随着教育信息化建设进程的不断推进，在线教育平台在开放教育教学中得到大范围应用，数字学习数据快速海量增长，教育大数据时代已经悄然来临。国务院2017年印发的《国家教育事业发展“十三五”规划》明确提出要“积极发挥大数据在数字学习空间应用方面的重要作用，探索未来教育教学新模式，为推动个性化学习和针对性教学提供支持”，大数据与在线教育的深度融合已成为必然趋势。

过程性学习评价（Process Evaluation）是建构评价时期的产物。与传统目标取向的发展性评价和形成性评价等方法相比，这类评价从关注教育的目标转向关注教育的过程，强调知识学习与建构过程中反馈的及时指导性，关注学习、评价和教学的有机结合和指导者与在线学习主体的过程互动，将评价的过程与学习者个体学习的过程紧密融合在一起。

在线学习依托于互联网平台进行学习内容传播，具有丰富的学习活动与交互形式，可将学习者学习行为数据完整系统地跟踪与记录。大数据赋予人们崭新的洞察力和过程优化能力，利用大数据进行在线学习的过程性评价，有助于帮助学习者及时找出在线学习过程中的问题与不足，引导、改进和优化学习者在线学习体验，促进更加有效的学习。文章通过大数据背景下在线学习过程性评价的特征和内容分析，设计了在线学习过程性评价系统模型，并给出了系统的工作流程，以期为在线学习评价研究提供新的视角和有益的借鉴。

一、大数据支持下的在线学习评价

作为“人类世界的下一个自然资源”，大数据（Big Dlata）具有体量巨大（volume）、种类多（variety）、处理速度快（velocity）、应用价值大（value）和较强的复杂性（Complexity）的“4V+1C”的特点，致力于寻求大量数据背后的隐含关系和价值。

在线学习过程中，学习者在学习时间、学习空间和学习内容上有较大的自由度，学习的进程管理和个人的自我监控能力显得至关重要。开展大数据支持下的在线学习评价，可以挖掘出更多的隐性数据与关联性，推动在线学习评价从“经验”走向“数据”，从宏观的群体性评价走向微观的个体性评价。大数据为在线学习的评价提供了有力的支持和帮助。

（一）有助于降低在线学习评价的成本

大数据将在线学习评价从基于小样本数据或片段化信息的推测转向基于全方位、全程化数据的证据性决策。通过大数据对学习者在线学习过程数据集中各个数据项的采集、分析和展示，满足学习者个性化的在线学习需求，更好地解决了在线学习评价活动中评价信息不对称的难题，大大降低了在线学习评价的成本。

（二）有利于提高在线学习评价的质量

大数据技术能够深入分析和发掘隐藏的学习需求，及时准确地反映在线学习者的学习情况，为在线学习评价提供真实客观的数据来源，有利于全面发挥评价的鉴定、导向、诊断和激励等功能，改变传统的主观评价、经验评价，使评价的层次更加深入，提高在线学习评价的质量。

（三）有效提高在线学习评价的效率

在线学习方式的不断推进，导致在线学习数据呈爆发式增长。通过实时采集、批处理和流处理等大数据技术，能够实现海量在线学习数据的快速采集、处理和评价，并将评价结果及时反馈、可视化展现给教学者和学习者，有效提高了在线学习评价的效率。

二、大数据背景下在线学习过程性评价的特征

泰勒认为“持续性的反馈评价能够在学生和学习间形成良性循环体系，使教学相长，且与未来的学习发展緊密联系”。过程性评价强调学习者的主体参与，使学习者在知识不断重组和建构过程中，控制知识迁移的方向，促进评价过程和学习过程融合。大数据技术可使在线学习中过程性评价的特征得到充分发挥，在评价过程中帮助学习者揭示学习价值。大数据背景下在线学习过程性评价的特征如图1所示。

（一）学习评价与学习过程及时交融

过程性评价是与学习同时进行的共时性评价，能及时地反映学生学习中的情况，具有时效性。数据处理的时间间隔越短，评价结果就越接近现况，越可靠。传统学习评价，由于技术条件所限，偏重事后检查的性质，难以全面反映学习者学习与思考的历程。大数据的介入与应用，使数据的即时获取、选择和处理成为现实，有利于及时评估学习表现、判断学习质量水平，促进积极反思和总结，实现评价和学习过程相互交叉和融合。

（二）评价过程性与目标性并重

以往的评价过于强调甄别选拔功能，对学习者获得成果的思考与推理、假设的形成、个体特点与努力过程却漠不关心，评价只是少数“优秀者”的成功体验，评价粒度比较粗糙。大数据的连续性和即时性使得过程性评价具备了细粒度的特征，学习过程中的精细化活动数据可以即时保留，成为可以随时采集量化的鲜活对象。在大数据支持下，过程性评价能够去掉“有色眼镜”，在关注目标性成果的同时，鼓励被评价者展示自己的学习进步和成绩，注重知行合一，过程性与目标性并重，让评价成为知识传播与情感交流的载体。

（三）评价主体和客体的互动和整合

以目标达成为价值取向的评价方法重心在于“精确的”学习结果及其控制上，教师掌握评价绝对主权，学习者被看作评价的客体，学习者行为的主体性、交互性被忽略了。

在线学习背景下，教师、学习者，以及学伴之间的交互行为都会在各类终端上留下数据碎片，由大量数据碎片汇总成的大数据为过程性评价活动的多元互动架设了桥梁。过程性评价通过师生间共同的“民主参与、协商和交往”过程，推进教学者点评、学习者自评和学习同伴互评等多方主体共同参与的评价方式，使在线学习的过程评价更客观和全面。

（四）强调过程评价的个性化价值

“教育的目的不是灌输，而是点燃火炬”，苏格拉底的这一名言是很多教育研究者的座右铭。对学习者而言，不存在最好的学习方式，而应根据学习内容、学习状态、学习情境，以及学习者自身情况选择最合适的学习方式。过程性评价反对评价对象之间的差异明确化、凝固化，强调个性化价值的关注。利用大数据信息的客观性、关联性、预测性的特点，在线学习过程性评价从学习者的努力程度、学习态度、学习历史、反思与批判思维水平以及创新能力等方面对学习过程中的个性化微观表现进行表征，并以可视化方式呈现。教学者能够及时了解个体学习进步和学习质量，开展精准教学，而学习者则通过过程性评价了解自己的学习效果，从而为实施差异化学习方案，以及个性化资源的适应性推送提供有力的支持。

这四个方面的特征在学习数据采集、过程性评价信息加工和评价结果应用过程的支持下，形成了一个循环发展的过程，推动生成以学习者为中心的个性化学习模式。

三、大数据背景下在线学习过程性评价系统设计

在特征分析的基础上，依据教育信息系统开发理论，本文提出了大数据背景下在线学习过程性评价系统的模型，如图2所示。系统主要由在线学习过程性活动记录、数据处理与存储、数据融合、过程性数据分析和在线学习过程性评价模块等五个子系统组成。在这些子系统中，数据沿着“数据一处理与存储—融合—分析一评价—反馈和优化”的流程，价值不断增加，从最基本的记录到预测未来趋势，向过程性及时引导和调整转变，其中数据是资产，分析和挖掘是技术，过程性评价是手段，促进更加有效的学习是目标。

（一）在线学习过程性活动记录子系统

虚拟的在线学习过程可以看作是五类元素的组合，即学习者、学习资源、交互、事件以及学习结果。这五个元素之间相互影响，密切相关，共同构成系统的在线学习活动。根据在线学习活动属性与关键内容，我们将记录子系统中的过程性活动分为互动交流、资源使用、学习作品、资源分享、平台利用、自我评价、学伴评价、教师点评、学习反思和成长记录等核心活动。

Web爬虫具有目标信息采集准确、应用配置简单的特征，是在线数据记录非常有效的方式。另外，该技术在记录数据的同时，还能执行数据过滤的功能，非常适合大数据背景下在线学习环境的特征。记录子系统利用Web爬虫记录学习活动数据，为下一步的数据处理与存储子系统提供数据来源。

（二）数据处理与存储子系统

数据处理与存储子系统主要包括数据采集、清洗、存储和数据转化四大模块。其中，数据采集模块实现“采”和“集”两个功能，“采”实现记录系统所提供数据的针对性、价值性、精准性抓取；“集”则按照一定规则和筛选标准进行数据汇聚。如果数据的源头存在垃圾，那么产出的很难是金子。数据清洗模块的作用就是过滤掉“垃圾信息”，尽可能保证入库数据的正确性。数据转化模块在数据层级进行数据格式的统一与数据分类变量重组等工作，将数据转化成为适合融合与挖掘的形式。

数据存储的主要任务是按照数据模型定义的表结构，将转化模块提交的数据集存入数据库中，以防止数据丢失。子系统将结构化数据存储于关系型的开源数据库MySQL中，非结构化与半结构化数据将存储于非关系型（NoSQL）的开源分布式数据库HBase中。HBase是面向列的分布式开源数据库，它和大数据分布式处理框架Hado叩紧密关联，主要包括Clien（访问入口）、Zookeeper（协调服务）、HRegionServer（表数据读写操作）、HMaster（HRegionServer行为监视）四个核心组件，可提供过程性评價数据的实时随机读/写访问。

（三）数据融合子系统

数据融合子系统通过在数据间、信息间、知识片段间建立多维度、多粒度的语义连通，形成面向多层次知识提取的数据集合，解决数据的碎片化问题。

在参考现代教育评价理论和在线学习理论的基础上，本研究将过程性学习数据融合为四类核心内容，分别是学习态度相关数据，主要表现在线学习者学习过程的认真程度，用以衡量学习任务完成量方面的数据；学习方法相关数据，主要是完成学习任务的行为或操作性知识方面的数据；学习过程相关数据，主要为学习者在学习情境中与教学者、学伴，以及资源环境的交互而产生的数据，包括知识、技能和态度等核心内容；自评他评数据，主要是来自于学生自评、学伴互评和教师点评方面的数据。通过小数据的融合，系统打通了过程性学习评价的数据孤岛，为进一步数据分析提供了支持。

（四）在线学习过程性数据分析子系统

在线学习过程数据分析子系统从多个维度挖掘融合后数据中的有价值信息，对学习者的个体学习过程进行画像。其中，数据挖掘综合运用数学统计、关联规则和决策树等方法，分析学习者学习过程与学习内容、学习状态等变量的相关关系，帮助评价系统针对学习者的特征开展精准知识推荐和引导。机器学习主要研究计算机如何模拟人类利用已知事实规律获取新知识的智慧。应用机器学习方法可以模拟人类智慧，分析学习者的学习状态、学习行为及其潜在的影响因素，针对性地刻画个体行为特征和在线学习的风格。

学习分析技术是测量、收集和分析有关学习数据，以理解和优化学习及其产生情境的技术。《2016新媒体联盟中国基础教育技术展望：地平线项目区域报告》认为：“大数据学习分析技术将在未来两至三年成为极具影响力的教育技术”。学习分析技术能够帮助系统对学习者的学习结果进行评估，理解和优化在线学习及其产生的情境，预测学习者的发展趋势，为过程性评价提供实时反馈信息。

模式识别利用计算机代替人对学习行为信息进行处理和识别，它通过样本获取、特征抽取、类型识别和过程性评判等核心步骤，实现学习过程特征的描述、识别和分类。SNA（Social NetworkAnalysis，社会网络分析）从社会关系网络结构出发，计算学习者在学习社群中的位置、角色、声望和群体属性等信息，分析学习者在线学习社群网络形成的过程与特征，从而为学习者的积极性和交互程度判断提供依据。

（五）在线学习过程性评价子系统

过程性评价将评价“嵌入”到学习过程中，主张对学习的动机、参与过程和学习效果进行三位一体的评价。如下表所示，本研究将依据一定的评价标准和指标，从学习动机、学习参与过程、学习效果三个维度开展评价。评价不仅关注学习效果，而且关注影响学习者学习投入的动机以及知识积累的过程，将评价活动和过程作为被评价者展示自己进步和成绩的平台，让学习者主动参与到学习与评价活动中去。

学习动机是激发个体学习，并使学习行为趋向一定目标前进的心理动因和倾向，具有方向性、驱动性、行为导向性和持久性的特征。学习者往往对感兴趣、有价值、处于能力范围内并可带来成就感的学习内容投入更多的时间和精力，从中获得较大的满足感。学习动机评价将从知识价值的认识（知识价值观）、对学习的直接兴趣（学习兴趣）、对自身学习能力的认识（学习能力感）、对学习成绩的归因（成就归因）四个方面展开。

学习参与注重建立伙伴关系，是一种主动的个性化学习体验。纽曼将学习过程中的参与看作是行为参与、情感参与和认知参与的有机组合，这种划分思想得到了研究者们的普遍认同。在师生分离、生生分离的在线学习状态下，过程性评价子系统通过对行为（内容互动、学伴互动、师生互动、学习环境互动）、情感（兴趣、成功、焦虑、厌倦等），以及认知（记忆、理解、运用、分析、评价、创造和知识掌握等）三个维度的学习参与评价，分析学习个体多方面潜能的自由发展和个性化表现。

学习效果是在线学习者完成课程学习之后能力提升的程度，增值是学习效果的主要表达方式。阿斯汀的学生参与理论（Student Involvement Theory）将学习效果解释为能力获得程度的认定，从动态角度解释了学习质量的提高过程，受到广泛关注。在参考阿斯汀思想的基础上，系统根据过程性评价理念和在线学习的特征，从高层次思维能力（探究问题的能力、批判思维的能力、创造性思维能力，以及知识的综合应用能力等）、知识应用与实践能力（发现问题、解释问题、分析问题和解决问题的能力）、在线协作能力（交流、沟通与在线协作学习能力）、自我学习与发展能力（自主信息收集与阅读、信息整合与终身学习能力等）和其他综合能力（学科视野、创新能力、信息素养）等五个核心内容出发，展开学习效果过程性评价。

通过评价子系统提供的学习质量反馈信息，在线教学者可更清楚地了解学习者的学习状态和效果，对教学策略展开反思与内省，并針对个体差异展开积极的引导、干预和学习路径调整推荐。在线学伴从协作视角判断过程性成果价值，通过协同与互助等方式共同构建良性的同侪互动。利用来自于评价子系统、教学者和学伴的反馈信息，学习者能更好地认识自己的优势和不足，及时纠正问题。

过程性学习评价强调，课程知识内容的建构是有意义的观点和思想产生并不断改进的过程。大数据背景下，贯穿于在线学习始终的过程性评价在学习者个体知识的不断建构与发展中，实现在线教学、学习和评价的有机融合。

四、在线学习过程性评价系统的工作流程

在线学习过程性评价系统工作流程如图3所示，总共分为六个大的步骤，充分说明了大数据支持下的过程性评价嵌入在线学习之中的路径和方法。

第一步，学习者开展在线学习活动，并随之生成学习行为的数据，经过在线学习内容与服务模块，这些数据将被贴附时间戳标记。第二步，数据按照预定义结构存入学习者学习状态信息库。第三步，在线学习过程性评价引擎从学习者特征信息库和学习状态信息库中收集数据，依据不同的评价指标和内容，选择不同的方法和模型，对学习者的学习实施过程性评价。第四步，个性化诊断与引导引擎根据过程性评价引擎分析的结果，通过内容与服务模块为学习者提供有针对性的在线学习诊断服务，预测未来表现并发现潜在的问题，实施个性化引导。第五步，过程性评价引擎的分析结果被同步传递给评价信息可视化仪表盘，供在线教学者、学伴和专家使用，也提供给在线学习者，帮助其精准了解自己的学习过程和状态，开展自我评价和反思，提高学习绩效。第六步后，在线教学者、专家根据仪表盘提供的可视化反馈信息，及时评估学习者的进步和表现，必要时利用过程干预与互助引擎为学习者提供个性化的学习指导建议，帮助学习者规划学习路径；在线学伴则根据仪表盘信息，为学习者提供协助，实现学习互助与共同进步，持续提升个性化在线学习的品质。

五、结束语

罗杰斯认为“无论对现在还是将来，督促受教育者学会如何学习，都是评价真正有价值的东西”。过程性评价是一对一个性化自主学习过程的重要组成部分，教育大数据技术为实现在线学习的过程性评价提供了可能。

文章对大数据支持下的在线学习过程性评价特征进行了剖析，并从在线学习活动数据的记录、处理与存储、融合、分析和过程性评价等五个方面设计构建了大数据背景下的在线学习过程性评价系统。最后，分析了系统的工作流程，为提供更加高效、精准和个性化的在线学习与评价服务提供参考。在下一步的研究中，项目组准备采用德尔菲法对系统进行进一步的完善，以提高其信度和效度。同时，在系统实现的基础上，推动在线学习过程性评价服务的多学科应用和模式创新。