基于学习分析的创客学习效果评价方法研究

占亚剑

（广东机电职业技术学院，广东 广州）

教育部在2016年发布的《教育信息化“十三五”规划》提出，要积极探索信息技术在“众创空间”、跨学科学习、创客教育等新型教育模式的应用。当前，国内众多高校通过开展面向创客的创新创业教育来提高学生的创新意识和创新能力，培养创新型人才。然而，创客培养作为一种教学活动类型，如何使之有机融入高校学科专业人才培养，探索高校创新创业教育改革的可行路径已成为学界研究的热点，在这其中，教学评价视域下的创客学习效果评价是对其价值潜能和积极作用进行判断的关键。本研究基于学习分析相关理论及技术，构建创客学习效果评价模型，并利用K-means聚类分析算法，刻画学习者学习过程画像，探索创客学习效果评价的量化分析方案。

一 学习效果评价与学习分析

（一） 学习效果评价的演变

评教评学是学习效果评价的重要方式，其理论基础源自不断发展的教学理论，如肯普提出的刺激反应学说、奥苏贝尔的认知同化学说和维特罗克的建构主义学说。以建构主义为代表的当代教育理论认为，学习是主动建构和生成意义的过程，学习过程不完全依赖教师传授的知识信息，更主要的是完成主动构建信息意义的生成过程。因此，以学习为中心的教学思想逐渐替代了以教为中心的传统教育观念，教师和学习者的地位、作用发生了根本性的转变。对于“评教”而言，“评学”的重要性变得更为突出。然而，学习的过程属性决定了学习效果蕴含在学习结果和学习过程中，单纯依据学习结果还是跟踪学习过程的综合评价成为“评学”有效性的关键问题。显然，依据学习成绩的结果性评价不能全面刻画学习者的学习情况，学习者学习过程的评价则能够较全面反映出学习者的个体差异、内部和外部的学习特征，还可以发现学习过程中潜在的问题并预测未来表现。但随之而来的问题是，描述学习者学习过程的数据量非常庞大，并且学习者样本数量众多。面对如此海量的数据，如何挖掘、分析和利用是一直以来困扰教育工作者的难题。

（二） 学习分析技术溯源

大数据挖掘技术在教育领域的创新发展，以及e-learning相关技术的广泛应用促进了学界对教育数据挖掘（EDM）领域的研究。教育数据挖掘以计算机算法和信息技术为手段，从各种学习支持或教育信息管理等系统中提取有价值的数据并导入预设模型，实现教育过程自动检测，为学习者学习质量评估、教学效果反馈和资源使用绩效提供量化依据。全球性学术组织国际教育数据挖掘协会于2008年举行了第一届教育数据挖掘国际会议，引发学术界对EDM的兴趣与探索。诸多技术手段如统计分析与可视化技术、关系挖掘、预测和聚类算法得到广泛应用，技术促进学习（TEL）的理念逐渐成为学界共识，利用数据分析改进教学、运用技术变革教育的时代已然来临。

学习科学理论认为，学习的本质是行为能力的持久固化，是一种具有过程属性的活动。因此，对教育过程的评价并不能替代对学习过程的评价，学习过程是学习效果最有效的预测依据。国外学者试图采用教育数据挖掘技术，回归学习本位，开拓了以采集、分析学习过程中数据信息为主要手段的学习数据挖掘研究领域。2011年，德州大学Siemens教授、阿萨巴斯卡大学Dragan教授和悉尼理工大学Shum教授等知名学者发起成立学习分析研究学会（SoLAR），并创办了学术期刊《学习分析》。学习分析研究学会在学习分析领域是世界公认的顶尖研究机构，每年举办学习分析与知识国际会议。此外，德克萨斯大学学习创新与网络化知识研究实验室、英国开发大学知识媒体研究所和美国高校教育信息化协会等机构将学习分析作为重点研究项目，学习分析已成为目前教育研究的热点领域之一。

二 学习分析的研究框架及相关技术

（一） 学习分析的理论研究框架

Siemens提出基于工作流程的分析框架，包括学习者及学习过程的数据采集、监控、分析预测和反馈等四个过程阶段。德国亚琛工业大学Chatti认为学习分析的流程包括数据采集与清洗、数据分析与预测、分析及后处理等环节，提出学习情境、分析过程、技术手段和参与主体的四维度分析框架。在此基础上，Elians将学习分析的资源要素从工作流程中分离出来，提出了一个由四个资源要素和六个分析阶段组成的改进型分析框架。四个资源要素指包括学习者、教育者、学习系统和分析模型。与此类似，荷兰开放大学Greller和Drachsler利用四个资源要素和两个约束条件对应的六个关键领域来建构分析框架（见图1粗线条方框），他们认为每个关键领域中都包含若干个子项目，每个子项目在分析流程中都有具体的指代，子项目并可以根据学习分析的设计需要进行扩展，该框架被学者们认为是学习分析的通用研究框架。

图1 Greller和Drachsler提出的关键领域分析框架

研究框架是开展一项学术研究的路线图和方法论，诸多学者从多个维度为学习分析提供了研究框架，推动了学习分析领域的理论探索，为广泛开展的学习分析提供了重要的指导。然而，学习行为的多样性、复杂性使得学习过程呈现多模态特征，学习分析的研究框架的普适性和准确性难以兼顾，导致通用理论框架在分析实践中出现结构性缺陷，符合分析实践要求并能经受验证的理论研究框架仍然比较缺乏[1]。

（二） 学习分析模型的构建

分析模型是针对学习分析系统中对某一项流程或对象作为研究目标，对其进行特征描述和结论推导的通用分析工具。在学习分析领域，学习分析模型构建与实践走在理论研究框架的探索之前，如哥伦比亚大学Baker、美国高等教育信息化协会Brown和华东师范大学顾小清等学者尝试从描述性和预测性两个方面来建构分析模型，以更好地指导学习分析实践研究。学习分析模型刻画出的学习过程与学习者特征是否全面与科学，将影响到学习分析结果的有效性、客观性。

学习分析以学习行为研究为逻辑起点，聚焦学习者和学习情境，对学习过程实施科学的评判。因此，采集学习者的信息特征与学习者的知识建构过程等两个维度可来构建学习分析模型。学习者的信息特征是学习者的学习行为主体显性变量的集合，包括学习者的外显和内隐特征，外显特征主要指个体学习行为、社会性学习行为和学习成果等方面特征，内隐特征包括学习者情感状态、认知及元认知能力和认知策略等。对于学习者的知识构建维度，主要研究对象是学习者知识体系形成的过程，将学习者知识生成状态进行量化反馈，不仅体现了学习者的学习成果，还实时反映出学习者的学习过程是否达到既定标准，为判定学习者的学习效果、学习情境提供科学依据。在学习分析模型中，诸多特征变量并非独立存在，还具有一定的关联性。例如对学习者学习成果进行评价的过程中，通过查摆学习者在知识理解、分析和固化等方面的不足与缺陷，对学习行为进行修正优化，在反思性实践的过程中获得学习效果的提升，这个过程也就是学习者元认知能力和认知能力提升的过程。

1．学习分析数据的来源与采集。以采集技术来划分，学习分析数据通常可分为文本语义、生物识别和心理情感等三大类。数据采集需要借助相关工具或设备，如视频监控、生理感知设备等，不少学者为此开展了大量探索。如安德雷德借助图像传感器记录学习者在学习过程中的手部动作，分析学习者在学习情境中的外显行为特征；美国心理学教授埃克曼设计了面部动作编码系统（FACS），通过比对学习者面部表情的细微变化，判断其在学习行为中的心理活动特征；扎亚等人将学习情境中的文本和语义数据、学习者情绪调动程度和行为特征识别等数据信息融合，提出了基于学习过程的学习者多模态数据采集系统（EMODA仪表盘）。虽然物联网技术发展推动可穿戴设备、眼球追踪仪、视频监控等设备仪器应用于教学实践成为可能，但在课堂环境下采用大量监控设备存在伦理问题争议，加上生理信息采集需要特定的传感仪器支持，其侵入性较大，难以保证数据的真实性。另外，仪器设备的介入会影响学习者的过程体验，降低学习者的思维活跃度，数据真实性与准确性难以取得平衡，进而影响研究结果的可靠性。一般而言，轻量化设备更有适用于学习分析数据采集，利用伴随式采集方式可有效降低采集过程对数据的干扰。同时，借助学习者自我报告或专家观察的方式，收集学习过程中的质性数据进行校验拟合，进一步提高学习分析的准确性。

2．学习分析工具的设计及应用。常见的学习分析工具的设计思路遵循学习者中心、多元化、简约性和实用性等多个原则。基于若干个设计原则，结合学习分析模型，利用算法处理学习分析数据，可以实现学习分析工具的设计功能。例如，美国普渡大学采用的学习分析工具Course Singals，以学习行为目标达成率为预测变量，自动识别“风险学生”并实施预警干预；美国东田纳西州立大学采用D2L分析工具通过可视化的图表界面展示学习者的课程学习情况，并预测课程学习可能会出现的情况，帮助学习者优化学习，该工具的技术核心是名为Students Success System的学习分析引擎，可以对学习者学习过程实施动态监测[2]。

三 创客学习效果评价方法探索

创客学习是一种基于项目式的工程化实践学习，学习者通过“做中学”吸收显性的“编码知识”并转化为隐性的“默会知识”，在动手实践中培养创新创造能力。创客学习以项目行动为导向，项目实践结果并不能够全面反映创客学习效果，对学习过程的评价同样值得我们重视。基于学习分析理论框架，本研究尝试构建创客学习效果分析模型，利用创客在线学习平台数据和项目实践分布式成绩，采用聚类分析算法量化创客学习效果，技术路线图如图2所示。

图2 基于学习分析的创客学习效果评价技术路线

（一） 创客学习效果的分析模型

创客学习具有分散性、自发性、阶段性等特点，学习者未必具有相同的专业背景，一般以小组为单位开展学习实践活动，以某个或若干个项目任务为学习目标。我们认为，可以从学习者、学习参与特征、交互特点、认知发展等方面设计学习分析模型，考察创客学习过程与分布式项目任务的完成情况，实时反映学习者的学习效果，为学习者改进学习、教师优化教学提供参考建议。

（二） 创客学习效果的数据采集与处理

创客学习的过程是在工程化项目实践中将知识学习与能力培养有机融合、互相促进的过程。根据现代信息加工心理学理论，创客学习的内容可以分为陈述性知识、程序性知识和策略性知识。具体而言，陈述性知识是项目实践中涉及的有关理论知识，要解决“为什么”“是什么”的问题；程序性知识是在实践中的掌握的操作性知识，即对工程化项目“做什么”“怎么做”的认知；策略性知识是灵活运用陈述性知识和程序性知识的技能所必备的知识，体现学习者学会学习和对工程化项目创新迭代的能力。为更好地采集学习分析数据，本研究借助在线学习平台，并根据创客学习效果分析模型，将在线学习平台的学情数据进行分类，加入教师对分布式项目执行情况的打分数据，编制了描述学习过程画像的学习分析数据集（如表1所示）。在数据处理方面，把预处理后的学习分析数据分为四类，采用K-means聚类算法将每个学习者的学习数据按不同类别划分为K个组，每个数据都从属于距离最近的聚类中心。由于所有数据聚合为K个簇，若K值过大，每个簇中的数据偏少将不利于分析。一般而言，教学班级的人数大多在50～100人，将簇数量定为8个较合适。在每个簇内，簇点的加权平均值为代表点数值，由此得到表征学习者学习效果的量化数据，对于学习者优化学习和教师实施教学干预具有统计观测与参考意义。

（三） 应用前景

基于学习分析的创客学习效果评价将定性与定量分析相结合，摆脱了评学评教对学习结果的过度依赖，将学习过程评价纳入学习效果量化评价，较好地回应了教学过程评价与教学结果评价相统一的教改要求。对于学习者而言，学习分析抽取学习过程信息刻画出学习者画像，帮助其调整学习策略、优化学习进程，实现学习过程监控与预警，确保学习者顺利完成学习任务。对于教师而言，学习分析能帮助教师洞察学习者个体和整体的知识理解、认知调节、参与情况以及学习者之间组织配合等多方面信息，有助于教师优化教学促进教学目标实现。

表1 创客学习效果分析框架

四 结语

本研究系统梳理了学习分析理论研究进展和相关技术路线，在理论层面深入讨论学习分析应用于创客学习效果评价的技术路线。本研究从学习者、学习参与特征、交互特点和认知发展等方面探索构建了创客学习效果评价模型，采用K-means聚类分析方法处理学习分析数据，计算簇点加权平均值得到基于学习者分组的学习效果量化数据。在实证分析中，我们发现创客学习效果分析模型中各子模对结论的影响并不相同，需要以系统化视角分解各评价子模块的权重准则，可采用层次分析法按不同层次凝聚组合，形成一个多层次分析结构模型。此外，本研究的实证分析工作还不够充分，聚类分析算法参数K选取、聚类均值计算方法都是需要深入研究的问题。