开放教育环境下移动学习效果评价体系研究

2024-01-12李海波许小媛

职业技术 2023年12期

李海波,许小媛

(江苏开放大学信息工程学院,南京 210017)

0 引言

随着移动互联网技术的不断发展,基于手机终端的移动学习在开放教育中得到了快速应用和发展,被越来越多的成人学习者群体所接受。与传统的网络学习相比,作为开放教育的一种辅助教学形式,移动学习完全解决了网络教育在空间和时间的限制,具有灵活性、个性化、交互性和即时性的特点,可以为学习者传递丰富的学习资源,[1]满足学习者的多样化、个性化学习需求。基于移动学习平台学习者可以随时随地进行学习,教师也可以开展丰富的教学活动,为学习者提供个性化、多元化的移动学习支持服务,促进“人人皆学、时时能学、处处可学”。由于移动学习的内容及学习方式与在线学习有明显差异,传统的评价方法及指标评价学习效果的模式并不适用于开放教育环境下的移动学习。2020年,中共中央、国务院印发的《深化新时代教育评价改革总体方案》明确提出“系统推进教育评价改革,改进结果评价,健全综合评价,针对不同类型教育特点,分类设计,促进学生全面发展的评价办法更加多元”。因此,评价开放教育学习者移动学习效果对于推进教育评价改革、促进开放教育高质量发展具有重要意义。

1 移动学习效果评价研究现状

在“互联网+教育”背景下,移动学习极大地提高了学习的可获得性,有助于提高教学效果。近年来,移动学习逐渐流行,备受研究者的关注,已经有学者对移动学习效果及其评价开展了实证研究分析。如马宁生等通过研究学生在线学习成绩与登录时长、答题次数、知识结构类型、学生背景的关联性,构建了移动学习效果评价模型,以此来辅助学生进行自我评价和教师对学生进行客观评价。[2]公艳艳等通过对远程学习者移动学习的现状及存在问题进行分析,从互动交流、移动平台、教学资源、教学支持服务和人文环境等方面对移动学习模式的效果进行了评价。[3]栗娟等从知识与技能掌握情况、学习效果考核、平台学习满意度三个方面构建了基于微信平台的应急救护移动学习系统混合式教学模式及形成性评价体系。[4]然而,目前的研究整体上还处于探索阶段,学习者对于移动学习的满意程度,学习后知识和技能的掌握程度、行为变化情况以及移动学习对学习者职业发展成就的影响等研究还相对较少,对于开放教育环境下移动学习效果的评价仍缺乏深入的研究。

2 移动学习效果评价体系的理论基础

层次评估模型由美国著名教授Donald L.Kirkpatrick于1959年首次提出,又称为柯氏评估模型。该模型是目前培训领域应用最广泛、认同度最高的培训评估工具之一,并在实践中不断发展。[5]在教育领域,也有学者运用柯氏评估模型对教育教学质量评价体系进行了探索和实践。蔡芸等运用柯氏评估模型进行了高等教育质量评价体系的构建。[6]赵志群教授基于“柯氏评价理论”,确定了职业教育学业评价的四个基本层次,即反应层、学习层、行为层和结果层。[7]吴春林等基于过程导向的柯氏评估模型的思路,从课程教学、学术锻炼、实践培训和论文答辩等多个环节,构建了学术型与专业型硕士生培养质量的多元评价体系。[8]杨莹依据柯氏评估理论,结合中小学教师网络学习的学习者特点、学习内容、学习平台等方面的特征,构建了“中小学网络学习绩效评估模型”。[9]邓洁华通过柯氏评估模式的实际运用,进行了“管理学”课程思政教学评价改革研究。[10]

柯氏评估模型的核心框架由依次衔接的反应层、学习层、行为层和结果层四个评价层次组成,如表1所示。第一层级是反应层,主要评估学员对培训的满意程度,关注学员对培训项目的主观感受和情感,如对培训场所、课程、内容、方法、组织以及自己收获等方面的看法。第二层级是学习层,主要评估学员的学习获得程度,是测量学员在培训过程中或结束时,对原理、知识、技能等方面的理解掌握程度及参与培训活动的程度。第三层级是行为层,主要评估学员的知识运用及熟练程度,是指学员在培训结束后,在学习习惯、学习能力等行为上是否发生变化,是否能够在工作和学习中运用培训中学到的知识和技能。第四层级是结果层,主要评估学员的培训效果,通过培训能否给企业或部门带来直接的贡献,创造出经济效益和社会效益。

表1 柯氏层次评估模型

与传统的学习效果评价重结果、轻过程不同,柯氏评估模型四个层次之间层层递进,不仅关注学习者的学习效果,更关注学习者在学习过程中的感受、知识、技能、行为等方面的动态变化情况,以及产生的社会影响。[11]将柯氏评估模型运用于开放教育移动学习效果评价中,与移动学习效果评价结合起来,可以通过分析各层级学习成果情况找到开放教育教学过程中薄弱之处,提出有针对性的建议,进而提高开放教育教学质量。

3 开放教育环境下移动学习效果评价体系的构建

对学习者移动学习效果进行有效的评价是开放教育教学质量的重要保证。本文在柯氏四层评估模型的基础上,围绕开放教育环境下成人学习者的移动学习过程,确定移动学习效果评价体系构建原则,详细分析各层次的评价内容,遴选具体的评价指标,从而构建移动学习效果评价体系。

3.1 移动学习效果评价体系构建原则

开放教育环境中的移动学习过程包含三个要素:移动学习平台、学习者和学校。移动学习平台是移动学习模式实施的主要学习载体,学习者是移动学习的主体,既是评价的主体,也是评价的对象,学校是移动学习的组织方。因此,在构建移动学习效果评价体系时,需结合柯氏四层评估模型理论,围绕上述三个要素,确定各层次相应的评价重点。具体包括:区别于传统的学习效果评价,反应层重点关注学习者对于移动学习的主观情感;根据成人学习者在岗在职学习的特点,学习层关注学习者专业知识和技能掌握程度的同时,重点关注学习者的学习能力和学习参与度;根据移动学习的自主化、个性化特点,行为层重点关注学习者在学习过程中行为的动态变化,包括学习理念的树立;根据成人学习者所处的工作环境和社会环境特点,结果层关注学习者学习后的专业发展成就及对高校声誉的影响。

3.2 移动学习效果评价体系分析

3.2.1 反应层评估

反应层评估关注学习者对于移动学习的主观感受,在开放教育领域,关注的是对学习者的情感反应和效用评价。

在评估学习者对移动学习的反应时,可以从移动学习平台、学习资源、教学设计和学习评价四个评估指标出发,观测学习者对移动学习平台的建设水平、易用性、流畅稳定性、用户体验的满意度,对学习资源的实用性和完整性、课件质量、视频质量以及资源的个性化、多样化、趣味性的满意度,对教学目标设计、教学内容设计、教学活动设计的满意度,对学习体验、学习反馈与评价、学习资源的可获取性等情况的满意度。可以采取的具体措施包括:在移动学习过程中或者学习结束后的某段时间内,向学习者发放满意度调查问卷或者进行访谈、座谈,直接获得学习者对移动学习模式的反应和感受;或者由教师在教学中观察学习者的学习反应,来间接推断学习者对移动学习模式的反应。该层级的评价可选择在移动学习过程中或学习完成后进行,属于过程性评价。学习者对移动学习平台提供的学习支持服务的接受度和满意度直接影响学习者对移动学习的整体满意度,从而影响学习效果,因此这一层级的评价非常有必要。

3.2.2 学习层评估

学习层评估关注对于学习者在移动学习模式下所取得的学习效果进行检测和评估,在开放教育中更加关注学习主体的知识和技能掌握程度以及学习活动的参与程度。此环节是对移动学习效果评价中至关重要的一个环节,能有效地反应该移动学习模式的实施情况和移动学习效果情况。[12]

在评估学习者的移动学习效果时,可以从学习能力、专业知识、专业技能和学习参与度四个指标出发。针对学习能力指标,可以通过自主学习任务、互动讨论、小组作业等来观测学习者是否具备移动学习环境下的自主学习能力和协作学习能力。针对专业知识指标,可以通过课堂小测验、单元测试、期末考试等方法来观测学习者对学习内容的理解程度和对专业知识的掌握程度等。针对专业技能指标,除了以上方式外,还可以通过现场操作、实际项目实施等方法来观测学习者对专业技能的实践操作能力,评价学习者在学习基础知识之后在技能应用上是否提高。针对学习参与度指标,可以通过移动学习平台实时记录和统计学习者的登录学习次数、学习资源阅读次数、资源检索次数、参与话题讨论次数,以及构建并分享学习资源数量、分享资源被采纳数量等,即从学习活跃度和内容贡献度两个方面观测,综合判断学习者的学习态度。对学习效果的评估是一个持续的过程,可以选择在移动学习完成期间或之后进行评估,因此,该层级评估结合了形成性和总结性评估方案。[13]

3.2.3 行为层评估

行为层评估关注学习者在学习后对学习内容的运用熟练程度,是否将学习获得的知识和技能应用到实际工作中,完成知识的迁移,是否在学习行为和学习理念上产生积极的变化。

开放教育学习者主要是社会在职人员,社会阅历和工作经验较为丰富,在评估学习者的行为变化时,可以从知识运用、学习迁移和学习理念三个指标出发。因此,针对知识运用指标,可以从学习者能否将所学知识与技能熟练运用到实际工作中,运用的程度如何等方面进行观测。针对学习迁移指标,可以从学习者能否将移动学习获得的知识、技能或态度对工作表现形成影响进行观测,设计职级提升、职业资格认证、获得奖励数量、专利数量等显性指标。针对学习理念指标可以从学习者开展移动学习后是否产生主动有意识的行为,树立了自主学习、全面学习、创新学习、终身学习等方面的理念进行观测。行为变化是个动态长期的过程,学习者的行为变化不会立即显现,可能发生在学习结束后很长的一段时间里。因此,该层级的评价属于总结性评价。

3.2.4 结果层评估

结果层评估是对学习成果进行评估,关注的是学习者在学习后是否将所学知识、技能和态度运用到实际中,并给组织、部门带来直接和间接的利益。

将结果层评估维度应用到开放教育环境下移动学习效果评价中,不仅表现为移动学习对学习者专业发展质量和职业发展成就的影响,还可体现在服务社会的能力以及对高校社会声誉的影响等。在评估学习者的学习成果时,可以从职业发展、社会服务和社会声誉三个指标出发,可以使用跟踪调查、绩效评估等方法,对成人学习者远期成果的影响进行调研,邀请用人单位对高校的人才质量做出评价、评估公众对高校教育服务的认可度等方式来实现。高校的社会声誉是指公众对学校的主观或客观评价的集合,体现了一所高校在社会公众眼中的形象,对高校社会声誉进行评价是互联网时代高校评价的重要环节,[14]可以从认可度和美誉度两个指标来评测社会公众对于一所高校的评价,借助大数据技术手段,通过关键词聚类对公众在自媒体渠道的评价性信息进行采集获取。

3.3 移动学习效果评价体系的构建

根据开放教育的实际教学情况,基于移动学习效果评价体系的具体分析,参考目前国内外研究中学习效果评价指标的选取,结合柯氏评估模型的四个维度,进一步明确评价内容、评价方法、评价阶段和评价类型,并筛选评价指标,将指标具体细分为15个二级指标和41个三级指标,具体的开放教育环境下移动学习效果评价体系如表2所示。

表2 移动学习效果评价指标体系

4 实施开放教育移动学习效果评价要注意的问题

本文构建的基于柯氏评估模型的移动学习效果评价体系,是一种适用于开放教育形式的评价模式,在具体的评价实施过程中,需要注意以下几个问题。

4.1 构建可操作的指标体系

初步形成移动学习效果评价体系之后,还需对指标进行筛选,保证最终指标体系对于开放教育移动学习效果评价的针对性和有效性,并依据专业人才培养目标和课程性质,能全面反映移动学习效果的各个维度及主要指标和观测点。例如:可以通过德尔菲专家问卷法和因子分析法对移动学习效果评价指标划分的合理程度和指标文字表述的合理程度进行修订和验证,确定移动学习效果评价体系各级指标。为了保证评价体系的科学性,在实际应用中,需要通过科学方法进一步明确各级评价指标的权重系数,避免主观分配权重所带来的偏差,影响评价结果。

4.2 注重移动学习前后的效果比较分析

移动学习效果评价主要发生在学习过程中和学习结束后,因此无法观测到学生在参加移动学习前的感受、学习态度、知识与技能、社会服务能力等,因此为了观测到移动学习前后的更深层次的变化,在移动学习开始前,评估者需要针对学习者及所在学校和企业进行调研、访谈,了解在移动学习前的学习认知、专业技能、创新能力和学习理念等,为后期的评价提供对照样本。为保证评价结果的及时有效,需要针对各层次的评价特征,选取合理有效的时间和评价方法对评价对象及时做出评价。

4.3 实施评价的保障条件

针对开放教育成人学习者的移动学习效果评价,是一项复杂的工程,从移动学习的实施准备、开展到评价反馈都需要有效的管理制度和经费保障。企业和学校需要建立健全实施移动学习评价的管理制度,保障移动学习的推广及运用,提升学习者参与移动学习评价的积极性和主动性,并保证评价结果能够被企业、学校和教师所运用,促进企业发展和高校教育教学质量的提升。[15]在移动学习效果评价的实施过程中,行为评估和成果评估需要长期的跟踪观察和测量,需要花费较多的时间和精力,存在着执行难的问题,需要一定的经费保障移动学习效果评价能够全面实施。