经验取样法(ESM):促进真实情境下的学习体验研究*
2019-11-15万力勇赵呈领
万力勇 赵呈领 许 梦
(1.中南民族大学 教育学院,湖北武汉 430074;2.华中师范大学 教育信息技术学院,湖北武汉 430079)
经验取样法(Experience Sampling Method,ESM),有时也译作“体验取样法”,是一种多次收集被试对生活中经历事件的瞬时评估,并对其进行记录的数据取样方法[1]。ESM采集的数据,可以真实反映当时正在发生的事情以及参与者在事件发生那一刻的想法和感受,相比于传统数据取样方法,其具有较高的生态效度。ESM最大的特点是在多个时间点反复收集个体的瞬时反应,通过捕捉这些即时性回应数据,精准测量被试的日常行为和体验。ESM在本质上是一种自我报告法,但由于参与者是在事件发生当下的真实、自然、自愿、自发的情境中进行自我报告,并且伴随在时间维度上的多次重复测量,因此,ESM被称为是一种“流动自我报告”(Ambulatory Self-report)和“密集纵向设计”(Intensive-longitudinal Design)方法。
该方法自20世纪70年代提出至今,已经被广泛应用于心理学和组织行为学领域,并已发展成为一种非常成熟的研究方法。我们从已发表文献来看,ESM在教育研究领域的应用,主要聚焦于学习者的学习体验方面。目前,这类研究文献数量较少,且基本都集中于国外,相关研究者对ESM的认知尚待深入。鉴于此,本文将在厘清ESM的理论基础和方法源流的基础上,对该方法的操作框架进行介绍,系统阐述其在学习体验研究领域的适用性、优势和具体应用,并针对其存在的不足提出相应的优化方案。
一、经验取样法的发展源流
(一)理论基础
经验取样法的提出,同时受到德国哲学家胡塞尔(Husserl E.)所倡导的“纯粹现象学”和美国心理学家詹姆斯(William James)所倡导的“实用主义”的启发与影响[2]。胡塞尔认为,我们能够真正认识的唯一事物是我们个人意识流中所呈现的事件。与行为主义者只关注个体的行为所不同的是,现象学家只关注心理过程。纯粹现象学的局限性在于,个体在意识中所呈现事件的方式是基于认知图式的,这些图式往往以语言惯例和具有特质的表达方式为基础。因为个体用来解释事件的过滤器会发生变化,所以,个体对事件的看法或感受也很容易发生改变,而实用主义的部分观点可以克服这种局限性。实用主义者认为,心理学关注的最重要问题是“个体的注意力是如何被分配的”。个体的生活内容可以被视为数十亿经验的总和,在成千上万件需要关注的潜在事件或信息中,我们能注意到的只是其中的寥寥数件。因此,个体的注意力被视为其生活所需的“精神能量”。正是通过这种精神能量,我们能体验到生活中所包含的各种内容。
如果将纯粹现象学与实用主义进行整合,可以克服纯粹现象学存在的局限性,但二者整合需要解决的首要问题是如何对意识流中随时间变化的事件进行精确可靠的测量[3]。ESM的提出,正是对这一挑战的回应。芝加哥大学契克森米哈(Csikszentmihalyi M.)教授及其团队通过将“对生活经验的关注”与“使用实证研究工具”(包括可用技术、研究设计和统计分析)进行整合,于20世纪70年代首次提出了ESM,并将由ESM实现的经验测量,称为系统现象学(Systematic Phenomenology)[4]。历经 40 多年的检验和完善,该方法已经发展成为一种测量某一事物随时间与情境变化状况的可靠方法。
(二)方法源流
在早期基于自然主义的行为观察中,观察者可以获得关于个体活动以及活动发生背景的信息,但无法获得关于个体如何体验这些活动及其背景的信息,缺失了认知和情感维度的体验。此外,观察者要么局限于研究群体活动,要么在研究个体行为时必须考虑观察者的存在可能会对被观察者行为产生的影响。相较之下,要求个体记录他们每日经历的日记法,可以收集受访者的感知、思想、感受、行为和背景等信息,从某种程度上解决了行为观察存在的问题。然而,大多数日记法通常侧重于对个体活动和对时间利用信息的记录,很少用于报告主观体验;同时,日记法中个体对情节记忆的重建,也会让人质疑个体自我报告的准确性[5]。
ESM的提出,源于契克森米哈及其研究团队进行的一次有关心流体验(Flow Experience)的研究[6]。起初,为了收集受访者的心流体验数据,他们要求受访者回忆并记录白天所做的事情以及最愉快的时刻。然而,研究团队很快就对这些报告的枯燥性和同质性感到失望。怎样从受访者意识流中获得横截面数据而不用全天跟踪受访者,是研究团队迫切需要解决的问题。在当时,寻呼机(Pagers)是一种很流行的大众通讯方式,于是他们萌生了使用寻呼机触发受访者自我报告的想法。在该研究中,契克森米哈等为每个受访者配备了一部寻呼机,每隔一段时间向受访者随机发送电子信号,受访者收到信号后马上将当时的心理体验情况记录下来。研究者发现,即使只有一个受访者,在使用这种方法后所产生的数据的丰富性,也是令人难以置信的。ESM将自然主义行为观察的高生态效度与日记法的非侵入性和标准问卷测量的精确性相结合,通过在事件发生瞬间对用户的体验进行取样,避免了每日或每周回顾相关经历和体验所带来的潜在误差[7]。
二、经验取样法的操作框架
ESM通常需要借助信号发送工具和信号接收工具,让被试在接收到信号后的短时间内对调查项目作出回应,并涉及多次的重复测量,操作要求较高[8]。因此,该方法有一套系统严格的操作步骤和操作方法。
(一)操作步骤
ESM在具体操作上主要包括五个步骤,如图1所示。
图1 ESM操作步骤
(1)确定研究所需的资源。首先,需要确定开展研究的人力资源。一般ESM研究团队应由至少两名专业研究人员和相当数量的研究助理组成,每个研究助理都需要经过专门的ESM培训[9]。对被试而言,需要按照实际研究目的、参照条件要求,对被试进行招募。其次,需要确定平台资源。ESM可以使用计算机化的方法(Computerized Method)或传统的纸笔方法来收集数据。两种方法在实施上各有利弊,选择好数据收集方法后,需要确定与数据收集相关的硬件资源和软件资源。
(2)设定研究参数。这里的研究参数主要指采样方式和采样周期。首先,根据研究对象的具体特征及数据,获取框架确定数据采样的方式。其次,根据目标样本数和预期回应率来确定采样的时间间隔和周期。
(3)选择采样工具和软件。这里的工具主要指用于接收提醒信号或进行数据采集的设备,比如,寻呼机、可编程手表、个人数字助理(PDA)、智能手机等;软件主要指经验取样程序(Experience Sampling Program,ESP),借助ESP可以进行数据的数字化采集。
(4)开展ESM数据采样。根据操作手册对被试进行软硬件操作方面的培训。在采样开始前,应首先对采集工具和软件进行调试[10]。在采样进行时,要及时存储和备份采样数据,采取一定的措施确保被试始终具有较高的参与动机并能保持持续参与,直至ESM采集过程完成。
(5)数据处理与分析。ESM数据采样完成后,首先需要对数据进行处理,处理完成后进行数据分析。对数据的处理过程,主要包括数据清洗(Data Cleaning)和数据编码(Data Coding)。数据分析是指采用相应的质性分析或量化手段对数据进行分析,探索被试行为与体验的整体模式及各研究变量间的相互影响关系。
(二)操作要点
1.被试选择
从基本条件来看,只要具备一般行为能力,能够进行读写并操作相关设备的人群,均可以作为ESM研究的被试。阅读和写作能力不佳的人群、7岁以下儿童、功能性文盲者以及听力障碍者不适合参与ESM研究。在被试数量方面,ESM没有特别要求,即使只有5-10名被试的研究,也可以产生足够数量的数据,可以在统计分析中可靠地使用。
因为ESM在实施时涉及多次重复取样操作,被试需要频繁地接收信号并即时回应,所以必须始终保持高度注意力和参与积极性[11]。同时,持续多次的信号提醒,不可避免会对被试的日常生活产生干扰,因此,被试能否持续参与,是ESM研究过程中需要重点关注的问题。这就要求研究者采取一定的措施来确保被试始终具有较高的参与动机,比如,给与被试内在或外在的激励等。内在的激励措施包括与被试达成某种共识,建立稳固的关系,或者向被试阐明该研究的价值,让被试感觉到自己参与行为的社会价值等;外在激励措施包括向被试支付一定的酬劳或给与一定的物质奖励等。
2.设备工具
ESM研究工具主要有两种类型:一种是信号提醒与问卷分离工具,另一种是信号提醒与问卷集成工具[12]。早期ESM研究主要采用的是信号提醒与问卷分离工具,即被试通过信号接收工具接收到提醒信号后,人工填写纸质问卷。最早期的信号接收工具是带震动功能的寻呼机,随后出现了可编程手表,这些手表能存储数百甚至数千个预编程信号。手表可以为每个参与者量身定制个性化的时间表,并且比寻呼机更易携带,其缺点是需要较长时间来进行编程。在问卷填写方面,纸笔方法是一种简单便捷的方法,但其最大缺点是需要将填写后的纸质问卷结果,进行编码并手动输入为数字格式,由此会带来时间延迟以及人为输入错误的风险。随后出现的计算机化方法解决了这一弊端,它通过计算机编程方式,不仅可以自动将被试填写的数据保存在数据库中,而且可以准确记录被试的响应时间,提供有关响应率的反馈。
这种方法主要通过PDA(Personal Digital Assistant,个人数字助理)来实现,参与者通过操作PDA,其应答数据直接输入和存储于PDA中,使研究过程变得快捷高效。使用PDA开展ESM研究的局限性,在于无法获取参与者的物理位置,同时,PDA采集功能较为单一。智能手机的出现,彻底解决了这一问题,ESP以程序或APP形式集成于智能手机中,使其一跃成为当前最为流行的ESM研究工具。
3.抽样方式和间隔
ESM的抽样方式主要可以分为三类:时间抽样、事件抽样和混合抽样[13]。时间抽样又可分为固定时间抽样和随机时间抽样。固定时间抽样指参与者在同一时间段(例如,在每天早晨、下午或晚上)或定期(例如,每小时)完成自我报告。固定时间抽样非常适合于研究相对频繁的体验,因为体验可能发生在报告时或每个间隔期间。随机时间抽样指在一天中的不同时间随机报告被试体验,适合于采集当下正在进行的目标行为。事件抽样指参与者在某个特定的事件发生时进行报告,这种取样适用于研究在日常生活中不太常见或相对罕见的行为或事件,这些行为或事件可能不会出现在特定信号或给定的间隔内,比如,对被试说谎行为的报告等。混合抽样,顾名思义,是指同时采用时间抽样方式与事件抽样方式开展研究,主要适用于相对复杂的研究情境。
抽样间隔的设置一般基于四种考虑:(1)对个体发生特定现象所需观察数量的稳定估计;(2)目标时间和状态的自然发生率;(3)参与者所承担的抽样负担;(4)参与者对预期参与目标的执行和遵守情况[14]。已有的研究显示,不同研究所采用的采样间隔差别很大,从一天7次到一天2-3次不等。
一般来说,对于时间抽样,采样间隔时间应相对短一些,从而可以捕捉被试体验中的重要波动;而对于事件抽样,采样间隔时间应足够长,以适应特定体验的发生周期。在ESM研究时间的跨度方面,尽管已有相关研究显示,ESM研究所需时间跨度从一天到多达几周甚至几个月不等。但根据契克森米哈等人的研究结果,一般ESM研究最常使用的时间跨度范围为一周,因为一周已经可以产生足够数量的具有代表性的数据样本[15]。比尔(Beal D.J.)和韦斯(Weiss H.M.)也通过研究指出,对于持续时间超过三周的ESM研究,其数据质量随时间增加反而会降低[16]。
三、经验取样法在学习体验研究中的适用性及优势
学习体验是指学习者在亲历学习过程时所产生的主观感受,具有个体性、动态性、复杂性和互动性等特点。学习体验不仅包括个人经历维度的体验过程和学习结果,也包括社会互动维度的体验交往和价值判断;学习体验既是一种瞬间的感受状态,同时,又是一种动态的体验历程;学习体验并不简单地等同于认知体验,同时还包括了情感、操作和价值等多个维度的体验内容[17]。与传统调查法(如,访谈、标准化问卷调查)相比,ESM在学习体验数据采集方面的不同之处,具体如图2所示[18]。
图2 ESM与传统调查法的区别
第一,ESM数据采集具有即时性和瞬时性,而传统调查法在数据采集上往往相对于事件发生时间具有滞后性;第二,ESM数据采集过程具有重复性,采集的数据能体现个体随时间变化的纵向特征,而传统调查法只能获取一次性的横截面数据;第三,ESM研究具有实效性和一定的前瞻性,而基于传统调查法的研究往往属于回顾性和回溯性研究。基于以上区别,ESM在学习体验研究中的适用性和优势,具体体现在以下四个方面:
(一)实现了对学习者学习体验数据的即时采集
在ESM研究中,当提醒信号以短信、震动或蜂鸣的形式出现在参与者的信息接收工具中时,参与者首先被问到的问题是:“你在哪里?”“你在做什么?”“你和谁在一起?”“你正在想什么?”“你还在做一些其他的事情吗?”“请你告诉我一些你刚结束的课程的事情”等等。这些问题可以让研究者掌握有关学习者日常学习的基本情况,而即时采集信息是传统问卷方法所无法做到的。此外,诸如兴趣、愉悦感、兴奋感、挑战感、技能、专注力等衡量学习者具体体验的描述性指标,也可以被瞬时报告,并以多种评级方式记录下来。相关文献研究中所涉及的主要学习体验指标及其在ESM中对应的问题,如表1所示[19]。
表1 学习体验的主要指标及其对应问题
由此可见,ESM通过要求参与者在随机或特定时间内完成简短的开放式调查与封闭式调查,并同时获取学习者主观学习体验的自我报告和这些体验发生的背景信息(地点、事件、同伴等),从而有效实现对学习者学习体验数据的全方位即时采集与记录。
(二)提高了对学习者学习体验数据采集的精确度
通过测量学生 “正在进行时”的学习体验,ESM研究大大减少了传统自我报告数据中固有的回顾性误差。在传统自省法、问卷调查法中,学习者在回顾他们在某项学习活动上所花费的时间,以及他们在不同学习活动和情境中的感受时,所采集的数据在很大程度上依赖于被试对目标测题回忆的准确性。比如,令学习者记忆深刻的总是那些对自己意义重大或影响深刻的体验事件,他们对与之相关的测题反应会比较敏感,而对其他类型的测题反应会相对迟缓,甚至带有不确定性或猜测性,使得各测题对于个体来说具有反应差异性。由此导致的记忆偏差,会在很大程度上限制研究者对学习者真实学习体验的探查。
而ESM采集的数据,反映了学生即时的情感、认知、行为和社会性体验;同时 ,ESM数据收集方式避免了让学生竭尽全力去记忆中搜索之前发生的事情,整个数据报告过程也显得相对轻松自然。虽然,本质上属于自我报告的ESM数据并不能消除所有自我报告方法的固有性偏差,但让参与者在同时和原地进行体验数据报告,比传统自我报告方法,更加接近于参与者的真实体验。
(三)有助于对学习者学习体验模式进行多维描述
描述性研究可以让我们从不同侧面,了解学习者的日常体验内容。与传统基于人口统计学的描述性研究相比,基于ESM的描述性研究,致力于探索参与者学习体验发生的过程和本质,勾勒出这些体验的清晰轮廓,并对其体验过程进行 “画像”,进而帮助我们发现参与者学习体验的潜在模式和规律。借助ESM,主要可以从学业时间分配、体验发生频率和学习投入度三个方面,进行学习体验的描述分析。
学业时间分配主要是指学习者在校内外的时间是如何利用的、在不同体验活动上,分配多少时间,以及对时间的利用方式是否符合他们的个人发展目标。比如,学生在不同的教学活动(如,听讲、小组学习、自主学生等)上花费了多少时间?他们是如何体验不同的教学方法的?学生在课外对哪些活动的参与度最高?等诸如此类问题[20]。
体验发生频率主要是指学习者在学习情境中特定体验的发生频率,比如,可以使用ESM探索学习者与教师、父母、同伴之间开展社会交互的频率和模式,具体包括:学习者每隔多久会主动向教师提出问题?在学生的同伴交互行为中,与学业有关的交互占多少比例?在学习者的交互行为中,哪种类型交互的发生频率最高?等等。同时,现有ESM研究更关注学习者特殊体验的发生频率,比如,冲突性交互是交互体验的一种特殊形式,我们可以使用ESM来探索学习者之间冲突性交互的频率如何,学习者之间的冲突性交互与积极交互所占比例各是多少,等等。
学习投入度主要是指学习者将时间和精力分配在学习活动上的比例和程度,比如,对于某个学习者而言,他真正有多少时间投入到学习活动中,这种投入度是持续稳定还是存在波动性的。
(四)有助于跟踪学习者学习体验的动态变化过程
学习者的学习体验是一个动态变化的过程,会随着时间进程发生一定的变化。同时,学习者的学习体验是对外在情境刺激的实时反应和反馈,所以,当外在情境发生变化时,学习者的体验状态也会随之发生相应的变化。ESM可充分发挥在时间维度上的重复测量优势,一方面,让我们可以探测学习者的思想、感受和行为是如何随时间变化的;另一方面,通过解锁学习者的内部体验变化过程,使我们能够明晰外在情境和时间如何重塑学习者的个性化体验。
再者,ESM精心设计的时间间隔和数据采样机制,使我们能同时窥探学习者在学习体验中自然发生的变化和基于干预发生的变化有何区别,最终区分出哪些学习体验是与外在情境紧密关联的,哪些经验是与个体差异紧密关联的[21]。
在有关学习者学习体验动态变化的研究中,学习者的学习情绪、学习动机和学习参与是最受关注的几个方面。情绪会直接影响学习者个体对学习任务和情境的认知评价,如果情绪所提供的信息是积极的,那么个体倾向于产生积极的认知,对学习充满期待;反之,则会产生学习倦怠[22]。学习动机和学习参与往往会同时出现在研究文献中,学习动机会直接影响学习参与,而学习参与直接作用于学习绩效。因此,可以将学习参与视作是联系学习动机与学习绩效的纽带。ESM通过对各个时间点情绪体验和相应调节数据的分析,有助于我们总结出学习者学习中情绪动态变化的模式;通过动态测量学习者的学习动机、学习参与和学习绩效数据,有助于我们了解三者随时间变化的趋势、三者之间的关系以及这种关系随时间变化的趋势等。
四、经验取样法在学习体验研究中的具体应用
经验取样法在学习体验研究中的应用尚处于起步阶段,我们通过搜索两大知名学术数据库Web of Science和Scopus,共检索到使用ESM研究学习体验的学术论文38篇。采取点面结合方式,首先,从研究内容、研究设计和数据分析方法三个方面,对这些文献进行整体分析,随后选取部分典型应用案例进行具体分析。
(一)研究概况
1.研究内容
通过对这些文献的研究主题进行归类和分析,发现现有研究主要集中在学习者参与、学习者情绪、学习者日常体验和学习者心流体验四个方面,具体如图3所示。
图3 基于ESM的学习体验研究概览
(1)学习者参与。学习者参与既包括学习者通过参与与媒体和内容的交互来进行自主知识构建,同时也包括个体与其他学习者建立和维持互动关系的复杂过程;也有学者将学习者参与看作是学习者对学习社区的归属感和依附感的一种表现形式[23]。一般来说,学生的学习参与包括行为参与、认知参与、情感参与和社会性参与四种形式[24]。
有相当数量的研究者使用ESM来检视学生在不同参与维度(行为参与、认知参与、情感参与和社会性参与)上的具体体验。如,舍诺夫(Shernoff D.J.)等人通过比较学生在特定学科领域的参与意向,发现与学术性课程(如,英语、科学、数学)相比,高中生通常更愿意参与到非学术性课程(如,计算机科学、艺术和职业指导)中[25];帕克(Park S.)等人引入自我决定理论(Self-determination Theory),采用 ESM 来检视三种心理需要(自治感、胜任感和关系感)对学生情感参与的预测作用[26]。
基于学习者参与具有多维性和情境敏感性等特点,在学习者参与研究中,对学习者参与度的测量既是重点也是难点。ESM是解决该问题的理想工具,衡量学习者参与度的多个指标,都可以通过ESM来进行精确测量。比如,舍诺夫等人从专注度、兴趣、愉悦感和注意力等方面来衡量学习者的参与度[27];亚伊尔(Yair G.)将注意力(学生的思维与学习任务的一致性)作为衡量学习者参与的重要指标[28];帕克等人从兴趣、专注力和愉悦感三个方面,来测量学习者的情感参与度[29]。
学习者参与的影响因素也是ESM研究所关注的重点,相关研究分别从“个体层面”和“个体间层面”,系统探讨了性别、课程科目、教学方法、教学环境和座位等因素对学习者参与的影响。代表性研究如米兰西(Milesi C.),采用ESM来评估男女大学生参与计算机科学研究的差异性,使用均值比较和多层回归分析,来比较男女学生的课程注册和持续参与模式[30]。
(2)学习者情绪。情绪是个体在发展和社会适应过程中对刺激的反应倾向,具有多样性、动态性、情境性等特点[31]。在教育情境中,学习者情绪主要指学习者的学业情绪。学业情绪是与学生学业相关的各种情绪体验,包括高兴、厌倦、失望、焦虑、气愤等;同时,包含了学生在课堂学习、作业完成以及考试期间的各种情绪。在学业情绪的测量方面,传统研究主要采用以问卷为主的自我报告法和以情绪体验实验为主的实验法。问卷法的不足在于无法测量情绪的动态变化过程,同时情绪往往具有很强的情境依赖性;而实验室环境下情绪测量的结果,能否在真实的学习情境中进行推广,值得商榷。ESM作为一种针对情绪这个研究主体特性的研究手段,可以同时克服问卷法和实验法所存在的不足,也越来越得到相关领域研究者的关注。
ESM在学习者情绪测量和监测方面有独特优势。首先,ESM可以最大限度避免参与者的记忆偏差,在短时间内记录情绪的发生和调节过程,得出个体的情绪随时间发生变化的轨迹。其次,ESM通过对被试情绪进行重复测量,能有效支持采用纵向分析方法,对学习者情绪进行多变量、多水平、多角度的检测和分析[32]。在学习者情绪的测量和监测方面,代表性研究如利特马宁(Litmanen T.)等人所进行的一项关于师范生情绪体验监测的研究,包括两个测量周期,第一个周期主要包括讲授和小组学习,第二个测量周期采用基于探究的深度项目学习。分析结果表明,学生在以探究为基础的学习中,比以教师为中心的学习产生了更强的挑战经验与负面效应[33]。
除了对学习者情绪的监测和测量外,ESM还被大量运用于学习者情绪的影响因素研究中,探讨教学特征、教学行为、教师情绪、教学情境等因素,对学习者情绪的影响机制。比如,戈茨(Goetz T.)以121名学生为研究对象,从愉悦感、自豪感、焦虑、无助、厌倦五个维度来对学业情绪进行测量,使用ESM研究影响学习者学业情绪的核心因素[34];贝克尔(Becker E.S.)等人对教师情绪、教师教学行为与学生情绪之间的关系进行了研究[35];比格(Bieg M.)采用ESM分析了数学课中不同类型教学方法对学生情绪的影响[36]。
(3)学习者日常体验。作为一种兼具定性与定量测度功能的研究方法,ESM最广泛的定性应用是通过研究单个案例的细节,来阐释参与者特定的体验模式。这种描述着重于对某一时刻个体状态的精确刻画,并提供参与者行为、思考和主观体验感受的细节和信息。学习者的日常体验包括一般体验和特殊体验:一般体验主要指学习者常态化和模式化的体验内容,比如,每天做哪些事情、在不同活动上花费多少时间、哪些是学生最感兴趣的活动等;特殊体验是指学习者在学习活动中相对少见的偶发性体验,比如,学生在学习时的分心行为、做白日梦或学习倦怠、学习中断行为等。
在一般体验方面,早在1984年,契克森米哈和拉森(Larson R.)就采用ESM研究了青少年在学校内的日常活动情况[37]。该研究发现:在课堂上,学生们78%的时间里都在进行某种形式的学术性活动,其余22%的课堂时间用于社交、休息或做白日梦等活动;课堂上最常见的活动是个别化学习,大约占所有课堂行为的四分之一;他们同时发现小组协作和讨论等合作类学习活动相对占时较少,仅占课堂时间的10%左右。在特殊体验方面,凯恩(Kane M.J.)等人对本科生的负面学习体验——走神行为进行了探究[38]。在7天的周期里,参与者每天随机回复8次有关他们正在参与的任务和一些主观性的评价,包括他们的注意力是否从现有任务转移。该研究发现:当学生参与难度更大的任务时,工作记忆容量更高的学生比工作记忆容量较低的学生更容易保持注意力。
(4)学习者心流体验。在日常生活中,当个体投入某项活动或任务时,会达到一种完全投入甚或废寝忘食的状态,契克森米哈将这种独特的心理体验称为“心流体验”,并以此来解释个体全神贯注、心无旁骛、注意力高度集中,并且会过滤掉无关活动或不相关知觉的一种状态。专注力、注意、控制感、好奇、内在兴趣、愉悦感、挑战感是心流体验中较为集中的几个维度[39]。彼得森(Peterson S.E.)等认为,心流体验维度包括认知维度、情感维度和动机维度[40]。自契克森米哈创建ESM以来,心流体验一直是ESM的主要应用领域。在学习体验研究中,学习者心流体验过程和体验质量,也是研究者们着重关注的两个方面。
在心流体验过程方面,舒莫(Shumow L.)等人研究了在高中科学课上学生心流体验的影响因素[41]。研究结果显示,当教师的讲授侧重于内容、高阶思维能力培养和提问时,学生对自身心流体验(挑战、学习和愉悦感)的评级高于其他时间。在心流体验质量方面,彼得森采用ESM对大学生在协同学习(Cooperative Learning)和大组教学(Large-group Instruction)中的心流体验进行了比较[42]。舍诺夫等人通过记录五种常见的课堂活动(观看视频、讲授、小组活动、自主学习和测试)数据,从挑战、重要性、专注力和愉悦感四个维度评价了学生的心流体验[43]。
2.研究设计
在学习体验研究中,ESM主要用于从微观视角探索学习者学习体验的影响因素及相关规律。在具体研究设计上,包括学习体验变量随时间变化的规律及其对其他变量的影响和不同层次学习体验变量间的相互关系两大类。
(1)变量随时间变化的规律及其对其他变量的影响。当我们考察某一变量随时间变化的规律时,运用ESM进行多次重复抽样,可以获得每天内和多天间的多次数据,进而更好地捕捉变量的动态变化轨迹。相比于静态描述,变化轨迹揭示出变量的纵向展开过程,有助于更深刻地揭示变量的形成和演化机制。通过参考借鉴范·奥斯(Van Os J.)等人[44]在心理医学方面开展的相关研究,可以使用如下研究设计示例(图4)来表示对学习者的学习体验过程进行动态追踪。通过监测学习者的若干学习体验变量在连续的多个时间节点的状态数据,呈现出学习体验状态的连续变化过程。
在学习体验研究中,探索变量的变化轨迹是研究设计的重要组成部分之一。如,谢(Xie K.)等人采用ESM混合取样方式,对大学本科生的情感参与、认知参与、行为参与三个变量随时间变化的规律进行了探索[45];莫雷诺(Moreno M.A.)等人采用 ESM,对本科生使用互联网的时间和行为时序变化特征进行了研究[46];卢柯米萨(Loukomies A.)等人以兴趣作为心流体验的衡量变量,对科学课中可观察到的小学生情境兴趣和他们自身报告的情境兴趣的动态变化过程进行了比较[47]。通过将学生报告的数据与研究者观察得出的数据进行比较,发现在大多数情况下,两种数据并不匹配,由此表明学生报告的兴趣并不能通过他们的面部表情和言语来解释。
图4 学习体验变量的动态监测研究设计示例
在某一变量对其他变量的影响方面,主要研究变量的动力作用机制,具体包括两个方面:一是研究学习情境变量对学习体验变量的影响,如,戈茨等人将教学特征作为自变量,将学术领域作为调节变量,研究教学特征对学习者学业情绪的影响机制[48];二是研究学习体验指标变量(如,兴趣、愉悦感、挑战感等)对学习结果变量(如,学习绩效、学习满意度等)的影响及其促进机制。如,曼纳林(Manwaring K.C.)等人将学习者参与作为中介变量,研究学习者特征和学习体验对学习效果的作用机制[49]。
(2)不同层次变量的相互关系。在学习体验研究中,根据变量在一定时间内取值的稳定性,可以将其分为两种,一种是特质性变量,它具有短时间内不随时间和情境而变化的特点,如学习风格、兴趣等;另一种是状态性变量,它容易受到时间和情境的影响,如注意力等[50]。在纵向研究中,一般将存在于个体内(Within Individual)的变量视为状态性变量,认为其相对容易发生变化;而存在于个体间(Between Individual)的变量被认为是特质性变量,以群体为单位相对稳定。比如,从个体内视角而言,注意力是一种状态变量;而从群体层面而言,注意力也可以被当成特质性变量。基于变量在个体内和个体间所存在的双重属性,我们在进行ESM研究设计时,往往需要兼顾到个体内和个体间两个层面的变量关系,如果将时间序列特征也考虑进去,则需要兼顾到个体内、个体间和时间三个层面的变量关系。
3.数据分析方法
面对丰富的纵向密集型数据,研究者们开发了不同的数据分析视角和方法。赫克特纳(Hektner J.M.)等人认为,可以将ESM研究数据划分为单次应答层面和个体层面,前者是指每个个体每次应答产生的数据,后者是指将应答数据以个体为单位进行汇总产生的数据[51]。
如果要对变量随时间发展的规律和趋势进行分析,主要采用重复测量的方差分析和时间序列分析方法,此两种方法侧重于对样本总体的平均增长趋势进行分析,不关注个体差异。如果要对两个层面的数据同时进行分析,主要采用多层线性模型(Hierarchical Linear Model,HLM)作为数据分析方法。多层线性模型的优点在于:通过衡量测量水平和个体水平的不同差异,揭示出个体在不同观测点的变化情况;对数据的解释是在个体与重复测量交互作用基础上的解释,不仅包含了同一个体在不同测量点的差异,而且还包含了个体之间的差异[52]。从整体上来看,ESM研究既可以通过质性分析手段以单一案例形式展现参与者特定的体验模式[53],同时,也可以在采取一般定量统计分析手段,如在方差分析、普通最小二乘回归、结构方程模型的基础上,综合使用多种纵向分析方法,如HLM和时间序列分析等,来进行分析。
在38篇文献中,除2篇论文未使用数据分析方法外,其他36篇论文中的主要数据分析方法及其出现频次,如表2所示(部分研究采用两种或以上研究方法)。在使用ESM方法的学习体验研究中,使用频率最高的数据分析方法是多层线性模型,其次是描述性统计分析、回归分析和方差分析等。同时值得我们关注的是,有接近一半的研究采用了多层次统计分析技术(比如,多层线性模型、多层结构方程模型、多层回归分析),这表明多层次统计分析技术是ESM研究中采纳率最高的统计分析手段。
表2 主要数据分析方法及出现频次
(二)典型应用案例分析
本研究选取ESM在学习体验研究中应用的三个典型案例,从研究内容、研究设计和数据分析方法三个维度进行具体分析。
1.案例一:大学生座位位置对学习参与和学习绩效的影响研究
该研究以407名选修会计学概论的本科生为被试,使用ESM获取学生在多个时间点,处于教室不同位置时的学习参与、注意力和其他体验变量数据,从而检验学生在教室中的座位位置对其学习绩效的影响;同时,验证学习参与和学习者学习体验质量是否对该影响具有调节作用。该研究包括三个问题:
第一,学生对课程的体验如何因座位位置的不同而有所不同?第二,坐在教室前面、中间或后面的学生在个体内层面(Within-person)上有何差异?第三,学生的参与度、注意力或其他体验是否能调节座位偏好与最终课程成绩之间的影响关系[54]?
该研究的变量主要包括学习者背景信息变量、经验采样变量、座位位置变量、学习者参与及注意力变量、学习者学习绩效变量。在数据分析方法上,针对第一个研究问题采用了单因素方差分析,针对第二个研究问题采用了卡方检验,针对第三个问题采用了多层路径分析(MPA)。研究结果显示:学生坐在教室后排时的参与度、注意力和课程体验质量,低于其坐在教室中间或前排;大多数时候那些坐在教室后排的学生,会取得相对较低的课程成绩;学习参与、注意力和其他体验因素,可以调节座位位置对学习绩效的影响。
2.案例二:学习参与对大学生日常情绪体验的影响研究
该研究的目的,是探索在特定任务价值和情绪之间的“个体内关系”中可能存在的个体差异,以及更广泛的学习参与是否会影响这些日常体验。该研究提出四个研究问题:第一,大学生对活动的感知价值和情绪二者之间的关系如何?第二,大学生对活动的感知价值和情绪二者之间的关系是否存在个体差异性?第三,利用大学生第一学年的学习参与,是否能预测个体内感知价值和个体间情绪关系的个体差异?第四,大学生第一学年的学习参与程度,是否与第二学年的日常体验存在关联?该研究的变量包括:学生感知价值和情绪状态 (包括积极情绪和消极情绪)、学生学习参与、满意感和压抑感。其研究假设如图5所示。
图5 案例二的研究假设
该研究基于手机的ESM进行学习者个体状态数据的采集,第一学年的被试数为72人,第二学年的被试数为56人,两次分别采集到3089份和2912份完整的个体状态数据。该研究以多层结构方程模型作为主要数据分析方法,研究发现:一般而言,特定任务价值的更高感知与个体内更高的积极情绪和更低的消极情绪相关联;其次,在价值—情感关系中发现了个体差异;再次,利用在第一学年开始时所测量的整体学习参与度,可以预测这两年个体内(Within-person)关系中的个体间(Between-person)差异[55]。
3.案例三:美国和芬兰科学课堂中的最佳学习时刻研究
当个体在某一时刻特定学习任务中的兴趣、技能和挑战感高于其他时间的平均水平时,该时刻被称为最佳学习时刻(Optimal Learning Moment)。最佳学习时刻会发生在多个学习环境中,但在科学课程中更容易被体验到。基于此,研究者以科学课堂为研究场景,提出以下四个研究问题:第一,最佳学习时刻的组成要素是什么,是否会因为学习者特征(如,学习者性别)而有所差异?第二,最佳学习时刻与其他主观感受之间的关系是什么?第三,与其他学科相比,科学课中最佳学习时刻与其他主观感受之间的关系有何不同?第四,科学课中的最佳学习时刻与学习者对科学重要性的感知是否存在关联性?
该研究采用装有ESM APP的智能手机来获取研究数据,参与研究的被试为344名来自美国和芬兰的中学生 (美国中学生244人和芬兰中学生100人)[56]。在研究变量的设置方面,除了设置兴趣、技能和挑战感三个变量来测量最佳学习时刻外,还选择了一组主观感受变量来作为补充,包括学习增强剂(Learning Enhancers)和学习促进剂 (Learning Accelerants)等。在数据分析方法方面,利用相关分析测量了最佳学习时刻与科学重要性感知以及其他主观感受之间的关系;多层线性模型被用于分析同时考虑个体性别(个体间层面)、个体主观感知(个体内层面)后,个体发生最佳学习时刻的可能性。研究结果显示:当学习者感知到挑战并且具备适当水平的技能时,他们更倾向于体验最佳学习时刻;如果学习者体验到更多次数的最佳学习时刻,他们会更倾向于感知到科学的重要性。
4.案例归纳与总结
根据研究内容、研究设计和数据分析方法三个分类维度,我们对以上三个典型案例进行归纳总结,如表3所示。从这三个典型案例可以看出,在实际研究中,研究内容、研究设计和数据分析方法往往并不局限于某一具体的分类,各个维度上均呈现出交叉与融合的特征,尤其是在研究设计方面,三个研究均同时涉及到了单变量之间的关系和不同层次变量的相互关系,体现出ESM研究设计的多元性和可扩展性。
表3 典型案例的归纳总结
五、经验取样法在学习体验研究中的局限性及其优化
(一)ESM在学习体验研究中的局限性
ESM所具有的方法张力、数据获取及时性和准确性、情境适应性等特征,充分体现了该方法在学习体验领域的适用性和价值,但与其他研究方法一样,该方法不可避免存在一定的局限性,具体表现为:
(1)ESM具有较高的操作要求。作为一种高生态效度的研究方法,ESM之所以没有在教育研究领域产生广泛的应用,其主要原因在于:该方法在操作上有一套严格的执行框架,在取样方式、工具和软件配置、数据分析上都有比较严格的要求,对研究者来说存在一定的技术障碍和门槛。
(2)ESM的主要优势在于能对学习者在真实学习情境中的主观体验进行精确测量,帮助研究者探索相关变量随时间变化所产生的波动性和规律,能同时解释个体内和个体间的变量关系。但其在对学习者整个学习体验过程进行评估、预测和干预方面相对欠缺。
(3)ESM所进行的多次重复数据采集,会无形中增加被试的工作量、工作强度和认知负载,从而影响其参与的积极性和持久性。一个典型的ESM研究往往持续1-2周,被试每天需要对2-12个信号进行回应,回应时每次至少要回答10个以上的问题。在整个ESM研究进行期间,被试平均要做出1000次左右的问题回答[57]。不断发出的提醒信号和大量的问题回答,会对被试的正常学习和生活产生很大的干扰。
(4)长时间对被试的学习体验信息进行重复测量,有可能会提升被试对所测问题的敏感性和思维惯性。随着时间的推移,学习者对相同项目的回应速度会不断提高,在该项目上的思考时间随之缩短并习惯性作答,这在一定程度上可能会对回应数据本身的可靠性产生影响。
(二)ESM应用于学习体验研究的优化方案
针对ESM在学习体验研究中所存在的局限性,本研究从ESM数据采集优化和ESM数据分析优化两个方面,提出优化方案。
1.ESM数据采集优化
首先,提高数据采集的便捷性。随着近几年移动计算技术、移动互联网络,以及个人智能移动终端设备(尤其是智能手机和可穿戴设备)在教育和教学中的常态化应用,使得我们可以充分发挥移动计算和云存储优势,尝试将ESM数据采集、存储和分析流程集成在一个APP中,实现“一站式”和“一键式”的数据采集和分析。ESM APP在简化研究者操作流程的同时,可以大大降低操作难度,从而可以更加灵活便捷地采集学习者学习体验数据。同时,不断涌现的各种创意性输入方法和技术,可以在减少移动设备解锁时间和次数的同时,有效降低参与者的操作繁琐度和输入负担。比如,张(Zhang X.)等人设计了一款名为解锁日志(Unlock Journaling)的移动设备软件,该软件用户只需要通过一个滑动操作就可以直接在移动设备的解锁界面回答单项选择问题[58]。测试结果显示,该软件在提高参与者输入频率的同时,有效降低了参与者的干扰性体验。如果将这些输入组件嵌入到ESM APP中,可以使被试的数据输入过程更加方便高效。
其次,提高数据采集的智能性。智能化的数据采集在降低被试输入工作量的同时,也使数据采集过程变得更为人性化和友好化。近几年一些大型社交网络开始引入交互式聊天机器人,如,Facebook messenger等。这些聊天机器人可以在特定时间间隔内对参与者进行提问,甚至可以利用自然语言解释来跟进和回应参与者的回答,而且它们可以轻松支持多种操作平台,被广泛应用于多种移动设备中[59]。除此以外,智能个人助理 (Intelligent Personal Assistants)如Siri、Alexa等,也经常被用来辅助参与者进行数据输入。我们可以将以上智能性应用程序,引入到ESM数据采集过程中,它们能不断感知用户所在情境,通过多种输入方式与参与者进行交互,在实现智能化数据采集的同时,具有很好的用户友好性,能适度缓解被试的数据输入压力。同时,相关的智能性应用程序,能推断出学习者的情境上下文信息,当特定情境发生时,不需要人为操作,智能手机应用能够自动提醒参与者填写问卷,使数据采集过程变得智能化和简易化。
再次,提高数据采集的多样性。以智能手机为代表的新一代移动设备搭载了一系列传感器,可以实时跟踪被试的物理位置,不仅能够通过GPS定位等方式获取参与者的位置信息,还能够捕捉到参与者的学习环境信息,更密切地监测到学习者的学习行为以及其周围环境的变化,借助传感器记录学习者位置、学习环境和其他学习者的活动情况。将新一代移动设备搭配可穿戴设备的使用,还可收集许多其他类型数据,如,学习者的生理数据(如,心率、血压等)和社交信息(如,通过Wifi感知的本地社交网络)[60]。由此可见,通过充分使用新一代移动设备及可穿戴设备的各种传感器功能,我们可以获取除用户主观感知外的多种扩展性数据,这些数据可以作为ESM数据分析的重要补充,比如,被试的生理数据可以用来作为评估被试对问题的回应质量和可靠性的辅助指标,社交信息可以用于辅助评估被试回答问题时受他人的影响情况等。
2.ESM数据分析优化
针对ESM在对学习体验过程进行评估、预测和干预方面存在的不足,可以通过引入学习分析技术并与ESM数据采集进行整合,来对ESM数据分析过程进行优化。学习分析技术是指对学习者的学习过程进行记录、跟踪、分析,对学习者行为进行预测,对其学习状态和效果进行评估,继而干预学习、提高学习者学习绩效的技术[61]。学习分析技术在学习者行为预测与干预方面优势明显,其当前存在的不足在于:首先,用于进行学习分析的数据主要来源于在线教学平台,传统课堂教学数据采集由于采集难度大、采集量小等原因一直被忽视;其次,学习分析的来源数据主要表现为学习者的客观学习行为数据,在主观学习体验数据采集方面较为欠缺。我们从以上分析可知,ESM与学习分析技术刚好可以做到优势互补。ESM不仅数据量丰富、数据容量大,而且侧重于对传统课堂的学习体验数据进行采集,它可以有效弥补学习分析在传统课堂数据采集和主观体验数据采集方面的不足;学习分析技术所提供的强大数据分析功能以及评估、预测、干预功能,则有利于对ESM数据分析进行优化,进一步挖掘数据的价值,弥补ESM在支持教学决策与干预方面存在的不足。因此,与学习分析技术整合后的ESM数据分析过程,如图6所示。
图6 与学习分析技术整合后的ESM数据分析过程
ESM采集的数据经存储后进入数据分析环节,可以从时间维度、应答维度、个体维度、群体维度、课程维度等五个维度,来对ESM数据进行分析。时间维度以时间段为单位分析学习者在某一时间段的学习体验情况;应答维度和个体维度为ESM本身所具有的分析维度;群体维度是指以班级或学校为单位对学习者的学习体验情况进行分析;课程维度是指以课程为单位,分析单门课程或多门课程学习者的学习体验情况。数据表示是指将数据分析的结果以可视化的方式呈现,评估、预测和干预是指根据数据分析结果,进一步评估学习过程和状态,预测学习风险,并为教师和教育管理者提供决策支持和干预支持。
六、结语
ESM作为一种收集有关个人日常生活体验信息的手段,其独特优势在于:它能够捕捉日常生活,能有效检测参与者个体意识流中的波动以及意识流与外部情境的联系。ESM具有较为严格的操作步骤和一套完整的操作方法,其对数据采集的即时性、精确性以及对体验过程的多维描述性和动态监测性,使其在学习体验研究中具有极强的适用性和优势。ESM在国外学习体验研究中已经产生了一定数量的应用实例,涉及学习者参与、学习者情绪、学习者日常体验和学习者心流体验等多个方面,然而,在国内的相关研究却较为稀缺。针对ESM在学习体验研究中存在的操作要求高、被试输入工作量大,以及对学习体验过程进行评估、预测和干预支持不够等不足,我们可以从数据采集和数据分析两方面进行优化,从而促进ESM在学习体验研究中的推广和应用。