基于学习分析视角的教育游戏评价方法研究
2015-11-24穆晓静张文青
穆晓静++张文青
摘 要：在所有学习经验中对学习内容、学习过程和学习收获的评价是必要的。新的技术促进了新的内容类型的使用，如教育游戏。与传统活动相比它们有很强的交互性而且对所有形式的评估来说它们都是强有力的数据资源。本文讨论了以评价为目的运用学习分析技术研究学生与游戏进行交互的方式，并提出了一些评价的方法，希望对后续研究有借鉴意义。
关键词：学习分析；教育游戏；教育评价
中图分类号：G40-058.1 文献标志码：A 文章编号：1673-8454（2015）09-0014-04
一、引言
所有知识领域的教师都在逐渐使用新技术去提高他们的教学实践。其中，他们开始使用基于游戏的学习活动区来探索新的方式去教育他们的学生。有研究指出，电子游戏的高交互性、契约和挑战性的特征会影响学习过程，增加学生的动机和学业绩效。然而，评估在教育环境中是处于中心地位的，教学设计者必须保证他们方法的正确性，因此教师需要追踪学生的进度，测量学生知识和技巧的获得，这样就需要使用测试的方法。在游戏中学生以一种确定的速度不断地解决问题，这种速度的设计是为了使游戏有挑战性而且不让人失望，但任何形式的测试或者问卷都被认为是沉浸气氛的一种破坏和中断。[1]在游戏中追踪学生的交互和提取过程的总结将是一种很好的学习评估方法。但这样做，教师就需要工具去分析来自游戏的数据。学习分析技术就能作用在学生与游戏交互的数据搜集的可视化上。
二、学习分析技术和教育游戏评价
学习分析是近年来教育技术领域内迅速发展的新热点，它是运用先进的分析方法和工具预测学习结果、诊断学习中发生的问题、优化学习效果的一类教学技术的集合。虽然传统教学过程中为了提高教学质量也评估学生成绩、分析教学过程，但这些活动中采集的数据往往非常有限，而且分析结果用于干预教学的周期过长，效果较差。随着教学资源越来越网络化，以及基于网络的学习方式的普及，我们能够获取的学习行为和学习结果数据也更加丰富。这就为学习分析技术的产生和应用奠定了物质基础，并提出了迫切的需求，使之进入人们的视野并迅速发展。[2]
教育游戏是教育和游戏有效整合的合成物，其目的是促进学生更有效地学习。从广义上来看，教育游戏“是一种竞争性的练习，其目标是获得胜利，同时选手必须运用学科知识或其它有用的知识促进练习并获得胜利”。从狭义上看，教育游戏是“能够培养游戏使用者的知识、技能、智力、情感、态度、价值观，并具有一定教育意义的计算机游戏类软件。[3]
既然教育游戏对学习的促进作用如此大，那么我们如何知道学习者在游戏后是否有进步呢？这就需要相应评价方法的使用。游戏开发商为了更好地了解用户怎样玩游戏、发现错误和提高玩游戏的体验，就会使用一系列的分析技术。而且现有的游戏分析技术的设计经常是只限游戏的，不会包括教育环境中特殊的要求。这时，我们就可以使用学习分析技术来对教育游戏中学生产生的数据进行分析，并且在一个游戏会话中交互是非常强烈的，所以应用学习分析技术的潜在的可用数据会很大，但这个方法最大障碍中的一个就是游戏多变的种类，流派和类型。这就很难为教育游戏创造一种综合性的可以被广泛应用的学习分析模型。为了维持管理成本，本文提议一种两步式的方法去应用学习分析：首先定义一种简单的通用的可以运用于任何种类游戏的痕迹和报告，然后通过结合一般痕迹和特殊的痕迹来构建更高水平的评估规则，而不需要为每一个游戏完全重新设计评估系统。
三、运用学习分析技术进行评价的方法
运用学习分析技术对教育游戏的评价过程如下：先是为了促进评估而记录的痕迹的类型和从这些痕迹中得到的信息。然后为了达到更详细的对结论的推断，教师需要定义特殊的评估规则。
1.通用的痕迹
在严肃游戏中运用学习分析技术会有重大的技术挑战。教育游戏的种类包括广泛的游戏派别和类型，需要个别对待。然而，在所有电子游戏中游戏者与游戏的交互都是有意义的。[4]这些交互描绘了发生在游戏中的每一件事，可以被用于评价。在下面的段落中我们呈现了一系列有意义的交互，称作痕迹，它可以捕捉所有游戏中出现的相同事件。
（1）开始游戏，结束游戏，退出游戏
第一步评估教育游戏的一般活动和每个特殊的学生，就是去鉴定学生事实上玩了游戏而且是否自己完成，这是特别重要的，为此我们提出三种类型的痕迹：
游戏开始：这个痕迹是当学生开始玩游戏时产生的。我们用这个痕迹去识别用户通过跟踪系统中的验证信息（用户名和密码）。如果学生多次玩游戏，跟踪系统每次都为玩家产生一个记录。这个痕迹包括基本的信息（最初的时间戳），还包括完成部分的数据，如游戏运行的操作系统、浏览器的技术数据等。
游戏结束：这个痕迹是当学生完成了游戏时产生的。这个痕迹包含达到的最终点的附加信息。（如果游戏有多个结局）
游戏退出：这个痕迹是学生退出游戏时产生的。这个痕迹可以包含一些可以识别学生退出游戏的点（阶段或水平，游戏声明的一部分）和完成状态的环境。由于技术的限制，有时游戏并不能产生这些痕迹。（如果游戏在一个浏览器运行而且用户关闭了窗口，游戏就不能发送“退出游戏”的信号给服务器）为了处理这个问题（至少部分地）另一种包含环境信息的痕迹在一个固定频率的基础上发布（每60s），最后收到的痕迹可以被认为是游戏退出的痕迹。
（2）游戏阶段的改变
大部分电子游戏都以章节、任务或者阶段的形式构造故事。每个阶段都和下一个或游戏的中间目标有联系。如果可能的话，使用时间标记记录的学生在开始和结束每一个阶段的痕迹都会提供相关数据。[5]我们获得了关于学生在游戏中怎样分配游戏时间的更详细的信息。此外，如果阶段探索的序列不是线性的，教师还可以搜集观察到游戏的每一部分怎样被访问。
花费在每一阶段的时间可以用来鉴定游戏中消耗大量时间的部分，而且如果结果是意料之外的时候还可以校正游戏设计（如重调难度、适应内容等）。我们提出两种类型的痕迹来记录这些阶段怎样被探索。
阶段开始：这个痕迹是当阶段开始时产生的。这个痕迹包含识别这个阶段的一个ID。
阶段结束：这个痕迹是当玩家结束一个阶段时产生的。这个痕迹包含关于完成状况的额外信息，比如成功或失败。
（3）游戏中重要的变量
所有的游戏都使用变量去保持一些游戏的状态。[6]通过追踪这些变量，每个学生的游戏玩法都能重现。一个游戏可以包括数以千记的变量，但是只有少数在评估用途上是真正重要的。这些变量包含游戏的分数和完成游戏的机会等。一个产生的痕迹可以反映这些重要变量的最终价值，或者如果需要，还能反映他们的价值什么时候改变。随着时间的流逝，变量的更新就代表了玩家的进步。通过监视，一系列相关变量随着时间演变，我们可以观察到玩家经历的中间状态。这个类型的痕迹可以扮演一种通配符去记录各种类型的痕迹，几乎游戏中发生的每一件事在一个变量程度上都能被识别。
（4）交互痕迹
先前在游戏情境中跟踪的痕迹包含的数据与游戏逻辑相关，而且他们是游戏的引擎无意间产生的。但是当学生玩的时候，产生的大量数据是从他们与控制游戏的输入设备（比如鼠标、键盘、控制器、操纵杆等）的直接交互中派生出的。
理想上，跟踪者应该能搜集到每一次玩家的点击，按键或者按钮，并传输给后台为了随后的处理存储起来。把所有的痕迹分组，甚至能重现整个游戏会话。
然而，为每一次交互存储痕迹将消耗一定的资源，要求有效的频宽和存储的空间。大部分情况下，跟踪痕迹的数量可以被减少到小部分的交互，而且它有足够的力量去供给学习分析系统。因此，我们明确考虑了过滤的可能性，在给数据库提交数据之前，不管是在客户端还是服务器端，都要对数据有一定选择。
无论如何，所有的输入痕迹都应该包含产生它的设备（键盘、鼠标、控制器、操纵杆）、执行的活动（按按钮、移动、点击）、输入的相关数据（按键代买、鼠标位置、控制器按钮等）信息。
2.对数据的分析和报告
第一个问题就是怎样把简单的游戏和用户交互的数据转化成与教师相关并有用的评估信息。在这些痕迹上运用一般的网络分析技术、分析工具可以产生出一般的包含游戏不可知信息的报告。例如：使用游戏痕迹可以知道有多少学生玩了游戏、多少人完成了、多少人在完成前退出。所有痕迹都包含一个时间戳，我们可以更好地计算一组学生中平均和最坏的完成时间。在退出游戏痕迹的情境中，我们可以识别用户在哪一点停止了游戏。这个信息可以帮助推断他们停止游戏的原因。当学生在同一点周期性地退出游戏，教师就可以指出一个游戏设计的问题或者一个技术错误，还可以找出一种教育内容上的缺陷或者是不能平衡的困难。
运用阶段痕迹可以形成可视化的报告（使用图表）表现玩家是怎样进入游戏结构的（表现在一个有向图中），使用时间戳显示在所有阶段花费的时间是怎样分布的。这些报告也允许通过显示过度消耗时间的阶段来识别游戏设计的缺陷，或者对学生来说是困难的教育专题。如果玩家可以自由探索阶段，也能形成所有阶段的完成状况的报告。
使用有意义变量的痕迹，我们可以为一些有趣的变量列出最后的价值。例如：如果游戏有分数的变量，或者一个追踪第二目标的最后状态的变量，每一个玩家的最终价值都将被展现出来。
使用输入痕迹，我们可以部分地（或完整地、依靠输入记录的数量）重现游戏会话。转而，结合这些痕迹和被阶段痕迹记录的信息，可以产生每一阶段交互如何分布的报告。更具体地说，可以探究每个场景中热图的产生：它是通过聚集每一次鼠标点击的坐标获得的，然后在场景背景的上面把它们的位置可视化，这就允许识别屏幕上收到更多用户注意的那些点。然而，尽管这些信息提供了对学生和游戏怎样交互的理解，还提供一些相关的反馈，但它并不足以支持一个完整的评估过程，需要更特殊的报告来获得对学生怎样与材料进行交互和学习的理解。
3.特殊的评估规则
前面的部分是受传统网络分析报告的启发而描述了基本的基于简单分析的报告方法。那些报告在所有的游戏中可以不用特别努力就自动产生。然而，教育评估是特别基于学生在确定的领域达到的目标。当某些条件达到了，一个目标就被认为实现了，而且这些条件大多依赖于每一个特定的游戏。然而，设计和搜集每一个游戏的特殊信息痕迹是不合适的，因为结果通常会很贵。
总之，追踪简单的数据是不够的，而且追踪增加的数据是依赖游戏的，因此代价更高一些。所以，我们提倡在先前描述的一般信息痕迹之上构建游戏特定的评估规则。我们的评估规则是以这个观点为基础的，作为一个起点，运用一系列“通用”的痕迹，我们定义了下列条件的类型：
时间：因为所有的痕迹都包含一个时间戳，可以为每一个阶段或整个游戏设定最高时间阈限，并且通过比较实际完成时间和阈限自动为学生打分；还可以为游戏设置最小的阈限，游戏有一些重复的动作会使学生忙一阵子，阈限的分数将使学生提高其极限。例如，要完成游戏时间必须少于10分钟；要完成“第二阶段”必须少于30秒。
变量X的最终价值比Y的高或者低：环境在游戏的结尾检查了一些变量的价值。X可以通过操作两个或更多的变量被获得，Y可以是可配置的值或者其他的变量。例如，“死亡次数”的值必须少于5次；变量“分数”必须大于1000；变量“目标1完成”必须是真的。
呈现的痕迹：一个特殊的痕迹生成于玩游戏的过程中，例如，“游戏结束”。
小组结果：教师可以为每个游戏定义最小成功率和程序预警，当最低成功率没有达到时，他们也能为游戏界定学生假设的数量，且当完成任务的截止期限临近时，如果这些数量没有满足，会被警告。通过分析小组结果，教师也能对评价系统进行测量。例如，如果获得好成绩的学生的数量非常少，时间阈限就可以放宽，并且自动获得新的评估报告。
更复杂的条件可以通过结合这些逻辑运算符“或、与、非”被定义。显然这些报告规则不能被一般地制定：特殊的位置（A，B），或者价值（X，Y）都紧紧依赖于每个特殊的游戏。此外，为了匹配游戏的教育目标它们都必须仔细地被调整。然而，这些评估规则的信息源就是被一系列通用痕迹所广泛覆盖的事件，因此创造可以用于不同游戏的规则是可能的，并且只需要一点点的调整。
结合这些简单的规则，可以定义复杂的目标去规定反映学生获得了期望的教育目标的情况。教育目标可以是个人的，也可以是为小组设置的。
四、案例研究
文章《Application of Learning Analytics in educational videogames》中Lost in Space
Lost in Space
1.研究计划
当学生写真实的XML文件时，我们想让他们频繁运用最近学到的知识，而且这些是评估数据的主要来源。我们设计这个案例来探索实时的可视化数据并生成复杂的分数，我们设置了三种评估的条件：
分数目标：集中于基于有意义变量的一般痕迹。特别是在可变分数上的变更的游戏报告，如果获得了大于1000的值（最大分数3000），评估条件就被认为是成功的。
有效的XML文件：每一个会话游戏还暴露了一个使用正确的百分比XML片段的变量。如果正确XML片段的百分比最后高于75%这个评估规则就会被激活。
完成时间：这个规则用于测量完成整个游戏的时间，从第一阶段开始到最后阶段结束，结果应该少于30分钟。
结合这些痕迹，教师就能很容易去阅读报告并很快地验证个人在游戏中的进步。
此外，为了测试这些痕迹怎样实时地用于评估每一个学生的进步，测试的一个实时可视化工具还要报告当下的分数和每个学生成功完成的最新级别。
2.结果
我们用来自网络程序设计课程的37个学生测试了游戏，他们在教师看守下在一个电脑实验室玩这个游戏，教师通过报告屏幕帮助并留意进步。
这个会话是一个对方法可用性和报告工具有效性的开放的测试，因为这个原因它并没有像真正评估一样有组织。然而94%的学生成功完成了游戏（只有两个没完成），81%的学生的分数超过了1000分。但是，只有24%的学生在30分钟内完成了游戏。
然而，会话真正的目的不是获得学生的评估，而是在真实的环境中尝试这个评估方法。在这个意义上来说结果是有趣的，证明实时的可视化对教师的现场管理是一个很有价值的工具。
3.讨论和经验教训
通过这个研究案例，我们测试了创造更复杂的评估工具的可能性。关于对学习的评估，我们已经建立了不同的可以运用一般痕迹作为数据资源的评估条件和目标。这个结果成功允许教师得到关于每个学生在游戏会话中怎样表现的基本的反馈。然而，需要注意的是这些分数是试探性的，他们并没有考虑到计算学生的官方成绩。实时的跟踪屏幕对教师是有用的，显示学生的进步和识别那些有问题的学生，补救行动能接近学生和解释为什么他们不能成功制定正确的解决方法。
五、总结和展望
本文中我们提出一种两步法来应用学习分析技术支持教育游戏的评估。我们尝试处理的主要问题是，当学习分析技术看起来有前途时，特别是在游戏中，它们应用于严肃游戏中是很难推广的，规模是昂贵的而且很难组织。[7]当特有的学习分析方法集中于测量与网络服务器（在完善的协议中运行）的交互时，游戏分析需要更复杂的过程去收集和分析信息，可能会导致很好的结果，但也会伴随着高的复杂性和代价。
两步法的具体内容是：第一层提出适用于大多数严肃游戏的对一般痕迹的简单设置。继而，一个附加的用来生成更详尽报告的通过利用这些一般痕迹去洞察学生是怎样玩耍和学习的评估层产生了。这些报告有三种用途：第一，对痕迹的研究允许开发者去平衡游戏的设计，在游戏中准确找出值得作者紧密关注的缺点；第二，设置评估条件和规则允许对成功指标的定义，最终可以被用做一个评分机制；最后，实时可视化的规定帮助教师洞察每个学生进步的过程，并提供一个干预的机会。
参考文献：
[1]?ngel Serrano-Laguna， Javier Torrente， Pablo Moreno-Ger， Baltasar Fernández-Manjón： Application of Learning Analytics in educational videogames[J]. Entertainment Computing （2014）.
[2]李青，王涛.学习分析技术研究与应用现状述评[J].中国电化教育，2012（8）：129-133.
[3]张明娟.教育游戏在小学英语教学中的应用模式研究[D].曲阜师范大学，2009.
[4]?ngel Serrano-Lagunaa， Javier Torrentea， Pablo Moreno-Gera， Baltasar Fernández-Manjóna：Tracing a little for big Improvements： Application of Learning Analytics and Videogames for Student Assessment[J]. Procedia Computer Science 15 （2012）203-209.
[5]I.Garcia，A.Duran，M.Castro，Comparing the effectiveness of evaluatingpractical capabilities through hands-on on-line exercises versus conventionalmethods， in： 2008 38th Annual Frontiers in Education Conference， 2008， pp.F4H-18-F4H-22.
[6]P. Moreno-Ger， J. Torrente， Y.G. Hsieh， W.T. Lester， Usability testing for serious games： making informed design decisions with user data， Adv. Human Comput. Interact. 2012 （2012） 1-13 （article ID 369637）.
[7]K.Hullett， N.Nagappan， E.Schuh， J.Hopson， Data analytics for game development， in： Proceeding of the 33rd International Conference on Software Engineering-ICSE， 2011， p. 940.
（编辑：王天鹏）
