基于教学事件的应用游戏评价指标研究

王 庆， 陈 洪， 赵海英， 刘 妍， 朱德海

（中国农业大学信息与电气工程学院，北京 100083）

基于教学事件的应用游戏评价指标研究

王 庆， 陈 洪， 赵海英， 刘 妍， 朱德海

（中国农业大学信息与电气工程学院，北京 100083）

应用游戏是指以知识传播、技能训练、情志培养等应用需求为主要目的，集趣味性、知识性、功能性等特征为一体的游戏类型。在一些国家也称严肃游戏或功能游戏。本文针对目前存在的应用游戏评价指标缺乏对游戏与教育特性结合程度考察的问题，研究了游戏与教育过程在严肃游戏中的并发关系，将应用游戏的使用过程理解为通过游戏形式组织起来的教学过程，以信息加工理论模型延伸出9个教学事件为参考，设计了相应的应用游戏评价指标。尝试通过考核应用游戏对9个教学事件的支持程度，评价其对教育目的的支持程度，最终衡量其作为应用游戏的实用价值。

应用游戏；严肃游戏；游戏化学习；教学事件；评价指标

应用游戏是指以知识传播、技能训练、情志养成等应用需求为主要目的，集趣味性、知识性、功能性等特征为一体的游戏类型。在国外也称严肃游戏、教育游戏或功能游戏。

应用游戏自产生以来，在发达国家已经广泛应用于教育、科研、经济、社会、文化、军事等领域。在我国由于起步晚、行业认知程度相对较低等原因，公众对于应用游戏的使用效果尚存在质疑。因此急需对应用游戏的评价指标进行研究，以对相关产品进行合理的评价。

1 国内外相关研究

英国教师评价教育媒体组织（TEEM）在《Report on educational use of game》[1]中提出应用游戏的评价可从课程相关性、实用性、设计与导航、易用性、娱教性、安装等六大方面进行展开。

Heuristic Evaluation (HE)[2]是一个较早被应用于教育游戏评价的方法，后续研究者在其基础上，提出了评价系统应考虑以下3个层面[3]：评价指标、评价者，以及评价过程。其中，评价指标包括界面、教育性、多媒体、内容以及可玩性等五方面，包含二十几个二级指标，如图1所示。而评价者则包括教育专家、人机交互专家、内容专家、游戏开发者以及真实用户。评价过程则应用 了 Playability Heuristic Evaluation for Educational Games (PHEG)方法[4]。

图1 PHEG评价指标

在国内，范云欢和崔金英[5]从游戏性、教育性、技术性3个维度出发，提出了网络游戏评价量规指标体系。其中，游戏性维度又包括情景设置、竞争性、挑战性等7个子量规；教育性维度包括知识性、适合学习者特征（例如年龄特征，认知风格等）等5个子量规；技术性维度则包括系统设计合理性、开发难度及维护成本。

此外，叶长青等[6]人提出了基于目标分类理论的数字化教学游戏评价体系架构，即三维评价体系。该体系分为“知识”维度和“认知过程”维度。前者将教学内容分为事实性的、概念性的、程序性的和元认知的知识四类，认知过程维度包括记忆、理解、应用、分析、评价和创造。此外，添加一维——游戏属性维度，即构成了体现教学游戏要素的三维架构，如图2所示。

图2 基于目标分类的教学游戏评价体系

综上国内外的研究成果可以看出，对应用游戏的各类评价指标已经基本上覆盖了游戏形式、教育内容和用户使用等多个角度，但依然存在一定的不足。其中，一个较为重要的是各个维度的考量缺乏相关性，即在对领域知识的科学性与游戏性分开评价之外，还应对两者的结合程度做评价，这也是应用游戏在教育、娱乐双重目标下的最为重要的考核方向。

2 教育性与游戏性结合的评价指标

2.1 宏观层面上游戏与教育的关系

Garris等[7]基于游戏与学习动机的研究构建了IPO模型。该模型描述了一个游戏循环图（如图3所示）：带有游戏特性的教学内容作为输入，游戏者产生判断并采取行为，系统给出反馈，最终（以任务报告作为形式之一）产生输出-学习结果。

图3 输入/过程/成效IPO模型

基于上述的循环模型可以看出，游戏与学习的确存在这样一种互动关系：①系统设置问题空间（在一定的游戏情景中布置游戏任务）；②游戏者借助执行空间进行问题解决（完成任务）；③评价空间对游戏者的操作行为进行评价（给出任务评价或游戏者绩效）；④根据具体情况重复（或最终结束）上述过程。各功能空间之间形成了某种形式的互为输出和输入的关系，这种关系构成了无数游戏循环圈（如图4所示），充分显示了游戏与学习两个过程存在互生互动的关系。

图4 游戏与教育的互动过程

2.2 微观层面上游戏与教学事件关系

用户对应用游戏的使用过程本质上是用户以游戏为载体进行的一个认知学习过程。为评估应用游戏对学习过程的支持效果，必须从学习和认知行为涉及的微观环节及过程入手。

阿特金森与谢夫林提出来的信息加工模型是一个被当代研究者广泛认可的基于个人的学习模型。该模型把学习设想为由知觉与记忆之间的一系列阶段构成的信息加工，如图5所示。

图5 基于信息加工理论的学习与记忆的精细模型[8]

Gagne[9]基于上述的信息加工模型提出了 9个事件，具体描述为如下活动：

①引起注意，确保刺激被接受。

②告知学习目标，建立适当的预期。

③提示学习者从长时记忆中提取先前习得的内容。

④以清晰和富有特色的方式呈现材料，确保选择性知觉。

⑤以适当的语义编码指导学习。

⑥引出行为表现，包括反应生成。

⑦提供关于行为表现的反馈。⑧测量行为表现，包括额外反应反馈机会⑨安排多种练习以促进将来提取和迁移。Gagne[9]提出的 9个教学事件已经作为教学设计的经典方法在全球教育界产生了巨大的影响，这一概念的提出不但为促进学习的教学设计提供了指导性框架，同时也为“如何以游戏形式来优化教学过程”提供了理论参照。与普通的教学软件相比，应用游戏具有丰富的表现力，是以游戏静态元素为载体、以动态体验环节来安排教学事件，实现学习者内部的信息加工过程的目的。表1对比了9个教学事件与游戏元素之间的关系，并给出了教学案例。

表1 9个教学事件与学习过程和游戏过程的关系

2.3 基于教学事件的游戏与学习结合性评价指标

由上一节的表1可得出9个教学事件在应用游戏中能够找到对应的游戏要素，因此应用游戏的使用过程便可以理解为通过游戏元素及游戏体验环节组织起来的教学过程。换句话说，有效促进学习效果的应用游戏必须能够满足对9个教学事件的支持，那么对应用游戏的评价则需围绕游戏设计是否有效支持九个教学事件而展开。

（1）引起注意：表 1给出游戏中通过过场动画的视听效果、背景故事等情景再现手段来引发参与者对将要提出的问题（或学习内容）的注意，因此形成了关于第一个教学事件的评价指标描述：为激发游戏参与动机而设计的情景等是否有利引发玩家对学习内容的注意。

（2）告知学习者目标：应用游戏通过设定游戏任务来传达学习目的。因此基于第二个教学事件的评价指标可描述为：游戏任务设定与学习目标是否高度一致，以满足游戏完成任务，同时可标志学习目标的实现。

（3）激起对习得的先决性能的回忆：通常在游戏中，参与者的先导性技能来源于该领域背景知识的掌握，为满足在学习实践发生之前更有效地激起对先决性能的回忆，游戏所设定的受众背景知识或基础技能要与该受众群体的认知现状相匹配，即游戏受众群体的实际知识水平要能够支持他完成初期体验，而不会产生以下两个局面：参与者没有足够背景知识来解决所面对的游戏任务；或者涉及的背景知识太过简单，失去了与知识内容相关的挑战而变成了纯粹的游戏技能挑战。

除了上述在游戏初次体验时的背景知识设定以外，该评价描述也涉及在游戏不同关卡跳转过程中，其所需的知识衔接性的设计，即每当一个关卡成功通过后，参与者被认为该关卡涉及的知识内容已经掌握，可以作为下一阶段学习行为的先导性知识，因此，关卡之间知识内容衔接是否合理可以决定学习各个阶段中的对习得的先决性能回忆是否有效。

（4）呈现刺激材料：游戏可通过各种形式来呈现刺激材料，例如情景、动画、音效，设置是角色的设定等。从第四个教学事件来看，此评价指标可描述为：作为知识载体的游戏要素是否能够清晰、鲜明、富有特色地展现学习材料，是否有利于参与者掌握。

（5）指导、引出、反馈、测量：第五、六、七、八教学事件是学习的核心环节，也是教学过程中真正发挥作用的 4个有效事件，与游戏整个交互体验过程相对应。由于游戏设计中的核心规则往往是有机化且不可再分的，且判断、行动和评价是一个完整的游戏行为过程，因此将教学事件中的“提供学习指导、引出行为表现、提供行为表现正确性的反馈和测量行为表现“都统一为一个评价指标：应用游戏核心规则的设计需要与知识机理紧密结合，即参与者在游戏中的行为约束与学习内容有关，参与者对知识的掌握程度要能够直接影响他在游戏中行为结果。具体来看：

①提供学习指导：学习过程中需要不断对学习者提供一定的指导性帮助，通常是描述性讲解或启发性提示等形式。游戏采取的是通过规则约束参与者行为来间接提供正确的行为参照，从这一方面来看， 应用游戏与娱乐游戏相比，需要提供适当的知识提示。

②引出行为表现：参与游戏的动机是促使学习者主动地挑战游戏任务，同时也间接引出了学习者的行为表现。另外，动机设计也是游戏核心规则设计的范畴，因此该评价指标需要包括：游戏参与动机的设计是否有利于引出学习行为的表现。

③提供行为表现正确性的反馈：普通的教学过程通常采取显性通告学习者的行为是“对”或“错”，而游戏通常是通过反馈机制，即通过“挑战任务”是否完成或“关卡”是否通过来使参与者思考其行为的对/错，或者是否有利于趋近任务目标。从这个方面来看，为达到更好的学习效果，应用游戏的反馈更有利于学习者对其行为做出正确的判断。

④测量行为表现：对于学习者的行为测量，在游戏中是通过规则来实现，因此应用游戏同其他娱乐游戏一样，需要对参与者行为进行精确计算。

上述4个教学事件与应用游戏的核心规则有关，而核心规则和知识结合性评估可以分为以下4个方面（分别对应上述4个教学事件）：

①游戏规则设计中需适当给出知识内容提示，对学习者的行为具有一定指导性。

②游戏设定的合法行为需要与知识相关，确保参与者在参与游戏的同时，引出了对知识学习的行为表现。

③游戏反馈要清晰、明确，能够有利于参与者正确判断其行为的正确与否。

④游戏规则需要对参与者的行为有准确地计算及测量。

（6）促进保持和迁移：游戏具有多场景，每个场景对应一个知识应用情景，并可配以多个游戏任务。为了更好地促进知识的保持和迁移，多场景之间涉及的知识内容应具有一定的关联性。

综上，从应用游戏的“游戏性”和“教育性”结合度方面，评价指标可以分为六大一级指标，如表2所示。

表2 基于9个教学事件的应用游戏评价指标

2.4 综合评价指标体系

综合来看，除上述讨论的游戏与学习匹配性指标以外，应用游戏的优劣还需要从产业化、领域知识的科学性及正确性等方面进行评估，表3给出应用游戏综合评价指标。

3 结 束 语

本文针对目前存在的应用游戏评价指标缺乏游戏与教育特性结合程度考察的问题，研究了游戏与教育过程在严肃游戏中的并发关系，将应用游戏的使用过程理解为通过游戏形式组织起来的教学过程，以信息加工理论模型延伸出9个教学事件为参考，设计了相应的应用游戏评价指标。尝试通过考核应用游戏对9个教学事件的支持程度，评价其对教育目的的支持程度，最终衡量其作为应用游戏的价值。当然，该指标的提出只是一个方案设计，在未来的研究中，笔者希望能够完善相关指标的量化表示，以使其更具有可操作性。

表3 应用游戏综合评价指标

[1] McFarlane A, Sparrowhawk A, Heald Y. Report on the Educational Use of Games[EB/OL]. http://www.teem. org.uk/publications/teem_gamesined_full.pdf,2002.

[2] Nielsen J, Molich R. Heuristics Evaluation of User Interfaces[C]//Human Computer Interaction. St. Petersburg, Russia, 1994: 249-256.

[3] Omar H M, Jaafar A. Challenges in the evaluation of educational computer games[C]//4th International Symposium on Information Technology ITSim'10. Kuala Lumpur, Malaysia, 2010: 253-261.

[4] Mohamed H, Jaafar A. Development and potential analysis of heuristic evaluation for educational computer game (PHEG) [C]//5th International Conference on Computer Sciences and Convergence Information Technology, ICCIT. Seoul, Korea, 2010: 222-227.

[5] 范云欢, 崔金英. 网络教育游戏评价量规的开发与应用研究[J]. 中国教育信息化, 2008, (6): 10-12.

[6] 叶长青, 王海燕, 王 萍. 数字化教学游戏三维评价体系架构[J]. 远程教育杂志, 2009, (6): 71-73, 78.

[7] Garris R, Ahlers R, Driskell J E. Games, motivation, and learning: A research and practice model [J]. Simulation & Gaming, 2002, 33(4):441-467.

[8] Gagne R M, Driscoll M P. Essentials of Learning for Instruction (2)[M]. Englewood Cliffs: Pearson Education, 1988: 183-189.

[9] Gagne R M. The Conditions of Learning (4)[M]. New York: Holt, Rinehart and Winston, 1985: 126-129.

Study on Applied Game Evaluation Index Based on Didactical Events

Wang Qing, Chen Hong, Zhao Haiying, Liu Yan, Zhu Dehai
(College of Information and Electrical Engineering, China Agricultural University, Beijing 100083, China)

Applied game aims to help player acquire knowledge, improve skills and enhance emotional quotient through game playing process. However, evaluation for effects of combining playing and learning is still open. This study investigates correlations between game and learning and proposes a methodology for applied game evaluation index by extending information procession model to nine didactical events accordingly integrating learning processes into game playing. The evaluation method involves examining an applied game’s capability of supporting the nine didactical events and its proposed pedagogical purpose and gives the degree of practical value for the game. It is expected that the evaluation index for applied game can provide a practical reference specification for applied game assessment.

game application; serious games; gaming learning; teaching event; evaluation index

G 434

A

2095-302X (2014)02-0301-06

2013-04-24；定稿日期：2013-06-28

国家科技支撑计划课题资助项目（2012BAD35B02）

王 庆（1977-），女，吉林长春人，副教授。主要研究方向为计算机虚拟现实技术、虚拟学习环境。E-mail：wangqingait@sina.com

陈 洪（1976-），男，四川达州人，副教授，博士。主要研究方向为计算机虚拟现实技术。E-mail：chenhong@cau.edu.cn