中小学生批判性思维测评游戏的设计与评价*——以“星球历险记”游戏为例

冷 静 都洋岚

中小学生批判性思维测评游戏的设计与评价*——以“星球历险记”游戏为例

冷 静1,2都洋岚1,2

（1．华东师范大学 教育信息技术学系，上海 200062；2．华东师范大学 上海数字化教育装备工程技术研究中心，上海 200062）

21世纪以来，批判性思维的培养受到广泛关注，而批判性思维测评是发展批判性思维的关键步骤。基于此，文章首先提出了基于问题情境的批判性思维测评框架，并开发了一款面向中小学生的批判性思维测评游戏——“星球历险记”。接着，文章设计了批判性思维测评游戏评价指标，包含教学设计、游戏设计、软件设计三个维度。随后，文章邀请专家进行游戏体验，并根据评价指标对游戏打分、对批判性思维测评游戏与CCTT-X思维测验进行比较。最后，文章总结了批判性思维测评游戏的主要优势，并就教育测评游戏的设计开发提出建议。批判性思维测评游戏的功能性与游戏性并重、应用价值高，可用于提升中小学生的批判性思维能力。

批判性思维；测评游戏；CCTT-X思维测验；教学设计；游戏设计

进入21世纪，很多国家都将核心素养的培养纳入教育目标[1][2]。批判性思维作为核心素养的重要组成部分，受到了教育工作者越来越多的关注。通过对国内外相关研究成果的梳理、总结，我们不难发现：批判性思维能力的发展和提高离不开客观且准确的评价[3]。目前，批判性思维能力测评的工具大多以自评问卷或标准化测试为主。对于中小学生而言，这样的测评方式会让他们感觉枯燥乏味，从而影响测评效果。近年来，游戏化测评研究受到了广泛关注。所谓游戏化测评，是指将游戏或游戏元素、游戏设计和游戏理念应用到测评当中，提高用户的参与度和体验感[4]。游戏化测评不受时间和空间的限制，且可以创设出近乎真实的趣味环境，提升用户的注意力并减轻其在测评过程中的认知负荷。基于此，本研究突破传统的纸笔测评方式，开发出一款适合中小学生的批判性思维测评游戏，以促进中小学生批判性思维能力的提升。

一 研究综述

1 批判性思维

1910年，美国哲学家Dewey[5]首次提出批判性思维概念，当时的批判性思维被称作“反思性思维”（Reflective Thought），是指“根据信仰或假定的知识背后的依据及可能的推论，来进行主动、持续和缜密的思考”。在我国历史上，和苏格拉底同一时期的孔子、孟子提出了“学而不思则罔”“尽信书不如无书”等观点，就蕴含了批判性思维的哲学思想。现代对于批判性思维概念的解释主要有两大流派：一派的落脚点在于决策，如Ennis[6]提出要聚焦于决定相信什么或做什么的合理的反思性思维；另一派的落脚点在于分析、评价，如Paul等[7]认为批判性思维的关键是分析和评价思维并加以改善。尽管大家对于批判性思维的定义不尽相同，但是研究者提出的批判性思维观点通常都包含以下特定的能力：分析论点、主张或证据，使用演绎和推理，做出决策或解决问题等。

2 游戏化测评

“游戏化”的概念，起源于Bartle[8]提出的“把不是游戏的东西变成游戏”的观点。换句话来说，“游戏化”就是使用户心情愉悦地完成特定的任务。目前，教育领域已出现了不少教育游戏的成功应用案例和产品[9]。游戏化测评是“互联网+”、大数据背景下的一个新兴交叉研究领域[10]，将游戏化用于教育测评，能够呈现出真实问题情境中的细节与信息，因此特别契合中小学生的年龄特征、认知发展水平和学习特点。优质教育游戏的开发需要遵循一定的设计原则，如陈锦昌等[11]基于分布式认知理论提出了游戏设计原则，涉及知识设计、技能设计、记忆设计、动机激励设计、社交设计五个方面的内容。

3 批判性思维测评

目前，关于批判性思维测评的研究逐渐成熟，很多研究者开发了测评工具，并用来评估学生的批判性思维能力。其中，经典的批判性思维测评工具包括沃森—格拉瑟批判性思维评价量表[12]、康纳尔批判性思维测验[13]、加利福尼亚批判性思维技能测试[14]、加利福尼亚批判性思维特质量表[15]、恩尼斯—韦尔批判性思维语篇测试[16]。有研究指出，基于特定问题情境的测评能为学习者提供更多运用批判性思维的机会，故能更有效地测量批判性思维能力[17][18]。

康纳尔批判性思维测验（Cornell Critical Thinking Test，CCTT）将年龄层次分为X和Z两个级别。其中，CCTT-X专门面向中小学生，关注思维的三种推理类型（即归纳、演绎、价值评估）和针对这些推理的四类基础性要素（即其他推理的结果、观察、他人的论点、假设）。本研究以CCTT-X为基础，结合前期的题库型批判性思维测评[19]，重新设计问题情境，并利用Construct 3游戏开发引擎，开发了一款适合我国中小学生的在线批判性思维测评游戏。游戏开发完成后，本研究邀请专家对游戏打分，以检验批判性思维测评游戏在游戏访问、获取、实时反馈等方面的实际效果；同时，本研究将批判性思维测评游戏与CCTT-X思维测验进行比较，以明确批判性思维测评游戏的优势与不足，从而为教育测评游戏的大规模推广与跨区域测评做准备，并为研究者设计、开发教育测评游戏提供参考。

二 批判性思维测评游戏的设计

1 理论基础：基于问题情境的批判性思维测评框架

通过对相关文献的梳理和分析，本研究发现：随着对知识和技能的更深层次应用，个体的批判性思维水平逐渐从新手型向专家型发展；在问题情境的支持下，个体的批判性思维水平能更为真实地呈现出来。基于此，本研究提出了基于问题情境的批判性思维测评框架（下文简称“测评框架”），如图1所示。测评框架主要从技能和倾向两个方面来测评批判性思维：①技能方面，采用Ennis[20]对于批判性思维能力的描述，列出了五大项（即基本澄清、基本支持、推论、进一步澄清、策略与手段）及其12种能力分项。此外，批判性思维能力还包含元认知技能[21]，要求学习者主动意识到自己的认知过程，并开展自我调节。②倾向方面，根据五个游戏设计要素（知识、技能、记忆、社交、动机激励），在问题情境中设置目标、过程、奖励，以最大程度地提高测评对象的注意力、自信心和满意度。

2 游戏设计

在测评框架的指导下，本研究搭建了一个游戏环境，让学生去体验真实情境中的任务，从而代替抽象的概念考核。图1列出了多种批判性思维能力，如聚焦于问题、分析论据等。对中小学生来说，有些批判性思维能力（如决定行动）的难度过高且不易测试。因此，本研究选取测评框架中的四个核心能力（即归纳、观察与判断、演绎推理、辨别假设）来设计具体的游戏化场景任务与测评内容。

图1 基于问题情境的批判性思维测评框架

依托测评框架，本研究以CCTT-X思维测验为基础，使用2D游戏引擎工具Construct 3完成了“星球历险记”游戏的开发。“星球历险记”面向中小学生，是一款在星球历险的大背景下，以探险、营救队友为主题的批判性思维测评游戏。在进行脚本设计时，“星球历险记”依照测评目标分成四个关卡，分别设定不同的场景地图、剧情任务、人物对话等，其游戏逻辑设计如图2所示。首先，游戏赋予测评对象“第二团团长”的角色，来到星球调查第一团成员全体失踪事件，之后开始闯关。每一关卡都设有例题和相关说明，方便玩家理解游戏规则。这四个关卡含有对归纳、观察和判断、演绎推理、辨别假设四个核心能力的测评，有一些场景中的题目可能还涉及多个技能的综合测评，最后由游戏系统提供测评结果和相关的分析报告。游戏系统通过动画、音效、排行榜、进度条等功能和实时反馈机制，让玩家能够获得更加沉浸式的测评体验。本研究结合中小学生的认知发展特点和游戏任务量，将游戏时间设置为40分钟，在此基础上增加10分钟用于学生观看导入视频、填写个人信息，总计50分钟。

图2 “星球历险记”游戏逻辑设计

三 批判性思维测评游戏的评价

1 游戏评价指标设计

游戏测试与评价是游戏系统开发环节中不可或缺的一部分，用来进一步发现游戏中存在的问题并展开追踪，促进游戏的优化和升级。由于教育游戏具有寓教于乐的特殊性，故研究者在关注其游戏性和技术性的同时，还应对其教育性进行评估。梳理并分析目前已有的教育游戏评价指标，可以发现大多数教育游戏是从教学设计、游戏设计、软件开发三个维度进行评价[22]。基于此，本研究设计了批判性思维测评游戏评价指标，如表1所示。

表1 批判性思维测评游戏评价指标

2 游戏测评过程

本研究邀请20名教育技术领域的专家进行游戏体验，并根据批判性思维测评游戏评价指标对游戏打分、进行思维测评比较，主要过程如下：首先，测评专家根据个人的游戏体验，从教学设计、游戏设计、软件设计三个维度的15个指标对“星球历险记”游戏打分，每个指标分数区间为0～5分，代表从“非常不满意”到“十分满意”；接着，测评专家阅读调查问卷形式的CCTT-X思维测验题（题目与批判性思维测评游戏的题目完全相同），从教学设计、游戏设计两个维度打分；最后，本研究采用数据统计工具SPSS 26.0，计算15个游戏评价指标的平均得分，得到游戏测评结果（如图3所示），并比较批判性思维测评游戏与CCTT-X思维测验的优缺点。

图3 游戏测评结果

3 分析与比较

（1）游戏测评结果分析

游戏测评结果显示，游戏设计维度中“情境创设”指标的得分最高（4.4分），原因主要在于“星球历险记”游戏设置了各种各样的任务和目标，并以丰富、连贯的故事情节让人沉浸其中。整体而言，“星球历险记”游戏得到了测评专家的一致肯定，尤其是教学设计、游戏设计两个维度中各指标的得分都很高（仅“激励机制”指标的得分＜4分），说明测评专家对教学设计和游戏设计的满意度很高；而软件设计维度各指标的得分稍低，这可能与使用的游戏开发工具Construct 3灵活性不高、不支持用代码加入高级功能有关，同时也说明游戏需在软件质量、信息管理等方面予以加强。

（2）两种思维测评比较

为明确批判性思维测评游戏的优势与不足，本研究将其与问卷调查形式的CCTT-X思维测验进行对比，并利用SPSS软件配对样本t检验分析这两种思维测评在各个指标上是否存在显著差异，得到两种思维测评的比较结果如图4所示。由于调查问卷不涉及软件设计，故图4只列出了两种思维测评在教学设计、游戏设计两个维度中各指标的得分。图4显示，除了“操作难度”指标，两种思维测评在其他指标上都存在显著差异（**＜0.01，***＜0.001）；而在“操作难度”指标上，虽然批判性思维游戏测评的得分高于CCTT-X思维测验，但两者并不存在显著差异（＞0.05）。基于此，后续设计、优化教育游戏时应注意降低操作难度，以提高游戏体验。

此外，在收集到的专家意见中，测评专家对游戏系统中的反馈与交互提出了更高期望，如其中一位专家表示：“游戏中提供的反馈只有每次关卡结束时的人物提示和系统最后显示的成绩单。若能推出游戏排名机制，就可以提高用户参与感，了解自己的批判性思维水平，进一步激励用户应用批判性思维的积极性。”另一位专家提出建议：“可以在游戏中设置讨论区。在讨论区，用户可以就游戏中的问题进行辩论，最终得出解决方案。”由此可见，除了关注游戏中的人机交互设计，后期还可以将排名机制、讨论区等融入社交设计，向用户提供更丰富的反馈内容。

图4 批判性思维测评游戏与CCTT-X思维测验的比较结果

综合图3、图4的数据分析可知：“星球历险记”游戏在情境创设、任务关联程度、情感渲染、反馈与交互四个指标上表现极佳，但在软件设计维度上仍有待加强；批判性思维测评游戏与CCTT-X思维测验的测评维度与题目内容相同，但批判性思维测评游戏明显更具优势，但同时也应注意降低操作难度。特别是随着故事情节的推进和游戏场景的转换，“星球历险记”游戏能够有效激发学生的内在动机，而当学生在游戏中能快速获得激励时，他们更会趋向于再次应用批判性思维能力。可以说，测评游戏是基于传统的测评而设计，但又超越了原有形式；将游戏化测评技术与网络技术计算机测验相结合，能够更为直观、快速地反映出测评对象的批判性思维能力。

四 优势与建议

1 批判性思维测评游戏的优势

本研究通过梳理相关文献及实证研究，总结出批判性思维测评游戏的主要优势如下：

①功能性与游戏性并重。学生在批判性思维测评游戏中的体验与学习结果、游戏系统中设定的支持功能紧密相关。首先，“星球历险记”是一款教育测评游戏，其将基于问题情境的批判性思维测评框架与故事线相结合，设置了四个关卡，含有对归纳、观察和判断、演绎推理、辨别假设四个核心能力的测评；其次，游戏情节在CCTT-X思维测验的基础上做了改编，玩法上进行了创新，让学生愿意去思考和挑战，在不知不觉中完成批判性思维能力测评；最后，在线游戏系统可以提供及时反馈，帮助学生识别他们是否正确地完成了游戏任务。

②应用价值高。当前，思维测评已广泛开展，许多相关的标准化调查问卷已在很多国家进行了修订并得以应用。然而，组织一场大规模批判性思维问卷调查通常涉及的工作繁杂，如批判性思维知识的科普、问卷的选择、测评活动的时空安排、测评结果的数据分析及其报告生成等。本研究将批判性思维测评内容和游戏任务相融合，采用一种更具弹性、更加灵活的在线测评形式，实现了随时随地的批判性思维测评。批判性思维测评游戏能够节省学校在测评过程中的人力、物力成本，学生在线上就能完成测评，并且在游戏过程中可以随时查看例题进行反思，完成测评之后还可获得即时反馈报告。将在线游戏和批判性思维评价实践相结合，是实现大规模教育评价的有效途径，对于完善教育政策、促进新时代核心素养的培养有重要意义。

2 教育测评游戏的设计开发建议

本研究完成了一款批判性思维测评游戏的设计、测试与评价，发现游戏化测评使测评过程不再单调，可以帮助测评对象在轻松的氛围下呈现个体真实的批判性思维水平，而不用拘泥于“被测”的角色。结合“星球历险记”游戏的设计、测试、评价过程，本研究针对教育测评游戏的设计开发提出建议：①遵循基于问题情境的游戏设计原则，既要关注知识、技能、记忆、社交等教育游戏基本要素的设计，也要融入动机激励设计，为学生提供良好的游戏化测评体验。②游戏的出发点和落脚点在于教育，设计者要做好教学设计，最大程度地克服游戏对教育的负面作用。例如，可以采用“轻游戏”形式，关注游戏的内在特点，实现教育游戏学习性与游戏性之间的平衡；设置合理的游戏时间与游戏任务，防止学生沉溺于游戏或对学习产生抵触情绪；设置符合目标人群认知规律的界面与功能，降低操作难度，减少认知负荷。③反馈是十分重要的功能，测评游戏系统应为学生提供有针对性的反馈信息。学生在参与游戏的过程中若能得到及时的指导和反馈，就会增强其参与感与存在感，从而促使学生更加积极地参与测评游戏。

五 结语

本研究提出了基于问题情境的批判性思维测评框架，开发了一款面向中小学生的批判性思维测评游戏——“星球历险记”。游戏开发完成后，本研究邀请专家对游戏进行游戏体验，并根据批判性思维测评游戏评价指标，对批判性思维测评游戏与调查问卷形式的CCTT-X思维测验进行比较，总结出批判性思维测评游戏具有功能性与游戏性并重、应用价值高的优势，但同时也应注意操作难度的设置问题。

作为一种新型测评手段，批判性思维测评游戏一方面亟需深入探究适合的游戏行为分析指标体系，并完善过程数据的采集，以实现面向测评过程与结果的双重批判性思维测评；另一方面亟需建立更加高效的反馈机制，以促进用户深度参与，在完善教学设计和游戏设计的同时实现批判性思维测评游戏的迭代优化。未来，可以在游戏中设置更多的开放性主题和任务，以吸引学生一起进行协作探究，从而进一步提升批判性思维测评游戏的学习效果。此外，批判性思维测评游戏的设计开发是一个动态发展的过程，尽管自适应测评、虚拟现实等技术的教育潜能巨大，但是如何利用这些新技术创建更为真实的游戏场景，并以清晰的方式及时提供互动式反馈，以有针对性地发展学生的批判性思维能力，还有待后续进行深入的探究。

[1]来钇汝,张立新,秦丹.美国区域教育信息化发展规划的分析与启示[J].现代教育技术,2020,(6):26-32.

[2]杨向东.基于核心素养的基础教育课程标准研制[J].全球教育展望,2017,(10):34-48.

[3]任永功,贾佳,多召军.批判性思维测评的核心要素与技术演变趋势[J].现代教育技术,2022,(6):81-88.

[4]Armstrong M, Ferrell J, Collmus A, et al. Correcting misconceptions about gamification of assessment: More than SJTs and badges[J]. Industrial and Organizational Psychology, 2016,(3):671-677.

[5]Dewey J. How we think[M]. Boston: Heath & Co, 1910:6.

[6]Ennis R H. A logical basis for measuring critical thinking skills[J]. Educational Leadership, 1985,(2):44-48.

[7]Paul R, Elder L. The miniature guide to critical thinking concepts and tools[M]. Washington: Rowman & Littlefield, 2019:3.

[8]Bartle R. Gamification: Too much of a good thing[OL].

[9]和文斌,董永权.教育游戏对学生学习效果的影响研究——基于41项实验和准实验的元分析[J].现代教育技术,2021,(4):44-50.

[10]李志,谢思捷,赵小迪.游戏化测评技术在人才选拔中的应用[J].改革,2019,(4):149-159.

[11]陈锦昌,刘菲,陈亮,等.基于分布式认知理论的移动学习游戏设计原则研究[J].电化教育研究,2016,(11):60-66.

[12]Watson G, Glaser E. Watson-Glaser critical thinking appraisal[M]. London: Pearson Assessment, 2002:1-15.

[13]Ennis R H, Millman J, Tomko T N. Cornel critical thinking test level X & level Z[M]. Pacific Grove: Midwest Publications, 1985:1-47.

[14]Facione P A. The California critical thinking skills test-college level. Technical report #2. Factors predictive of CT skills[R]. Millbrae: California Academic Press, 1990:1-19.

[15]Facione P A. Critical thinking: What it is and why it counts[R]. Millbrae: The California Academic Press, 2011:1-30.

[16]Ennis R H, Wier E. The Ennis-Wier critical thinking essay test[M]. Pacific Grove: Midwest Publications, 1985:1-14.

[17]Norris S P. Can we test validly for critical thinking?[J]. Educational Researcher, 1989,(9):21-26.

[18]冷静,路晓旭.批判性思维真的可教吗?[J].开放教育研究,2020,(6):110-118.

[19]冷静,路晓旭.题库型游戏评测批判性思维能力研究[J].开放教育研究,2020,(1):82-89.

[20]Ennis R H. A logical basis for measuring critical thinking skills[J]. Educational Leadership, 1985,(2):44-48.

[21]Bensley D A, Murtagh M P. Guidelines for a scientific approach to critical thinking assessment[J]. Teaching of Psychology, 2012,(1):5-16.

[22]刘文辉,王艺亭,赵敏,等.教育游戏评价指标的设计与开发[J].开放教育研究,2017,(2):111-120.

Design and Evaluation of Critical Thinking Assessment Game for Primary and Secondary School Students——Taking the Game of “Planet Adventure” as an Example

LENG Jing1,2DU Yang-lan1,2

Since the 21st century, the cultivation of critical thinking has been widely concerned, and critical thinking assessment is the key step to developing critical thinking. Based on this, this paper firstly put forward the critical thinking assessment framework based on problem situations, and developed a critical thinking assessment game “Planet Adventure” for primary and middle school students. Then, the evaluation indexes for the critical thinking assessment game were designed, which included teaching design, game design and software design. Subsequently, experts were invited to experience the game, score the game according to the evaluation indexes, and compare the critical thinking assessment game with the CCTT-X thinking test. Finally, the major advantages of the critical thinking assessment game were summarized, and some suggestions for the design and development of education assessment games were proposed. The critical thinking assessment game kept the balance between functionality and gameplay and showed good application value, which could be used to improve primary and secondary school students’ critical thinking ability.

critical thinking; assessment game; CCTT-X thinking test; teaching design; game design

G40-057

A

1009—8097（2022）07—0040—08

10.3969/j.issn.1009-8097.2022.07.005

基金项目：本文为国家出版融合重点实验室、人教数字教育研究院规划课题“人机协同赋能课堂学习投入提升框架及实证研究”（项目编号：RJA0222001）的阶段性研究成果。

冷静，华东师范大学教育信息技术学系副教授，华东师范大学上海数字化教育装备工程技术研究中心成员，博士，研究方向为计算机支持的协作学习、教育数据挖掘、批判性思维能力培养及测评，邮箱为jleng@deit.ecnu.edu.cn。

2021年12月21日

编辑：小米