批判性思维测评的核心要素与技术演变趋势*

2022-06-21任永功多召军

现代教育技术 2022年6期

任永功贾佳多召军

任永功贾佳多召军[通讯作者]

（辽宁师范大学计算机与信息技术学院，辽宁大连 116081）

促进学生批判性思维的发展是21世纪创新人才培养的重要内容，而批判性思维测评对批判性思维发展的教学实践具有重要的导向作用。基于此，文章以批判性思维测评工具为研究对象，对国内外近十年来37篇实验研究涉及的19个批判性思维工具进行对比分析，探索了K-12阶段与高等教育阶段批判性思维测评的核心要素与技术特征；同时，文章从评价取向、测评题目形式两个维度，构建四象限空间的批判性思维测评工具分类框架，梳理了结果取向的封闭性测评、结果取向的开放性测评、过程取向的封闭性测评及过程取向的开放性测评四类测评工具的关键技术及发展趋势，以期为推动批判性思维测评工具的本土化研发与规范化实践应用提供一定的参考。

批判性思维；测评要素；测评技术；测评工具

批判性思维能力是21世纪人才必备的核心能力，直接影响创新能力的培养。2019年，经济合作与发展组织（Organization for Economic Co-operation and Development，OECD）教育研究和创新中心发布《培养学生的创造力和批判性思维》研究报告，明确指出要大力推动发展批判性思维的教学实践[1]。2020年，教育部发布《未来技术学院建设指南（试行）》，也提出要“培养创造性思维和批判性思维能力，营造创新无边界、思维无界限的人才培养生态”[2]。而在推动批判性思维教育发展的过程中，批判性思维测评的作用非常重要，它既是批判性思维培养的重要环节，也是验证培养成效的重要依据。就现有研究来看，批判性思维测评的理论框架设计广泛沿用了美国哲学协会的《德尔菲报告》[3]，将阐明、分析、推论、评估、解释作为测评要素，从K-12阶段到高等教育阶段，针对特定阶段学生认知发展规律的测评要素还不够清晰[4]；同时，测评工具不断更迭，越来越趋于多样化、智能化、个性化，这导致针对特定阶段学生测评工具的技术特征模糊，在实践应用中存在一定的局限性。基于此，本研究整理、归纳并对比分析国内外近十年批判性思维测评的实证研究，梳理不同阶段学生批判性思维测评的核心要素，从评价取向、测评题目形式、关键技术等方面分析批判性思维测评技术的演变过程，期望为推动批判性思维测评工具的本土化研发与规范化实践应用提供一定的参考。

一研究设计

1 研究问题与研究方法

为了明确批判性思维测评的核心要素和测评工具的技术特征、发展趋势，本研究将研究问题确定如下：①K-12阶段与高等教育阶段批判性思维测评的核心要素是什么？两者有何差异？②针对K-12阶段与高等教育阶段的测评工具有哪些不同的技术特征？③批判性思维测评工具呈现何种发展趋势？

本研究以国内外学者或机构开发的批判性思维测评工具为研究对象，采用内容分析法，提取与分析各测评工具采纳的测评要素，明确不同阶段批判性思维测评的核心要素；同时，采用案例研究法，梳理各测评工具的关键技术与方法，分析其发展趋势及不同阶段批判性思维测评的技术特征。

表1 19个批判性思维测评工具的测评要素与测评技术

2 数据收集

本研究中，国内研究样本以“中国知网”（CNKI）为数据源，选取2010～2021年期间发表在CSSCI期刊的中文文章，检索主题为“批判性思维测评”或“批判性思维测量”。国外研究样本来源于ScienceDirect、Springer和Web Of Science数据库，搜索2010～2021年期间发表在SSCI的英语文章，以“critical thinking”“critical thinking measure”“critical thinking assessment”为关键词进行搜索。搜索过程中设置5个筛选标准对论文进行筛选，具体为：研究方法为实验研究或准实验研究；测评对象仅为K-12和高等教育阶段的在校学生；研究内容为评价测评对象的批判性思维能力；研究结果有充足的数据信息；排除重复文献，若同一篇文献以不同形式发表，则只取其一。最终，本研究得到37篇符合筛选标准的文章。

3 数据分析

本研究对37篇实验研究中涉及的19个测评工具（7个面向K-12阶段的测评工具、12个面向高等教育阶段的测评工具）的测评要素与测评技术进行挖掘，结果如表1所示，可以看出：从K-12阶段到高等教育阶段，批判性思维测评要素具有一定的差异；从标准化测试到开放性测试、从纸质版测试到基于在线平台的多样化测评形式，批判性思维测评工具呈现出一定的发展趋势。

二针对K-12阶段和高等教育阶段的批判性思维测评核心要素

测试内容的适切性决定了批判性思维测评工具的有效性，对比K-12阶段和高等教育阶段的批判性思维测评工具，可以发现测评要素存在差异。因此，结合学生的认知水平、思维特征，分阶段剖析批判性思维测评的核心要素，能够确保测试内容符合特定年龄群体的认知发展规律。

1 K-12阶段批判性思维测评的核心要素分析

从对比分析结果来看，面向K-12阶段的测评工具普遍将《德菲尔报告》中的阐明、分析、推论、评估、解释作为测评要素，而较少涉及决策、问题解决等要素。例如，包括、《小学生批判性思维能力测验》、MCTS、、Critical Thinking Test在内的5个批判性思维测评工具主要围绕《德菲尔报告》的阐明、分析、推论、评估、解释等测评要素进行相应的改变；仅有Wang等[5]开发的Chai等[6]开发的Critical Thinking Scale将决策也作为K-12阶段批判性思维测评要素。从认知发展阶段理论出发，皮亚杰将儿童思维发展划分为四个性质不同的阶段，分别是感知运算阶段、前运算阶段、具体运算阶段、形式运算阶段，并认为前一阶段是进入后一阶段的前提条件，各阶段间是连续且不可跳跃的，具有动态性和连续性[7]。K-12阶段学生的认知大多处于具体运算阶段、形式运算阶段，主要应用语言文字在头脑中进行抽象思维，通过构建事物和过程来解决简单的问题；也可以根据假设对简单的命题进行逻辑推理、分析论证，但在复杂问题解决、基于证据的决策等方面仍不成熟。因此，结合K-12阶段学生的认知水平、思维特征，该阶段的批判性思维测评核心要素应以阐明、分析、推论、评估、解释为主，针对高年级学生可酌情开展决策与问题解决维度的测评。

2 高等教育阶段批判性思维测评的核心要素分析

从对比分析结果来看，面向高等教育阶段测评工具中的测评要素体现了多元化特征，既采纳了《德菲尔报告》中的分析、评估、论证、推理等测评要素，也出现了决策、问题解决、写作能力、元认知等测评要素。例如，Akpur[8]研发的Critical Thinking Scale、Shavelson[9]研发的WT、Diane[10]研发的HCTA都将决策作为测评要素；Danczak[11]研发的DOT test、Diane研发的HCTA都将问题解决作为测评要素；CAE[12]研发的CLA+、Shavelson研发的WT都有写作能力要素。从学生能力素养出发，高等教育阶段学生的认知发展基本处于形式运算阶段，可以进行形式命题的运算，根据假设对各种命题进行逻辑推理，从而掌握各种概念和基本规律；高等教育阶段学生的沟通交流、实践操作、书面表达等能力都较为完备，能够在真实的问题情境中完成复杂任务。从批判性思维的本质出发，批判性思维与问题解决具有内在一致性[13]，批判性思维的目标不应该是简单的逻辑推理，而是在真实的情景中解决问题，问题解决的技能就是批判性思维所需的技能。因此，高等教育阶段的批判性思维测评核心要素应面向源于生活情景的问题解决过程、自我调节的元认知过程、证据导向的决策过程进行抽取，需与K-12阶段的阐明、分析、推论、评估、解释等要素加以区分。

三针对K-12阶段和高等教育阶段的批判性思维测评技术特征

对比分析K-12阶段和高等教育阶段批判性思维测评工具的测评技术，由于不同阶段学生的认知特征存在差异，因此测评工具的技术特征也有所不同。

1 面向K-12阶段的沉浸式测评

从学生认知能力来看，K-12阶段的学生缺乏抽象逻辑推理能力，但能凭借形象思维的支持进行逻辑推理。因此，针对K-12阶段的测评工具需要结合一定的情境，如将故事情节和游戏元素与封闭性任务或问题相融合，为学生带来良好的用户体验，激发学生的主动思考，提高其参与度、动机与交互时间。例如，以诺亚王国中的“选美比赛”和“大学学费”为故事情节：以主人公尼古拉的沙漠探险为游戏情境；《小学生批判性思维能力测验》以两个耳熟能详的童话故事“三只小猪”和“龟兔赛跑”为故事情节；以漫画内容为游戏情境，将批判性思维的测试题目改编成图文叙述。

2 面向高等教育阶段的在线开放性测评

高等教育阶段学生的思维已经超越了对具体感知事物的依赖，能够认识命题之间的关系，对事物进行一定的概括，通过逻辑推理、归纳演绎的方式来解决复杂的问题。因此，针对高等教育阶段学生的测评工具需要设计较为复杂的开放性任务或问题。例如，Critical Thinking Assessment Tool基于视频、新闻文章和信息图，设置了28个开放性问题；HCTA基于25个人的日常生活情境，设置了开放性问题与封闭性问题；CLA+设置了表现性任务，要求学生扮演假设性的角色，通过收集信息并分析、推理，来完成具体的任务；Shavelson以风力发电机为问题情境，要求学生合作，共同解决具体的问题，并在问题解决的过程中测评学生的批判性思维。

四批判性思维测评工具的演变趋势

针对不同阶段的批判性思维测评技术，与之对应的批判性思维测评工具也存在一定的演变趋势。本研究根据评价取向，将批判性思维测评工具划分为结果取向、过程取向两大类；根据测评题目形式，将批判性思维测评工具划分为封闭性、开放性两大类。同时，本研究以评价取向为横坐标、以测评题目形式为纵坐标，依据表1中19个批判性思维测评工具的技术特征，形成四象限空间的批判性思维测评工具分类框架，如图1所示，批判性思维测评工具呈现出从结果取向的封闭性测评向结果取向的开放性测评发展、从过程取向的封闭性测评向过程取向的开放性测评发展的演变趋势。

1 结果取向的封闭性测评

结果取向的封闭性测评主要针对采用选择题、李克特量表等形式的封闭性问题，在某课程学习前后，通过分析学习者提交的试卷、量表来评价学习者的批判性思维能力，是学校教育中最传统、普遍的测评方式。早在20世纪90年代，美国加州学术出版社就率先编制了选择题形式的加利福尼亚批判性思维技能测验（California Critical Thinking Skills Test，CCTST）和李克特量表形式的加利福尼亚批判性思维倾向问卷（California Critical Thinking Disposition Inventory，CCTDI）[14][15]。这类测评工具对测评环境要求较少，操作简单且能在短时间内获得丰富的数据，易于进行大规模的使用，可帮助学习者迅速了解自身的能力水平。然而，封闭性问题难以阐明学习者选择某个选项的原因，也就无法充分揭示学习者的思维过程，故测评结果缺乏全面性。

图1 四象限空间的批判性思维测评工具分类框架

2 结果取向的开放性测评

结果取向的开放性测评可以为学生提供更多的发挥空间，也可在一定程度上揭示学生的思考过程，重视写作能力、决策、问题解决等维度的测评。1985年，Ennis等[16]发表了论文写作形式的测试工具《恩尼斯-韦尔批判性思维语篇测试》（The Ennis-Weir Critical Thinking Essay Test，EWCTET），但这种工具测评成本较高，在教育实践中难以大规模实施。针对这一情况，研究者逐渐开始转向建构性反馈与选择题形式相结合的工具，增加了半开放性或开放性的问题，如HCTA中设置半开放性的问题，需要被测者为自己的选择说明理由，表达自己的观点，其反馈更具开放性、效度更高。与封闭性问题相比，该形式的测评结果缺乏连续性，被测者的答案具有一定的灵活性。

为了弥补上述不足，基于机器学习算法构建的自动作文评分系统（Automated Essay Scoring，AES）逐步被引入课堂。例如，Tracey[17]利用WEKA开源平台构建AES，采用359名学生的短回答作为训练集建立AES模型，并对40名学生的回答进行评分，旨在测评护理专业本科生的批判性思维能力。早期的AES只能对文本的表层特征进行分析，随着问题和相关答案的复杂性增加，预测的准确性可能会降低，致使评分信度受到影响。随着自然语言处理技术的迅速发展，AES的评分信度将大幅提升，成为重要的批判性思维测评工具。

3 过程取向的封闭性测评

过程取向的封闭性测评是指在教学过程中基于在线平台，采用标准化试题，依据评分或信息认证等数据，对学生的批判性思维能力进行测评。这类工具通常采用图文叙述方式的呈现试题，如Gelerstein[18]将测试题目与漫画小说相结合，利用故事情节，以图文呈现题目，评价三、四年级小学生在语言艺术方面的批判性思维能力。相较于结果取向的测评工具，此类测评更加详细、多维，不仅有助于优化评价过程，而且能使学生沉浸其中，以更快的速度完成评价。但此类测评倾向于从量化角度分析数据，测评结果呈现的是一种静态特征，难以分析批判性思维的变化过程。相较于结果取向的封闭性测评工具，过程取向的封闭性测评工具在平台开发上对技术要求较高，但测评内容更为详尽。

增值性评价技术被广泛应用于过程取向的封闭性测评，以学生的考试成绩为依据，通过统计分析技术，计算在教学干预下学生的质量增值，进而评价学生的批判性思维能力。例如，CLA、CLA+都采用增值性评价技术，选择分别对大学新生和接受了阶段性高等教育之后的学生或大学毕业班学生开展测评，通过计算批判性思维的原始得分与实际得分之间的差值，进而判断学生接受高等教育前后其批判性思维能力的变化。这种测评方式对于评价学生的认知水平较为有效，但在思维策略性知识的测评效果上并不显著，难以对批判性思维的变化过程进行探讨。

4 过程取向的开放性测评

过程取向的批判性测评主要采用定量分析和定性分析相结合的方式，分析学习过程中受测者的各项表现，多角度评价其批判性思维能力。仅从量化分析的角度出发，通过编码、数目统计分析被测者的日志数据、交互文本等表现，数据呈现的是一种静态、结果特征。而定性分析很好地弥补了这一不足，如Claire[19]采用内容分析法（Content Analysis，CA）与测试量表相结合的方式，多角度地对被测者的批判性思维能力进行评价。在测评要素方面，其测评内容较为全面，不仅包括《德菲尔报告》中提及的要素，而且涵盖了写作能力、决策、问题解决等要素。

在大数据分析支持下的自适应测评系统根据多模态数据，可以全面地记录、跟踪和掌握学习者的不同学习特点，并对不同类型的学习者进行个性化测评，实现个性化学习服务。例如，利用学生在测评过程中产生的痕迹性数据分析学生的批判性思维能力，并允许学生依据自身特点个性化地调整测评进程。冷静[20]将批判性思维的5个“过程”定义为5种思维的“行为”，将两个“过程”之间的转换定义为一个单行为序列，利用两个“过程”的编码组合代表两个思维过程过渡的序列，依靠其转换方式绘制行为转换图，从而探究在线讨论期间学生批判性思维的特征及其变化规律；黄雪娇[21]将LSA、ENA应用于批判性思维研究中，分析学习者批判性思维各阶段的特点，并将各阶段的特征、总体变化趋势进行比较，以分析学习者批判性思维的变化规律。

从关键技术与方法的发展过程可以窥见，随着增值性评价技术的引入，基于在线平台的批判性思维测评工具开始兴起；随着自动作文评分系统的引入，过程取向的测评开始流行；随着游戏化测评、计算机自适应等技术的引入，情境化、个性化的批判性思维测评开始受到关注。然而，当前基于在线平台的批判性思维测评工具的研发仍然脱离于教学的实践过程，虽然可以测量学生的思维水平，但仍然难以揭示其批判性思维的变化规律，对发展批判性思维的教学实践的引导作用还很有限。因此，本研究认为未来的研究重点应倾向于面向常态化学习环境的批判性思维测评工具开发，并将其融入教学实践环节，实现思维参与和思维发展过程的测评。

五结语

批判性思维测评既是批判性思维培养过程的重要环节，也是验证批判性思维能力培养成效的重要依据。本研究通过对比、分析已有的批判性思维测评工具，进一步明确了K-12阶段和高等教育阶段批判性思维测评的核心要素、测评工具的技术特征。此外，本研究还梳理了批判性思维测评工具的演变趋势，并针对批判性思维测评工具的研发仍然脱离于教学实践过程的现状，提出将批判性思维测评技术融入常态化学习环境，通过视觉、情感、语义等多模态数据，对学习者的思维过程进行识别，全面记录、跟踪和掌握学习者在不同阶段的批判性思维特点，以实现对批判性思维的精准评估。未来，在理论框架研究方面，仍需结合学生的认知水平、思维特征、语言文化等，进一步明确各阶段学生批判性思维能力的测评要素，并分析各要素的外显特征，以制定有针对性的、本土化的批判性思维测评框架；而在教学实践方面，应依据教学实际，规范化应用批判性思维测评工具，保证测评结果的有效性。

[1]OECD. Fostering students’ creativity and critical thinking: What it means in school[OL].

[2]乔爱玲.学习风格对大学生批判性思维发展的影响研究——基于在线教学环境的实证研究[J].现代远距离教育,2020,(5):89-96.

[3]Facione P A. Critical thinking: A statement of expert consensus for purposes of educational assessment and instruction. Research Findings and Recommendations[M]. Newark, DE: American Philosophical Association(eric document reproduction service), 1990:8-30.

[4]Pucer P, Trobec I, Žvanut B. An information communication technology based approach for the acquisition of critical thinking skills[J]. Nurse Education Today, 2014,(6):964-970.

[5]Wang D, Liu H, Hau K T. Automated and interactive game-based assessment of critical thinking[J]. Education and Information Technologies, 2021,(2):1-23.

[6]Chai C S, Deng F, Tsai PS, et al. Assessing multidimensional students’ perceptions of twenty-first-century learning practices[J]. Asia Pacific Education Review, 2015,(3):389-398.

[7]毕景刚,董玉琦,韩颖.促进初中生批判性思维发展的教学实证研究——基于学习活动设计视角[J].电化教育研究,2018,(7):83-90.

[8]Akpur U. Critical, reflective, creative thinking and their reflections on academic achievement[J]. Thinking Skills & Creativity, 2020,(1):100683.

[9]Shavelson R J, Zlatkin-Troitschanskaia O, Beck K, et al. Assessment of university students’ critical thinking: Next generation performance assessment[J]. International Journal of Testing, 2019,(4):337-362.

[10]Butler H A. Halpern critical thinking assessment predicts real‐world outcomes of critical thinking[J]. Applied Cognitive Psychology, 2012, 26(5): 721-729.

[11]Danczak S M, Thompson C D, Overton T L. Development and validation of an instrument to measure undergraduate chemistry students’ critical thinking skills[J]. Chemistry Education Research and Practice, 2020,(1): 62-78.

[12]Zahner D, Ciolfi A. International comparison of a performance-based assessment in higher education[A]. Assessment of Learning Outcomes in Higher Education[C]. Cham: Springer, 2018:215-244.

[13]俞树煜,王国华,聂胜欣,等.在线学习活动中促进批判性思维发展的问题解决学习活动模型研究[J].电化教育研究, 2015,(7):35-41、72.

[14]Facione P A. The California critical thinking skills test: College level technical report #1- Experimental validation and content validity[R].Millbrae: The California Academic Press,1990:13-21.

[15]Facione N C, Facione P A, Sanchez C A. Critical thinking disposition as a measure of competent clinical judgment: the development of the California Critical Thinking Disposition Inventory[J].The Journal of nursing education,1994,33(8):345-50.

[16]Ennis R H, Weir E E. The Ennis-Weir critical thinking essay test: An instrument for teaching and testing[M]. Pacific Grove: Midwest Publications, 1985:1-14.

[17]Tracey C S. Using automated essay scoring to assess higher-level thinking skills in nursing education[D], Edmonton: University of Alberta, 2019:41-51.

[18]Gelerstein D, Del Río R, Nussbaum M, et al. Designing and implementing a test for measuring critical thinking in primary school[J]. Thinking Skills and Creativity, 2016,(20):40-49.

[19]Hart C, Costa C D, D'Souza D, et al. Exploring Higher Education Students' Critical Thinking Skills through Content Analysis[J]. Thinking Skills and Creativity, 2021,(82):100877.

[20]冷静,黄旦.基于LSA的大学生批判性思维在线话语分析[J].中国电化教育,2019,(4):70-78.

[21]黄雪娇,周东岱,刘凤娟.在线交互活动中学习者批判性思维发展轨迹研究[J].现代远距离教育,2021,(01):24-31.

The Core Elements and Technology Evolution Trends of Critical Thinking Evaluation

REN Yong-gong JIA Jia DUO Zhao-jun[Corresponding Author]

It is an important content of cultivating innovative talents to promote students’ development of critical thinking in the 21st century, andcritical thinking evaluation plays an important guiding role in the teaching practice of critical thinking development. Based on this, taking critical thinking evaluation tool as the research object, this paper compared and analyzed 19 critical thinking tools from 37 experimental studies in recent ten years at home and abroad, and explored the core elements and technical characteristics of critical thinking evaluation in K-12 stage and higher education stage. At the same time, from the dimensions of evaluation orientation and evaluation topic form, a four-quadrant space critical thinking evaluation tool classification framework was constructed, and the key technologies and development trends of four types of evaluation tools that included results-oriented closed evaluation, result-oriented open evaluation, process-oriented closed evaluation, and process-oriented open evaluation were summarized, expecting to provide certain reference for promoting the localization research and standardized practice application of critical thinking evaluation tools.

critical thinking; evaluation; core elements; key technologies