美国2014NAEP技术与工程素养评估试题研究

杨玉琴 熊新华 辛艳

摘要： 技术与工程是STEM教育的重要内容领域，美国国家教育进展评估（NAEP）于2014年首次在全国范围内对8年级学生的技术与工程素养进行了测评。其试题编制以“领域”、“实践”与“情境”的三维架构为理论依据，题型由基于场景的试题和独立题组成，且大多是建构反应题。所有的任务皆通过计算机呈现且由学生在计算机上完成，有力保证了测量的信度与效度。

关键词： 国家教育进展评估（NAEP）; 技术与工程素养; 领域; 实践; 场景题

文章编号： 10056629（2018）3001806 中图分类号： G633.8 文献标识码： B

国家教育进展评估（National Assessment of Educational Progress，简称 NAEP）是美国最具权威的持续性中小学生学业成就评价系统，定期对阅读、写作、数学、科学、美国历史、公民学以及地理等学科进行测评，了解4、 8、 12年级学生在这些领域中的学业成就水平现状及发展趋势，为美国国家教育政策的制定和改革提供有力依据[1]。进入21世纪，由于STEM（数学、技术、工程和数学）教育的兴起，美国国家评估委员会于2008年发起和资助开发技术（T）和工程（E）素养国家评估框架，于2013年正式出台了《2014NAEP技术与工程素养评估框架》（以下简称《框架》），并在2014年首次在全国范围内抽选8年级学生进行技术与工程素养的测评，以提供数据促进技术与工程教育[2]。目前，我国STEM课程已经入校，但其评价方式方法的合理性、科学性等问题仍需进一步的探索和回答[3]。美国NAEP技术与工程素养评估试题的开发经验具有重要借鉴价值。

1 试题编制的依据

2014NAEP技术与工程素养评估试题的编制以《框架》中对技术与工程素养内涵及其表现目标的界定为依据。《框架》将技术与工程素养界定为“理解、应用、操纵和评估技术的能力”。具体内容包括如表1所示的“领域”（Areas）和“实践”（Practices）[4]。

如上，三个领域是评估的核心部分，每个领域又包含各自的二级主题。三个领域在评估目标中虽然分开说明，但并非分开学习或应用，而是相互重叠、相互作用。如，在解决“洁净的水”“清洁能源”等议题时，不仅要理解技术与社会的相互关系，掌握技术系统和工程设计过程，还要能够运用不同的信息和通信技术来研究问题和解决问题;三种实践活动则是期望学生在解决技术与工程相关问题时展示思维和推理，即对技术与工程知识和技能的理解及运用。它们并不隶属于哪一个领域，而是普遍性的、跨领域的，如，交流与合作既是理解技术对自然世界影响，也是设计一个现实问题的工程解决方法以及应用通信工具达到目标的重要技能。《框架》中具体描述了三个领域的每个二级主题在4、8、12年級的评估目标，即学生应该知道什么和能做什么。如“设计与系统”领域下二级主题“工程设计”的8年级学生的评估目标是“学生应该知道： （1）工程设计是满足人类需求的创造性、系统性和迭代性过程。包括陈述问题、产生想法、选择最好的方法、制作和测试模式或原型以及重新设计等步骤。通常会有几种可能的方法。（2）设计要求包括产品标准和限制条件等，可能包括时间、花费、材料等。设计通常需要在各种限制条件和设计要求之间进行权衡;学生能够： （3）通过设计解决一个中等难度的问题，包括界定产品标准和限制条件，研究和产生想法，权衡各种可能的方法。（4）构建和测试一个模型，收集数据以证明其是否满足要求。交流设计结果，并利用语言和可视化手段说明设计背后的原理。说明一个设计的优势以及可能的后果”。

“领域”知识的理解及运用依赖于“实践”活动。《框架》给出了每个二级主题下某个特定内容目标的三种“实践”任务样例。如表2所示为8年级可用于“设计和系统”下的特定内容目标的“实践”任务。这些样例为设计试题的具体任务或问题提供了方向。

技术和工程素养不仅要求学生知道技术而且能识别他们身边的技术，理解技术与社会互相影响的复杂关系，而且能运用技术原理和工具解决问题和实现目标。因此，评估要求将学生置于与现实需求相关的社会议题、工程设计目标以及学校和社区问题情境中来展示其技术和工程素养。如可用于技术和社会的情境为： 农业和健康情境（如水作为一种紧缺的资源）、能源情境（如家庭使用的风力发电机）、电子通信情境（如个人通信设备）等;可用于“设计和系统”的情境为： 农业和相关生物技术建筑技术、能源和电力技术、信息和通信技术、材料和制造、制药技术、交通运输技术等;可用于信息和通信技术为需要通过开发和运用技术来达到目标或解决问题的任何情境。

如此，“领域”、“实践”和“情境”形成了NAEP技术与工程素养测量的三维架构。领域和实践的相互作用构成了技术与工程素养的内涵，通过情境巧妙地把领域目标和实践任务融合在一起，学生通过解决真实情境中的问题来展示对三个领域内容的理解以及三种实践活动的应用，从而达到相应的评估目标。

2 题型设计

基于上述理论框架，NAEP技术与工程素养测评利用计算机技术，将学生置于丰富复杂的反映现实情境的场景中，通过与计算机模拟工具的互动以及对系统元素的操控来完成测量任务。与NAEP其他学科测量不同的是，所有问题情境和任务的呈现以及学生的答题行为都在计算机上进行。测试题由场景题（scenario-based assessment sets）和独立题（discrete item sets）两类题所组成，反应类型（response type）则包括传统的选择题（selected-response items）和建构反应题（constructed-response items）。建构反应题要求被试组织或建构一份答案，在考查学生的高层次能力上具有优势，答案有封闭性和开放性两种。NAEP官网上公布了2014年8年级学生技术与工程素养测评的24道试题[5]。

2.1 场景题

场景题以反映社会生活、学术活动或校外生活的情境为背景，利用计算机技术如视频、动画、文本、数字或图表等来呈现，并由此引入驱动性目标或者问题，利用故事线的方式逐步展开所要完成的任务或解决的问题。学生在真实的任务情境中利用计算机提供的工具解决系列问题。场景题由于其情境的真实性、任务的复杂性以及思维水平的高阶性有助于提高整个测量工具的效度。

场景题都是建构反应题。根据完成任务所需的时间不同，场景题又分为长场景题（LCR）和短场景题（SCR），两种题型在复杂程度和要求学生完成的任务和项目数上不一样。长场景题一般测量10～15个表现，完成时间为25～30分钟;短场景题一般测量5～10个表现，完成时间为15～20分钟。场景包括两种类型，一种类型的场景包括系统要素，依据特殊的情境，可能是一个工程系统，如灌溉系统或供水系统等。不管哪一种系统，都包括动态相联的元素，以让学生观察到某个特殊元素的作用（如观察当一个阀门打开时供水系统会发生什么）或者元素之间的相互作用（如改变系统中的某个参数，或移动系统中的某个部分，观察由此带来的系统状态的变化）;第二种类型的场景是展示一个总的目标或问题，学生需要通过不同的相关任务来达到目标或解决问题。如例1所示。

例1 场景题示例——第21题

总目标： 帮助史密斯博物馆制作在线展示，以让中学生了解19世纪末期芝加哥水污染问题的产生和解决过程。

步骤1： 了解水污染问题的原因。学生通过视频（如图1）查阅19世纪末期生活在芝加哥的埃德娜的日记和信件，了解水污染问题的原因，并制作事件的因果关系图（如图2： 污染剧增、工业增长、铁路发展、河水污染之间的因果关系）。

步骤2： 产生解决问题的想法。学生首先观看一个污染物从芝加哥河流入密歇根湖的影片（如图3），然后阅读4种不同的解决水污染问题的观点陈述，将不同的观点与适合的利益相关者（商人、工程师、地区决策者以及农场主）匹配起来（如图4）。

步骤3： 设计解决问题的方法。学生通过编辑视频展示水污染问题的工程设计解决方案（如图5）。

步骤4： 推理背后的设计原理。学生需要解释为什么芝加哥选择建一个运河以改变河流的流动方向而不是其他解决方案。为此，学生评价当时的四个领导人的陈述，并选择有助于解释决定的陈述（如图6）。

步骤5： 评估解决方案的后果。学生评估亚洲鲤鱼泛滥信息，解释运河建设和鲤鱼入侵的关系（如图7）。

步骤6： 确定展览的主要思想。学生选择表达技术与社会的关系的最佳语句（如图8）。

上述试题，学生在19世纪芝加哥水污染问题这一场景中，通过6个相关任务的完成，展示其因果关系的推理技能，对社会和技术的相互关系的理解，并利用技术编辑污水問题解决工程设计方案，分析设计步骤或诊断故障，用证据来解释水污染问题解决后未曾预料到的环境后果等。

在NAEP工程与素养测试题中，场景的选择要求尽可能地利用学生熟悉的生活情境，任务必须是与真实世界的问题和情境相关的。在场景中，学生需要从计算机所提供的工具包中选择工具在解决问题时应用。如，要求学生选择和操作一个制图工具，或电子表工具，或网页制作工具，或某个模拟工具等。根据不同的场景任务选择利用不同的工具。命题人员在设计提供的工具时，需要决定工具的哪种元素对于场景中活动是必须的，工具的哪个特征是学生将要使用的，而不必提供或者模拟工具的所有特征。如，只要提供电子表工具的某些功能学生就可以处理从系统中获得的数据并制作表格，或者选择将之转换成图形（如直线图、柱形图或扁状图），而没有必要提供工具表的其他功能，否则反而会分散学生的注意力，产生测量的“噪音”。在与计算机系统的互动中，学生也会被要求使用工具寻找相关资源、与他人交流方案、决定或结果（如发送信息给一个虚拟的团队成员），或者在最后要呈现他们的成果（如制作一个展示的幻灯片）等。通过学生对复杂的真实场景中多项任务或项目的反应来评估学生的表现，很大程度上保证了技术与工程素养测量的真实性和有效性，因此这种题型的使用有助于保证测量的效度。

2.2 独立题

独立题组一般由10～15个独立的项目所组成，可以是选择题或短的建构反应题，要求在25分钟之内完成。独立题虽然也包含着情境要素，但是不属于任何一个复杂情境中的某个部分，或者与另一个题目有关。每个独立题都会提供相应的题干材料，包含足够的信息以回答问题。

独立题虽短，但都包含着情境、领域和实践三要素。由于独立题互相之间没有依赖性，有助于增加整个测量的内容和长度，以提高测量的信度。独立题的反应类型包括选择题（如例2所示）和短的建构反应题（如例3所示）。

例2 独立题示例——第6题

根据图表所示，循环利用过程所产生的一个重要结果是什么？在下面的4个选项中选择1个，正确的答案是： 。

A 回收导致人们消费更多的原材料。

B 回收直接刺激消费者对回收产品的需求。

C 回收提供了发现原材料新来源的动力。

D 回收使得利用更少原材料就能制成产品。

该题以材料的循环利用过程（从原材料、厂家、产品、消费者到废弃物回收处理的过程）为情境，考查学生对技术是什么及技术可以用来做什么等相关知识的理解，认识技术过程对社会的积极影响。学生在解题过程中需要读懂表示技术过程的流程图，分析系统过程中各要素之间的相互作用，从而能够预测技术使用的结果。

例3 独立题示例——第18题

你与项目小组一起研究一种叫做“ByeByeCold”的感冒药的可能利弊。你的团队成员Tammi搜索了网页，找到了以下信息：

Tammi认为网页是研究关于“ByeByeCold”利弊的主要信息来源，但其他成员并不同意。解释为什么该网页的信息并不可靠，给出一个理由支持你的答案。

该题以小组合作研究一种感冒药的利弊为情境，以生产厂家网页上所提供的诸如该感冒药的治愈率、与其他感冒药的比较，以及药厂代言人的言论等信息为内容，考查学生利用信息工具和技能来解决真实情境中的问题从而实现既定目标，要求学生对信息来源进行批判性思考。

3 测试题平衡设计

测试题分为长场景题（L）、短场景题（S）及独立题（D）等不同模块，一个学生若完成所有的测验模块约需5个小时。为了保证测量在实施上的可行性，NAEP规定的测量时间一般都是60min，因此，测试题需要對测试内容、题型及所需时间进行适当的平衡设计。在时间设计上，从不同模块中分别抽选不同的题型进行组合，形成不同组块，如L—S—S、 D—S—L、 S—D—D—S、 L—D—S等，这些组块分别由不同的学生完成，每个学生完成一个组块所需时间大约60分钟，这样既保证了所有的测量内容都有学生完成，又不需延长测量所需的时间。

8年级的测评在内容领域稍偏重“设计与系统”（占40%），“技术与社会”及“信息与通信技术”分别占25%、 35%;而在实践层面，则偏重于“理解技术原理”（占40%）及“制定方案实现目标”（占40%），这与“交流与合作”（占20%）能力不易通过测试题考查相关。由于各年级学生的心理和认知发展及教育经验的不同，三个领域的比例也不相同，《框架》规定“技术与社会”、“设计与系统”以及“信息与通信技术”在4年级测试中的比例为25%、 30%、 45%， 12年级的比例则为30%、 35%、 35%。在题型分布上，场景题高达80%，通过与计算机虚拟情境的相互作用能够在较广的范围内充分测量学生的实践表现。20%独立题的存在增加了所能测量的知识和技能内容。而在反应类型上，建构反应题的比例（60%）高于选择题（40%），因为场景题更需要学生去创造答案而非在既定的答案中选择，有利于考查学生的高层次思维能力。

4 启示

NAEP各学科评估框架的开发皆建立在国家课程标准或各州课程标准的基础上，将内容标准转化为可测量的表现标准，再根据表现标准开发试题以形成测量工具。为了应对21世纪公民技术与工程素养的需求，美国国家评估委员会于2008年成立了包括学校、工程、教育、21世纪技能、网络，企业、科学教育、一般教育、教育评估等不同领域专家的指导委员会，共同开发评估框架。在框架中界定了技术与工程素养的内容领域和实践活动，以及不同年级的评估目标，构建了领域、实践和情境有机结合的三维框架，使得试题的编制有据可依。无论是场景题还是独立题的编制皆涵盖了内容、实践和情境三要素，聚焦于评估普遍运用的比较稳定的知识和技能基础。试题与框架之间的一致性有力地保证了试题质量。场景题在2014评估中比例高达80%，而且建构反应题的比例也高达60%，凸显了对学生高级思维能力与复杂认知活动的评价。固然这些变革给试题开发、阅卷评分等带来一些挑战，但由于场景题及建构反应题在考察学生思维过程及认知水平上的作用，这一变革无疑也是有益的，将对教学起着良好的导向作用。

技术与工程已成为21世纪社会不可或缺的元素，技术与工程素养应该与阅读、数学和科学等素养齐头并进，成为学校重要培养目标。教育评价历来对教育改革起着重要的促进作用，技术与工程教育的推进需要评价数据的支持。2014年NAEP第一次对技术与工程素养进行测评，其测试题的编制遵循严格的开发程序，借助有效的技术手段，保证了试题的有效性和可靠性，体现了较高的科学性和专业化水平，对于我国相应领域评价工具的开发具有重要的借鉴意义。

参考文献：

[1]刘在花.美国2010全国教育进展评估述评[J].外国教育研究， 2012，（7）： 95～102.

[2]杨玉琴.美国NAEP技术与工程素养评估述评[J].外国教育研究， 2017，（8）： 22～35.

[3]教育部教育管理信息中心，北京师范大学等.中国STEAM教育发展报告[EB/OL].{2015[4]NAGB.Technology and Engineering Literacy Framework for the 2014 National Assessment of Educational Progress [EB/OL]. [ 20170713]. https：//www.nagb.org/content/nagb/assets/documents/publications/frameworks/technology/2014-technology-framework.pdf.0426}. http：//www.jiemodui.com/N/67772.html.

[5]NAEP. Examples of the discrete questions[EB/OL] . [20170715].http：//nces.ed.gov/NationsReportCard/nqt/Search.