美国NAEP技术与工程素养评估及其进展

张娣

摘   要：国家教育进展评估（National Assessment of Educational Progress，NAEP）是美國最具代表性的中小学学生学业表现评估项目，旨在评估四年级、八年级、十二年级学生在多个学科领域“知道什么、能做什么”。为适应信息化社会，推进美国STEM教育发展，国家教育进展评估于2014年首次增加技术与工程素养评估，以向民众报告八年级不同学生群体的技术与工程素养。我国正处于“新战略、新课改、新高考”的转折点，以STEM教育推动我国评价体系和课程体系的更新是有效路径之一。美国2019年5月2日发布的技术与工程素养评估最新进展，对我国建立STEM课程体系、评估体系，兼顾质量和公平、理论和实践，具有借鉴意义。

关键词：美国 国家教育进展评估 技术与工程素养评估

1969年，美国开始对中小学学生学业表现进行评估，由国会授权、国家教育统计中心（National Center for Education Statistics，NCES）管理运行的国家教育进展评估（National Assessment of Educational Progress，NAEP）承担了这一任务。随着科学、技术、工程、数学（STEM）教育的兴起，国家的大力投入和社会的日益重视，NAEP于2014年首次实施技术与工程素养评估（Technology and Engineering Literacy Assessment，以下简称TEL评估）。2018年，第二轮TEL评估在美开展，以衡量八年级学生是否能够将技术和工程技能应用于现实生活，新的数据对美国进一步开展STEM教育有着重要的参考意义。日趋成熟的TEL评估对我国基础教育阶段开展STEM教育，建立STEM评估体系也有一定的借鉴意义。

一、NAEP和TEL评估

NAEP是美国最具权威性的联邦评估项目之一，由国会授权，国家教育统计中心在美国联邦教育部和教育科学研究所（Institute of Education Sciences）负责实施。

自1969年以来，NAEP评估美国四年级、八年级、十二年级学生在多个学科领域“知道什么、能做什么”，学科包括艺术、公民、经济、地理、数学、阅读、科学、技术与工程素养、美国历史和写作。NAEP的特别之处在于，它是唯一实现全美范围内或跨州比较中小学生学习表现的评估项目。

为确保样本的随机性和代表性，NAEP基于各州和地区的人口统计数据，不论种族/民族、社会经济地位、是否残障、是否为英语学习者或其他因素，以学校为单位抽取学生。报告结果以具有相似特征（如性别、种族、地区）的学生群体进行划分，而不是针对学生个体。

NAEP提供有效和可靠的美国学生学业表现评估数据，开展反映教育技术进步的创新型大规模评估，基于方法学、统计建模评估学生学业表现，并公布符合教育界需求和利益的调查结果以及关于学生学业表现的有效和可靠的评估数据[1]。调查问卷是NAEP评估的重要部分，包括学生问卷、教师问卷和学校问卷。学生问卷收集有关学生的人口特征、课堂内外的学习机会和教育经历的信息，由参与评估的学生完成;教师问卷收集有关教师培训和教学实践的信息，由被评估科目的负责教师完成;学校问卷收集有关学校类型和政策的信息，由校长或校长助理完成。另外，学校还提供残障学生或英语学习者的相关信息[2]。同时，城市地区试验评估（Trial Urban District Assessment）于2002年启动，用于监测美国大城市地区公立学校学生表现。基于此项评估，NAEP对自愿参加城市地区试验评估的学生进行了数学、阅读、科学和写作评估。

随着新技术和人工智能的发展，STEM教育顺应时代发展潮流，成为学校课程的重要组成部分之一。学生的学习过程包括使用计算机和信息技术完成学业，探讨技术在社会中的作用。2008年，美国国家评估委员会（National Assessment Governing Board）与韦斯特德（WestEd）共同制定了TEL评估的框架和标准，于2013年正式发布了《2014 年国家教育进展评估技术与工程素养框架》（Technology and Engineering Literacy Framework for the 2014 National Assessment of Educational Progress）[3]，于2014年投入使用。考虑到美国国家评估委员会的建议和2014年TEL评估的实施情况，NAEP对2014年的TEL评估框架进行了修订，于2018年1月发布了《2018年国家教育进展评估技术与工程素养框架》（Technology & Engineering Literacy Framework for the 2018 National Assessment of Educational Progress，以下简称《框架》）[4]，并于同年实施了第二次TEL评估。TEL评估作为数字时代NAEP的重要补充，旨在评估学生对技术和工程知识的掌握程度;技术和工程在日常生活中的作用;学生使用技术的程度和了解工程师设计和开发技术的程度。

二、2018年TEL评估内容

TEL评估以《框架》为依托，基于数字评估，开发多媒体任务和基于情景的任务，要求学生应用所学技术、工程知识和技能，解决日常生活中的问题。

（一）评估框架

《框架》为TEL评估提供了理论基础，并指出了评估中应包含的问题类型以及设计和评分的准则。《框架》将技术与工程素养定义为“使用、理解和评估技术的能力，以及对开发解决方案和实现目标所需的技术原则和策略的了解程度”，技术被定义为“为满足人类需求或期望而对自然世界进行的修改”，工程是“通过确定限制条件，分析系统功能，制定开发解决方案以满足人类需求和期望的过程”。

《框架》规定了TEL评估应衡量的三个相互关联的技术与工程素养内容领域：技术与社会——涉及技术对社会和自然界的影响以及由这些影响产生的伦理问题;设计和系统——涵盖了技术的本质、开发技术的过程以及处理日常技术的基本原则，包括维护和故障排除;信息通信技术——包括计算机和软件学习工具，网络系统和协议，便携式数字设备和用于访问、创建和传递信息以及促进创造性表达的其他技术。

《框架》还规定了学生在回答测试题时需要表现出的三种能力：理解技术原理——关注如何利用技术知识;制定方案实现目标——关注如何系统地运用知识、工具和技能解决问题并实现现实目标;交流和合作——关注如何利用现代技术以各种方式进行交流、以个人或团队的形式与同伴和专家一起工作。

（二）评估方式

TEL评估通过计算机进行评估，分值是300分，每名学生的总测试时间为60分钟。评估内容包括15个基于场景的任务和77个包含简答题和多项选择题的问题。技术和工程测试涵盖计算机科学、机器人、火箭、力学等科目。

鉴于技术与工程素养培养并不局限于课堂，TEL评估附有两份调查问卷，分别针对学生[5]和学校管理人员[6]，旨在更好地了解学生在课堂内外学习技术与工程的机会。NAEP在评估当日向学校提供所有必要的材料，包括笔记本电脑和耳机。学校只需要为学生提供考场、桌子以及足够数量的电源插座即可，不需要提供互联网接入。

TEL评估最大的创新点是基于场景的任务，学生通过视频、音频剪辑，动画和文本的计算机模拟技术，工程知识来解决各种现实场景中的任务。例如，2018年TEL评估的“仙女座任务”（Andromeda Task），以网络世界中的版权保护问题为背景，要求学生收集可用于广告网站的仙女座星系图像，其重点在于学生需要获得使用受版权保护的图像的许可，并标明其图像的所有者。“仙女座任务”归类于信息通信技术内容领域以及理解技术原理、制定方案实现目标、交流与合作三大实践领域，任务时间为10分钟。“仙女座任务”旨在评估学生是否能够在网络上选择适当的信息，是否能够准确地引用受版权保护的材料的来源。任务给出了具体的操作步骤，如网络搜索图像、为网站选择合适的图像、选择标注版权所有方引文的方式、确定标注方式、标注使用者信息。“仙女座任务”的评估表明，60%的学生能够正确识别可在网站上合法使用的图像，51%的学生能够合理选择标注版权所有方的引文方式，29%的学生能够正确撰写包含所有必需版权信息的引文。[7]

除此之外，学生在TEL评估中的表现结果以两种方式呈现：平均分数和达到相关成绩水平（基础水平为116～158分、熟练水平为158～209分、高级水平为209分及以上）的学生百分比。平均分数表示学生的知识和技能，达到相关成绩水平的学生百分比则衡量学生的实际成绩与社会期望成绩的一致程度。[8]

三、2018年TEL评估结果呈现的变化

2014年，NAEP实行了第一次TEL评估，对全国约840所学校的21500名八年级学生进行了电话评估。2018年1月29日- 3月9日，NAEP对来自600所学校（530所公立学校和70所私立学校）的15400名八年级学生进行了评估，所得结果与2014年的结果进行了对比，以下是相应的一些变化。

（一）学生的总体成绩变化

2018年学生的平均分数为152分，比2014年提高了2分。具体而言，与2014年相比，2018年学生在3个内容领域以及3项实践中的得分更高。从TEL评估的3个内容领域来看，2018年学生在“科技与社会”这一内容领域的平均分数（152分）比2014年（150分）提高了2分;2018年学生在“设计与系统”“信息通信技术”两个内容领域的平均分数（153分）比2014年（150分）提高了3分。從TEL评估的3个实践领域来看，2018年学生在“理解技术原理”“制定方案实现目标”2个实践领域的平均分（152分）比2014年（150分）高2分;2018年学生在“交流与合作”这一实践领域的平均分（153分）比2014年（150分）高3分。[9]

从达到TEL评估成绩水平的学生百分比来看，2018年低于基础水平的学生下降至16%， 84%的学生达到或超过基础水平，与2014年相比没有显著差异;2018年46%的学生达到或超过熟练水平，高于2014年的3%;2018年5%的学生达到高级水平，高于2014年的2%。[10]

（二）不同学生群体的成绩变化

与2014年相比，2018年的白人、黑人和亚裔学生，女性，参加全国学校午餐计划的学生，父母高中辍学的学生和父母大学毕业的学生，公立学校和非特许学校的学生，非残障学生，非英语学习者学生TEL评估平均分数更高。其中，女性，参加全国学校午餐计划的学生，父母大学毕业的学生，就读公立学校的学生，非残障学生，非英语学习者学生在TEL评估内容领域和实践评估中的平均得分更高。2018年亚裔学生的TEL评估平均分数比白人高7分;2018年白人和黑人学生的31分分数差与2014年的32分没有显著差异;2018年白人与拉丁裔学生的24分分数差与2014年的22分没有显著变化。[11]

（三）不同性别学生的成绩变化

2018年，女生总体TEL评估得分高于男生，尽管与2014年相比，男生和女生的成绩均有提高（见表1、表2）。

在3个内容领域中，分数差尤为明显的是“信息通信技术”，2014年分数差为6分，2018年分数差为7分。另外，虽然男生和女生在“设计与系统”这一内容领域中的分数差距不大，但相较于2014年，2018年女生平均成绩的增幅更加明显。而在3个实践领域中，“理解技术原理”“制定方案实现目标”方面，男生和女生的分数差距虽然不是很大，但2018年“制定方案实现目标”中女生进步明显。“交流与合作”中男生和女生分数差继续拉大，相较2014年扩大了2分。

美国国家教育统计中心副主任佩吉·卡尔（Peggy Carr）表示，2018年TEL评估分数的提高得益于优秀学生和女生，尽管参加技术与工程课程的男生多于女生。这可能是由于女生在团队合作、沟通协调等一些“软技能”上更加擅长，但教育中的性别差距依旧存在。[14]

另外，TEL评估发现父母教育水平与学生学业表现之间的联系似乎正在减弱。2014年，父母为高中学历的学生成绩明显高于父母未完成高中学业的学生。而在2018年，这一差距已經消失。另一方面，与2014年相比，57%的学生表明至少参加了一门与技术或工程相关的课程，比2014年增加了5%。评估表明，在2018年参加过技术或工程相关课程的学生，其TEL评估平均分数均高于未参加过这些课程的学生[15]。在参与学校午餐计划的学生中，52%的学生表示至少参加过一门与技术或工程相关的课程，而2014年此数据为46%。至少参加过一次技术或工程课程的白人、拉丁裔和亚裔学生比未参加相关课程的学生表现更好。然而，无论是否参加技术与工程课程，黑人学生的得分波动都不大。

国家评估委员会主席贝弗利·珀杜（Beverly Perdue）表示：“这些积极成果非常令人鼓舞，TEL评估很重要，因为它要求学生在快速变化的世界中习得获得成功的至关重要的技能，TEL评估为教育工作者和决策者提供学生STEM领域学业表现的可靠数据，这对我们国家的未来至关重要。”[16]

四、启示

（一）基于现实任务创建教学情境

TEL评估最大的创新点是基于情境的任务，将需要考核的内容和实践融入模拟的现实问题中，实现学生与任务的高度互动，促进学生的协作交流，使学生熟练应用跨学科方法、知识和技能，开拓解决现实问题的新思路。

首先，设计的学习任务要从学生实际出发，符合学习者的特征，充分考虑学生现有特点、知识接受能力的差异，遵循循序渐进等原则。其次，任务设计要注重跨学科方法的渗透，引导学生从各个角度解决问题，用多种方法来解决同一个问题，避免思维的绝对化和僵化。在教学过程中，培养学生敢于质疑、不受固定模式约束的思维能力，鼓励学生大胆猜想，帮助学生克服思维定势。最后，以“任务驱动”和“问题解决”作为学习和研究活动的主线，在相关有具体意义的情境中教授技术与工程知识和技能，把学习者融入到有意义的任务完成的过程中，让学习者积极地探究发现，自主建构知识，进一步将学习者的学习与更多的任务或问题挂钩，使学习者能够投入到现实问题或真实性任务中，促进学生自主探究，激发高级思维，培养学生的自主和协作能力以及将所学知识和技能广泛迁移的能力。

（二）建立协调一致的评估框架

建立协调一致的评估框架是TEL评估得以实施的重要基础。《框架》明确规定了评估应涵盖的3个内容领域和3个实践领域，具体描述了每个领域或实践在四年级、八年级和十二年级的评估目标和内容，将其融入情境任务中，构建领域、实践、情境的三维结构。以《框架》为基准，TEL评估通过情境任务中学生展示的知识和技能，评估学生所达到的具体水平，以获取对后续教学的指导。

评估框架是评估开展成功与否的重要前提，建立协调一致的评估框架对获取有效全面的评估数据至关重要。有效的评估框架需要号召利益相关者的广泛参与，包括政府官员、教育机构人员、行业专业人员、教育工作者，一线教师、家长、学生等，考虑利益相关者的需求和时代要求，建立评估框架制定的工作小组，协调各方人员的有效参与，进行有效的试测和持续的更新和修订。围绕学科核心思想组织关联知识可以促进学生对学科知识体系的构建和学科知识的理解，因此评估框架需要在个别课程和整个学习课程设计层面考虑知识的相关性，更重要的是考虑学生理解事物融合的方式。除此之外，教学目标、引发学生兴趣的教学方法、系统的学科知识及学科教学方法、开发工具和教学资源，都会对评估产生影响。

（三）构建能力导向的评估体系

构建能力导向的评估体系是21世纪教育发展的必然趋势，联邦、州及地区的政府官员和教育工作者需要依靠具体的标准和明确的学生学习目标帮助教师创新课程，有效实施课程，获得及时反馈，使课程发挥最佳效果。TEL评估为构建有效的技术与工程课程体系提供了参考，合理的课程体系又会丰富和改进学科评估，二者相辅相成，相互促进。

首先，评估要以能力为核心。现代教育倡导终身学习和学习者自我意义的建构。终身学习理念下，学习的本质是创新而非继承，学习的功用是充实精神生活。学习是自我意义的建构过程，旨在培养学生的批判性思维、沟通能力、团队协作能力和创造与创新能力。其次，关注学生的学习过程。评估要考虑学生的个性特点和学习风格，重视发展性评价的运用，考虑学生的综合能力发展，通过档案袋评价、研讨会、学生作品展示等多种评价方式动态评价学生的情感态度和学习成果的变化。最后，灵活运用多种评价方式进行评估。单纯以标准化考试衡量教育质量、学生的能力发展是片面的，学生的想像力、协作能力、解决问题的能力、创造力等是无法检测的。因此，采用多种评价方式尽可能全面评估学生发展现状非常必要。教学中，教师需要鼓励学生自我评价、互相评价，激励学生的学习兴趣和学习热情;强调自我反思，关注过程性评价和发展性评价;采用真实任务来评价学习者实际解决问题的能力;进行学业成绩评价的同时全面评价学生的发展。

五、结语

一直以来，STEM教育都是美国教育愿景中的重中之重。2018年末，特朗普政府发布了《绘制成功路线：美国 STEM 教育战略》（Charting A Course for Success： Americas Strategy for STEM Education），作为引领美国STEM教育走向成功的“北极星”，逐步实现让美国所有公民终身受益于高质量STEM教育的未来愿景。2019年11月，特朗普总统承诺拨款7800万美元用于STEM教育创新项目[17]。2018年TEL评估结果作为美国实施STEM教育新的有效参考数据，必然有助于推进美国STEM教育水平的不断提升，培养数字时代的创新人才。[18]

值得注意的是，TEL评估学生学业成就变量之间存在的关系并不能完全揭示其背后的原因，每个变量都受到其他变量的影响。同样，TEL评估也不能反映未测量变量的潜在影响。只有当结合学生群体具体情况和教育系统的知识，例如教学趋势、学龄人口变化以及社会需求和期望，才能发挥评估结果的最大价值。[19]

参考文献：

[1]NAEP.An overview of NAEP[EB/OL].（2018-05-24）[2019-06-05]. https：//nces.ed.gov/nationsreportcard/about/.

[2]NAEP.Survey questionnaires[EB/OL].（2019-07-18）[2020-02-11].https：//nces.ed.gov/nationsreportcard/experience/survey_questionnaires.aspx.

[3]WestEd.Technology and engineering literacy framework for the 2014 national assessment of educational progress[EB/OL].（2013-09）[2019-06-05].http：//www.techmattersllc.com/wp/wp-content/uploads/2011/03/prepub_naep_tel_framework_2014.pdf.

[4]NAEP.Technology and engineering literacy framework for the 2018 national assessment of educational progress[EB/OL].（2018-01）[2019-06-05].https：//www.nagb.gov/content/nagb/assets/documents/publications/frameworks/technology/2018-technology-framework.pdf.

[5]NAEP.2018 Operational school characteristics and policies grade 8 school questionnaire[EB/OL].（2018）[2019-06-05]. https：//nces.ed.gov/nationsreportcard/subject/about/pdf/bgq/school-sdlep/2018_sq_school_ tel_g8.pdf.

[6]NAEP.2018 Operational TEL student grade 8[EB/OL].（2018）[2019-06-05].https：//nces.ed.gov/nationsreportcard/subject/about/pdf/bgq/student/2018_ sq_student_tel_g8.pdf.

[7]NAEP. Andromeda Task [EB/OL].（2018）[2019-06-05]. https：//www.nationsreportcard.gov/tel/tasks/andromeda/.

[8]The NAEP technology & engineering literacy achievement levels[EB/OL].（2019-04-12） [2019-06-05].https：//nces.ed.gov/nationsreportcard/tel/achieve.aspx.

[9][11][12][13][15]NAEP. NAEP report card： technology & engineering literacy（TEL） highlights from the 2018 assessment[EB/OL].（2018）[2019-06-05]. https：//www.nationsreportcard.gov/tel_2018_highlights/.

[10]NAEP.NAEP data explorer[EB/OL].（2018-12-10）[2019-06-05].https：//www.nationsreportcard.gov/ndecore/xplore/nde.

[14]EducationNC. 2018 NAEP technology and engineering literacy results， girls carry the torch[EB/OL].（2019-05-02）[2019-06-05]. https：//www.ednc.org/2019/05/02/in-2018-technology-and-engineering-literacy-results-girls-carry-the-torch/.

[16]Contact PR Newswire.Nations eighth-grade students post gains on 2018 report card for technology and engineering literacy[EB/OL].（2019-04-30）[2019-06-05].https：//www.prnewswire.com/news-releases/nations-eighth-grade-students-post-gains-on-2018-report-card-for-technology-and-engineering-literacy-300839927.html.

[17]The White House. Presidential proclamation on American education week， 2019[EB/OL]. （2018-12） [2019-06-05].https：//www.whitehouse.gov/presidential-actions/presidential-proclamation-american-education-week-2019/.

[18]The White House. Charting a course for success： Americas strategy for STEM education[EB/OL]. （2018-12）[2019-06-05]. https：//www.whitehouse.gov/wp-content/uploads/2018/12/STEM-Education-Strategic-Plan-2018.pdf.

[19]NAEP.Interpreting NAEP technology and engineering literacy results[EB/OL].（2019-04-25） [2019-06-05].https：//nces.ed.gov/nationsreportcard/tel/interpret_results.aspx.

編辑 朱婷婷   校对 王亭亭