基于场景的评估在PISA阅读测评中的应用及启示

白花丽

(滨州学院 人文学院，山东滨州 256600)

由于阅读文本不断发展变化、学生的阅读量和阅读范围不断扩大，学生阅读素养测评成为不断更新且具有挑战性的研究课题，一些国际组织和学者纷纷将其作为专门的研究内容。已有研究较多反映了传统阅读评估中存在的问题，如多数已发布的标准化阅读测试主要由孤立的段落及关于这些段落的独立问题组成〔1〕；多数传统测试依赖限定的题目测量特定的技能，且在标准化考试中最广泛的阅读目的仍是尽可能多地正确回答问题〔2〕；传统的阅读测评缺少跨文本的集成性阅读任务〔3〕,等等。当前，如何在开放性的情境中进行学业测评成为新的研究热点。相关研究认为，学生的真实学业成就不仅包括习得知识和概念，更应该包括运用知识或概念解决复杂现实问题的能力〔4〕，基于问题的任务更能激发学生兴趣〔5〕，要关注学生在复杂的、开放性的问题情境中的综合表现，强调学生在应用知识的过程中形成灵活、有效的问题解决能力〔6〕。本研究将简要介绍基于场景评估(scenario-based assessment， SBA)的阅读测评发展情况，并以PISA2018阅读素养测评为例，讨论SBA阅读测评的价值和意义，总结其对我国阅读素养测评改革的启示。

一、基于场景评估的阅读测评发展概况

场景源自日常生活，很容易被识别和理解，在场景中设置问题有助于保证问题空间的完整性，有助于进行多维度、多层次的思考。早在1967年，美国兰德公司(RAND Corporation)的Kahn等就提出基于场景的分析、设计和评估方法〔7〕。基于场景的评估被认为是一种有效的评估方法，可将现实世界中的场景作为结构化分析感兴趣的现象背后的因果关系的基础〔8〕，并用于设计复杂信息系统和技术〔9〕。阅读是一项有目的的活动，涉及整合和理解多种文本，评估信息来源的相关性，使用相关背景知识形成连贯的心理模型，以及在数字环境中完成阅读等。为能够应用基于场景的评估扩大阅读范围，2014年美国全球评估中心首席测试学家Sabatini等提出一种基于场景评估的阅读测评方法〔10〕，这一方法将学生的背景知识、心理模型的形成和数字素养技能定为关键研究目标。该研究发现，在21世纪的学习环境中，学生必须在数字环境中应对提取意义的复杂性，建立心理模型会变得更加复杂，心理模型的建立需要学生将其背景知识与文本相结合，在阅读评估中需要为学生提供与文本主题相关的背景知识，这有助于帮助学生形成基于背景知识的推论，并将他们阅读的内容整合到现有的心理模型中。这一测评方法结合了新的阅读素养理论和认知科学理论，并拓宽了阅读理解的范围。

基于场景的评估虽然不能赋予应试者自由选择自己的阅读目的和与这些目的相关的文本的权利，但这种评估可以为应试者提供一些用于回答或解决问题的文本来源和路径供他们选择，从而帮助他们基于背景知识开展推论，整合阅读内容。相关研究表明，基于场景评估的阅读测评可以测量复杂的阅读过程，如在数字环境中整合评估多个来源的文本的能力〔11〕；还有助于对学生阅读进行来源评估、视角获取和背景知识测评〔12〕；提供中学生能力水平的有效阅读指标〔13〕。PISA2012、2015分别在问题解决评估和合作问题解决评估中使用了基于场景的评估方法。PISA2018将SBA应用于阅读素养评估中，用场景提供阅读的广泛背景或目的范围〔14〕。通过分析PISA阅读素养评估，可实例化地理解SBA阅读测评的特征。

二、PISA2018阅读素养测评中的场景设计和测评实施

PISA将阅读素养定义为“为达到个人目标、增长知识和发展个人潜能及参与社会活动而对文本的理解、使用、评价、反思和参与能力”〔15〕。这种界定将阅读素养视为一种生活方式，阅读不仅能增长知识，也有助于实现个人目标、发展个人潜能，并参与到丰富的社会活动中，其中的社会活动包括从个人到公共、从学校到工作等多种场景。PISA2018充分考虑场景的重要意义，将场景与之前评估中的情境和任务相对应。本研究在分析PISA2018场景设计和测评实施的基础上，结合SBA分析PISA阅读测试在阅读场景、任务、情境等方面的变化趋势。

(一)围绕场景建立多种信息来源集合

2018年以前，PISA阅读素养测评使用传统的、独立的阅读篇目，如PISA2009阅读样题中，《刷牙》摘自一本杂志，《手机安全性》摘自网站并以表格形式呈现了手机安全性的相关信息〔16〕。2018年，PISA阅读素养测评没有使用独立的阅读篇目，而是根据场景选择不同的文章组成阅读单元，这是传统的以阅读单元为组织的测评方法的自然扩展。PISA2018阅读素养测评框架围绕不同的场景建立了多种信息来源集合，包括文学作品、教科书、电子邮件、博客、网站、政策文件、历史档案等(见表1)〔17〕。学生使用从这些来源中选择的内容，围绕阅读目标搜索信息、评估来源、进行理解或跨文本整合。尽管该测评框架不能让学生自主选择阅读目的或搜集信息，但也为学生提供了一些自由选择的文本来源和路径，以实现大规模评估约束下以阅读目的为驱动的有一定自主性的阅读。

由表1可知，PISA2018阅读测评方案比之前多了场景的构建，向学生展示了现实问题和需要解决的问题，涉及基本的和更高层次的阅读和推理技能的使用。基于场景的评估比传统的单元式评估能更真实地模拟学生与材料之间的互动和使用方式。且以PISA2018阅读测评题目《拉帕努伊岛》和《牛奶》〔18〕为例分析阅读场景。

《拉帕努伊岛》构建场景为：

想象本地1家图书馆将在下周举办讲座，由附近大学的一位教授主讲， 她会谈及自己在智利以西3200多公里、位于太平洋的拉帕努伊岛上的实地考察经历。你们的历史班将参加这个讲座。老师要求大家先调查一下拉帕努伊岛的历史，以便在参加讲座前对此有些认识。

《牛奶》构建场景为：

想象安娜、克里斯多福和山姆3名学生正在美国的一家咖啡店内，他们看到店主在橱窗中放置的一个告示，上面写着：4月5日之后本店将不再供应牛奶，改为供应大豆制成的牛奶替代品。这3名学生很想知道咖啡店为什么要停止供应牛奶，于是安娜开始用智能手机上网搜索“牛奶”二字。他们看到第1项结果并讨论起来。

创设阅读场景后：《拉帕努伊岛》又为学生提供多个来源的信息，其中包括1位教授的博客文章、1篇《崩溃》的书评、1份记者报道，然后要求学生回答7个问题；《牛奶》要求学生阅读3个来源的信息并回答7个问题，其中信息包括1篇安娜用手机搜索到的国际乳制品产业协会发表的关于牛奶营养的文章，1篇克里斯多福用手机搜索并用短信转发的《向牛奶说“不”》的文章，3位学生关于是否要喝牛奶的对话。学生要回答的问题有选择题、问答题等不同题型，涉及字面理解、深层理解、反思内容和形式、觉察并处理冲突、跨多个来源集成信息并生成推论等不同的认知过程。

(二)运用场景展现更真实的情境

情境一词主要用于定义读者与文本互动的上下文和用途，也指作者撰写文本的意图。PISA测评框架以欧洲委员会制定的欧洲语言共同参考框架(CEFR)为基础进行改编，最终将情境分为个人的、公共的、职业的、教育的4种〔19〕。自2000开始，情境一直是PISA阅读测评题目的重要维度，PISA2000、2009和2015按情境分类的阅读任务分布比率见表2〔20〕。

表1 PISA2018阅读题目的场景及信息来源分析

表2 PISA2000、2009、2015阅读题目情境类型分布比率 (单位：%)

由表2可知，4种情境在测试题目中并非平均分配，由于考虑到学生缺少相应的职业知识等，PISA2000、2009和2015都对职业情景的重视程度较低。2018年，PISA阅读测评不再以情境作为组织文本的维度，而以场景为维度组织文本，实现多种情境的整合。情境侧重区分读者阅读文本的用途，在阅读实践中文本可以根据不同情况划分为不同的情境类型，如一段文字既可以使人愉悦(个人的)也可以对人进行指导(教育的)，既可以提供专业建议(职业的)也可以是一般信息(公共的)。场景则注重区别阅读时的广泛背景或目的范围，如回答一些较大的综合性问题或根据一组教科书编写建议进行判断等。这种以场景组织文本的方式更符合阅读的实际情况，向学生展示了现实问题和需要解决的问题，比传统的情境式评估更能真实地模拟学生与材料之间的互动和使用方式。基于场景的评估可以在各种情况下对文本进行整合，有助于最大程度地提高PISA阅读素养测试中文本内容的多样性。

(三)运用场景测评基本的和更高层次的阅读能力

考虑到数字阅读中阅读目的的多样性和文本范围的广泛性，PISA2018阅读测评更加重视对多文本环境下的阅读认知过程的测评，涉及基本的和更高层次的阅读和推理技能的使用。阅读测评题目涉及多种任务，PISA2018阅读素养测评任务更为多样和复杂。在PISA2018阅读素养评估中，每个场景都由一个或多个任务组成。每个场景包含多个任务，每个任务具体评估某一项认知过程；因此可将这些任务视为单独的评估题目。图1为PISA2018阅读素养测评中按目标流程和文本来源进行划分的任务分布情况〔21〕与PISA2015任务分布〔22〕情况的对比分析。

图1 PISA2015和2018阅读素养测评的任务分配对比图

PISA2018基于场景的阅读测评向学生展示了现实情景和需要解决的问题，比传统评估能更真实地模拟学生阅读材料时的情形，其任务范围随着场景设置的多样化从传统的定位信息、生成推论等活动扩展到更为复杂的多个文本的搜寻与选择、证实和处理冲突等任务。以《拉帕努伊岛》阅读题目为例，其测评涉及单文本和多文本的不同层次、不同难度级别的认知过程。对PISA2018测评试题《拉帕努伊岛》的题目类型等内容进行整理的题目信息如表3〔23〕。

表3 《拉帕努伊岛》题目分析

由表3可知，学生首先遇到一个初始任务，该任务中学生只需根据搜索结果找到特定的文档；在第2项任务中，学生需要回答文本中明确说明的某个信息；在第3项任务中，学生需要确定不同作品中作者的观点是否相同,等等。由此，复杂的以场景为维度的测评被分成一组有序的任务，不同场景中的任务可以按照从简单到困难的顺序排列以测评学生不同层级的阅读能力。

三、SBA阅读测评的优势与难点

(一)SBA阅读测评的优势

首先，SBA阅读测评可以衡量现代学生需要具备的复杂的综合性阅读能力。常用的学生教学评估(student evaluations of teaching， SET)可以进行不同课程和不同教师之间的对比，但其存在局限性。因为作为标准所需的抽象性使它在改善教学设计和改善学生的学习体验方面表现相对较差〔24〕。阅读是一种有目的的行为，发生在特定的情境下。在传统的阅读评估中，学生在每个段落中回答一组零散的题目，然后继续进行下一个无关的段落，学生在回答后面段落中的问题时会忘记前面阅读的内容。相比之下，在SBA阅读测评中，学生面对的不是零散或组件式的试题，而是需要在场景中完成搜集信息或使用文本解决问题等任务，这符合21世纪学生运用阅读能力协调完成各种任务的需求；同时，SBA阅读测评为测试者设定的总体目标及一系列实现该目标的步骤，可以增强测试者对任务的参与度，从而可以更准确地评估他们的阅读能力〔25〕。

其次，SBA阅读测评适应数字化阅读测评需求。数字化阅读不仅要求能够识别文字、理解段落篇章，而且需要了解信息空间的特点、明确阅读目的、分清主题类别、设置搜寻关键词、有效筛选过滤信息等。SBA阅读测评为学生设置场景及任务、提供与主题相关的阅读文本，致力于在数字环境中测试学生阅读单个或多个来源的文本并完成浏览和定位、搜索和选择相关文本、反思内容和形式、证实和处理冲突等任务的能力。SBA阅读测评充分关注到数字化阅读素养的测评需求，在测评中涉及资料来源评估、分类和评价等不同的任务，以衡量学生如何整合和评估多种文本的能力。

再次，SBA阅读测评可以帮助师生进行自我评价。学生需要利用活动来学习，学生的自我评价在评价学习活动中起着至关重要的作用，评估方法应放在学生参与学习活动的具体情况下。有研究认为评估应揭示学生是如何学习的——他们如何解释和理解主题，绊脚石在哪里，他们不理解材料时做什么，他们如何应对不同的教学实践〔26〕。有效的学习活动应该帮助学生了解如何将概念和技能结合起来，解决他们在所选领域可能面临的问题。SBA阅读测评可以帮助教师和学生理解学习背景，理解如何设计和重新设计活动。这种评估方式被运用于阅读评估中能更好地将一般的阅读测评与实际阅读活动联系起来。它一方面有助于教师了解学习活动的演变或进行重新设计，另一方面能帮助学生了解并改善其学习效果。

(二)SBA阅读测评的难点

SBA阅读测评虽然符合时代发展的要求，但是在实施中也遇到了一些难题。第一，SBA用来衡量现代学生所要具备的复杂的综合性阅读能力，虽然有研究表明该方法对初中和高中学生都是可行的〔27〕，但在当前教育状况存在地域差异的情况下，如何结合学情设定场景类型和任务难度等问题需要进一步思考。第二，SBA阅读测评更适合在计算机化测评中进行，在当前计算机化测评未得到广泛推广使用的背景下，如何在纸笔测评中有效开展，这一问题也值得思考。纸笔测评在衡量学生整合和理解多种文本、评估信息来源的相关性等能力方面受到一定限制，但可以从试题设置到评分等多方面开展基于场景评估的测评改革。例如，在题干的设置上立足生活中的实际问题创设场景；在试题的形式上注意封闭性试题与开放性试题的合理安排；在试题问题的排列上由简单到复杂，从信息检索、字面理解逐渐过渡到深层理解、反思与评价等能力的考核；在试题的答案设置和评分原则上，鼓励学生根据设置的场景、阅读材料分析思考得出答案等。相信在不断的探索中将会积累更多丰富的经验。

四、启示

为落实《中共中央国务院关于深化教育教学改革全面提高义务教育质量的意见》，教育部于2019年印发《关于加强初中学业水平考试命题工作的意见》，紧扣初中学业水平考试命题这一关键环节做出一系列直指教育评价的制度突破，引导教师积极探索基于情境、问题导向、深度思维、高度参与的教育教学模式，提出考试命题要增强情境创设的真实性、典型性和适切性〔28〕。教育改革背景下的阅读测评是对学生适应未来生活及终身学习能力的评价，基于场景的试题设计则更有助于实现这一测评目标。SBA阅读测评启发我们要基于真实的问题情境进行测评，具体可以从以下3个方面尝试阅读测评设计：

首先，围绕场景建立多种来源文本的集合，重视对多文本环境下阅读认知过程的测评。围绕场景可以选择电子邮件、论坛、书籍、报纸等不同来源的文本组成阅读测试单元，突破以单一来源文本为主要文本类型的局限，以测评学生在阅读任务指引下的搜集和选择相关信息、判断文本质量和信度、反思文本内容和形式等方面的能力。

其次，以场景为维度组织文本，实现阅读测评中不同情境的整合。运用场景向学生展示现实情境和需要解决的问题，整合个人的、教育的、职业的或社会的多种情境，再以场景为维度将阅读测评的题目设置为一组有序的任务，这样既有助于提升阅读测试反应现实阅读需求的能力，又可以促进学生有意识地使用任务导向的阅读策略去完成阅读测评。

再次，细化阅读认知难度层级，测评学生的深层阅读能力和思维过程。PISA2018 测评细化了阅读策略的层级，注重对文本信息的整体理解、评价与反思、任务管理策略等高阶阅读认知策略测评，借鉴其评测方法，有助于将阅读认知过程的评测范围从传统的信息定位、整合与理解等扩展到更为复杂的交互性文本的深层理解等。