APP下载

PISA-D(PISA for Development)

2019-09-10王丽雪

新生代·下半月 2019年5期
关键词:问卷评估测试

王丽雪

自2000年以来,PISA项目每三年举行一次,PISA与约80个国家和经济体(包括40个中等收入国家和4个低收入国家)合作,比较学校系统是否为青年人的生活和工作做好准备。“PISA之父”Andreas Schleicher(安德烈亚斯·施莱歇尔)认为,PISA可以帮助政府看到自己的教育结果,并且通过与其他国家教育系统的对比,帮助各国政府建立有效的政策和改善合作伙伴关系【1】。PISA使各国(地区)在制定教育政策时,既有价值判断,又有数据支撑,制定出更加科学、合理的教育政策。参与PISA测评的各方会出台相应的教育政策,努力缩小地区差异,弱化社会经济地位的影响,走向公平而卓越的高位均衡。随着越来越多的国家加入PISA,尤其是中低收入国家,在2013年经济合作与发展组织(OECD)专门出版的《中低收入国家的PISA》一文中探讨了低收入和中等收入国家参与OECD的PISA测试的情况。这些中低收入伙伴国家在参与PISA以及有效实施和推导PISA政策价值方面面临诸多政治、经济等方面的挑战。这些挑战使得PISA测试的结果效度和信度都不高,无法达到测试原本的目的,此外中低收入国家往往缺乏参与国际大规模测试的经验,在财政、人力物力的支持方面以及组织测试方面都难以独立完成,急需OECD官方的各方面援助。

于是OECD开始考虑如何才能提高中低收入伙伴国家PISA结果的有效利用率,一方面将PISA的教育理念辐射到更多国家,顺应全民教育思潮,同时也给予中低收入国家诊断自身教育,借鉴测试优秀者教育政策的平台。OECD认为PISA测试评估的设计和实施模式需要进一步改善以成功迎合更多样化的国家,于是OECD和一些合作伙伴于2013年启动了“发展援助协议”(PISA for Development,简称PISA-D),进一步发展和区分了国际学生评价活动的数据收集工具,鼓励和促进有兴趣和有动力的中低收入国家按照和平进程条约参与PISA测试,并且确保能够产生更好的支持中低收入国家政策制定的成果,实现这些国家儿童、青少年和成年人学习成果的质量和平等。

一.PISA-D项目概况

(一)目的

借鉴了以上PISA在中等收入国家测试的经验,OECD发起PISA-D项目。目前阶段这还是一个为期六年的一次性试点项目,目的是使评估更易于访问并使PISA囊括更多的国家。该项目也是国际教育目标对教育可持续发展目标相关的监测的贡献(SDG),通过2015年联合国大会作为可持续发展议程的一部分。PISA-D旨在:1.向参与国决策者提供帮助学生更好地学习的知识的途径,让教师更好地教学,使学校系统更有效地运作等方面的政策建议; 2.帮助参与国进行大规模学习评估、分析和运用结果以支持国家政策和行政决策; 3.加强PISA测试的辐射面; 4.帮助教育可持续发展目标的成果监督。

(二)PISA-D参与国

截止2017年底与OECD签署发展参与协议的国家有:不丹、柬埔寨、厄瓜多尔、危地马拉、洪都拉斯、巴拿马、巴拉圭、塞内加尔和赞比亚。其中八个国家参与PISA-D校本化实施:不丹、柬埔寨、厄瓜多尔、瓜地马拉、洪都拉斯、巴拉圭、塞内加尔和赞比亚。

(三)PISA-D如何帮助中低收入国家进行大规模测评?

中低收入参与国可以通过以下一系列能力建设和同行学习活动获益:

1.项目开始时,将首先对各参与国的实施PISA测试的能力做出详细分析,衡量已有能力以及可发展的能力。基于这些分析,每个国家将构建一个为期4年的PISA-D项目实施计划。

2.培训参与国参与测试的能力包括翻译方法、抽样方法、将学生的回答做编码、数据分析和报告等。

3.参与国与已参与过PISA测试的国家学习,交流各国如何与OECD合作。

4.参与国将会得到OECD的支持,去制定一项参与PISA测试和实施PISA测试的战略。

(四)PISA-D项目实施阶段规划

1.设计、规划与协调:项目的第一阶段奠定了提高评估工具的基础。

2.技术发展:审查参与国的评估框架和项目,选择项目,设计改进,为各国准备材料并规划实地试验

3.实地试验和国家数据收集:对研究结果进行回顾和分析,完善各国用于开展主要研究数据采集的仪器。

4.分析和报告写作:分析和清理主要研究数据。

5.报告生产、发布和后试点治理:发表国家报告、项目结果报告和技术报告。举办PISA-D国际研讨会,并于2021年在PISA中注册PISA-D中使用的测试工具。

二.PISA-D测试较之PISA测试的独特之处

根据PISA-D项目组出版的相关介绍文件,总的来说PISA-D项目和PISA相比在以下方面有所不同:

1.PISA-D对阅读、数学和科学平等对待,而PISA在每个周期中都有特定的焦点。

2.PISA-D选择更有针对性的测试工具,涵盖更广泛的性能水平尤其是较低水平的学生,同时仍然提供覆盖整个PISA框架的分数,可媲美PISA測试的主要结果。

3.PISA-D降低阅读负担,改进测试工具和问卷,更适合中低收入国家学生的阅读能力。

4.PISA-D在认知测试后的调查问卷设计也更贴近中低收入国家实际情况。

5.对学校外人口的评估:PISA-D有一个专门针对14-16岁不在学校读书,或是在学校的6年级及以下的学生的评估模块。纳入校外青少年的调查是国际大型评估PISA-D独特之处。该项目研究方法和数据收集工具可获得辍学青年、儿童的可操作的数据。

6.在准备实施评估阶段,参与PISA-D的国家的接受能力需要基于PISA的技术标准的分析和制定能力建设计划,也加强国家评估系统。

除了以上官方较为概括的描述,笔者在下文中进一步将PISA-D具体的评估方式、素养框架以及描述学生表现等方面与PISA做出对比描述。

(一)PISA-D独特的评估方式

PISA2015采取在线机考的形式,用时约3小时,内容包括测试卷和调查问卷两部分,其中问卷调查不只有学生参与,样本学校的负责人和教师也进行了在线问卷的填写。另外,每个学生还将回答35分钟的背景调查问卷。

1.校本问卷

问卷大体设计的调查问题和PISA一致,都包括:(1)学生及其家庭背景;(2)学生生活的各个方面;(3)学习方面,包括教学质量、环境、时间,学校物质资源等;(4)学习的背景,包括教师,学校的信息。

2.校外问卷

由于在许多中低收入国家,15岁以下有较高比例的儿童没有入学或在PISA目标成绩(七年级以上)等级以下的学校就读,因此被排除在PISA样本之外。并且经过调查发现在PISA-D参与国家中,有10%到50%的年轻人存在这种情况。PISA-D失学组尝试建立测试囊括校外孩子的方法,其中包括校外问卷的设计以及将测试对象从原本的15岁扩大到14岁和16岁。

PISA-D针对青少年,家长和访调员的校外调查问卷是根据具体情境框架制定的。这些问卷调查涉及以下方面:(1)青年及其家庭背景;(2)青年人的生活方面,如受教育程度,对学习的态度,就业状况,在校外的习惯和生活以及他们的健康和福祉;(3)学习方面,包括包容性环境,家庭支持,他们上学时对学校环境包容性的认识,失学原因和阻止他们返校的障碍以及家庭支持和环境;(4)青少年早年的各个方面,他们的教育经历以及父母/照顾者对青年的教育期望;(5)青少年家庭的方面,包括家庭地点和周围的特征。

(二)PISA-D独特的素养框架

PISA-D项目目前计划只囊括三个主要领域:数学、阅读和科学素养的评价,并且测试对三个主要领域平等对待。OECD对中等收入国家参与PISA的经验进行分析得出以下三个关键结果,这对PISA-D的评估及其框架的进一步发展产生影响:

1.除越南外,所有参加PISA的中等收入国家15岁学生的总体表现低于OECD成员国的学生,且相差很大。

2.PISA目前使用的经济、社会和文化状况的衡量指标还无法充分反映中低收入国家的父母受教育程度、收入和贫困等风险因素。

3.在许多中低收入国家中学儿童的失学率很高,许多15岁以下的儿童没有资格进入PISA测试(即6年级及以下)。这些情况限制了中低收入国家与其他参与PISA测试国家结果的可比性。

基于以上三点,PISA-D在制定素养框架的时候,大体上仍然借鉴了PISA原有的素养框架,并且将每种素养框架的标准更加细化,有的则是降低了评估标准,使之具有更强的针对性。PISA-D具体的素养框架描述如下:

1.阅读:阅读素养被定义为个人理解,运用,思考和参与书面文本以实现其目标,发展其知识和潜力,参与社会的能力。这和2009年PISA对阅读素养的新定义几乎一样。

2.数学:PISA-D的数学素养被定义为一个人在各种情况下制定,运用和解释数学的能力。它包括数学推理和使用数学概念,程序,事实和工具来描述,解释和预测现象。而PISA测试所提出的“数学素养”是更强调了帮助个体更好地认识数学在现实世界中所起的作用,做出有根据的判断和决策,以成为具有建设性、参与意识和反思能力的公民。

3.科学:科学素养只包含在校本评估中,被定义为能够将科学相关的问题和科学的观点作为一个反思的公民。PISA对科学素养的定义则更加倾向于对生活情境中科学知识的应用并且注重学生对科学探究的理解。

(三)PISA-D描述学生表现的独特之处

PISA测试以Rasch 测量模型为基础建立测試量表,使得 PISA 测试量表具备等距量尺、涵盖完整难易度、可进行横向和纵向比较的特征。从而实现不同问卷下考生得分的可比性,因此,不同水平的学生即使选择不同难度的问卷也不影响测试成绩的信效度。而PISA-D在在描述学生表现上有以下调整:

1.阅读:PISA 2009在阅读量表上增加了6级来描述高水平的阅读能力。最低水平的熟练程度被重新标记为1b级。PISA-D增加了1c级以提供更好的阅读能力基本过程的覆盖。

2.数学:PISA的数学测试除了“内容”分量表,还开发了三个新的量表来评估三个过程——以数学方式制定;采用数学概念、事实、程序和推理;解释应用和评估数学成果。为将框架进一步扩展到数学素养能力的低端,PISA-D将第一级重新命名为1a,并在等级低一级1b和1c创建两个新的熟练水平,以更好地衡量基本过程。

3.科学:PISA科学素养测量学生的能力有:科学地解释现象; 评估和设计科学探究; 并科学地解释数据和证据。PISA-D增加了1c级水平,以收集最低水平的基本技能信息。

综上所述PISA-D相较于PISA的扩充在以下几处:

1.将PISA测试工具扩展到更广泛的水平。PISA-D加强了评估工具以便更细致地衡量那些在15岁时表现较差的学生的知识和技能,同时又保持与PISA测试的相似性保证两者的可比性。

2.PISA-D还重新开发背景调查问卷和数据收集工具,有效地捕捉到中低收入国家的不同情况。增加问卷中关于早期学习机会、教学质量、学习时间、家庭语言、社会经济地位和学校资源的问题。

3.PISA-D建立起一种测试方法将校外学生(辍学学生)以便针对这些学生做出更合理的分析。

三.结语

经合组织(OECD)发起组织的国际学生评估项目(PISA)凭其先进的评估理念受到世界越来越多国家或地区的关注,参加国或地区的政府、公众对于教育问题的讨论,往往把PISA结果(排名)的上升或下滑作为一个重要证据,把PISA成绩表现一直良好的国家的教育改革作为经验来学习。因此,随着PISA在全球的影响力扩大,诸多中低收入国家也希望加入PISA测试的愿望也较为强烈,希望从中诊断本国的教育问题并向测试最优者学习,借鉴其教育政策以提升本国的教育实力,但由于本国各方面实力不足又难以独立组织测试,需要OECD官方的援助。另一方面,PISA为了推行“兼顾公平与质量”,向所有学生提供高质量的教育这一基本目标及OECD的教育理念也愿意迎合更多想要参与PISA测试的中低收入国家。为了评估结果具有更强的针对性让中低收入国家在今后的测试中确实获益的同时又将OECD教育理念和PISA评估价值观推行到更广阔的国际环境,PISA-D作为一个双赢的项目自然受到欢迎,成为双方合作的一个良好平台。

PISA-D项目组为各参与国的的需求分析和建设计划陆续出版了相关的文章,但由于每个国家或地区的教育传统不同、文化发展背景不同,因而PISA-D的测试细节到底如何改善、调整还取决于参加国或地区的实际情况,相信未来各国教育部与PISA-D项目组将会持续推进。

【参考文献】:

【1】 Lockheed, M., T. Prokic-Bruer and A. Shadrova (2015), The Experience of Middle-Income Countries Participating in PISA 2000-2015, The World Bank, Washington, D.C./OECD Publishing, Paris.

猜你喜欢

问卷评估测试
心理测试
地方立法后评估刍议
评估社会组织评估:元评估理论的探索性应用
360度绩效评估在事业单位绩效考核中的应用探析
心理小测试
问卷大调查
测试
问卷你做主
小测试:你对电子邮件上瘾了吗?
Make Efforts,and You’ll Get in