PISA2015试测在广东抽样的实践与启示

许世红 张伟民

PISA2015试测在广东抽样的实践与启示

许世红 张伟民

广东省在首次参加PISA研究、进行2014年试测抽样的过程中，通过明确抽样范围和抽样流程、摸查PISA学生分布的基本信息、完成学校抽样和学生抽样任务，对进一步做好该项研究提出意见和建议。

PISA；试测；抽样；启示

PISA是国际上颇具影响力的大规模教育评价项目，其测评对象是15岁在校学生，测评目标是了解在终身学习的背景下，年青一代在阅读、数学、科学等领域面向未来生活的知识和技能的准备程度。自2000年诞生以来，每三年开展一次的PISA已经进行了五次测评。中国上海参加了PISA2009和PISA2012，由于表现突出，测试结果在国际上引起广泛关注。

PISA2015自2013年启动到2016年发布测评结果，将持续4年。为更好地组织这项研究，教育部成立PISA2015国家中心（设在教育部考试中心，以下简称“国家中心”）。在国家中心的部署下，于2014年4月中旬实施了PISA2015试测。

广东省是第一次参加PISA，省教育厅对此高度重视，成立了以分管基础教育的副厅长挂帅、相关处室（部门）主要负责人为成员的测试工作领导小组，统筹解决测试工作的重大问题；领导小组下设实施小组，负责测试组织实施的具体工作。工作推进过程中，坚持方法、技术与相关要求科学规范的原则。通过开展试测抽样工作，广东省现有教育信息平台接受了全面检核，教育统计与测评研究人员也得到极大锻炼。

1 PISA2015试测的抽样范围和抽样流程

为了确保PISA结果能够反映出参与国（地区）15岁学生的能力，不仅学生样本的规模和参与率都有严格标准，而且测试工具和组织工作也必须经过试测检验。PISA2015试测的主要目的有四个：一是评估PISA前几轮测试之间以及PISA2015两种模式（计算机测试模式与纸笔测试模式）之间的题目参数不变性；二是获得新科学素养、财经素养和协作问题解决的初始题目参数；三是评估抽样和测试的操作实施情况；四是评估新计算机平台在参与国内部和各参与国之间的功能是否良好。

1.1 抽样范围

根据PISA要求，只要有15岁3个月到16岁2个月在校学生的各类教育机构都必须纳入PISA抽样范围（抽样框）。其中，各类教育机构是指单轨、双轨或者多轨系统下的所有全日制、半日制，职业、特殊、普通等类别，分年级或者不分年级教学，公办或民办等各类性质的所有学校。目前国情下，需要特别说明的是，不论学校是否属于当地教育行政部门直接管理，都应该列入抽样框。一般来讲，特殊教育学校以及随班就读的残疾儿童（无法正常参加PI⁃SA）不参加抽样，为了节省成本，一些特别边远的小学校也可以从最后的抽样范围中排除；但是，最后所有排除在抽样范围外的学生总数不可以超过15岁在校学生总数的5%。

国家中心最后确定，我国试测时间安排在2014年3月28日至4月15日之间的某天，抽样对象为1998年1月至12月出生、国内各类教育机构上学、7年级至12年级、国籍为中国、全日制或者非全日制的所有学生。

1.2 抽样流程

根据国际统一要求，为了保证有效达成试测目标，国家中心制定了试测抽样工作流程时间表（见表1），以指导和协调5省（市）共同完成抽样任务。

表1 PISA试测抽样工作流程时间表

2 PISA2015试测抽样实施

为了确保试测抽样的科学性、典型性和代表性，广东省的试测抽样的实施分三阶段进行。第一阶段是摸查基本信息，首先统计广东省符合PISA条件的学生在不同类型学校中分布情况、分年级分布情况、符合PISA条件的学生人数规模达到92人以上的各类学校的数量，再明确试测需要排除的情况，并说明排除原因。第二阶段是学校抽样，先将广东省含有PISA学生的学校根据确定的分层变量进行分类，然后按照PISA学生的规模排序，结合珠三角、粤东、粤西、粤北等区域，进行样本学校和替补学校抽样，并根据分层要求对样本学校和替补学校的抽样结果进行检验。第三阶段是学生和教师抽样，国家中心采用国际专用抽样软件在样本学校中随机抽取学生样本和教师样本。

2.1 基本信息摸查

根据OECD抽样承包商2013年7月15日公布的试测抽样统计表（见表2），依照广东省教育信息平台2012学年度的相关数据，测试工作组统计并填写广东省各学校2012学年在10个分类变量下不同类别学校中15岁学生数占全省15岁学生总数的百分比。其中，在每一个分类变量下，各类别15岁学生百分比之和为100%。需要指出的是，广东省教育信息平台2012学年度的15岁学生并非严格意义上的PISA学生，但可用于估算PISA学生的分布状况。由于管理体制问题，广东省教育信息平台不包含技工学校数据，因此在涉及技工学校时先采用类比中职学校PISA学生数的方式估算技工学校各个分类变量中的15岁学生数，来完成表格填写任务。另外，对于分类变量“符合PISA条件的学校规模”，广东省少于3名PISA学生的各类学校中的PISA学生数占PISA学生总数的0.005%，但少于3名PISA学生的各类学校数占所有含PISA学生的学校总数的15.86%（不含技工学校信息）；一方面，0.005%说明学校抽样时可以剔除少于3名PISA学生的各类学校；另一方面，15.86%说明这类学校分布较广，不容忽视；用怎样的数据呈现形式更客观准确地反映PISA学生和PISA学生所在学校之间的关系，有待进一步探讨。

在进行PISA学生所在学校的分布情况的摸查过程中，不仅需要了解PISA学生在7年级至12年级的分布情况（见表3），还需要了解PISA学生不少于92人的学校分布情况（见表4）。广东省2012学年度共有243所技工学校，其中绝大多数学校都包含PISA学生，PISA后续的研究工作不能仅仅借助估算完成。因此，测试工作组积极联系广东省人力资源与保障厅，取得其技工教育处的支持，完成了表3～表5的填写（不含特殊教育学校信息）。

广东省PISA学生不足92人的学校仅占含PISA学生的学校总数的4.06%，在试测阶段可以排除，不作为抽样对象。PISA 2015中国选择汉语作为测试语言，而广东省7年级至12年级的课程以非汉语为授课语言的学生占极少数，因此，这类学生可以排除，不作为抽样对象。另外，广东省特殊教育学校（主要包括智障生、听障生、视障生等）缺少分年龄统计的学生数据，以初二至高一的在校生数来估算15岁学生数①鉴于PISA学生主要分布在初三、高一，而特殊教育学校学生普遍年龄略大，因此我们以初二至高一的学生数来估算15岁学生数。，仅占PISA学生总数的0.05%，因此，这类学生可以排除，不作为抽样对象。

2.2 学校抽样

为了保证抽样的典型性和代表性，PISA抽样先采用外显分层和内隐分层两个维度确定抽样分层变量（广东省试测抽样分层变量情况见表4），然后依据外显分层变量将符合条件的学校进行整群分类，再在各个类别中按照内隐分层变量进行学校抽样。

测试工作组根据外显分层变量先统计出PISA学生人数不小于92人的12类学校数目（见表5）。根据PISA要求，试测阶段至少抽取25所样本学校，广东省最终确定抽取26所样本学校。由于每个外显分层变量都是一个独立的抽样范围，因此根据12类学校占学校总数目的比例确定各个类别试测学校的样本数量。

在确定了12个类别试测学校的样本数量后，再考虑内隐分层变量的要求共抽取26所样本学校和26所匹配的替补学校。具体抽样时，22所普通初高中的样本学校（和替补学校）覆盖21个地级以上市，全部样本学校（和替补学校）涵盖4个内隐分层变量的相关类别，以确保样本学校（和替补学校）的典型性和代表性。

2.3 学生和教师抽样

试测阶段，PISA学生抽样不是从PISA学生总体中直接抽取，而是综合采用了多阶段抽样、整群抽样、等距抽样和分层抽样等多种方法。抽样时，首先确定第一阶段的抽样单元是学校；然后将学校分成12个大类，根据样本数量以学校为集合单位分别在12个大类中整群抽取；学校入样后，根据样本容量（92名PISA学生，10名科学学科教师，15名其他学科教师）的要求和PISA学生年级分布情况确定抽样间距，随机确定起点，每隔一定的间距抽取一个样本，共抽取2 392名PISA学生和650名教师，完成抽样任务。

表2 广东省2012学年PISA学生分布情况初步统计表

表3 广东省2012学年PISA学生的年级分布情况表

表4 广东省试测抽样分层变量表

表5 广东省PISA大学校分布与抽样要求统计表

3 广东PISA2015试测抽样遇到的主要问题

广东省首次参加PISA，许多工作边学习、边摸索、边完善。总体而言，广东省在根据PISA技术规范完成试测抽样任务的过程中，主要存在着部分PI⁃SA信息的统计内容、统计标准和统计要求与我国现行的教育统计不一致，导致现有教育统计成果无法充分利用，需要根据PISA的要求重新设计，再进行统计、分析与整理。

例如，关于PISA学生的年龄统计口径。根据试测要求，参加2014年PISA2015试测的学生是在1998年1月至12月期间出生（简称PISA学生）。抽样前，需要摸查PISA学生在全省分布状况的各种基本信息。而现有的教育统计信息，学生年龄是按入学时点统计，即统计当年9月至次年8月期间出生的学生。

又如，关于包含PISA学生的学校分类标准。PISA要求分为职业初中、技工学校、农业学校、其他职业学校、普通学校、混合学校共6个类别，但目前的教育统计未将农业学校作为中职学校的单独类别进行统计。而在以学生国籍为主导的学校分类中，PISA要求分为本国学生主导的学校、国际学生主导的学校、混合学校共3个类别，目前也没有这个统计口径。另外，在以科学课程教学语言为主导的学校分类中，包含PISA学生的学校被分为母语教学学校、小语种教学的国内学校、小语种教学的国际学校、双语教学学校、浸入式语言教学学校、混合学校共6个类别，这个统计口径也缺乏。

再如，关于任教科学学科的教师问题。在PI⁃SA2015测试框架中，“科学”包括以单独的学科授课或以“综合科学”的名义教授的物理、化学、生物、地理科学、空间科学或天文学以及应用科学与技术等课程，但不包括数学、心理学、经济学或地理课程中的地球科学等相关科目，而中职学校和技工学校的课程开设与普通初高中的课程开设方式不同，导致他们在上报任教科学学科的教师数时出现标准不一致现象。

4 广东省参加PISA2015试测抽样工作的体会和启示

4.1 做好PISA有关工作，有利于提升广东省基础教育乃至教育事业整体发展水平

在当前统筹国际谋合作、国内谋发展的格局下，各地必须沿着继续扩大教育开放、深化教育改革、加快教育发展、促进教育质量提高的思路前进。参加PISA，能有效地加强横向交流合作和自身纵向比较，发挥测评诊断功能，将在教育改革与发展某些方面赢得先机，争取主动权。

PISA提供的评价结果，不只是简单的成绩排序，它还向各参与方提供详尽的分析报告，内容涉及学生成绩与性别、学习态度和兴趣、家庭背景、学校人力物力投入等的关系。通过PISA，可以了解广东省教育质量的现状、存在的深层次问题及其原因，为政策、决策的修订和完善提供依据；通过对教育质量做出的深入分析和准确判断，对整体的教育质量做出评判，对未来的趋势做出预测，引导各级政府和决策部门把教育资源和学校工作的重点集中到强化教育关键、提高教育质量上来，对政策的执行进行调整。同时，通过PISA，引进先进的教育质量观念，为政府评价学校的教育质量提供科学标准，切实改变违背素质教育要求的评价学校质量的观念和做法。

通过参加PISA，既能对广东省现有的教育信息平台进行全面检核，又培养了教育测评专业队伍，还能对广东省组织开展的各级各类教育质量监测工作提供有益借鉴。

4.2 做好PISA有关工作，必须加强组织领导和学习交流

PISA是一项系统性强、复杂度高、工作量大、时间跨度长的国家级重大工程。做好此项工作，一是必须积极主动与国家中心进行沟通联系，在其统筹部署和指导下开展有关工作。二是必须成立省级层面的专项工作领导小组和工作小组，由省政府分管省领导或省教育行政部门主要负责人担任领导小组组长，省直有关部门和省教育行政部门有关职能机构负责人担任成员。领导小组负责统筹协调解决测试工作中的重大问题，建立完善工作机制，落实工作经费。工作小组由省教育行政部门有关职能机构牵头，各地市教育行政部门参与，负责测试工作的具体组织实施。三是必须积极主动地和有PISA实施经验的兄弟省市加强联系，向他们虚心求教，获取他们的宝贵经验，共同探讨和解决测试工作中出现的问题和困难。

4.3 做好PISA有关工作，必须根据PISA统计规范完善有关教育统计信息

PISA被喻为“教育界的世界杯”，其指标已经过五轮测试实践检验，具有较强的科学性。为使我国的测试结果尽量减少误差，建议国家中心协商教育部有关司局，在我国现有的教育信息的统计内容、统计标准和统计要求上，与PISA充分结合起来，按照PISA规范增补相关统计指标，明确统计要求，指导各参测省（市）抓紧完善相关信息，以便更好地推进PISA2015的进行。

[1]陆璟.PISA测评的理论和实践[M].上海：华东师范大学出版社，2013，5：48-51.

[2]王蕾，景安磊.我们从PISA学到了什么——基于PISA中国试测的研究[J].北京大学教育评论，2013（1）：172-180.

[3]任春荣.PISA抽样方法的理论与实践——以PISA2006中国试测研究为例[J].统计教育，2007（11）：11-14.

（责任编辑 吴四伍）

Sampling and Enlightenment of PISA2015 Field Trial in Guangdong Province

XU Shihong and ZHANG Weimin

Guangdong Province participates in PISA for the first time.During 2014 Field Trial,we understand the sampling range and sampling process firstly,count the basic information on PISA students distribution secondly,and complete the sampling of PISA schools and students finally.After fulfilling the sampling tasks,We put forward some reasonable proposals to perfect this research work.

PISA;Field Trial;Sampling;Enlightenment

G405

A

1005-8427(2014)09-0058-7

本文系国家教育体制改革领导小组研究项目“研提OECD组织PISA测试项目经验启示”的研究成果之一。

许世红，女，广东省教育研究院教育评估室，博士（广州 510035）

张伟民，男，广东省教育研究院教育评估室，主任（广州 510035）