美国教育研究有效性审核评述与借鉴

刘五驹

研究成果是否成立的一个重要前提是研究本身的有效性如何。美国联邦政府教育部于2002年成立了有效教育策略资料中心（What Works Clearinghouse，简称WWC），旨在对教育研究证据的科学化进行审核。WWC的工作已经引起我国海峡两岸有关人士的注意。[1]了解WWC的工作情况及其评审标准，对我国教育研究的科学化有借鉴意义。

一、WWC简介

WWC是美国联邦教育部所属美国教育科学院（InstituteofEducationSciences，IES）的一个评估中心。WWC通过审核和综合科学证据，部分地承担起美国教育科学院进行严谨的实质性（relevant）调查、评估与统计国家教育系统的使命，其目的是为教育工作者、政策决定者、研究人员及社会大众提供一个关于有效教育研究值得信赖的科学证据资料中心。为了帮助所有的学生和学校达到高的教育标准，教育工作者需要获得什么是有效教育的更多证据，WWC称，它的工作就是为了帮助教育工作者做出明智的决定，同时提供可信和可靠的证据。

依据与联邦教育部的合同，现由美国数学政策研究公司（MathematicaPolicyResearch，Inc.）负责管理WWC。

WWC评审的显著特点是，它不是直接评估现有研究成果的方案、策略或做法，而是对已经存在的研究本身发现的情况进行审核（review）和报告（report）。例如，它审核研究中实验组与对照组之间的详细数据来判断研究是否有充分的证据；通过公布某一主题领域中的一组研究成果，并采用不同的标准来比较它们的特点，从而实际上形成了对这组研究成果质量的评估。只有在审核中满足特定标准的基础上，WWC才会撰写报告，说明该项教育研究中的有关程序、策略或做法是否是有成效的。这些在研究中的有关程序、策略或做法可统称为“介入”（intervention）。

教育工作者想要知道一个“介入”（教育研究中采用的教育程序、策略或做法）是否是有效的，可以由阅读WWC的相关报告可知。通过报告研究者可以了解对介入研究文献的审核所表明的特征，以及对该研究提供的证据鉴别评估的结果，从而清晰地了解该策略或方法最终的效用程度。只有当一项研究符合WWC审核标准时，WWC的报告才会包括研究结果的细节和总结，否则说明该研究缺乏符合WWC审核标准的证据。如果该研究没能提供符合WWC审核标准的有效证据，并不意味着这个研究的介入是无效的，只是说明它缺少明确的证据来证明其有效性，也就是存疑。

WWC有多种工作成果形式，包括介入评估报告、主题报告、快速审核、实践指南。介入评估报告（Intervention reports）是依据各等级的WWC证据标准，对主题领域内有关介入的所有研究细节进行评估的。主题报告（Topicreports）汇编了一个地区关于该专题研究的众多介入评估报告的信息，使WWC的使用者方便地比较这些介入的有效程度和影响大小。快速审核（WWCquickreviews）的目的是为教育工作者和决策者及时地、客观地提供对近期相关研究论文和报告的研究证据的质量评估结果。实践指南（practiceguides）为教育工作者在教室和学校中面临的挑战提供实用的建议。

WWC的审核有确定的主题领域，并逐步扩大，目前审核的主题领域包括以下11个部分。

（1）青少年读写介入（Adolescent Literacy Interventions）。它是针对4至12年级的学生，提高他们英文字母拼写技能、阅读流畅性、理解能力和一般读写成绩的教学策略。

（2）开始阅读介入（BeginningReadingInterventions）。它是针对5至8岁儿童，提高他们英文字母技能（音素意识、语音意识、字体意识和拼音）、阅读流畅、理解或一般的阅读成绩的教育策略。

（3）儿童早期教育介入（EarlyChildhoodEducationInterventions）。它是为3至5岁且没有进入过幼儿园的儿童设置的，重点在于为儿童提供入学做准备的认知和语言能力的教育策略。

（4）残疾幼儿教育介入（EarlyChildhoodEducationInterventionsforChildrenwithDisabilities）。它主要针对3至5岁没有上过幼儿园或学前教育的残疾儿童，并为其为入学做准备提供教育策略。

（5）小学数学介入（Elementary School MathematicsInterventions）。它的重点是为幼儿园至5年级的学生，提供能提高他们数学成绩的教学策略。

（6）英语学习者的介入（English Language LearnersInterventions）。它旨在提高小学生英语使用能力和学习成绩的教学策略。

（7）高中数学介入（High School Mathematics Interventions）。它针对9至12年级的学生，提高他们代数、几何、三角和微积分的学习成绩的教学策略。

（8）中学数学介入（MiddleSchoolMathematics Interventions）。它旨在让学生了解并掌握数学理论的概况，包括教学计划、教学内容，以及评估要求。

（9）学生的学习障碍（Students with Learning Disabilities）。介入的目的在于提高幼儿园至12年级（约5至18岁）有学习障碍的学生的学习成绩。

（10）品格教育介入（CharacterEducationInterventions）。介入的目的在于发展学生的品格特征和综合素质的教育。

（11）预防辍学介入（Dropout Prevention Interventions）。它针对初中或高中的学生，主要是为了促使他们完成直到高中的学业。

许多单位和专家参与了WWC的工作，包括著名的兰德公司、阿肯色大学、威斯康星大学、通讯发展公司等企业与学校。

WWC的研究组织是按主题领域来构建的。一旦确定一个主题领域，就相应地建立一个审查组（ReviewTeam）。审查组由一名首席研究员，以及副首席研究员、内容专家、项目协调员和审稿组成。此外，WWC还拥有由经验丰富的研究人员构成的统计和技术分析组（Statistical，Technical，and Analysis Team），以及质量评审组（Quality ReviewTeam）。

鉴于WWC工作涉及多方利益的重要性，美国联邦教育部所属的教育评价和区域促进国家中心（National Center for Education Evaluation and RegionalAssistance，NCEERA）针对实际或可能发生的利益冲突制定了具体的指导方针，既保障WWC审核的高品质和公正性，也允许合理的质疑。

WWC的工作是一种开放式的。WWC建有网站，[2]公布审核的专题领域、审核的程序和标准手册、目前的审核项目及活动、审核的结果和报告，以及申请服务的电子邮箱地址和详细的联系方法。这种开放式的工作形式既保障了审核的质量和公正性，也有利于审核结果的广泛影响和应用。

二、WWC程序和标准手册

WWC于2008年5月发布了经修订的“WWC标准（1.0版）”[3]，并于同年12月又发布了WWC程序和标准手册（2.0版）”。[4]

WWC程序和标准手册的正文除了前言共包括四个部分。

（一）主题领域和审核者

这部分内容主要介绍了WWC目前开展的各主题领域，以及WWC的组织结构和审核队伍的情况。

（二）确定主题领域范围、研究和介入措施

这一部分主要阐述WWC工作的主要程序。首先是确定审核的主题领域，旨在选择那些介入成果具有广泛影响的教育领域。其次是确定审核的范围，包括主题领域的重点、主题领域中常用术语的概念、一般性标准、特定主题的参数和文献检索方法，这些都包括在WWC的协议中。第三是文献检索，WWC的工作人员常用的方法有：电子数据库、网站搜索、广泛征求专家和组织的建议、公众意见。第四是资格筛选，在每个主题领域中，WWC广泛收集发表和未发表的与主题具有潜在关联的研究，然后进行筛选。筛选的一般性标准有三个：（1）论文发表的时限，以20年为限；（2）介入影响的初步分析，能否提供影响的有效证据；（3）研究的设计是否合格，重点在证据是否有科学性。在具体的不同研究中，筛选的标准有所不同。最后是经过审核后各种介入的排序，即同一主题领域内的各项介入性研究，依据WWC审核的等级结果进行列表排序，排序的结果可以在WWC的网站查到。

（三）审核过程和证据标准

审核过程之初，每一个未经审核的研究分配给两个小组进行独立地审核。在审核完成后，举行WWC审核协调会议，评论并研究两组间的分歧和遗留问题。会议后形成一个综述反映会议的研究决定。审核和协调过程通常在一两个星期内完成。

证据标准有不同的程度等级，用以确定研究是否提供了有力的证据。目前，只有精心设计和实施的随机对照试验（RCTs）被认为是提供了有力的证据可以符合证据标准；较弱的证据可以符合有保留的证据标准；证据不足时则不能符合证据标准。一个准实验设计（QEDs）只有等值时才能符合有保留的证据标准。

下图是WWC程序和标准手册的审核过程，一项研究的评价等级受三个因素的影响。

随机（Randomization）是指研究设计采用随机对照试验，随机地分配两组的研究对象。

自然减员（Attrition）是指随机化的设计，原则上会使组间等值，但是随着自然减员会造成组间的差异。大幅度的自然减员对介入组与对照组的初步等值容易产生不利影响。

等值（Equivalence）是指WWC要求具有高自然减员的随机对照研究和所有的准实验设计，介入组与对照组应是相等的。

WWC程序和标准手册的审核过程图

确定分析样品的等值时，WWC常采用以下标准：（1）对特征差异性的报告，其标准差应小于0.25；（2）特征的基线（baseline）差异的标准差大于0.05时，必须进行统计学的调整。

（四）审核的总结

WWC程序和标准手册第四部分包括5方面内容：（1）介入报告的类型；（2）报告的编写，由报告的草案、确保质量的审核、教育科学院与外部同行的审核、报告的制定与发布四个部分组成；（3）报告由首页、机构报告和附录三个部分组成；（4）介入评级制度，由六个正负面不同影响的等级构成；（5）汇总与结果呈现，因为有的介入可能涉及多个主题领域，所以每个领域都有一个介入报告。

手册除了上述主体部分，还包括一个参考文献部分和7个附录。这7个附录阐述了WWC审核中采用的技术方法和规范，它包括：附录A——评估自然损耗偏差，给出了具体的界定和详细的计算方法与公式；附录B——效果大小计算，包括学生水平分析和群体水平分析两个部分，并都给出详细的计算方法和公式；附录C——聚类校正，包括了针对介入效果的统计分析与评估的意义不匹配时的校正方法；附录D——Benjamini-Hochberg校正，它主要针对研究者在同时执行多个假设检验时可能发生的偏差，此方法是由Benjamini&Hochberg于1995年提出的；附录E——介入评级制度，其定义了符合标准证据的强与弱不同设计的标准和研究影响的特征；附录F——指数计算的改进，它有助于读者判断介入效果的实际重要性；附录G——证据的程度分类，其目的在于告诉读者，介入的等级是在怎样的证据基础上做出的。

三、对WWC工作的评析

与我国常见的对教育科学研究项目的评价相比，WWC的工作呈现出明显的中西方文化差异。我国教育研究往往侧重于采用整体的、综合的、理性推导的方法来分析、评价，并习惯使用枚举法来佐证。西方学者则习惯于用分析的方法、实证的方法形而上地进行分析、评价。两者并无绝对的对错之分，而是互补为上。我们必须看到，各种复杂教育现象并不是都可以通过实证的方法来验明其价值的。

对教育研究的评价直接涉及到学校、教育机构、出版商、教育工作者的各方面的利益与声誉，且教育现象错综复杂，不是一时一事就可以断言其优劣是非的，需要极其慎重和长期的观察。美国大大小小的教育改革不可胜数，它们既直接影响着美国教育的发展，又牵扯着众多利益关系，需要权威性的引导。如果由政府出面直接进行评价，一旦有错，不仅会产生重大失误，而且会抑制教育工作者教育改革创新的意愿，WWC的做法则比较好地解决了这一问题。它以美国联邦教育部所属教育科学院为权威，并不对研究本身直接做出价值判断，而是对研究过程方法的科学性与证据的充分性，以及研究成果的影响程度做出客观的评析，为教育工作者提供参考。

WWC的评审方式及审核标准在一定程度上促进了美国教育研究的科学化进程，同时也对其提出了更高的要求。众多的教育改革思想、观念及由此形成的教育方法策略，究竟有什么样的效果？在多大程度上有效？以往广大的教育工作者所能面对的主要是研究者的著述，如何取舍完全取决于每位教育工作者自己的主观判断，WWC的工作则为这种取舍提供了一定的客观依据。以1989年开始的“观念导向阅读教学”（Concept Oriented Reading Instruction）为例，该项目至今已经发表了超过49篇学术研究报告，但是这项课程研究没有能符合WWC的审核标准，原因是实验研究缺乏对照组、多项干扰因子介入、研究对象年龄不符，以及后续研究与文献不合规范等。

不过，上述情况也有其值得注意的一面，且已经引起了我国台湾地区教育界有关人士的注意，他们认为WWC的标准严格，多数学术研究因经费或规模所限，无法过关，易出现学术研究与政策制定上的落差。[5]

WWC从项目的申请、工作的程序和审核的标准，以及审核的详细结果都充分采用了现代信息技术，并在网页上公诸于众。这样的做法在一定程度上提高了审核的公开性、透明度，以及审核处理的速度。它不仅方便了广大教育工作者的参与，同时也大大扩大了这些研究成果的影响力，特别是这种开放性的审核方法，大大扩展了研究者在主题领域内审核的视野，使同一领域中的各种各样的研究都有机会在国家级的评估舞台上展现。

四、借鉴

1．我国教育科研管理的重心应向研究后期阶段移动。目前我国教育科研的管理重点主要在项目的申报与审核上，而最后的研究成果究竟价值几何？现实影响作用有多大？研究过程是否科学、规范，是否有充分的证据？这一系列后续研究成果的科学性与推广性有待验证，我们也缺少有效的评价机制。这并不利于真正有价值的研究成果得到确认，也不能产生广泛的效用。WWC的做法是值得借鉴的，我国也可以在中央和省一级相关机构中成立类似的评估中心，相应地放低教育科研的门槛，激励教育工作者广泛地参与教育科研，特别是为那些有潜在价值的，具有独到创新思想的研究提供生存发展的空间，为那些确有价值的研究提付更充分的依据以获得社会多种资源的支持。

2．改变我国教育科研中偏重理性思考、追求完美和理想化的结果、习惯于枚举法求证的研究现象，把教育科研的重点放在教育实践中的问题，更多地采用实证的研究方法对论据进行统计学分析，以求教育科学研究的科学化和规范化。这不是要弱化理论研究，而是要强化那些根植于教育实际生活土壤之中的理论研究，减少那些表面精致而无实际价值的虚假研究。

3．充分运用现代信息技术，使教育科研从立项到研究过程和结果的审核，以及审核的标准及程序做到公开化、透明化，让处理过程、相关信息的传播更快速化。WWC的工作为我们改变评估科研成果时主要依赖发表论文及论著数量的片面性，提供了一种新的途径。

4．对我国基础教育界中处于一线的教育工作者来说，对研究数据过高的统计学要求，以及对研究程序和文本的过分精致化要求使得研究者从促进科研素养的提高，逐渐异化为妨碍他们潜心于实际教育问题的深入观察和分析研究，这种恶化现象大大影响了研究的科学化，也一定程度上浪费了研究者的时间与精力。教育工作者在研究中充分关注科学性、规范性的同时，可以把大量统计学分析工作交由类似WWC的机构中，由专业统计人员协助完成统计程序。

［1］张晓菁．美国有效教育研究审核（WWC Review）简介（台湾驻美文化组）［EB/OL]．http://3w.mioerar.edu.tw/education/educationList.jsp，2009-05-31．

［2］中美教育质量评价高级研修班．应试异化［N］.中国科技日报，2004-09-14．

［3］WWC．WhatWorksClearinghouseEvidenceStandards for Reviewing Studies［EB/OL］．http//ies.ed.gov/ncee/wwc/pdf/study_standardsfinal，2014-04-19．

［4］WWC．What Works Clearinghouse Procedures and Standards Handbook （Version2.0）［EB/OL］．http://ies.ed.gov/ncee/wwc/pdf/wwc_procedures_v2_standards_handbook，2014-04-19．

［5］林建妤．美国教育研究审核标准严格阅读教学法之研究报告难过关（台湾驻美文化组）［EB/OL］．http://3w.nioerar.edu.tw/education/educationList.jsp，2010-08-12．