利用大规模考试数据开展学业增值评价的实践初探

赵彤璐 许志勇 钟 君

（天津市教育招生考试院，天津 300387）

一、研究起缘

教育是国家立国之根本，教育质量的好坏决定国民素质的高低，进而影响国家政治、经济、社会、文化的发展，教育质量的判定需要科学的评价方法。过去，我国对教育教学往往只做结果性评价，利用统一考试成绩评价学生、教师和学校。这种终结性评价方式无论对学生、教师还是学校都有失公平，因为它没有考虑个体之间的基础差异。因其忽视过程、注重结果，这种评价方式已成为制约我国全面推行素质教育，阻碍新课程改革深入推进的一大障碍。因此，有必要改变传统的评价观念和方法，顺应新课程改革理念，促进发展性评价的实施。

增值评价（Value-Added）为实施发展性评价提供了有效路径。增值评价以现代教育评价创始人拉尔夫·W·泰勒[1]的思想为理论基础，以一段时间内学生在学校净影响下取得的学业进步程度评价学校教学质量和教师教学水平，关注了起点和过程，有利于提高全体学校和教师积极性，使教育面向全体学生，助力全面提高教育质量。

我国基础教育阶段的两项重要考试——普通中等学校招生入学考试（简称“中考”）和普通高等学校招生全国统一考试（简称“高考”），均具有较高的社会公信力，每年都产生丰富的数据资源，如报名数据信息、考试成绩数据信息、录取数据信息等等，但是每年招生录取结束之后，这些数据资源往往束之高阁，少有人对这两种考试产生的数据信息资源进行深入挖掘和利用，应该说这是一种数据资源的极大浪费。

中考成绩是高中阶段学生的入学成绩，高考成绩是高中阶段学生的终结成绩，因此本研究尝试链接中考和高考成绩数据开展增值评价，逐步引导各级教育行政部门、教研部门和教学单位树立发展性评价理念。

二、增值评价研究的已有应用

通过文献调研发现，国内限于大规模教育考试数据收集的困难性，很少有学者利用中考、高考成绩数据进行学业增值评价，仅有一些学者进行过试验性研究。如王斌华在《教师评价：增值评价法》[2]中提到，利用期中和期末考试原始成绩对上海市虹口区某中学的三个班级进行增值评价；李健宁在《基于增值的中学教学效率评估模型》[3]中提到，利用某省四所重点中学893人的高中入学成绩和高考成绩，使用协方差分析、齐次马尔柯夫链方法，进行基于增值的中学教学效率方析；汤林春等在《学校效能评价的尝试》[4]一文中运用多层分析的方法，对某校初中预备年级六个班2003学年度第一学期的语、数、外三门学科期中、期未考试成绩，进行班级效能分析。

国外对于利用考试成绩数据的纵向分析结果评价学校教育教学质量有着较深入的研究。比较有代表性的是美国田纳西州的增值评价模式（Tennessee Value–Added System，简写为TVAAS）[5]，使用全州3-8年级学生的数学、阅读、语言艺术、社会科学和自然科学等学科的测试成绩，运用混合模型的统计方法，开展增值评价，根据学生学业进步情况来评价地区、学校和教师的教育教学质量。自1992年开始英国在兰开夏郡（Lancashire）进行学校增值评价实践的试点研究[6]，有98所中学参与收集学生详尽个人信息的工作，并使用多层分析法对中等教育普通证书考试成绩进行增值分析，其中，学生入学成绩包括以往进行的三种测试（全国教育研究基金会的语言、数字、非语言认知能力测试结果）。我国的香港地区也于2003年推出学校增值资料系统 （Schools Value Added Information System），运用多层分析法，对香港高级程度会考（HKALE）和香港中学会考成绩（HKCEE）进行增值分析[7]。

通过以上文献分析可知，国内进行增值评价研究使用的统计方法，仍在探索阶段，有协方差分析法、齐次马尔柯夫链方法、多层分析方法等，而国外和香港地区已较多地使用较为先进、复杂，并得到广泛认可的分析方法——多层分析方法[8]。

三、近年来的实践探索

本研究应用天津市2002年中考数据和2005年高考数据，采用多水平统计分析法[6]，进行学业增值评价的实践探索。通过逻辑关联匹配，获得46448考生的有效数据，占2005年参加高考总人数的63%。涉及全市21个行政区域，206所高中校，其中市直属重点校7所，市属重点校41所，区属市重点校58所，一般校42所，民办校57所。

1.建立多水平增值评价模型

借鉴美、英等发达国家和我国香港地区开展增值评价的成功经验以及现实存在的市、区、校三级评价的需要，选定三水平线性模型作为统计模型。该模型将高考成绩作为因变量，中考成绩作为自变量，将学生、学校和区县三个层面影响学业成绩的相关因素同时作为自变量参与模拟计算，通过逐步剔除变量的方式进行模型比较，排除对因变量影响不显著的自变量，确定适于加入到模型中的自变量，最终形成适用于大规模教育考试数据特点的增值评价模型。

图1 多水平增值评价模型

该模型是以学生的毕业考试成绩为因变量，以学生的入学考试成绩及学生背景（性别、户口类型、录取类型、家庭社会经济指数等）和学校背景（学校入学平均成绩、学校类型、学校规模等）等影响学业成绩的主要因素为自变量，建构的学生、学校、区县三水平线性模型。

该模型排除了不受学校控制的外部因素，如学生的入学成绩、家庭背景、学校背景等，且能分离这些因素对学生成绩的影响和学校对学生成绩的影响，可获得学校对学生的净影响。

2.建立规范的数据分析流程

如图2所示，通过身份证号使中考数据和高考数据一一对应，通过学校名称使中考的高中校代码和高考的高中校代码一一对应，实现数据关联。由于中考和高考分属不同量尺，为统一量尺，需对两个成绩数据分别进行标准化处理，转换成平均分为0，标准差为1的标准分。之后，将关联的和经过标准化整理好的数据，运用MLWIN2.02软件进行运算，即可获得增值的量化结果。

图2 增值评价分析数据处理流程图

3.构建增值评价指标体系

分三个步骤构建增值评价指标体系。第一，选用三水平线性模型的计算值——增值，作为核心统计指标。第二，将增值进行标准化处理，转换为标准化增值、标准九分和增值T分数等定量统计指标，实现不同学科之间以及同学科不同年度之间的增值可比。第三，鉴于增值是估计值，以增值置信区间作为划分依据1，确定了正增值、负增值、零增值等定性指标，形成了定量和定性相结合的增值评价指标体系。如图3所示。

图3 增值评价指标体系构成示意图

4.设计增值评价报告模版

（1）市级报告模版

市级报告模版反映全市、各区县和各所学校增值表现。主要内容是分学科从整体增值表现概况（正负或零增值的个数及其比例）、增值表现（增值、正负或零增值、增值T分数及其图示）两方面分别报告全市各区县、各类型学校和各所学校的增值评价结果。主要提供给市级教育行政管理部门和市级教育研究部门使用。

（2）区县报告模版

区县报告模版反映各个区县和本区内各所学校增值表现。主要内容包括全区各学科增值表现概况（全区各学科增值、正负或零增值、增值T分数及其在全市的相对位置）和各学科增值表现（全区各学科正负或零增值的学校个数及其比例和区内各校在各学科上的增值、正负或零增值、增值T分数及其在全市的相对位置）两部分内容。主要提供给区县教育行政管理部门和区县教学研究部门使用。

（3）学校报告模版

学校报告模版反映的是各所学校增值表现。主要内容包括学校各学科增值表现概况（学校各学科增值、增值T分数、正负或零增值及各学科间增值比较）和各学科增值表现（学校各学科增值在同类学校、本区学校和全市学校的相对位置）两部分内容。主要提供给学校管理人员和学科教师使用。

5.开发增值评价管理信息系统

增值评价管理信息系统包括数据管理系统和报表生成系统两大模块，具备管理不同种类、不同年份的大规模教育考试数据信息和输出多个版本、多种文件格式报告的功能。如图4所示。

图4 增值评价管理信息系统内部结构示意图

如图4所示，数据管理系统包括基础数据管理和考试数据管理两个模块。考试数据主要包括考试信息（考试种类和时间）、试卷信息（考试科目和命题蓝图）和考生信息（考生背景信息和考生成绩信息）三部分。基础数据是上述考试、试卷和考生三类信息的基本属性，包括考试种类和时间、考试科目和区县代码、学校类型、民族类别等考生属性的基本信息。该系统具备管理不同种类、不同年份的大规模教育考试数据信息的能力。

报表生成系统具备输出多个版本（市、区、校）、多种文件格式（PDF、WORD等）增值评价报告的功能。

四、增值评价研究的效果及反思

1.效果

（1）完善了教学质量评价方式

在链接中高考数据信息开展增值评价的基础上，方法和成果应用于初中生入学水平基线测试，中考和高中学业水平考试等系列数据分析中。增值评价结果被正式纳入市区教学质量综合评价指标体系，学科增值评价结果被用作教学改进依据，形成了较完善的基础教育增值评价系统。有效遏制了大规模考试成绩排名，下达升学指标等考试功能异化问题，回归考试的诊断、激励功能。

（2）革新了教学质量评价理念

伴随系列报告的逐步推广，增值评价引发的发展性评价理念得到市区教育行政部门和基层学校的广泛关注。市区教育行政领导普遍认可这种新的评价方法是落实新课程改革发展性评价的有效途径。区县教育行政部门主动要求将增值评价引入本区义务教育质量评价，多所学校在日常教学中引入增值评价方式，引导教师更加关注学生在原有基础上取得的进步，使教育教学更加面向全体学生。

（3）促进了教学质量全面提升

增值评价通过引导区县、学校各自找准定位，在自身提高上下功夫，增强各自的发展动力，激发全体教师的教学积极性，辅助教师反思教学问题，改进教学策略，提高业务能力，提升教学水平，从而缩小校际差异，促进质量全面提高。

2.反思

一是增值评价还需融入日常教育教学过程，以及时有效地反馈过程性教育的教学成效，提高教学改进的时效性。本研究大多是对毕业考试等终结性考试开展学业增值评价，为了充分发挥增值评价促进教学改进的作用，有必要提高其反馈的时效性，在日常教育教学过程中利用阶段性考试数据开展增值评价，使增值评价更好地为教学服务。

二是增值评价还需向非学业评价延伸，以科学实施多元评价，丰富教学质量综合评价内容。本研究提供了学业增值评价的技术解决方案，如能继续探讨非学业增值评价，并将二者结合，建立起完善的教育质量综合评价体系，将能更好地促进市、区、校遵循教育规律，实施面向全体学生全面发展的素质教育。

[1]肖远军.教育评价原理及应用[M].杭州：浙江大学出版社，2004：33.

[2]王斌华.教育评价：增值评价法[J].教育理论与实践，2005（23）：22-25.

[3]李健宁.基于增值的中学教学效率评估模型[J].数学的实践与认识，2004（6）：7-12.

[4]汤林春，梁玲玲.学校效能评价的尝试[J].上海教育科研，2005（4）：30-32.

[5]SANDERS W L，HORN S P.Research findings from the Tennessee Value-Added assessment system（TVAAS）database：Implications for Educational Evaluation and Research[J].Journal of Personnel Evaluation in Education，1998，12（3）：247-256.

[6]Sally Thomas.Value-Added Measures of School Effectiveness in the United Kingdom[J].Prospects，1998，28（1）：91-108.

[7]香港特别行政区政府教育局.学校增值资料系统技术手册[EB/OL].https：//svais.edb.gov.hk/Content/docs/zh-CN/Technical Manual.pdf.

[8]Harvey Goldstein.Multilevel Statistical Models（2nd edition）[M].New York：Halsted Press，1995：12-24.