省级考试机构专业化建设的思考

张 娟 赵州魁 吴 茳 王 同

一、研究背景及目的

2020 年10 月，中共中央、国务院印发了《深化新时代教育评价改革总体方案》[1]，这是指导深化新时代教育评价改革的纲领性文件。当前，各地各部门正在深入调查研究、完善职责清单、推进任务落实。作为专业的教育招生考试机构，如何进一步挖掘分析、整合赋能可信高效的考试招生数据，助推各地教育评价改革，是新时代国家赋予省级考试机构的重要职责，也是由经验管理型机构向专业服务型机构转型发展的必然选择和重大机遇。

课题组在对全国教育考试机构及天津本市区/校进行调查研究的基础上，梳理总结全国省级考试招生机构在考试招生数据分析评价方面的经验做法，对标新时代教育评价改革要求，结合调研收集到的区域教育行政部门、中学校长、中学教师、教研人员、有关专家的需求和意见，以促进教学持续改进和学生全面发展为目标，总结梳理教育评价发展存在的问题，提出未来的探索方案和发展路径，以期进一步优化区域教育教学评价体系，促进学生全面发展，助力教师专业成长，服务学校教学改进和区域教育决策。

二、全国省级教育考试机构教育教学评价现状调研

为学习先进评价经验，拓展教育教学评价思路，本研究基于不同维度设计了《关于使用考试招生数据开展评价工作情况》的调查问卷，面向全国省级教育考试机构（以下称省级考试机构）开展了以问卷调查为主、以文献调查和电话访谈方式为辅的全国省级考试机构教育教学评价工作调研。

（一）评价工作开展概况

1．开展省份

此次调研对象为除港澳台外的31 家省级考试机构。除3 家省级考试机构未取得联系外，共有28家作答问卷，作答率90.3%。经过梳理，如图1 所示，目前共有16 家（51.61%）省级考试机构已经开展教育教学评价工作，4 家（12.9%）省级考试机构计划开展，其余8家（25.81%）省级考试机构暂未开展。

图1 评价工作开展情况

2．组织形式

已开展教育教学评价工作的16 家省级考试机构中，3家省级考试机构将评价工作作为业务处室的一个工作环节分散在相关部门，如中招办、中考处、命题办等。其余13 家教育教学评价工作主要与科研（杂志）、信息科技或命题工作相结合，组成专门业务处室开展评价业务（图2）。

图2 评价工作开展部门

3．思路和领域

权威、详实的考试招生数据，始终是省级考试机构开展评价工作的最大优势。在评价工作开展思路方面，16 家省级考试机构均利用本单位考试招生数据资源优势，开展数据统计分析服务。通过图3 可以看出，在开展数据统计分析服务时，各省级考试机构评价业务主要集中在高考评价、中考评价、高中学业评价、试卷评析等方面。

图3 基于数据资源优势的评价业务开展情况

值得关注的是，浙江省考试院已使用体质健康数据并形成报告；河北省考试院已开发了考试过程评价分析系统并投入使用。安徽省招考院利用本单位平台优势，参与了安徽省省级教育评估和监测项目，重点开展了高中教学质量监测项目的命题和数据统计分析报告撰写工作。北京考试院、天津招考院和河北省考试院利用单位平台优势，自主研发并开展了教育评估和监测项目：北京考试院使用高考、中考、学业水平考试全样本数据，分析命题质量、教学质量和学业水平[2]；天津招考院利用平台优势开展了初中生入学水平基线测试项目和普通中小学办学质量绿色评价项目；河北省考试院自主研发了河北省教育评价项目，并正在进行小范围实验。

如图4 所示，在评价业务开展领域方面，16 家省级考试机构中有15 家评价主要涉及基础教育，湖北省考试院的教育教学评价工作涉及高等教育，浙江省考试院的评价领域同时涉及基础教育和高等教育。

图4 评价工作涉及领域

4．评价工作数据使用和服务对象

如图5 所示，在利用数据资源优势开展数据统计分析服务方面，有15 家省级考试机构使用了考试成绩和体质健康数据，10 家使用了报名数据，另有6家使用了录取数据。此外，天津招考院和河北省考试院自主研发并开展教育评估与监测项目时，使用了“区域或学校考试数据”。

图5 评价业务数据使用情况

如表1 所示，从服务对象和目的统计，省级考试机构的教育教学评价工作可以分为：服务于教育行政部门以供决策；服务于招考、教研机构以供区域教情和学情分析；服务于学校以供教学质量分析；同时也会对内服务于本单位命题部门，提供命题质量分析。

表1 评价工作服务对象

3．“四个评价”开展情况

《深化新时代教育评价改革总体方案》提出，评价要坚持科学有效，改进结果评价，强化过程评价，探索增值评价，健全综合评价，充分利用信息技术，提高教育评价的科学性、专业性、客观性[1]。如图6所示，开展教育教学评价工作的16 家省级考试机构中，有14 家已开展结果评价，3 家开始探索增值评价，3家探索过程评价，2家探索综合评价。

图6 “四个评价”开展情况

（二）评价工作开展的支撑条件和制约因素

1．支撑条件

在分析评价工作开展的支撑条件时，通过图7可以看出，所有省级考试机构均将“数据信度效度高”作为开展评价工作的支撑条件。另外，有5 家将“评价团队成熟”“评价项目成熟”和“评价信息系统已完善”、各有1 家将“合作良好的第三方机构”“教育评价结果认可度高”作为开展评价工作的支撑条件。江苏省考试院[3]选择“其他”选项，将“建立了健全的评价体制机制”作为支撑条件。

依据问卷作答情况将所有选项按重要性程度排序分析时，“数据信度效度高”“合作良好的第三方机构”“其他（建立了健全的评价体制机制）”重要性程度最高（图7）。

图7 教育教学评价工作开展的支撑条件

2．制约因素

在调查了解各省级考试机构评价业务开展的制约因素时，通过图8 可以看出，11 家选择“单位专业评价人员短缺”，10 家选择“本地教育教学评价意识不强”，8 家选择“本地评价教师团队难搭建”，4 家选择“评价项目推进工作易受政策影响”。

依据问卷作答情况将所有选项按重要性程度排序分析时，“单位专业评价人员短缺”、“本地教育教学评价意识不强”、“评价项目推进工作易受政策影响”重要性程度排位最高（图8）。

图8 教育教学评价工作开展的制约因素

（三）专业化招考机构建设的思路与行动

省级考试机构作为教育评价改革的重要参与者，既要积极贯彻落实新时代教育评价改革方案，也应借势深入探索考试机构从经验管理型机构向专业服务型机构转型的路径。

1．拟探索的教育教学评价项目和期待

通过调研分析，从图9 可以看出，“十四五”期间拟探索的教育教学评价项目中，各省级考试机构均提出，要以《深化新时代教育评价改革总体方案》为依据，将过程评价、增值评价和深度挖掘考试数据信息、充分利用数据探索学生知识掌握水平和学习能力作为突破口。

图9 教育教学评价拟探索项目

分析对教育教学评价工作发展的期待时，从图10可以看出，在现有教育教学评价业务发展条件下，各省级考试机构均希望有更科学的教育教学评价和数据分析方法来优化和发展现有的评价项目，从真正意义上改进结果评价；也期待教育教学评价工作能获得更多重视，以促进评价工作的长期有序发展；同时也建议，积极加强省际评价业务交流，联合探索研究基于考试招生数据资源的考试评价机制，为教育教学评价工作的高质量发展奠定基础。

图10 对教育教学评价发展的期待

2．专业化转型的思路

教育教学评价是省级考试机构推进专业化转型的重要内容之一，在分析各省级考试机构教育教学评价专业化转型思路时，从图11可以看出，为实现专业化转型与发展，各省级考试机构重点将构建专业化评价队伍、丰富考试数据分析方法，以及加强考试评价的信息化建设、加大与专业团队合作、加强单位科研投入、提升自身专业水平作为支撑和发力点。

图11 各单位评价工作专业化建设思路

三、区域教育教学评价发展存在的问题分析

通过调研分析天津招考院[4]及全国其他省级考试机构的评价业务开展情况和发展现状，对标新时代教育教学评价工作的新要求，总结梳理出省级考试机构开展教育教学评价工作中存在的主要问题。

（一）教育考试招生数据挖掘不充分

省级考试机构是负责全省（直辖市、自治区）教育考试招生工作的专业机构，其核心业务为命制考试试题、组织实施考试、管理监督招生录取以及全流程数据的采集、校验、审核、使用和存储，并结合招考业务和数据资源开展教育教学评价工作。

各省级考试机构在命题、报名、体检、组考、评卷录取过程中，有海量的数据积累，且大规模、专业化的组织使得各环节数据都具有信/效度好、权威性高的优势。但在目前的教育教学评价工作中，大部分省级考试机构仍以使用直接可获取的成绩数据为主，对于命题试卷结构信息数据、考试报名数据、体检数据、录取数据的使用并不充分[5]。拓展数据使用维度是推进教育教学评价工作的基础，因此，在教育教学评价业务发展中，不应囿于使用考试数据的评价，应充分考虑并使用多维度的权威招考数据，如图12所示，综合命题数据、报名数据、体检数据、录取数据，全方位分析某地区、某学校或某位学生的发展现状和成长路径，挖掘数据使用和教育教学评价深度，真正唤醒沉睡的数据，充分发挥数据优势和平台优势，让数尽其用。

图12 挖掘数据内涵

（二）教育教学评价方法创新不足

统计学一般分为描述性统计和推断性统计两种。教育教学评价数据主要使用描述统计分析方法，以均值、方差、标准差、得分率、难度系数、离散系数、百分数等数值表述及表格图、柱状图、条形图、箱型图、雷达图等图表描述为主。考试数据的描述统计不仅可以直观地描述题目的得分情况、题目难度、考生分布及学生学习情况，而且便于教育行政部门、教研机构及教师学生的理解，这在一定程度上促进了教育评价理念的普及。随着当前已有的教育评价方法逐渐成熟固化，教育评价工作者应积极创新教育评价方法，借助经验优势和统计分析理念，拓宽教育教学评价思路。从现有工作实际出发，较为现实的路径有：创新使用基本评价指标，如运用比例值、差值或临界值，将以描述统计为主的教育教学评价做深做细；构建推断统计分析方法，深度应用统计分析工具并结合教育发展实际，融合应用于教育教学评价工作中；结合大数据时代发展特点，充分使用数据挖掘和机器学习方法，探索符合时代发展的教育评价工具。

另外，在增值评价方面，目前已有3 家省级考试机构开展增值评价的探索。现有增值评价理论研究和应用模型众多，随着研究的深入和实践的推进，增值评价方法将会越来越科学、适切[6]。因此，在增值评价方法较为成熟的项目，应积极探索使用更科学适用的增值评价模型。有意向开展增值评价研究与实践的区域，可以尝试使用适合当地教育特点的增值评价方法[6-7]。

（三）教育教学评价维度有待拓展

通过调研分析可以看出，多数省级考试机构现有的教育教学评价业务仍以学业评价为主，即主要关注通过考试数据获取的学生学习水平、教师教学能力和学校教育质量等情况。学业评价具备客观公平性，但在一定程度上呈现“唯结果”“唯分数”的弊端，这也是新时代教育评价改革亟待解决的重点问题。因此，省级考试机构在未来评价项目研发中，应积极拓展教育教学评价维度。如优化评价维度时，设计非学业维度并将其纳入评价指标体系。非学业维度的测评对象不应局限于学生方面，还应包括教师、校长、家长等相关群体，更多地采集分析学校所属区域、学校硬件软件、班级情况及学生家庭情况等多维度信息。

在评价领域方面，通过深入调研了解，多数省级考试机构在开展的评价业务中，主要涉及基础教育，对高等教育、职业教育、幼儿教育等领域涉及较少。同时，在基础教育评价领域中，主要以初中、高中两个教育阶段为主，对小学教育的评价较少。因此，开展多领域的教育教学评价，也是未来教育教学评价发展的现实路径之一。

（四）基层教育教学评价意识薄弱

通过调研分析发现，基层教育教学评价意识薄弱是制约省级考试机构教育教学评价业务发展的主要原因之一。教育教学评价业务服务于行政决策部门、教研部门和教学部门，其最主要的功能是改进教学。但在实际教育教学中，长期以来形成的“以结果论英雄”“唯分数”的痼疾并未彻底改变，多数学校仍以提高学生学习成绩、提升学校升学率、扩大学校知名度和影响力为目标，以考试来抓薄弱知识点、测验判别掌握度的“考试教育”为主，这在一定程度上制约了科学的、先进的教育教学评价理念的形成。此外，评价离不开专业分析，教育教学评价主要以教育测量理论和教育统计学为理论依据，具备客观评价教育质量的特点，但是其涉及的理论知识和统计思路在理解上有一定难度，如什么是经典测量理论，什么是项目反应理论，什么是信度、效度、区分度，什么是等值，为何做等值，等等。对教育教学评价学理基础和模型方法的了解，需要一定知识储备。但在实际教育教学中，多数教师专注于自身学科，将更多的时间精力投入到学科教学和课业日常管理中，学习评价理论知识的时间偏少、动力不足，这也是制约教育教学评价意识提升的另一主要原因。

（五）教育教学评价项目较为单一

随着各方面对教育教学评价工作重视程度的提升，以《深化新时代教育评价改革总体方案》中“四个评价”为主的教育教学评价项目将逐步深化开展。但从调研中可以看出，除少数省级考试机构开始探索增值评价、过程评价和综合评价的项目外，多数仍以结果评价为主。在新时代教育评价改革的指引下，教育领域专家学者正在逐步开展理论探究与方法探索同步进行的教育教学评价探索，着力引入创新型教育教学评价工具，更好落实“四个评价”目标要求，开发或优化教育教学评价项目，更加全面、科学地指导教育和教学。尤其重点以落实“四个评价”为抓手，以一线教师教学需求为导向，着力开展增值评价方法适应性研究、过程评价的着力点验证以及综合性评价的评价维度拓展，以期更加科学地开展教育教学评价，更加完整、准确、全面地贯彻落实好党的教育方针。

（六）教育教学评价机制不健全

健全的机制是工作开展的基石。通过调研发现，多数省级考试机构的教育教学评价机制不健全。专业评价人才短缺、本地教育评价教师团队难以搭建，是制约教育教学评价工作开展的“老大难”问题；各地区和各学校教育教学评价多以地方教育财政购买服务的方式开展，地方财政的宽裕程度是影响教育评价工作顺利开展的重要因素；随着评价意识的不断提升和评价项目的逐渐普及，为使成熟的评价项目快速适用于有同类需求的区域或学校，研发搭建安全高效的评价信息系统，也是教育教学评价工作广泛深入开展需要重点解决的问题。《深化新时代教育评价改革总体方案》提出“构建政府、学校、社会等多元参与的评价体系，建立健全教育督导部门统一负责的教育评估监测机制，发挥专业机构和社会组织作用”[1]，区域教育行政部门和学校与第三方教育评价机构开展合作，可以大力推进评价专业化发展，保障教育教学评价工作效果。但目前能够稳定合作、适配度较高的第三方机构较少，教育教学评价专业化发展缓慢。综上，健全以专业人才队伍建设、财政政策支持、高效信息系统搭建和第三方合作模式构建为主要内容的教育教学评价机制，是省级考试机构评价专业化转型与发展亟需解决的重要课题。

四、新时代区域教育教学评价发展路径探索

（一）深挖招考各环节数据新价值

从学术定义上说，教育教学评价是对评价对象进行全过程、全方位的信息采集，而后经过科学分析产生的价值判断。因此，教育教学评价是一个过程，一方面要尽可能搜集全部信息，另一方面要对全部信息进行分析后作出科学的价值判断。省级考试机构在推进教育教学评价工作过程中，要始终坚持全面育人理念，尽可能搜集并深入挖掘使用考试招生各环节数据，着力推进评价的综合性、有效性。省级考试机构应明晰并发挥自身数据优势，建立数据标准，充分整合、关联现有数据资源，形成数据仓库，在保证数据安全使用的前提下最大程度挖掘考生信息、学业信息、教学信息的新价值[8-9]。如使用考试报名数据，对各区、各校学生的报考基本情况进行整理分析，对比往年报名数据以了解区域、学校考生基本变化情况，对比区域间、学校间变化以了解学生流动情况，为后续管理和精准服务做好更为充分的准备；利用考试数据、志愿数据、录取数据分析各区域教学情况和志愿偏好、专业偏好，试点开展高中学生兴趣特长量表测试，分析异常数据，深入了解深层次原因，基于实际案例建立志愿填报分析及预警模型，为学生科学合理规划生涯、选课走班、填报志愿提供更为精准的服务指导；分析学生体测数据和体质健康监测数据，分区域、分性别、分城乡数据化了解学生营养状况、身体发育、视力、血压、心率等情况，为区域学生身体健康发展提供更为精确的服务反馈；综合使用考试命题知识点细目表，优化考试成绩数据报告，整合报名数据、考试数据、录取数据建立分析模型，分析学生个性化成长路径，为学生全面多元成长提供更为科学的参考。

（二）探索教育教学评价新方法

学界认为，教育教学评价从20 世纪初至今，经历了从第一代到第四代的发展，从分数定位、目标中心、为了改进到为了发展，教育教学评价理念持续更新、模型不断优化。省级考试机构在开展教育教学评价工作中，也应不断更新理念、优化模型，积极探索教育教学评价的新方法，更好满足新时代教育评价工作的新要求。可通过以下路径实现：

1. 文献中探索。论文文献是先进理念和技术方法呈现的主阵地，教育教学评价人员应经常性阅读相关科研文献和研究杂志期刊，吸收新知识新理念，尝试新方法并付诸实践。

2. 实践中尝试。在设计优化现有评价项目时，不仅要坚持测量的科学性，也要坚持目标导向、问题导向、需求导向，综合吸收实践调研中的教师需求和教学需求，加强评价方法的可理解性和参考性，不断在小范围尝试更新现有评价方法。

3. 同行中学习。在学习借鉴各省级考试机构的教育教学评价方法、加强省际业务交流的同时，扩大学习范围，学习同行教育教学评价项目和方法[10-11]。如教育部基础教育质量监测项目、上海教研初中生绿色指标综合评价项目、黑龙江教育发展评估院增值评价项目、苏州市义务教育学业质量监测项目、石家庄市教育科学研究所义务教育阶段教育质量监测项目、重庆考试院教育质量监测信息技术等。

4. 新技术接轨。充分利用大数据、区块链、云计算等新的信息技术，推进教育教学评价的科学性、有效性和便捷性。如优化回归建模方法，建立成绩数据分析模型；使用关联规则方法，建立学业压力预警模型；使用分类建模方法，建立高中生学业预警模型等。

（三）拓展教育教学评价新维度

从系统论的观点看，教育教学评价实质上是通过对评价对象各个部分、不同维度的考量分析，从总体上作出综合价值判断的过程。因此，教育教学评价应顺应新时代新发展，不断拓展新维度，这也是省级考试机构专业化转型和发展的必然选择。例如，天津市招考院目前开展的普通中小学办学质量绿色评价项目，基于政策要求和区域需求，已进行了多对象多维度的探索与实践。同时，立足未来发展，还需在几个方面进一步拓展教育教学的新维度：

1. 优化问卷测量内容。现有问卷已包含德育、智育、美育、体育、劳动教育等维度的测量，深入分析评价时，可以看出调查的内容主要以想法、意识为主，具体到该不该做、能不能做、会不会做、具体如何做、如何做好等操作步骤时，却无法有效测量。因此，在优化问卷时，应优化提问方法和提问角度，尽可能了解学生立体的五育观念。

2. 探索指标的量化性。在评价报告呈现时，多以雷达图或分维度分析方法呈现报告结果，需进一步设计权重赋值或因子降维等方法，将各维度测量结果整合建立综合指标，将分维度结果量化，实现测量指标的横纵向可比。

3. 探索非纸笔测量评价。除使用问卷来测量非智育问题外，可研发信息系统，建立评卷式评价模式，如体育动作、劳动步骤、绘画作品的评卷打分评价，探索非纸笔测量新模式。

4. 拓展评价领域。依据《深化新时代教育评价改革总体方案》要求，适时拓展评价领域，积极参与职业教育评价、高等教育评价等。

（四）普及教育教学评价新理念

教育教学评价具有导向、鉴定、诊断、改进等功能，但这些功能能否得到充分有效实现，很大程度上取决于基层一线校长、教师对评价理念的理解和对评价方法的掌握。省级考试机构在推进优化评价项目的同时，应进一步普及教育教学评价最新理念，讲授有效的评价方法，畅通评价路径，提升评价效果。一是积极传播理念和方法。在深入调查研究、了解教育教学需求的基础上，充分利用现有评价项目结果反馈等时机，以通俗易懂的语言，适时适度开展评价理念、方法培训，做好对评价指标和数据的解释，逐步让一线校长、教师认识到评价有用、可用、能用。二是借助平台加大宣传。省级考试机构可借助官网官微平台，以及报纸、杂志版面，建立“教育评价与测量”板块，加大评价测量知识、统计分析方法的传播力度，做好评价理念和评价知识的普及。

（五）优化开展教育教学评价新项目

为贯彻落实好新时代教育评价改革，进一步满足区域教育教学评价需求，省级考试机构应以政策要求为导向、以区域需求为依托，优化开展增值评价、过程评价、综合评价等新项目。优化开展增值评价方面，除用简单减法模型外，可以尝试使用分位数回归模型、学生成长百分位模型等，既要科学验证增值模型的适配度、合理性，也要增强评价方法的可解释性。优化开展过程评价方面，应以学习先进评价方法为主，如河北省考试院等单位已建成投入使用过程评价分析系统，努力实现过程评价的新突破。优化开展综合评价方面，应深入学习并贯彻落实党的教育方针和系列文件，以政策为依据，构建科学评价指标体系，探索使用科学的综合评价方法。

（六）健全教育教学评价新机制

坚持问题导向，逐步破除机制障碍，探索建立相对稳定的评价项目从开发到实施的运转机制，积极发挥导向、鉴定、诊断和改进作用，着力为政府决策、区域教研、学校教学和学生学习提供高质量服务，应是专业化转型中的省级考试机构“十四五”期间着力解决好的重大课题。针对专业教育评价团队难以搭建的问题，以本地教育资源为依托，强化与各区教育行政部门、教研部门和优秀一线教师合作，建立“评价+科研+课题”的长期合作模式，推动评价项目开展的同时，也助力教师团队专业成长和评价知识的普及；发挥本地高校资源优势，加强与高校教育学院、心理学院、数学统计学院、计算机学院等部门合作，为相关专业学生搭建实习平台，助推评价项目更高质量开展；同时，加大相关专业人才的招聘或调入力度，充实专职的评价专业力量，为评价业务可持续发展奠定专业的人力资源基础。

同时，省级考试机构要加强统筹协调，积极主动沟通，逐步建立健全政府主导、区校合作、专家支撑、学业与非学业评价相结合的教育教学评价服务体系，以科学评价和优质服务形成较为稳定的长期合作模式，以解决财政支撑不稳定的问题。

在教育教学评价信息化建设方面，省级考试机构应坚持需求导向、量力而为，推进信息技术与评价业务深度融合，着力打造信息技术多维支持体系，以云网融合、智能便捷、绿色低碳、安全可控为目标，完善考试招生数据中心建设，统一数据标准，实现数据跨业务、跨层级互联互通，打造适应各类教育教学评价开展的综合管理服务平台，丰富服务接口和方式，提高评价服务能力，构建如图13 所示的稳健的教育教学评价机制。

图13 教育教学评价机制优化路径