研发测评工具是评价过程的关键一环

●张丽



研发测评工具是评价过程的关键一环

●张丽

对教育质量进行综合评价涉及到两个关键问题，一是评价什么，二是怎么评价。怎么评价直接指向了测评工具的研发。测评工具的科学性、可信性、有效性决定了我们收集的数据是否能反映测评对象的真实情况，因此，测评工具的研发是整个教育质量评价过程中至关重要的一环。征，确定学生在这些特质上达到的水平。鉴于三者的区别，对于中小学教育质量综合评价指标框架中涉及的五大内容20个关键指标，不同的指标适用不同的测评工具（具体见左表）。区别于传统的学科考试类测验，为了实现对教育质量的诊断功能，学业成就测验和量表、问卷工具一般是配套研发、施测、分析。

常用测评工具

目前国际上教育质量评价项目中测评工具主要有学业成就测验和量表、问卷工具。在我国，《教育部关于推进中小学教育质量综合评价改革的意见》（教基二［2013］2号文件）明确指出，“主要通过测试和问卷调查等方法进行评价，辅之以必要的现场观察、个别访谈、资料查阅等。”其中学业成就测验一般以课程内容为基础，测查学生在接受一段时间的课程学习后达到的效果。学业成就测验的实施是为了了解学生学习后所达到的水平，对学生学习的长短板有明确的认识。

量表是对事物特质用不同的规则分配数字等级，从而实现定量化测量的测评工具，后期进行数据分析。问卷也是对人的行为和态度、背景信息进行测量，没有量表那么严格的规范，不一定是选择某个等级分数，选项的设计和作答要求更加多样化，后期通过选项百分比统计、选项比率的差异分析等进行数据分析。

评价内容品德发展水平学业发展水平身心发展水平关键指标行为习惯公民素养人格品质理想信念知识技能学科思想方法实践能力创新意识身体形态机能健康生活方式审美修养情绪行为调控人际沟通好奇心求知欲爱好特长潜能发展学习时间课业质量课业难度学习压力适用的测评工具量表量表量表量表学业成就测验问卷量表量表问卷问卷问卷量表量表量表问卷量表问卷问卷问卷量表兴趣特长养成学业负担状况

学业成就测验和量表、问卷工具在教育质量

综合评价的运用中，主要是测查学生学习、心理、行为等特

流程整体设计初步编制模拟测试目标为测评工具研发提供思路和方向编写可供选择的题目模拟真实测评，发现工具存在的问题以便修改通过修订确保工具的信度、效度、区分度、难度等达到目标要求修订与质量分析正式形成实现测评工具的标准化具体内容确定工具研发的目的、测评的对象、测评的内容、测评方法和工具类型、构建工具研发团队收集相关资料、确定题目类型、编写题目找到能代表正式测评对象的样本，按正式测评的要求实施初步编制的测评工具根据模拟测试中收集的作答信息和对测试数据的分析，对初步编制的工具题目进行筛选和修改（模拟测试和修订的过程可能需要反复），并得到测评工具的质量分析结果对修订好的题目进行排列组合，形成题本，并编写测评工具实施操作手册

测评工具的研发流程

教育质量综合评价测评工具的研发有一套标准化的流程，每个环节都会影响到其他环节，标准化的命题流程是为了保证工具的质量，只有各个环节都操作规范，才能从整体上确保测评工具的可信性和有效性。测评工具的一般研发流程如下表。

一是学业成就测验。其一，确定测验框架。依据《国家义务教育质量监测方案》（国教督办［2015］4号）中对监测内容的要求“测查学生掌握知识、技能的程度和分析解决问题的能力”，在这种新要求下，对学生学业成就的测评将涉及到学生的知识、技能、能力三个方面。对于不同学科的测评，知识维度需要依据学科课程标准，根据标准中的课程目标与内容确定考查的知识点；技能维度将运用布鲁姆教育目标分类学中的认知向度，界定不同认知水平，如识记、理解、应用等；能力维度则将运用多元智能理论，界定语言、数理逻辑、空间、人际等多种能力。因此，对学生学业成就的测评不再是二维的，而应该是三维的，传统上用于测验框架制定的双向细目表将被多向细目表所取代。在多向细目表中，将要考查的知识、技能、能力编制成列联表，并规定好各项目的比例。

其次，编写测验题目、组成题本。根据多向细目表，确定好不同内容和认识水平对应的题目类型，利用收集到的资料（如阅读的文本材料、图片等）编写各类型的具体题目。目前，为了较好地覆盖课程内容，并且避免学生作答过多题目，要将编写的题目组合成多个题本，学生只需要完成一个题本，通过矩阵抽样技术实现对学生作答不同题目但分数可比的目标。

其三，审读与模拟测试。题本编制好后，邀请学科专家、教研员、教师对多向细目表、题本进行审读，考查题本测查的内容与测评目标的一致性，题目的具体内容是否适合测评对象、表达上可否优化等，根据审读的意见对题目进行初步修改。之后选取有代表性的学生进行测评，记录学生作答的时间、疑问等信息，并可在学生作答完毕后进一步访谈，了解学生作答的思路和适合性。

其四，修订与标准化。对模拟测试收集到的数据进行分析，明确各题目的难度、区分度，结合观察和访谈收集到的信息，对题目进行筛选和修改，最终形成正式题本。标准化实施还需规定测验实施的过程（如指导语、对学生疑问的解答等）、评分标准。

二是量表、问卷。其一，确定量表、问卷编制的目的和框架。量表、问卷编制的目的应与教育质量综合评价的目的契合，目的的确定是内容选取的基础，要明确量表、问卷的用途和实施的对象。根据具体目的，建立量表、问卷编制的对应框架。框架中的内容往往需要从抽象概念到具体可操作的测量点的层层具体化。将抽象的心理行为特质可操作化定义非常重要，其准确性和科学性直接决定着是否可检测到目标特质。面对一个抽象的心理行为特质，一般需要查阅相关文献，建构其理论结构，再结合教育教学实际情况，选取有代表性的测评点。

其二，编制题目。在确定的量表、问卷框架基础上，对应各个测评点，选取具体的行为、态度、事实，编制成各个题目。对于不同内容的测评，在题目类型、表达方式、作答方式上都会不同。如对学生公民素养的测评，最后量表、问卷的题目可能会指向学生面对某一情境具体的态度、行为等，而不是直接让学生选择自己的素养水平。针对学生综合素质的评价，在编制题目时，要特别避免编写带有倾向性或者能显而易见做出选择的题目。此外，量表、问卷编制中还涉及到指导语的编写，指导语既要让测评对象明白在测评什么，不会对其造成不良影响，不要有所顾忌，同时也要提醒对方按照实际情况作答，保证答案的真实性。

其三，模拟测试。通过模拟测试，可以了解到学生作答的时间、学生在作答过程中的疑问、题目表达是否产生歧义、指导语是否明晰等等。同时模拟测试收集到数据仍然可以统计分析出题目选项分布是否合理、信效度是否达标。

其四，修订并形成正式量表、问卷。针对模拟测试后发现的问题，对量表、问卷题目进行修订，可能会删除个别题目、修改题干表述、修改题目选项，特别要注意题目选项之间存在重叠的情况，最终形成正式的量表、问卷。同样，量表、问卷也需要编写相应的操作手册。

三点思考

测评工具的编制需要多学科专家协作。在编制教育质量综合评价测评工具时，特别是学生学业成就测验的编制，既需要对学科教学非常了解的学科专家，又需要掌握测评理论和技术的测量专家。学科专家需要负责测验多向细目表的建构、题目的命制和修改、相关材料的收集，而测量专家需要设计题本的安排、处理数据、分析测验的质量、规范测验的标准化实施流程。

测评工具的编制需要测量新技术的介入。目前，在国际大型教育测评项目中，科学先进的测量技术已经得到了很好的运用。如矩阵抽样技术，将编制的题目分派到不同题本中，学生只需要完成其中一个题本，仍然可以完整反应学生学业水平。项目反应理论也越来越多的运用到对工具质量的分析中。这些测量技术有效提高了测评结果的科学性、准确性和时效性。

测评工具的编制需要和数据分析相结合。在研发测评工具时，还需要思考将进行哪些数据分析，希望得到什么样的结果等问题。有些题目只是需要呈现各个选项的百分比，有些题目需要针对不同人群进行方差分析，有些题目需要合成一个指数以便做进一步的分析等等。不同的数据分析需求会影响到题目设计的类型。

张丽

成都市教育科学研究院督导监测评估研究所教研员

（责任编辑曾宪波）