兼职督学评价素养指标体系的构建研究

沈彦彬

（上海市闵行区教育测评与研究中心，上海 201199）

自1991年国家教育委员会对基础教育督导人员的政治素养、政策水平、学历经验、业务能力和身体条件做出规定以来，国家在政策层面上对督学专业素养的要求日益提高，对督学队伍的专业化发展也愈发重视。①参见《教育督导暂行规定》（国家教育委员会令第15号）、《教育督导条例》（国令第624号）、《督学管理暂行办法》（教督〔2016〕2号）、《关于深化新时代教育督导体制机制改革的意见》（厅字〔2020〕1号）等政策文件。然而实践中，督学的专业水平仍制约着教育督导的发展进程。一项基于全国13省（市、自治区）的教师调研显示，有34.24%的学校行政人员、36.42%的教师认为教育督导的专业水平一般或者不足。［1］另一项基于全国16省的督学调研显示，按需求程度从高到低排序，督学认为需要提升的能力前两项依次为先进督导理念和评估工具应用能力，［2］反映了督学在专业发展中对提高自身评价素养的迫切需求。

兼职督学作为区域教育督导部门聘任的兼职人员，承担着与专职督学同等的教育评估监测和指导服务职能，具备基数大、灵活性强的特点，是挂牌督导的主力军。本研究构建的兼职督学评价素养指标体系，在理论上对回答 “兼职督学应该拥有什么样的评价素养” 这个问题有一定的启发，在实践中能够促进兼职督学专业权威的提升，有助于兼职督学队伍的专业化发展。

一、构建原则

构建兼职督学评价素养指标体系应保证科学性和合理性，需要相应的原则支撑，包括理论导向原则、政策为本原则和发展性原则。

1.理论导向原则

理论导向原则是指在考虑问题时，应以问题背后的理论基础为指导。首先，本研究以职能权威理论和发展性教育质量保障理论为指导，在指标体系的构建思路中体现为：从督导的监督和指导的专业职能出发，基于督导评价的理论情境，着力构建能够体现兼职督学专业权威的评价素养；从发展性教育质量保障的质量观出发，基于学校实现可持续发展的需要，关注兼职督学在服务学校价值增值的过程中所表现的评价素养。第二，本研究以评价理论为指导，在指标体系的构建过程中努力做到：通过概括国内外对评价心理过程的共识，提出构建兼职督学评价素养指标体系的具体视角。

2.政策为本原则

政策为本原则是指在构建指标体系的过程中，应以相关的政策本文内容为依据。兼职督学的评价权力是作为价值主体的政府赋予的，因而公共政策中对兼职督学评价素养的要求是构建指标体系重要的参考依据。在构建指标体系时，应首先参考直接指向兼职督学专业素养的现行政策文件，辅以教育督导、责任督学挂牌督导、督学管理等相关主题下的政策文本，通过对政策文本的梳理归纳，得出兼职督学的评价素养指标。

3.发展性原则

发展性原则是指在构建指标体系的过程中，确保兼职督学的评价素养既指向兼职督学自身的专业发展，也面向学校的可持续发展。因此，在构建兼职督学评价素养指标体系时，既要考虑未来在兼职督学专业发展实践中落实相关指标的现实可及性，又要考虑督导评价帮助价值客体实现价值及其增值的发展性面向。具体而言，需参考 “学校发展性督导评价” 的相关研究成果，对兼职督学评价素养指标体系进行补充完善。

二、研究设计

兼职督学评价素养指标体系的重要性广有共识，除了明确构建原则，更需科学可行的研究设计予以支撑。以下从专家选择、指标体系构建过程和专家咨询表设计三方面进行论证。

1.专家选择

本研究拟定的咨询专家共有11人，均从事教育督导或教育评价等相关领域的教学、研究或管理工作。专家所属的一级单位包括 “双一流” 高校、区域教育科研院所和政府部门，二级单位涉及教育质量监测、教育督导和教育评价领域，表明专家来源广泛，且专业领域与本研究主题相关。除了3位政府部门的专家处于管理岗位，其余8位专家中，有3位是正高级职称（教授/研究员），4位是副高级职称（副教授/副研究员），1位是中级职称（中学一级教师，拥有所在二级单位的领导职务），表明专家在相关研究领域具备较强的专业权威，其咨询意见具有较高的参考价值。

2.指标体系构建过程

第一阶段是指标体系的初步构建。基于指标构建原则，通过概括国内外评价理论对评价心理过程的认知，得出兼职督学评价素养指标体系的设计框架；通过梳理《教育督导条例》《中小学校责任督学挂牌督导办法》《督学管理暂行办法》《关于深化新时代教育督导体制机制改革的意见》《上海市教育督导条例》《上海市督学聘任实施办法》《上海市中小学校责任督学挂牌督导工作管理办法》等政策文件，得出兼职督学评价素养指标体系的关键内容；通过梳理国内 “学校发展性督导评价” 的相关研究，对兼职督学评价素养指标体系进行补充完善。

第二阶段是指标体系的修订完善，包括三轮线上 “背靠背” 的专家咨询。第一轮专家咨询的目的是完善指标体系的内容和结构，通过计算各指标均值、满分频率和变异系数，结合专家咨询意见，筛选指标内容，优化指标结构；第二轮专家咨询的目的是优化指标体系的命名，主要参考专家咨询意见，对指标的命名进行小幅调整；第三轮专家咨询的目的是确定指标体系中的权重，基于专家对各级指标两两之间相对重要性的意见，构建成对比较矩阵，通过层次分析建模求出各指标的权重。

3.专家咨询表设计

本研究以自编的专家咨询表作为确定指标体系、指标内涵及权重的研究工具。第一轮专家咨询表包括兼职督学评价素养各级指标的重要性评价和修改建议，以及专家对判断依据及其影响程度和熟悉程度的自评。第二轮专家咨询表沿用第一轮咨询表的设计思路，并在指导语中说明了第一轮专家咨询的结果和指标修改的过程。第三轮专家咨询表包括基于Satty 1～9标度的一级指标和二级指标相对重要性的打分表，并附有第二轮专家咨询所得的指标体系及其描述。

三、研究结果

基于构建原则和研究设计，本研究以评价理论、国内政策文件及相关研究成果为依据初步构建了兼职督学评价素养指标体系，通过三轮专家咨询和反馈，确定兼职督学评价素养指标的内涵及权重。

1.指标体系的初步构建

首先，概括国内外评价理论对评价心理过程的理解［3-5］可得：评价源于价值主体的需要，其核心是明确评价目的，并建立以评价目的为核心的评价参照系统，在获取有关价值主体、价值客体及参照客体的信息后，通过整合、分析等思维形式进行综合比较，最终形成价值判断。据此，本研究从明确价值主体、确定价值标准、获取评价信息、形成价值判断4个角度设计兼职督学评价素养指标体系。

接着，梳理教育督导、责任督学挂牌督导、督学管理等相关政策文件，得出兼职督学评价素养指标体系的关键内容，包括2个一级指标、8个二级指标及20个三级指标（表1）。

表1 指标归纳示例

最后，梳理国内 “学校发展性督导评价” 的相关研究，得到启发性的代表观点，包括：其一，为了有效满足学校的督导需求，必须全方位、多渠道地收集学校督导评价过程中的相关信息，对督导活动全面、客观地进行元评价。［6］其二，为确保学校发展水平评价的客观公正性，督导评价人员在督导实践中应遵循自主理念、合作理念、开放理念和发展理念。［7］其三，发展性督导评价不仅要求学校实现可持续的自主发展，而且要求学校充分发挥自身在内涵发展中的主体作用。［8］据此，在二级指标中增加发现素养和元评价素养，前者强调督导评价对学校发展的内涵挖掘与价值培育，后者指向督导评价自身的质量保障。

至此，运用文献法初步得到包括2个一级指标、10个二级指标、26个三级指标的兼职督学评价素养指标体系（表2）。

表2 基于文献法初步得到的兼职督学评价素养指标体系

2.第一轮专家咨询结果

第一轮专家咨询通过电子邮件、短信、微信等方式，发放专家咨询表11份，回收有效专家咨询表11份，专家积极系数为100%。根据专家对咨询问题的熟悉程度、判断依据及其影响程度的自评数据，计算专家权威系数为0.86，大于0.70，说明专家的权威程度较高，专家意见的可靠性较强。

首先，计算各指标的均值、满分频率和变异系数可得： “时间管理能力” 和 “误差调控” 的均值小于4，其余指标的均值均大于4，说明专家对拟定指标的重要性评价总体较高； “专业素养” 和 “政策理解” 的满分频率为1，说明专家集中认为这两个指标非常重要； “基本修养” “发现素养” “元评价素养” “时间管理能力” 的变异系数大于0.25，说明专家对这4个指标的意见较为分散。

接着，结合指标统计结果和专家咨询意见对指标体系的内容和结构进行修订：删除 “基本修养” ，增加一级指标 “评价知识储备” ，相应提高原二级、三级指标的层级并重新命名、整合，以彰显指标的专业内涵，强化指标间的内在逻辑，由此得到由 “评价知识储备” “价值主体规范” “价值标准建立” “评价信息获取” “价值判断的形成与反馈” 5个一级指标及16个二级指标构成的指标体系。

3.第二轮专家咨询结果

第二轮专家咨询发放专家咨询表11份，回收有效专家咨询表9份，专家积极系数为81.8%。

首先，计算各指标的均值、满分频率和变异系数，可得：所有指标的均值都大于4，22个指标中有19个指标的满分频率超过0.4，说明指标重要性相比第一轮有所提高，且专家意见集中程度较高； “价值主体规范” “价值标准建立” “价值培育” 的变异系数大于0.25，说明专家对这3个指标的意见离散程度较高。

接着，参考专家咨询意见，对个别指标的名称进行修订，比如：将 “价值标准建立” 修改为 “价值标准确立” ，使其包含 “确定” 和 “建立” 价值标准的两重含义；将 “评价信息获取” 修改为 “评价信息分析” ，使其凸显督学的评价专业性等。

最后，计算两轮咨询中专家意见的协调系数，第二轮专家咨询的协调系数为0.333，高于第一轮（0.246），χ2检验结果达到显著性水平（p<0.001），说明经过两轮专家咨询，专家意见趋于一致，可以进行第三轮专家咨询确定指标权重。

4.第三轮专家咨询结果

前两轮专家咨询中，有9位专家全程参与并为本研究提供了宝贵意见，他们不仅对咨询问题进行再反馈拥有持续的期望，对本研究拟定的兼职督学评价素养指标也有充分的了解。因而再次以邮件、微信的形式邀请这9位专家参与第三轮专家咨询，共发放专家咨询表9份，回收有效专家咨询表8份，专家积极系数为88.9%。

首先，根据两轮专家咨询后得出的指标体系，构建兼职督学评价素养层次结构。最高层为目标层，即兼职督学的评价素养；第二层为准则层，包括兼职督学评价素养的5个一级指标；第三层为方案层，包括准则层中一级指标下的16个二级指标。

接着，使用Yaanp2.3软件进行层次分析建模，计算专家权重。以 “问卷形式” 输入专家打分数据，使用 “幂法” 计算判断矩阵，并根据不一致判断矩阵的数据特点， “自动选择” 一致性修正算法，以 “高精度” 参数进行数据修正，以 “几何平均” 法对8位专家的指标权重进行综合，从而得到1个一级指标和5个二级指标的专家权重判断矩阵。

最后，经整理，得到兼职督学的评价素养指标体系如表3所示。

表3 兼职督学的评价素养指标体系

四、讨论

本研究综合运用文献法和德尔菲法，历经指标体系的初步构建和修订完善两阶段，得到一套相对完善、可靠的兼职督学评价素养指标体系。以下从指标体系的元评价及应用建议两方面对研究结果进行讨论。

1.对指标体系的元评价

为进一步验证兼职督学评价素养指标的重要性，本研究编制了《兼职督学的评价素养指标重要性调查问卷》，对上海市黄浦区、长宁区、杨浦区、闵行区、嘉定区、金山区、松江区、浦东新区8个区的兼职督学进行抽样调查，共发放问卷250份，回收有效问卷226份，有效回收率为90.4%。调查结果表明，16个指标的重要性评价得分均值位于4.77至4.93之间，说明兼职督学对本研究构建的评价素养指标体系重要性的认可度高。16个指标得分的变异系数位于0.057至0.114之间，说明兼职督学评价意见的集中程度较高，不存在本质差异。所有指标中，政策理解的重要性评价得分均值最高，且变异系数最低，说明调查样本集中认为政策理解在评价素养中极其重要，反映了在基于证实价值的督导评价过程中，兼职督学对价值标准具体来源的关注。价值培育的重要性评价得分均值最低，且变异系数最高，说明调查样本认为价值培育在评价素养中的重要性相对略低，意见略为分散，反映了在基于发现价值的督导评价过程中，兼职督学对围绕学校发展的根本目的培育价值，从而抽象生成价值标准这一专业诉求的关注程度存在差异。

为进一步验证兼职督学评价素养指标的适切性，本研究编制了《兼职督学的评价素养指标适切性半开放式调查问卷》，调研了9名督导评价利益相关者对指标体系适切性的意见，其中包括不同学校的1位校长、7位副校长和1位普通教师。调研结果表明，利益相关者对教育督导评价的期望主要包括： “紧密结合国家政策动态，引领学校灵性发展” “为学校挖掘办学潜力、捕捉办学亮点、指正办学方向、提供学校可持续发展的可行性建议” “（督学）熟悉督导指标和评价方法，有综合分析问题和提出合理化建议的能力” 等。他们一致认为：本研究构建的指标体系内容全面，权重合理，逻辑得当，当兼职督学具备如指标体系所示的评价素养时，能够回应其对教育督导评价的期望。

2.指标体系的应用建议

第一，指标体系可成为兼职督学资格认定制度中，完善价值主体合法确认评价主体督导评价专业素养机制的依据。具体操作中，评价主体（兼职督学）的督导评价专业素养由其评价素养及其他方面公开、可观测的具体规定①比如，所申请兼职督学资格的专业类别素养（包括教育管理素养、学科素养和技术保障素养）、评价资历、评价声誉等。组成，其中对评价素养的相关规定可在本指标体系的基础上进行细化。

第二，指标体系可成为督学培训机构制定培训计划、设置培训课程的参照体系。基于兼职督学专业发展的不同水平，可依据指标体系制定分层培训：对于新任兼职督学，重点关注 “评价知识储备” 和 “价值主体规范” 一级指标，培育其开展督导评价的基础专业素养；对于有一定督导评价经验的兼职督学，重点关注 “政策意识” 和 “政策理解” 二级指标及 “评价信息分析” 一级指标，培育其运用督导评价证实价值的功能性素养；对于督导评价资历较深、专业水平较高的兼职督学，重点关注 “激励意识” 和 “价值培育” 二级指标及 “价值判断的形成与反馈” 一级指标，培育其运用督导评价发现价值的批判性素养。

第三，指标体系可成为兼职督学明确个人评价专业发展需求、制定评价专业发展规划的参考体系。兼职督学个人可依据指标体系进行自评，对照自身的不足与短板，主动参与不同层级的督学培训，实现内生自主的专业发展。