质性方法在县域教育评价中的应用研究:困境与路径选择*
2023-09-11杭州师范大学经亨颐教育学院
张 冉∣杭州师范大学经亨颐教育学院
教育“管、办、评分离”与高质量教育体系建设的政策驱动,促使区域教育评价需求不断提升,相关理论与实践不断发展,地方政府与学校期盼更加科学和有温度的教育评价与监测。目前,以县域教育为对象的教育评价在理论上遵循第四代评价的基本原则,但在实践中以量化数据收集和分析为主要方式,质性方法在整体评价理论和实践中面临着应用困境,无法发挥其应有作用。教育评价的理论与实践在过去一个多世纪的时间中紧密交织,既承接管理学、心理学的理论传统,也在后期接受了社会学、文化人类学等学科理论发展的影响,逐渐形成了以量化数据收集测算为主,辅以质性资料收集和分析的混合评价方式。整体而言,目前针对县域教育评价的研究,更多地体现在县域教育评价指标体系构建、定量数据分析的策略探究等方面,对质性方法的研究和实践都较少。基于这一现状,针对质性方法在教育评价中的应用进行研究有其必要性与紧迫性。县域教育评价是国内区域教育评价的主流形态,因此研究可从县域教育评价入手展开。
一、县域教育评价的回顾与质性方法应用的困境
区域教育评价是教育评价理论和实践的一个重要组成部分。受我国基础教育“以县为主”管理体制的实施以及教育深化改革的影响,县域教育的发展与评价也日渐受到行政组织、地方社会与学界的重视。前者是评价需求的发出者、评价结果的使用者,而后两者往往是评价的执行者与研究者。时至今日,针对县域范围内的整体性教育评价实践仍然难以摆脱实证主义的窠臼,缺乏质性研究与评价方法的介入。从评价需求上看,我国目前的县域整体性教育评价需求与20世纪美国联邦政府的教育评价需求有一定的相似性,本质上都是社会职能部门对中央和地方政府追求教育“投入—产出”的有效性和教育过程科学性的回应。受教育发展“管、办、评分离”政策的驱动,地方政府逐渐将教育评价的功能从行政职能中剥离,并通过政府招标、采购和委托等方式,由具有相应资质的事业单位组织或社会第三方组织承接并执行。结合当下县域基础教育评价的实践路径看,其在方法上受科学主义方法论影响,以量化评价为主,通过专家进校调研、访谈等途径兼顾部分质性材料收集,在理论上受治理理论和新公共管理理论的影响较深,强调对评价委托方负责以及对教育效能的追求。
(一)县域教育评价的实践回顾
以县域为横向比较单位的教育评价,一般由中央和省一级教育行政部门主导,委托相应的职能部门、事业单位、智库组织或社会第三方机构执行。国内县域内针对学校的整体性评价实践较多,其中较为成熟的评价实践,如上海市的“中小学发展性督导评估”、北京市的“规范性指标和发展性指标”、山东省的学校“基础性评估+发展性评估”和江苏省教育评估院的“星级高中评估”等,已经获得了一定的社会认同度,促进了当地区域的学校发展。同时,针对县域基础教育整体发展水平展开的评价以发达省份的实践居多,如开展较早的广东省的“县域教育现代化评估”,江苏省教育评估院的“江苏省县(市、区)教育现代化建设水平评估”,以及浙江省教育现代化研究与评价中心近年来展开的“浙江省县(市、区)教育现代化发展水平监测”等。上述县域教育评价的规模较大,程序较为规范,取得了较好的社会影响力,也为学界开展县域教育评价研究提供了相应的实践范本与观察对象。部分研究者就县域教育某一方面的问题进行了短时间的介入与实践,如在县域范围内进行的义务教育经费监管方式及其成效评价研究,县域义务教育发展均衡性测评研究,以及县域教师发展支持体系建设研究等。需要明确的是,大部分基于学术研究目的的调研与数据收集,虽然在研究结果上有评价功能,在调研区域上也涉及县域,但因其研究本身并不以评价为目的,研究对象的选择范围较窄,实践操作上不具备可持续性,使得整个研究过程与实践层面上的县域整体性教育评价仍有一定距离,只能视为教育研究者对评价实践的短时间介入,而非专业、可持续的县域教育评价活动。
(二)县域教育整体性评价的特征
有研究者认为,尽管近年来我国多地陆续成立了专业化的评估机构,但从地位上看这些评估机构依附于政府生存,从功能上看其是行政管理的工具。经过“管、办、评分离”等公共政策的推动,近十年来国内教育评价组织的专业度和独立程度都得到了大幅提升,但在县域教育的整体性评价中仍存在诸多问题。
1.以量化数据测算为基础,强调判断与排序
从教育评价实践的可操作性角度出发,量化数据测算成为当下国内县域基础教育整体评价的主流方式有其必然性。在硬件指标上,评价通过学校占地规模、功能室的配置、图书馆设置和计算机的数量等,对学校基础设施和办学条件进行评断;在软件指标上,评价通过对教师群体骨干教师数、脱产培训时长、境外培训次数、发表论文数量,学生群体标准化测试成绩、体育素质、近视率和肥胖率等数据进行分析排序。通过相应的权重分配,这些硬性指标测算在很大程度上促进了地方行政部门对学校基础建设投入的提升,推动标准化学校的建设发展。在县域教育发展不均衡、地方教育资源投入尚不能满足基本需求的情况下,这种评价有助于提升地方政府对教育投入的重视程度,改善教育基础设施和师资条件。但需要注意的是,这种评价常常导致评价结果以判断和排序的方式呈现,易对评价对象造成负面影响。
2.以质性评价为辅助,忽视评价双方的互动对话
由于教育评价实践环境的复杂性,评价过程中会需要借助问卷调查、能力水平评价、专家咨询和访谈等方式,产生大量复合型异构量化数据。仅数据类型,就包括基本数字、比率、绝对值和相对值等多种;资料形式,又表现为数字资料、访谈资料、观察资料、实物资料和音视频资料等。进一步而言,评价专家和被评价对象的互动,价值取向、评价经验和评价智慧也是难以直观呈现的重要“数据”。从这一点看,县域教育评估中的质性评价仍然处于从属和辅助位置,功能体现为对量化数据分析的注解和深入阐释,无法发挥其应有的功能。特别是当数据分析结果与社会公众认知产生矛盾时,质性评价无法提供相应的解释支撑。
3.以评价者为主体,被评价者全面缺位
现有的县域教育整体评价中,将学校整体评价和课程评价、教师评价、学生评价相分离,分成不同模块或指标进行权重量化,将去情境化、追求普遍化的科学主义研究,运用到对日趋复杂的基础教育学校评价探索中,已经造成被评价者在整个评价过程中的缺位,乃至失踪。从现行县域教育评价指标体系的构成看,都呈现出过于关注资源的投入,而忽视教育产出和师生体验的特征,被评价者的意见和建议难以通过数据分析呈现,使得评价结果只能代表评价者意图,对区域教育循证研究和学校改进的实际作用有限。
(三)质性方法在县域教育评价中的应用困境
在上述县域教育评价的特征之外,质性研究通过收集非数量化资料信息,并运用描述分析方法得出评价结论,使得方法对评价者本身的要求较高,需要评价者适应分析主体多元、标准多元的情境。在评价主体能力、经验和学术背景难以胜任的情况下,它几乎必然与“主观”“人为”“缺乏操作性”等特征联系在一起,因而在县域教育评价实践中的操作层面也存在着诸多困境。
1.重视经验判断,缺乏应用技能
就评价群体内部而言,我国教育评价者所接受的定量和质性评价的技能训练都是较少的。近二十年来,以德国、英国等为代表,国际各国已经逐渐形成开发并使用分析软件辅助质性资料分析的研究惯例。相关分析软件和工具已有近五十种,而国内教育评价者对主流分析软件的熟悉程度与使用频度依然较低。在实践操作中,只有部分高校研究者能熟练操作Nvivo、ATLAS.ti和MAXQDA等主流质性分析工具,多数教育评价参与者对辅助软件的掌握程度不足,其主要凭借自身经验对访谈、观察而得的质性资料进行判断,缺乏相应技能。
2.重视局部质性评价,忽视整体质性评价
为了“平衡”量化数据分析结果的缺陷和不完整性,多数县域教育评价设计了专家进校观察、访谈和查看台账资料等“质性”或“定性”环节,但往往为了追求“客观”而采取“瞎子摸象”式的评价程序,即每位评价专家只负责对几项指标进行材料收集分析与评价,将学校和区域教育工作割裂成分散的片段,失去了整体视野。这种符合工具理性,但又“欠科学”的评价程序与评价自身生命力内在要求的科学性、合理性之间产生了失衡。
3.重视评价标准统一性,忽视评价情境特殊性
学理上,多维目标下的教育评价一直是评价研究与实践操作的难点,而县域整体性教育评价的目标恰恰是复杂而丰富的。无论是国家层面展开的县域义务教育优质均衡县评价,还是各省、市展开的教育现代化监测与评估,其目标中的“优质均衡”和“现代化”均有着多层次的内涵。现有的质性方法为了在评价中体现自身的“科学性”和“去价值性”,习惯于向统一标准靠拢,忽视了具体教育情境下的“人”“事”“物”的特殊性,使得质性方法的特色被淡化。以相同的价值之尺衡量不同自然条件和社会环境下的县域教育发展水平,必然出现“千校一面”的价值导向。
二、质性方法在县域教育评价应用中的路径选择
如果县域基础教育整体性评价的目的,仅仅是用来为政府决策及资源分配投资等提供基础资料和依据,希望通过评价过去的教育活动过程,达到判断等级、定合格或区分优劣的目的,那么现行的各类量化评价方法可以基本满足要求。但站在教育生态发展的层面上,教育评价的目的远不止简单排序和判断,重点是帮助被评价者获得提升。出于这一目的,评价者就必须关注评价对象在具体社会环境、学校情境中发挥作用,产生理念,得到反馈,逐步通过建构和体验形成知识,并通过描述性、解释性的语言对其行为及其原因和意义作出判断。教育生态学视野下的评价,应该将基础教育评价作为一个有机的整体,将“管、办、评”作为一个有机的整体,将教育发展和社会发展看作一个有机的整体。要实现上述目标,可以从下述路径进行探索。
(一)突出质性评价的理论特性
着力突出质性评价的理论特性。当下,部分发达国家的公共教育质量测评已经与数据分析产生了多层次结合,并形成跨国联合研究的趋势,成为一门新的社会科学。目前,国内教育领域的大数据研究主要为理论探讨,对于教育大数据的界定、来源、挖掘技术等相关研究尚在起步阶段,实证研究甚少。随着大数据技术的成熟和云计算硬件设备的完善,教育评价基础数据的收集、填报和分析将不再是困扰教育评价实践者的难题,甚至可由日趋完善的运算软件和人工智能协同完成,而评价者的工作重心将逐步转向评价价值导向的确定、评价标准的制订和评价成果的使用。在这一假想基础上,量化数据测算的重要性将开始降低,而评价者和被评价对象作为“人”的主动性,以及质性评价背后的建构主义理论特性将进一步被凸显。换而言之,未来的县域教育评价,不仅需要考虑地域教育发展结构和水平等教育自身的问题,还涉及不同地区间的文化差异、经济发展水平、人口结构等差异问题,而针对这些问题的讨论,正是质性研究与评价方法之所长,也是质性评价在县域教育评价中的突破口。
(二)丰富质性评价资料的收集形式
持续丰富质性评价资料的收集形式。现有的质性评价资料收集方式是较为被动的,受时间、场地限制,评价者难以对所评对象有深入的了解与认识,更无法针对情境进行描述与分析,使得质性评价有名无实,不断失语。要改善这一情况,评价者应通过文本分析、比较研究、问题查找、实地考察、焦点团体、深度访谈与倾听、扎根理论等多种质性方法,进行材料收集,打破以往以查阅台账资料为主的被动方法,增加学校观测点,收集与整理更为全面的质性数据。此外,通过区域教育质量评价,建立与地方公众的教育信息沟通机制,是各国区域教育评价结果运用的重要目的之一。质性评价结果的展现形式更为多样,过程更加强调参与性,评价者可以通过官方与地方公众的教育信息沟通机制收集资料,深入了解区域教育舆情中的难点与热点,更加有的放矢地提出政策建议和意见。
(三)增强质性评价方法的可操作性
要不断增强质性评价方法的可操作性。如上所述,现代区域教育评价的困境,在于如何将分散在教育各领域、各部门的业务数据,汇聚形成对学校现代化目标评估的有用信息,改变宏观和中观层面教育评价中出现的“有零散信息资源、缺综合分析手段”的局面。针对这一问题,质性评价方法的主张者和实践者需要进一步熟悉质性分析辅助软件和量化分析方法的使用,并通过不同途径向教育主管部门、第三方评价组织和高校智库进行宣传、引导和培训,不断增强质性评价方法的可操作性。高校与教育科研组织可以利用自身优势,有计划、有方向地针对地方教育督导和评价部门人员进行专业培训。面对量化数据标准的单一性,质性评价的优势在于评价本身是一套体系而非线性数字,有更高的灵活度。因此,在技术上,质性评价要结合模糊评价、验证性因子分析、相关分析等方法,建构县域教育评价的多源异构数据的定量分析模型和定性数据综合分析体系,推动质性评价可操作性的提升与实用性的增强,避免与定量分析方法产生隔离。
(四)提升被评价者的参与度
要着力构建有利于被评估者主动参与的质性评价机制。学校、教师和学生,作为评估客体,也应该厘清其各组成部分的价值关系,明确哪一部分在客体中居于核心地位,并在此基础上协商各部分的关系,进行有效整合。在这一过程中,学校应该建立定期的“内部评估”制度,选择适合本校实际的评价方案,监测学校表现,评价工作效能,形成评价报告。相对于评价专家而言,学校管理者和教师群体是学校日常教学的亲历者与组织者,对学校和地方教育所存在的问题有着自己的理解与阐释,他们的主动参与将使得评价结果有更好的使用价值,也能够促进县域教育评价在指标体系上的不断创新。
三、总结
综上所述,区域教育评价,其主要功能不是选拔和甄别,而是侧重指导和改进,为学校和教研部门提供教育教学诊断信息,从学生发展结果的角度分析学校教育和学科教学的优势和不足,为促进教育教学改进提供科学支撑。由于教育评价的复杂性,单纯依靠某一领域专家或某一职能部门难以分析其状态,预测其走向,评价者需要综合分析多领域、多层次数据信息,依托多系统多模型进行评价,实现定性与定量相结合。在当下注重数据收集与分析的情况下,研究者与实践者更要重视实地观察与质性资料的收集。
普利高津在耗散结构理论中提出过系统平衡的经典命题,他指出:非平衡态是有序之源。平衡和线性平衡只能使系统成为一种永久稳定的死结构,但系统的开放性,使得系统与外界进行物质与能量的交换,使得系统具有非平衡性的涨落特性。换而言之,基础教育的县域整体性评价要允许非平衡结构的存在,肯定其积极影响,并通过质性方法寻找其产生的原因。量化评价方法对不平衡的数据、不显著的相关性、缺乏效率的教育“投入—产出”比,往往持有敌意。但是,受社会经济环境的制约和历史文化因素的影响,县域间与县域内基础教育发展不均衡是一个既成的历史事实,也是将在未来相当长时间内存在的现象。研究者与实践者需要协同作业,通过量化与质性的研究方式,拓展、修正甚至推翻原有的“理论—实践”相分离的现状,实现县域教育评价中理论与实践的互生。□◢