基于CIPP的应用型高校实践教学质量评价体系研究与实践

李 军

(中国石油大学胜利学院 高等教育研究与评价中心,山东 东营 257000)

伴随着我国高等教育的应用转型和分类发展,实践教学作为培养高素质应用技术人才的重要环节和提升学校办学水平的主要路径已经成为诸多应用型高校实现可持续发展的共识。随之而来的问题是如何评价实践教学的运行质量和实施成效,以及如何通过评价实现有效反馈并促进实践教学质量提升。反观既有的实践教学质量评价,多数被视为一种鉴定的工具,以结果为导向并将评价结果作为高校评估排名的基本依据。同时,相关理论研究缺乏、评价体系结构复杂且忽视对实践教学实施过程的评价,从而淡化了教学评价对于改进和提高教学工作质量的价值及意义。实践教学质量评价的重新审视和体系构建成为必然。

一、CIPP的教育评价模式

CIPP评价是美国学者斯塔弗尔比姆于20世纪60年代在批判泰勒评价模式的基础上提出的一种基于“过程”和“决策改进”的评价模式。20世纪40年代,泰勒经过“八年研究”正式提出教育评价的概念,指出“评价过程实质上是一个确定课程与教学计划实际上达到教学目标的程度的过程”[1]7,提出所谓目标评价模式。泰勒评价模式以目标为导向,以对测量结果的描述为特征,重在对教育活动进行总结性评价,即主要考察教育活动的结果是否达到预先设定的教育目标。这种评价有利于对教育活动的成效进行归纳总结,但不利于考察教育活动的整体效能,从而无法根据评价结果,为决策者提出教育活动改进和完善的建议。为此,斯塔弗尔比姆指出,评价最重要的意图不是为了证明,而是在于改进[1]86;评价是一种核定、获取和提供叙述性和判断性信息的过程,这些信息涉及研究对象的目标、设计、实施和影响的价值及优缺点,以便指导如何决策,满足教学效能核定需要,并增加对研究对象的了解[2]。

学生的发展是教育活动诸要素之间相互联系、相互影响的结果,更是一个不断变化和生成的过程。基于教育活动决策改进的考量,斯塔弗尔比姆提出涵盖背景评价(Context)、输入评价(Input)、过程评价(Process)和成果评价(Product)的新的评价模式,简称CIPP教育评价。背景评价即目标评价,是通过分析教育活动实施方案的背景,判断活动目标设定的合理性;输入评价是考察实现活动目标所需要的条件和资源,意在评判活动方案的可行性和效用性;过程评价是对活动实施过程开展的评价,即审视活动过程的运行情况和运行质量;效果评价则是要判断教育活动的实施效果。后期研究中,斯塔弗尔比姆又将成果评价分解为影响、成效、可持续性和推广性4个阶段,进一步拓展评价结果对于反馈和改进教育活动的作用。显然,CIPP评价将教育活动全过程纳入评价范围,系统考察教育活动的目标、设计、过程和效果,评价每一个环节是否满足需要,从而实现了对教育活动全过程实施情况的监控、诊断和反馈,使之具备了动态评价的基本特征,能够更好地为决策提供信息,便于被管理者采用,以提出下一步的改进策略。在这个意义上,CIPP评价有利于应用型高校整体推动实践教学改革,亦成为应用型高校构建实践教学质量评价体系的理论依据和实证基础。

二、以CIPP评价理论重构实践教学质量评价体系

根据CIPP评价理论,按照教育活动的整体性和系统性原则,构建涵盖目标评价、方案评价、过程评价和效果评价4项指标的应用型高校实践教学质量评价体系,分层次设置各级评价指标的内容和权重。

(一)实践教学质量评价体系的基本内涵

实践教学的目标评价,是对实践教学目标的合理性进行的诊断性评价,目的是明确实践教学需要做什么。实践教学目标是实践教学活动的出发点和归宿,旨在确定教学目标和教育对象的需求。对应应用型高校的办学特点,观测点主要包括:实践教学目标与理论教学目标的对应程度,体现学科专业特点的程度,与行业企业需求的契合程度,学生对实践教学目标的理解、认同程度及参与实践教学的准备程度等。

实践教学的方案评价,是在目标评价基础上,对达到目标所需要的且能够保证的实践条件、资源以及实践教学方案的相对优点所作的评价,其实质是对方案的可行性和效用性进行判断[3],属于诊断性评价。实践资源与条件是实践教学方案制定和实施的基础与关键要素。其主要观测点包括:收集实践教学的经费、场所、设备、课程、项目、教材等资源及条件的信息,评估既有的实践资源和实践条件能否达成实践教学目标,确定方案实施所需的外部资源。

实践教学的过程评价,是对方案实施情况的监督检查,目的在于调整和改进实施过程,也即方案实施过程中的形成性评价[4]。显然,过程评价是要了解执行过程中存在的问题和困难,为反馈和实施新的教育决策服务。过程评价的主要观测点有:实践课程的时间安排、运行程序、组织形式、实践场所和仪器设备利用率以及教师的实践指导情况等。

实践教学的效果评价,是对实践教学方案的执行结果与学生的实践成效进行的测量与评价。目的是全面整体地检测实践教学质量,考核判断实践教学实施的最终成果,从而提供反馈改进意见,为实践教学新方案设计提供决策依据。效果评价属于终结性评价,关注的主要问题是实践教学目标的达成程度,要能判断出哪些实践目标已经达成,哪些实践目标尚未达成。如果实践目标未达成,甚至出现了“负效应”(即非预期效果),要能诊断出是实践教学目标本身的问题,还是方案设计或者实施过程中的问题。其主要观测点包括:实践教学目标的达成程度、实践单位的考核评价以及学生自身的实践成果等。

如此,实践教学质量评价涵盖了实践教学的目标、方案、过程及效果,从而搭建起实践教学质量评价的闭合循环。在实践活动动态运行的环境中,进行即时性的组织、控制、评价和反馈,确保实践教学过程、实际绩效与实践教学目标相一致,并达到改进完善以最大可能地提升学生应用实践能力的目的。

(二)实践教学质量评价指标体系的构建

以四项评价构建实践教学质量评价体系,最终要落实到评价指标和权重的筛选及确认。按照CIPP理论,以四项评价作为一级指标,通过文献研究法对实践教学全过程质量评价的相关问题进行梳理,以定性的方式初步遴选20个二级指标。

区分学生、教师、专家三类群体,以其不同的视角设计三种不同的方式对所涉指标进行调研。一是将初步确定的实践教学质量评价指标内容编制在线问卷,面向在校学生征询意见,以关键特征调查法将学生重点关注的问题补充归类;二是依据学生调研后优化调整的指标内容,选取不同学科专业背景的理论教师、实践指导教师和教育管理人员进行座谈,进一步总结凝练出25个二级指标;三是邀请学科专家和行业专家,使用专家咨询法(特尔菲法)对前两次调研的结果及其指标进行多次论证和评价,以指数法区分各级指标的重要程度,综合厘定各级指标的相对权重。最终建构实践教学质量评价指标体系,包括4个一级指标、24个二级指标(见表1)。

教学以学生发展为中心,学生是实践教学的主体,学生对专业实践教学目标的认知程度、对专业实践教学开展情况的满意度以及通过实践教学取得的学习成效是高校评价实践教学质量所应关注的核心问题。以CIPP理念构建的应用型高校实践教学质量评价体系将以学生作为评价主体,即从学生视角全方位审视、研判、评价应用型高校实践教学全过程运行情况,使决策者或管理者能够清晰地认识到所实施的实践教学在培养学生方面的优势和不足,并有针对性地不断改进实践教学的方案设计和运行程序,以提升实践教学质量。

表1 基于CIPP模式的应用型高校实践教学质量评价指标体系

三、实践教学质量评价体系的实证分析

根据实践教学质量评价指标体系编制无记名开放式在线问卷,共设计24道题目,面向应用型高校在校本科生施测,以期通过分析问卷的可信性、可靠性和鉴别能力,判断该指标体系能否达成评价实践教学质量的目的。

(一)研究方法

1.被试

被试为某应用型高校在校本科生,年龄为18～25岁,年级为大一到大四,分布于工学、理学、医学、法学、教育学、管理学、文学、艺术学等8个学科门类的28个本科专业。测试共发放1 402份问卷,回收有效问卷1 271份。

2.数据处理

使用数据统计分析SaaS软件(SPSSAU)对收集到的数据进行统计分析。

(二)数据分析

1.问卷的信度分析

检验样本回答结果是否可靠,即数据是否真实,样本是否认真回答,回答是否可信等。信度表现的是测验结果的一贯性、一致性和稳定性。对于一份问卷而言,如果两个题项都测的是被测者的同一个特征,那么被试在这两个题项上的得分应当有一致性,即一个得分高,另一个得分也应该高;两个题项的信度系数越高,表明得分越一致,就越肯定两个题项确实测的是同一个特征。对该问卷进行信度分析,得出的数据结果见表2、表3。

表2 信度分析数据

表3 折半信度分析

2.问卷的效度分析

检验该问卷题项设计是否合理,分析问卷的各个题项准确评价实践教学质量的程度。效度越高,说明问卷的测量结果与要评价的内容越吻合,反之,效度越低,则说明问卷无法准确评价实践教学的质量。对该问卷进行效度分析,得到的分析结果见表4。

表4 效度分析数据

3.区分度分析

测量问卷项目的有效和合适性。就是要测量所有题项对于受测者评价能力、教育成就的区分程度和鉴别能力;区分度高的题项,能将不同水平的受测者区分开来,区分度低的项目,就没有很好的鉴别能力。因此,区分度也被称为题项的效度,是评价题项质量、筛选题项的重要依据。对该问卷进行区分度分析,得到的数据结果见表5。

4.验证性因子分析

用于测量因子与测量项(量表题项)之间的对应关系是否与研究者预测保持一致的一种研究方法。本研究主要使用验证性因子分析判断问卷的聚合效度和目标评价、方案评价、过程评价及结果评价4个因子间的相关程度,数据结果见表6～8。

(三)数据分析的结果

信度分析结果。信度分析用于研究定量数据回答的可靠性和准确性。从表2可知:信度系数值为0.971,大于0.9,说明研究数据的信度质量很高。针对“项已删除的α系数”,分析项被删除后的信度系数值没有明显提升,说明24个题项均应保留,进一步说明研究数据的信度水平高。分析项对应的“CITC值”全部高于0.5,说明分析项之间具有良好的相关关系。表3中的折半信度系数值为0.927,大于0.9,也说明研究数据的信度质量很高,可用于进一步分析。

效度分析结果。通过KMO值、共同度、方差解释率等指标进行综合分析,以验证数据的效度水平情况。KMO值用于判断是否有效度,共同度值用于排除不合理研究题项,方差解释率值用于说明信息提取水平等。从表4可知,所有研究题项对应的共同度值均>0.4,说明研究项信息可以被有效提取。KMO值为0.973>0.6,意味着研究数据具有很高的效度。4个因子的方差解释率分别是22.805%,20.656%,16.493%,14.589%,旋转后累积方差解释率为74.542%>50%,说明研究题项的信息量可以有效提取出来。

表5 区分度分析数据

**p<0.01

表6 模型AVE和CR指标结果

区分度分析结果。区分度分析目的在于确定问卷研究项目是否有效和合适。其原理是先对分析项求和,进而将其分成高分和低分组(以27%和73%分位数为界),然后使用T检验去对比高分和低分组别的差异情况,如有差异则说明量表项设计合适,反之则说明量表项无法区分出信息,设计不合理应作删除处理。从表5可知,24个题项全部呈现出显著性差异(p<0.01),意味着总共24个题项均具有良好的区分性,不需要删除任何题项。

验证性因子分析。从表6可知,问卷的4个因子分别对应的AVE值均>0.5,组合信度CR值均明显>0.7;同时表7中的因子载荷系数显示,4个因子共对应着24个题项,每个题项均呈现出0.001水平的显著性(p< 0.001),仅一个题项(A1)的标准化载荷系数略小于0.7,结合实践教学认知目标的必要性,该题项保留;其余题项的载荷系数值均接近或者高于0.8,综合说明问卷数据具有优秀的聚合效度。

综上所述,该评价问卷具有良好的信度、效度和区分度,评价指标体系的4个因子之间具有极高的相关程度,可以使用该问卷评价应用型高校实践教学质量。

表7 因子载荷系数表

表8 因子协方差表

四、应用型高校实践教学质量评价体系的实践应用

使用样本数据,综合评价应用型高校实践教学质量和成效。数据分析方法采用模糊综合评价法,根据模糊数学的最大隶属原则把学生的定性评价转化为定量评价,以其清晰的结果解决主观评价模糊、难以量化的问题,为多因素、多层次影响的应用型高校实践教学质量做出一个总体评价。

(一)评价指标的评价因素集、评语集和权重集

根据表1,评价因素集为:A={A1,A2,A3,A4,A5,A6},B={B1,B2,B3,B4,B5,B6,B7,B8},C={C1,C2,C3,C4,C5,C6},D={D1,D2,D3,D4}。

评语集设计为四个等级V={V1,V2,V3,V4}={优,良,中,差}。

各级指标权重向量为:

W=(0.150 0, 0.250 0, 0.300 0, 0.300 0)T;

W1=(0.133 3, 0.133 3, 0.200 0, 0.133 3, 0.200 0, 0.200 0)T;

W2=(0.120 0, 0.120 0, 0.120 0, 0.080 0, 0.160 0, 0.160 0, 0.120 0, 0.120 0)T;

W3=(0.166 7, 0.133 3, 0.133 3, 0.166 7, 0.200 0, 0.200 0)T;

W4=(0.266 7, 0.266 7, 0.233 3, 0.233 3)T。

(二)构造隶属度矩阵

隶属度矩阵为Ri={ri1,ri2,…,rim},指的是所评价的因素的第i个指标所对应的评语集中的每个V1,V2,…,Vm的隶属度。rij=Nij/N,其中N为参与应用型高校实践教学质量评价的总人数,Nij为参与评价的总人数当中,对其中的第i个指标进行评价时,选择评语为Vj(j=1,2,…,m)的人数。学生评价结果见表9。

表9 1 271名学生对应用型高校实践教学质量评价的结果

由此可以构建:

(1)实践教学目标评价的隶属度矩阵

(2)实践教学方案评价的隶属度矩阵

(3)实践教学过程评价的隶属度矩阵

(4)实践教学效果评价的隶属度矩阵

(三)单因素一级模糊评价

根据公式Ki=Wi*Ri=(wi1,wi1,…,wi1)(ri1,ri2,…,rim)T,运用隶属度矩阵Ri与前面求得的权重集Wi进行模糊矩阵的复合运算,可得到用隶属度表示的单因素一级模糊评判结果,进而得到应用型高校实践教学质量评价的一级模糊评价矩阵为:

(四)综合评估(二级模糊综合评判)

运用K与前面求得的权重集W进行模糊矩阵的复合运算,可以得到用隶属度表示的应用型高校实践教学质量评价的最后评价(二级模糊综合评判)结果为P=W*K=[0.314 9 0.451 0 0.202 6 0.031 4]。

结果显示,有31.49%的可能属于“优”,有45.10%的可能属于“良”,有20.26%的可能属于“中”,有3.14%的可能属于“差”。根据最大隶属原则,该高校实践教学质量评价的综合评判结果为“良”。

实践证明,以CIPP的评价理论构建应用型高校实践教学质量评价体系,能切实尊重学生的主体地位,有效落实以学生发展为中心的教学理念,使实践教学质量评价能更接近学生的学习感知和实践体悟,能更真实地反映实践教学的实际运行情况。这种评价体系既可以评价高校实践教学整体运行质量,亦可以科学诊断不同专业类型的实践教学存在的问题,从而更好地监控和保障实践教学效果,为改进实践教学、提升人才培养质量提供依据。