基于模糊层次分析法的全过程高职课程教学质量评价研究

肖振泉　陈鑫洋　金星　赵博宁

摘 要：融合CIPP模型与模糊层次分析法的评价方法能够提高高职课程教学评价质量，因此高职院校应利用CIPP模型，建立课程全过程评价框架，根据FAHP理论，优化求解判断矩阵，计算评价指标的权值向量，确定评价指标的隶属度矩阵，运用模糊算子，进行多级模糊运算，获得课程教学质量的定量评价结果。

关键词：高职课程；CIPP+FAHP；权值向量；隶属度；模糊算子

中图分类号：G64 文献标识码：A 文章编号：0450-9889（2024）03-0032-07

2020年10月，中共中央、国务院印发的《深化新时代教育评价改革总体方案》指出：“坚持科学有效，改进结果评价，强化过程评价，探索增值评价，健全综合评价；完善评价结果运用，综合发挥评价的导向、鉴定、诊断、调控和改进作用。”各职业院校，尤其是高职院校纷纷大力推进教学质量评价模式改革，着力提升教学质量。课程是教学活动的关键节点，是学生形成职业素养的重要途径，而在课程教学评价实践中依然存在不少问题，亟需改进。

近年来，考虑到CIPP（背景评价-Context、输入评价-Input、过程评价Process-Input、结果评价-Product）提倡的全过程评价理念、FAHP（Fuzzy Analytic Hierarchy Process）关于定量评价客观事物的特点，相关学者纷纷将上述两种理论融入课程教学评价中，取得了一定的研究成果，但是也存在着以下不足之处，一是将CIPP、FAHP理念同时应用于教学质量评价，但是对高职课程教学质量评价的研究尚较少，研究的深度也较为欠缺；二是大部分学者仅是简单套用现有模糊评价算子，而现有模糊评价算子并不完全适用于教学活动中复杂多层次的指标体系，较难对课程教学质量给出客观评价。针对上述不足之处，笔者借助CIPP模型，构建高职课程全过程评价框架，有机融入FAHP方法，計算CIPP评价指标的权值向量和隶属度矩阵，通过相应模糊算子，定量评价高职课程教学质量。

一、基于CIPP+FAHP的高职课程教学质量评价的理论内涵

（一）基于CIPP的评价框架建立策略

CIPP模型由美国学者斯塔弗尔比姆（Stufflebeam）于1966年首次提出，主要借助背景、输入、过程、结果4个评价手段，全过程跟踪、监控评价对象，从而对决策产生引导与改进作用。根据当前课程评价改革要求，教学评价要能够提高课程活动成效，以体现其改进性作用，这与CIPP模型特点高度一致。因此，可以借鉴CIPP模型，构建课程全过程评价框架：①背景评价——主要对课程是否有必要开设进行评价，其评价指标主要描述课程在整个课程体系的作用、能够提高学生哪些素养等；②输入评价——主要对课程教学方案是否恰当进行评价，其评价指标主要描述课程软硬件资源是否满足要求、课程标准是否切合专业人才培养方案、课程内容是否体现学生发展需求等；③过程评价——主要对课程实施是否完善进行评价，其评价指标主要描述教师教案是否体现教学实际情况、是否充分利用教学资源、学生是否积极主动学习等；④结果评价——主要对课程目标达成度进行评价，其评价指标主要描述学生职业素养的提升情况等。

综上所述，基于CIPP的评价框架如图1所示。

（二）基于FAHP的评价结果计算

模糊层次分析法是一种将模糊综合评价法（FCE）和层次分析法（AHP）有机融合，兼具定性分析和定量计算的评价方法。因此，FAHP综合了FCE和AHP的优点，具体实施步骤可以概括如下。首先，利用AHP理论使人类语言判断定量化，形成判断矩阵，进而求解评价指标的权值向量；其次，根据FCE理论确定评价指标的隶属度矩阵，选取适当的模糊算子；最后，对权值向量和隶属度矩阵进行模糊运算，最终得到评价对象的定量评估结果。

根据上述FAHP评价步骤，分别对CIPP框架中的4个阶段，进行评价结果计算，具体如下。

1.权值向量的计算

针对每一个阶段的多层评价指标体系，设要计算某一层次n个子指标X=（x1，x2…xn）相对于上一级父指标Y的权值向量，主要流程分为以下两步。

第一步，初步建立区间判断矩阵。设初步建立的区间判断矩阵A=（[ψij]）mxm，[ψij]为某一取值区间，表示子指标xi和xj对父指标Y的相对重要性之比，且ψij=1/[ψji]，具体可参考表1。

第二步，优化计算权值向量。

首先，根据区间判断矩阵，在取值区间内初选判断矩阵各元素数值aij。

然后，对于一阶、二阶判断矩阵A=（aij）mxm（m=1、2），由于其完全满足下列一致性条件：①aij=1、②aij=1/aji、③aij=aik/ajk（i，j，k=1，2，…，m），可以直接得到最终数值判断矩阵，进而判断矩阵最大特征值对应的归一化特征向量即为所求权值向量ω；对于三阶及三阶以上判断矩阵A=（aij）mxm（m≥3），不完全满足上述一致性条件，为了保证其具有较好的一致性，需要利用如下模型进行迭代优化计算，确定最终数值判断矩阵及其权值向量ω。

式中：aik、ωk（或ωi）分别为迭代计算期间数值判断矩阵元素值、权值向量（最大特征值对应的归一化特征向量）的分量。

2.隶属度矩阵的确定

在FAHP评价中，通常为评价指标选定多级评语，即评语集V=（V1，V2…Vp），p表示评语等级数。在此基础上，可以计算评价指标体系中底层指标对各级评语的隶属度，具体步骤如下。

第一步，指标评分计算。指标分为定性和定量指标。其中，在确定定性指标时，首先邀请m位教学活动参与者对底层指标进行区间评分［ai，bi］（ai、bi分别为第i位参与者评分区间的上下限），最高分为1，最低分为0；然后，利用式（2）计算评分值。

而定量指标的评分值f=F/100，F为指标分数（百分制）。

第二步，进行指标隶属度计算。首先，选用适当的隶属度函数，如正态分布、梯形分布和岭型分布等，将上一步计算得到的评分值f代入隶属度函数，求得底层指标对评语的隶属度向量Ri=（ri1，ri2，…rip），其中，rij（1≤j≤p）表示第i个底层指标对第j级评语的隶属度；然后，将属于同一个父指标的底层指标的隶属度向量组合起来，即可得到隶属度矩阵R=（R1R2…Rn）T，其中n为属于同一个父指标的底层指标数目。

3.模糊算子的选取

针对1、2求得的权值向量ω和隶属度矩阵R，需要运用相应模糊算子进行模糊运算。在FAHP评价中，常用的4种模糊算子如下表所示。

4种算子都有自己的优点和缺点：M（∧，∨）只考虑主要因素，不考虑其他次要因素，这会忽略许多重要信息，导致计算结果不准确；M（g，∨）和M（∧，⊕）在M（∧，∨）基础上，细化了具体计算过程，不仅突出了主要因素，也考虑了次要因素；M（g，⊕）既考虑了各元素的权重，又充分利用了隶属度矩阵的信息，其评估结果综合衡量了被评对象的整体特征，比较适合于整体指标的优化。因此，在高职课程教学质量评价中，背景评价、输入评价和结果评价可统一运用M（g，⊕）算子。

过程评价指标具有多层次结构，指标权值差异较大，为了重点突出主要指标影响，又兼顾隶属度信息，单独运用以上任何一个算子均不能满足要求。因此，需要运用如下基于M（g，⊕）改进的模糊算子M（△）：

式中：bi为评价结果向量B=（b1，b2…bp）的分量，rji、rki、rqi为隶属度矩阵R的元素，ωj为权值向量ω分量中最大值，ωk为权值向量ω分量中最小值，std（ω）表示权值向量ω的标准差，R（ω）表示权值向量ω的极差；α、β既可表征权值的不均衡程度，又可表征权值的增益程度。

运用该算子时遵循以下原则：首先通过考察权值向量R（ω）与α、std（ω）与β的大小关系，判断权值分配的均衡性。若權值分配均匀，该算子退化为M（g，⊕）算子；否则，便提高该算子的最高权值，减少最低权值，以突出主要因素的影响，并且保留M（g，⊕）算子，以兼顾隶属度矩阵信息。在不同课程评价中，可取不同的α、β值，从而调节权值的不均衡和增益程度。

4.多级模糊运算

首先进行单级模糊运算，算式如下：

B1=ωοR        （4）

式中B1表示单级模糊评价结果，ω表示底层指标权值向量，R表示对应的隶属度矩阵，ο表示模糊算子。

得出B1的值后开展多级模糊运算。

以单级模糊评价结果B1作为输入，参照（4）式进行二级、三级、四级模糊运算直至得到最终评价结果。多级模糊运算可用下式表示：

Bn+1=ωnοBn（n=1，2，3，…）    （5）

式中，Bn+1表示第n+1级的模糊评价结果，ωn表示第n层指标权值向量，ο表示模糊算子，Bn表示第n级模糊评价结果。基于最大隶属度原则，最终结果：max（Bn+1）=max（b1，b2…bp）。

（三）基于CIPP+FAHP的教学质量评价计算流程

按照课程一般教学实施周期，运用FAHP法分阶段依次开展背景评价、输入评价、过程评价和结果评价，获得课程教学的定量评价结果。最终，建立基于CIPP、FAHP理念的高职课程教学质量评价方法流程，如图2所示。

二、实例验证

数控设备装调与维修课程是高职机械制造及自动化专业的核心课之一，为典型的理实一体化课程，面向数控设备维护管理岗位，注重培养学生典型数控设备的安装、调试及维护能力，主要采用项目（任务）式和探究式教学方法。以下，以数控设备装调与维修课程为例，开展图2所示流程的实例验证。

（一）背景评价

在背景评价阶段，主要对数控设备装调与维修课程开设的必要性进行评估。背景评价指标体系的3层结构如图3所示，评语集V={不合格，合格，中，良，优}。基于FAHP的背景评价实施过程如下所示，输入、过程和结果评价实施过程可以参考背景评价，不再详述。

根据表1的区间判断矩阵元素赋值标准，分别建立Ⅲ层指标相对于Ⅱ层指标、Ⅱ层指标相对于Ⅰ层指标的区间判断矩阵。其中“课程性质合理性”“与其他课程衔接性”相对于“课程地位”的区间判断矩阵为二阶矩阵，可根据“课程性质合理性”和“与其他课程衔接性”之间的相对重要程度，直接确定最终数值判断矩阵，进而计算权值向量，计算结果如表3所示。其余区间判断矩阵则运用相应优化算法，求解式（1）对应模型，得到最终数值判断矩阵和权值向量，具体如表4、表5所示。

由于Ⅲ层指标皆为定性指标，因此邀请3位教学活动参与者进行区间评分（由于Ⅱ层的“课程作用”没有子指标，所以也要对其进行区间评分），代入式（2）得到具体评分值，结果如表6所示。

为了体现隶属度非线性变化的特点，选用如图4所示的岭型分布作为隶属度函数（具体函数表达式可参考文献12），将表6指标评分值代入，求得“课程性质合理性”隶属度向量：（0，0，0，0，1）、“与其他课程衔接性”隶属度向量：（0，0，0.095 5，0.904 5，0）、“知识目标”隶属度向量：（0，0，0.124 9，0.875 1，0）、“技能目标”隶属度向量：（0，0，0，0.054 5，0.945 5）、“素养目标”隶属度向量：（0，0，0，0.958 9，0.041 1）、“课程作用”隶属度向量（“课程作用”没有子指标，此处求得的隶属度向量即为评价结果向量）：（0，0，1，0，0）。

将上述隶属度向量组合得到“课程性质合理性”+“与其他课程衔接性”隶属度矩阵：[00001000.095 50.904 50]、“知识目标”+“技能目标”+“素养目标”隶属度矩阵：[000.124 90.875 100000.054 50.945 50000.958 90.041 1]。运用M（g，⊕）算子，将上述隶属度矩阵分别与表3、4对应的权值向量进行单级模糊运算，求得“课程地位”评价结果：（0，0，0.031 8，0.301 5，0.666 7）、“课程目标”评价结果：（0，0，0.011 8，0.429 6，0.558 6）；将“课程地位”“课程作用”和“课程目标”评价结果向量组合得到“课程地位”+“课程作用”+“课程目标”隶属度矩阵：[000.031 80.301 50.666 700100000.011 80.429 60.558 6]，与表5对应的权值向量进行二级模糊运算，最终得到背景评价结果：（0，0，0.145 3，0.287 7，0.567 0），以56.7%概率属于优，说明该课程具有较高的开设必要性，可以开展下一阶段的课程活动。

（二）输入评价

在输入评价阶段，主要对数控设备装调与维修课程教学方案的合理性、效用性等进行评估，输入评价指标体系的3层结构如图5所示。参考背景评价实施过程，最终得到输入评价结果：（0，0.237 6，0.435 4，0.147 7，0.179 4），以43.54%概率属于中，评价结果中等且模糊性较大；由图6可知，课程标准、课程内容和课程结构的评价结果偏向中等。因此，可以考虑改进上述三者，例如增加职业素养元素等，再次进行输入评价：50.74%-良，可以进入下一阶段的课程活动。

（三）过程评价

在过程评价阶段，主要对数控设备装调与维修课程实施活动的实效性等进行评估，过程评价指标体系的4层结构如图7所示。参考背景评价实施过程，运用改进算子M（△）（根据过程评价指标所有权值向量的极差和标准差的算术平均值，分别取α=0.4、β=0.3），最终得到过程评价结果：（0，0.173 0，0.201 5，0.534 7，0.080 1），以53.47%概率属于良，可以进行下一阶段的课程活动。

（四）结果评价

在结果评价阶段，主要对数控设备装调与维修课程实施结果进行评估，结果评价指标体系的3层结构如图8所示。参考背景评价实施过程，结果评价结果：（0，0.044 4，0.298 8，0.656 8，0），以65.68%概率属于良，说明整个课程实施结果较好。

（五）结果分析

数控设备装调与维修课程的背景、输入、过程、结果CIPP模型下的评价结果分别为56.7%（优）、50.74%（良）、53.47%（良）、65.68%（良），即背景、结果评价的结果优于输入、过程评价，分析考虑这与数控设备装调与维修教材模块化结构不健全、教学方法不完善等实施情况是一致的，同时也验证了基于CIPP+FAHP的评价方法在课程教学质量评价中的准确性。此外，由图6可知，该方法还可以有针对性地找出课程实施的薄弱环节，为课程活动参与者进行改进优化提供参考。

由表7可知，分别利用表2的常用4种算子和改进算子M（△）对数控设备装调与维修课程教学各要素进行综合评价，所得评价结果的评语是一致的；但是，改进算子M（△）评价结果的概率（隶属度）均大于常用4种算子。因此，相比于常用算子，本文所用的改进算子M（△）评价结果模糊性较小，即认为可信度更高。

由表8、表9可知，数控设备装调与维修课程4个阶段权值占比最大（影响最大）的指标分别为课程地位-70.67%、课程内容-47.39%、学生学习-48.86%和职业技能-66.67%，该结果可以用于指导高校提升课程教学质量。

三、结论

综上所述，笔者建立了基于CIPP+FAHP的课程教学质量评价模型：首先，根据评价指标之间的相对重要程度，初构区间判断矩阵，运用相应优化算法求解数值判断矩阵、权值向量；然后，采用适当模糊算子，对高职课程整个实施周期（背景→输入→过程→结果）进行多级模糊评价运算。之后，以高职理实一体化课程数控设备装调与维修课程评价为实施案例，验证了上述模型的准确性和实用性，不仅能够得到课程各实施阶段的定量评价结果，而且还可以对课程教学质量改善提出有效的指导，做到“边实施边评价、以评价促改进”，这与现有大多数课程仅进行一次终结性评价区别显著；并且该模型在一定程度上还可以推广到其他类型课程的教学评价，对提高高职课程教学评价质量有着现实的价值和意义。

但是，在具体教学实践过程中也发现了一些不足之处。一是课程教学的背景、输出、过程和结果评价阶段统一采用岭型分布隶属度函数，而上述4个阶段的教学进程、评价指标等不尽相同，因此，如何根据课程教学各个阶段实际情况选用或构造适当的隶属度函数，将是未来的探究方向；二是目前课程教学质量评价主要依靠“软件+手工”分步骤计算，速度较慢，在今后实践中，可以探索建立一體化评价计算平台。

参考文献

［1］庄可.职业院校教学评价的实施困境与应对路径探究［J］.职教论坛，2018（6）：57-64.

［2］李伟燕.基于CIPP评价模式对项目教学法的评价研究：以某高职学院为例［D］.沈阳：东北大学，2014.

［3］杨芳，李福英，邹安全.CIPP评价模式在高校工商管理类专业实践教学课程评价中的应用研究［J］.当代教育论坛（管理研究），2011（7）：64-47.

［4］张淑梅，刘珍.基于CIPP的高职院校创新创业教育评价体系构建［J］.中国职业技术教育，2017（26）：53-56.

［5］梁洁.论模糊层次分析法在中职教学质量评价中的应用［J］.科技风，2023（5）：95-97.

［6］黄煜栋，陈兰生.模糊层次分析法在课堂教学质量评价中的应用［J］.中国教育信息化，2015（14）：82-86.

［7］杨军强.模糊层次分析法在高职院校公共基础课程评价中的应用［J］.时代教育，2017（15）：9-10.

［8］Stufflebeam and Shinkfield. Evaluation Theory，Models，and Applications［M］.San Francisco：CA Jossey-Bass，2007：650.

［9］Saaty T L.The Analytic Hieracrhy Process［M］.New York：McGaw Hill，1980：1-3，20.

［10］葛琳.基于遗传算法的模糊层次综合评判在高职教学评价中的应用［D］.广州：广州大学，2011.

［11］王志亮，吴兵，邢书仁，等.模糊集值统计法在煤矿安全评价指标权值中的应用［J］.中国安全科学学报，2004（1）：72-73.

［12］杨家豪，欧阳森，石怡理，等.一种组合隶属度函数及其在电能质量模糊评价中的应用［J］.电工电能新技术，2014（2）：63-64.

［13］孙永厚，肖振泉，张骥，等.零件功能与GPS规范集相关性的评估方法［J］.机械设计与研究，2016（4）：113-116.

注：本文系柳州教育科学“十四五”规划2022年度职业教育一般立项课题“基于STEAM的高职理实一体化混合式教学模式研究”（2022ZJC029）、2023年度柳州市职业教育一般立项课题“基于CIPP+FAHP的高职院校教学质量评价方法研究——以《数控装调与维修》为例”（LZJ2023C023）、广西职业教育教学改革研究项目（GXGZJG2023B204）“基于OBE+STEAM的新型活页式教材开发研究——以《电工操作技能实训》为例”的研究成果之一。

（责编 罗异丰）