基于TQM全要素及AHP-FCE评价相结合的高职院校专业评估研究

蒋买勇，郭晓静，周召梅，耿胜慧

（湖南水利水电职业技术学院，湖南 长沙410000）

我国高职教育已步入高质量提升期，需要建立科学、实用的专业质量评价标准来衡量专业质量、引导专业发展。国务院印发的《国家职业教育改革实施方案》要求实施中国特色高水平高等职业院校和专业建设计划，建立健全职业教育质量评价和督导评估制度[1]；教育部2019年启动高等职业教育专业评估。行业和地方也开展了优质专业评选、新专业评估并出台了相关专业评估文件，中国水利教育协会2018年率先开展了优质专业评估工作并制定了《全国水利类专业评估指标及赋分表》；湖南省教育厅制定了《湖南省高等职业教育一流特色专业群评审指标体系》《湖南省高职高专院校新设专业办学水平合格性评价标准》。但专业评估还存在：指标体系范围欠全面、归类欠科学，指标定量和定性融合性较差、量化程度较低，评估方法较单一、定性指标评定方法不合理等突出问题[2]。因此，亟待建立一套科学合理的专业评估体系，以促进我国高职教育健康可持续发展。

一、专业评估指标体系构建

（一）基于TQM的专业评估指标因子确定

以湖南省教育厅和中国水利教育协会出台的专业评估文件为重要参考，在“全国水利优质专业、省一流特色专业群”等项目建设的实践基础上，从全面质量管理（简称TQM）理论角度出发，以“基于TQM的高职院校专业评估指标体系构建”为主题设计调查问卷，对湖南水利水电职业技术学院（简称学院）教师、学生以及用人单位代表进行问卷调查，对收回的285份问卷进行信度检验和数据分析。问卷包括评价内容合理性、评价要素分类、权重设置、评价方法确定等4个维度的信度系数均在0.8以上，整体信度达到0.96，数据可靠[3]。

结合问卷调查结果，组织骨干教师和企业专家召开座谈会，最终确定了包含专业运行体制机制、人才培养模式、专业教学团队等专业人才培养全要素的9个专业评估指标因子。

（二）基于AHP的专业评估指标权重确定

指标权重的确定方法有主观赋值的德尔菲法、层次分析法等，客观赋值的均方差法、主成分分析法等。其中层次分析法（简称AHP）是一种对定性问题进行定量分析的多准则决策方法，可将复杂、模糊的定性问题定量化，而且简洁实用，已被用于高校大学生信息素养能力评价研究[4]、校外教学实习基地评价研究[5]、高校人才核心竞争力培养指标构建[6]等领域，因此选用AHP对专业评估指标的权重进行确定。

1、建立层次结构模型

专业评估指标即为目标层，根据专业评估指标体系框架依次建立2级、3级指标层。指标层为9项一级指标，对象层为27项二级指标。如图1所示。

图1 专业评估一、二级指标

2、构造判断矩阵

对确定的指标层通过两两之间相互比较确定各准则对于目标的权重，选取同一指标层中的2个指标对评估能力影响程度的大小进行比较，比较结果用矩阵表示。为使矩阵中各要素的重要性以定量显示，采用矩阵标度法来构造判断矩阵[7]。

以一级指标师资队伍建设为例，根据其中一个专家打分计算权重。表示C1专业带头人，C2师资队伍结构与素质，C3教师教学水平，C4专教师培养与考核。

将wi归一化，计算=4.037。

3、判断矩阵的一致性检验

计算判断矩阵的最大特征值λmax和λmax对应的特征向量W，一致性指标计算得CR=0.012＜0.1，一致性检验合格，可将A的特征向量作为权向量。得到二级指标专业带头人、师资队伍结构与素质、教师教学水平、教师培养与考核的权重分别为0.257、0.538、0.125、0.062。依照此方法，对50份专家打分结果进行一致性检验及权重分析，最后取平均值得到最终的权重为0.04、0.06、0.03、0.02。

4、组合权重向量

通过以上方法得出某指标层对上一级指标的权重，递推可得出所有指标对专业评估体系的权重。并计算其他二级指标的相对权重、合成权重，一、二级指标权重见表1。

表1 一、二级指标权重

（三）基于AHP的专业评估观测点确定

指标体系的构建要全面体现专业建设的内涵，应在一、二级指标确定的基础上，合理设置观测点。按4分制判断各二级指标的相关性，例如在一级指标师资队伍的二级指标专业带头人的评估中，三级指标设置有5项。统计共给定出93项三级观测点。

二、专业评估标准与方法确定

（一）专业评估方法的确定

采用定量、定性相结合方式综合评定，将分值落实到每一个评价要素，尽量采取定量计分方式，在不能用数值确定的情况下采取专家打分法来评定；定量计分时充分利用专业数据平台直接计算，定性打分时利用日常专业建设的记录由各分管领导给定。

1、定量评估指标的评定

对于定量指标的评定，可以通过数据直接进行评定。例如，在师资队伍——专业带头人的评估中，三级指标的5项内容都很具体，如表2。

表2 评估指标内容与标准（专业带头人）

2、定性评估指标的评定

对于定性指标的评定，采用模糊综合评价法（简称FCE）。FCE是建立在模糊集合基础上，根据模糊变换原理及最大隶属度原则，将多个因素定量化、精确化的评价方法，模型简单、适用性强，对复杂问题的评价效果好。多用于高校教师职业能力评价[8]、高校教师继续教育效果评价[9]、高校创新创业教育满意度评价[10]等领域。

（1）构建因素评价集。根据建立的评估指标，在专业规划与机制体制一级指标中，二级指标3项、三级指标7项，这些评估内容抽象，适宜采用FCE构建因素评价集，如表3。

表3 评估指标内容与标准（专业规划与机制体制）

（2）建立评语集。按照适中原则，对各三级指标的评价要素的评语集划分5个等级，为V=｛v1，v2，v3，v4，v5｝，其中v1=优、v2=良、v3=中、v4=较差、v5=差。为了将定性结果进行量化分析，将5个评语的分数进行划分并赋值，如表4。

表4 专业评估定性划分与赋值表

（3）确定指标隶属度。根据专家的评估，对水利工程专业人才培养方案的完整性、指导性这项指标的打分情况，36%的人认为是“A”，33%的人认为是“B”，25%的人认为是“C”，6%的人认为是“D”，则单因素评价向量为R1=（0.36，0.33，0.25，0.06，0）。

依照此方法，对其他二级指标做单因素评价，依次得出R2、R3、R4、R5、R6、R7向量。

（4）确定模糊关系矩阵。将以上单因素评价向量，组合成评价矩阵。

（5）计算综合评定向量。综合考虑全国水利类专业评估指标、湖南省高职院校专业评估指标以及学院管理指标进行模糊分析，得到各因素的权重分配向量：

（6）计 算 量 化 评 估 值。B=R0*R=（0.471，0.309，0.17，0.043，0.007），进一步将结果归一化，得A=B*V，根据一级指标所占的权重，计算专业规划与机制体制一级指标得分为9.19分。

（二）专业评估标准的确定

常规的评价标准一般采用5个等次、每20分一个等次的标准，不符合专业评估的特点，60分以下设置多个等次没有意义；湖南省高职高专院校新设专业办学水平合格性评价标准设置合格、基本合格、不合格三个等次；全国水利类专业评估指标及赋分表，90分以上为A，80-90分为B，70-80分为C，三个等次；湖南省一流特色专业、全国水利高等职业教育骨干专业评选，规定择优评选，但没有具体分等。

综合考虑采用直观的综合评估得分来评价，在90分以上的为A、80-90分为B、70-80分为C、60-70分为D、0-60分为E，如表5。

表5 专业评估综合评价标准

三、专业评估实证分析与结果应用

根据上述的定量与定性相结合的评估方法评估学院各专业，评估结果见表6。

表6 学院专业评估结果

从表上可知，核心专业水利工程在2018年、2019年的评估中分别得分90.5分、92.0分。2018年，全国水利高等职业院校水利工程与管理专业评估试点中，水利工程专业分值为91.18分，水利水电建筑工程专业分值为89.48分。结果表明，专业评估的结论与实际专业建设的成效以及全国范围内的水平是相符的。对专业评估分值，A等给予奖励、B等给予重点扶持、C等进行重点诊断、D等予以预警和重点监督、E等予以撤销；对所在专业的专业带头人年度考核认定为优秀等级并优先续聘。

四、结论

从全面质量管理理论角度，融合确定专业人才培养全要素的专业评估指标因子；针对专业要素定量与定性并存的特征，综合运用层次分析法、模糊综合评价法，构建了包含一级指标9个、二级指标27个、三级指标93个的全面、科学的高职院校专业评估指标体系；拟定了定量与定性相结合、阶段数据平台与日常管理记录相结合的合理、便捷综合评估方法；确定了60分以上每隔10分设置、60分以下不再划分，共ABCDE5个等级对应给予奖励、重点扶持、重点诊断、予以预警、予以撤销5类措施能科学研判的专业评估标准级别；研究成果应用2年来，对专业成长起到了很好的引导和推动作用，可供同类院校使用以及政府或行业制订统一的标准参考。