基于改进层次分析法的工程教育认证课程毕业要求达成度评价

沙 金　郑斯斯

基于改进层次分析法的工程教育认证课程毕业要求达成度评价

沙 金1郑斯斯2

（1.广东海洋大学机械与动力工程学院，广东 湛江 524088；2.惠州学院数学与统计学院，广东 惠州 516007）

工程教育认证强调课程体系设置和考核紧密围绕学生毕业要求达成这一核心任务展开，而作为考核毕业要求达成的基础，课程达成度评价工作，在理论研究和具体实践中均未形成统一、标准的方法。通过建立毕业要求指标体系，设计重要程度统计表，简化传统层次分析法判断矩阵构建过程，在分析各级指标重要度基础上得到课程目标点贡献度，准确计算课程达成度，为测算毕业要求达成奠定基础，并通过实例分析详细说明实施过程。该方法将定性评价转化为定量评测，既体现专业特征又反映课程特色，且具有较强普适性，为认证工作的顺利开展提供有益的参考与范式。

改进层次分析法；工程教育认证；课程毕业要求达成度

引言

自1989年由美国等6个国家民间工程专业团体发起并签署《华盛顿协议》以来，世界范围内逐步形成了以之为核心的工程教育专业认证和工程技术人员职业资格认证的国际协议体系，这也成为工程技术人员国际流动的基础[1]。中国的工程教育认证最早始于1992年，教育部于2006年启动了工程教育专业认证试点工作。

近年来，我国工程教育认证体系发生了积极、显著的变化，以考核教育成果对毕业要求的满足程度为核心的质量监控体系不断推进高等教育的内涵式发展[2]。以学生为中心、成果为导向前提之下的教育绩效评估亟须解决如何判断毕业生是否达到毕业要求所涉及的相应能力这一问题[3]。精准计算具体课程毕业要求达成，是工程教育专业认证的前提基础，因此研究工程教育认证过程中课程毕业要求达成度的评价方法，不但具有非常显著的理论意义，而且具备十分重要的实践价值。

1　研究现状分析

为切实做好课程达成度的衡量工作，不少学者在理论层面进行了较为深入的研究，各高校也从实践角度采取了各具特色的举措。

1.1　理论研究方面

王建龙等[4]对比分析了基于平均成绩、知识点得分率的定量评价方法与采用问卷调查、学生访谈的定性评价方法的优缺点。张建树等[5]运用评分表分析法对实验教学及实践性教学环节的达成度进行评价。张国强等[6]以具体课程为例，利用公式对课程达成度进行计算与分析。邱然锋等[7]提出了依照分解指标点—确定教学环节支撑—赋权重值—确认评价依据—课程达成度评价—抽取样本—明确课程关联度值和权重值—分析得出评价结果的过程来计算达成度的方法。高相胜等[8]在构建毕业要求与专业认证通用标准对应关系矩阵、毕业要求对培养目标达成支撑矩阵和课程与毕业要求对应关系矩阵的基础上，对课程达成度的计算进行了定性分析。蔡述庭[9]等将工程教育认证标准中的12项毕业要求分解为若干便于评价的指标点，采用直接评价与间接评价相结合的方法对毕业要求达成情况进行评价。孙晶等[10]在建立毕业要求指标点与课程支撑关系前提下，由课程评价中对指标点达成度的评价值及其权值，计算指标点达成度数值。吴新烨等[11]提出多参数分级评价机制对毕业要求达成度进行评价。李擎等[12]以各课程所支撑的毕业要求指标点权重为基础，对毕业要求达成度进行了计算。

1.2　实践操作方面

目前高校较为一致的做法是：首先，根据各专业课程的不同特征，将其培养目标及授课内容与《中国工程教育专业认证协会工程教育认证标准》（以下简称《标准》）中所规定的毕业要求进行比对，形成相关课程的若干指标点，用以体现相应课程对于毕业要求达成的支撑；然后，对特定课程的各项指标点设置权重或百分比，用以确定考核环节中关于该指标点考核内容所占总体考核内容的比重；最后，根据学生考核实际得分计算出每一指标点的完成情况，汇总得出该课程的毕业要求达成度，用以反映特定课程对于完成毕业要求的支持程度。尽管上述过程在认证实践中被广泛接受并采用，但在指标点权重设置的方法上，各高校的做法却大相径庭：有按照授课内容所占学时进行确定的，有依据课程性质进行决策的，有根据专业特色进行判断的，有依照任课教师经验进行分配的，等等。

综上所述，对于工程教育认证中课程毕业要求达成度评价问题，无论是理论研究层面或是实践操作领域均尚未形成统一、成熟和标准的方法，势必给认证高校带来困惑，对认证工作造成不便。针对于此，本文将设计一套基于改进层次分析法的课程目标点贡献度计算方法，对具体课程的毕业要求达成度进行定量评价，以期为工程教育认证工作提供有益参考。

2　评价模型建立

2.1　毕业要求指标体系建立

《标准》详细规定了12项毕业要求，据此，本文将工程教育认证中相关规定转化为毕业要求指标体系，如图1所示。

图1　毕业要求指标体系

2.2　改进层次分析法计算指标项重要度

不同高校不同专业对于不同指标点的侧重难免存在差异，根据专业特征准确分析各项毕业要求在本专业教育过程中的重要程度，成为精确计算毕业要求达成度的前提。

本文中指标项重要度计算方法分为两步进行：第一步，完成各一级指标对于达成毕业要求的权重计算；第二步，计算各一级指标下辖的二级指标对于该一级指标的权重贡献。使用传统层次分析法，完成图1所示所有判断矩阵共需进行108次两两对比，不但工作量巨大，而且极易产生不一致的情况，在具体实践过程中的可操作性较差。为此，本文对传统层次分析法进行改进，具体操作如下：

首先结合专业实际，完成表1和表2的填写（在各指标点对应位置打“√”）。

表1　指标Y1-Y12重要度统计表

表2 指标Hm-1至Hm-n重要度统计表

进而，对各判断矩阵的一致性进行检验，并计算各一级指标对于达成毕业要求的权重K，以及各二级指标对于实现其隶属一级指标的权重K。

改进后的方法，仅需对12个一级指标和37个二级指标各进行一次重要程度判断，且避免了对比过程中因考虑一致性而带来的判断困难，在不降低判断准确性的前提下，有效减少判断次数，并提升判断的一致性。

2.3　课程目标点贡献度计算

课程能否有效支持相应毕业要求指标，是衡量课程体系是否达标的主要判据，《标准》对于“支持”的解释不但要求整个课程体系能够支撑全部毕业要求，还要求每门课程能够实现其在课程体系中的作用。

课程目标点的作用在于明确具体课程对毕业要求特定指标项的支撑关系，将课程任务分解为若干教学目标，并逐一建立各目标点与相关毕业要求指标的对应联系。为更加清晰地体现课程目标点对毕业要求达成的贡献度，本模型构建三级（强（H）、中（M）、弱（L））三档（高（＋）、中、低（－））关系衡量课程对毕业要求的支撑力度，并规定H+至L-（共9级）所对应的支撑度分别为99%至11%（每级递减11%）。以此为基础，结合3.3的计算结果，便可计算出相应课程各目标点对于毕业要求的贡献度，如公式（2）所示：

其中L表示该课程第目标点对其所支撑的第个毕业要求二级指标项的支撑度。

2.4　课程毕业要求达成度评价

课程的教学效果始终需要通过考核来体现，而毕业要求达成度也最终将以考核成绩为基础来反映。课程目标点对毕业要求的支撑程度越高，其在考核中所占分数应当越多，通过公式（3），可确定课程目标点在考核中所占分数比例P。

课程的毕业要求达成度则由公式⑷求出。

3　实例分析

某课程毕业要求达成度的具体计算过程如下。

步骤一，计算各毕业要求项重要度。根据专业办学特色对毕业要求一级指标项进行重要度统计，填入表1，得到表3。

表3 XX专业毕业要求重要度统计表

依据各级指标重要度统计结果，可得到一级指标判断矩阵Y。

对判断矩阵进行一致性检验，一致率比率CRH小于0.1。毕业要求二级指标项的重要度统计与一级指标类似（具体过程由于篇幅限制，本文进行了省略）。各指标权重，如表4所示。

表4　毕业要求各指标项权重

步骤二，计算课程目标点贡献度。假设XX课程设置4个目标点，每个目标点支撑毕业要求的对应指标项及支撑力度如表5所示，将表4的计算结果以及2.4中对于三级三档支撑力度的界定代入公式（2）和（3），计算得到该课程的各目标点对于毕业要求的贡献度。

表5　XX课程目标点权重计算

步骤三，计算课程毕业要求达成度。通过笔试、作业、课程论文、实验、实习等形式对学生掌握各目标点的情况进行考核，得到不同目标点学生的平均得分，依据公式（4）计算得到该课程的毕业要求达成度，如表6所示。

表6　XX课程毕业要求达成程计算

4　结束语

工程教育专业认证要求课程体系的设置和考核紧密围绕学生毕业能力达成这一核心任务展开，而课程达成度评测作为毕业要求达成度评价的基础，是一项系统、复杂的工作，不仅决定认证结果，更关乎人才培养质量。本文所设计的基于改进层次分析法的课程毕业要求达成度评测方法，将课程目标点重要程度主观评价与学生考核分数客观统计相结合，准确反映课程设置对毕业要求的支撑力度，在精确计算教学效果对毕业要求达成程度的前提下，将专业特征和课程特色有机结合，有效简化评价过程，具备较强的理论可行性与实践便捷性，且能够适用于不同专业的不同课程需要，对国家认证工作的顺利开展和高校认证工作的积极准备具有一定的参考意义和借鉴价值。但本文仅局限于讨论具体课程的毕业要求达成情况，如何在此基础上准确评价专业教育毕业要求达成度，可成为下一步研究的方向。

[1]王玲，雷环. 《华盛顿协议》签约成员的工程教育认证特点及其对我国的启示[J]. 清华大学教育研究，2008(5): 88-92.

[2]蒋宗礼. 工程专业认证引导高校工程教育改革之路[J]. 工业和信息化教育，2014(1): 1-12.

[3]李志义，朱泓，刘志军，等. 用成果导向教育理念引导高等工程教育教学改革[J]. 高等工程教育研究，2014(2): 29-70.

[4]王建龙，李俊奇，张晓然，等. 工程教育专业认证毕业要求达成度评价方法探讨[J]. 中国现代教育装备，2018(17): 41-44.

[5]张建树，郭瑞丽. 工程教育认证背景下课程达成度的评价改革[J]. 高教论坛，2016(6): 72-74.

[6]张国强，陈峻，王昊，等. 工程教育认证背景下“交通控制与管理”课程达成度评价研究与实践[J]. 东南大学学报(哲学社会科学版)，2017，19(S2): 150-153.

[7]邱然锋，邱然锋，肖笑，等. 工程教育认证毕业要求达成度的评价[C]. 高等科学与工业研究中心2017年第四届高等教育技术与管理科学国际会议论文集，2017.

[8]高相胜，昝涛，王民. 工程教育认证毕业要求达成度评价方法和步骤[J]. 教育教学论坛，2016(51): 206-208.

[9]蔡述庭，李卫军，章云. 工程教育认证中毕业要求达成度的三维度评价实践[J]. 高等工程教育研究，2018(2): 71-76.

[10] 孙晶，张伟，任宗金，等. 工程教育专业认证毕业要求达成度的成果导向评价[J]. 清华大学教育研究，2017，38(4): 117-124.

[11] 吴新烨，王东东，高婧，等. 基于多参数分级机制的工程教育专业认证毕业要求达成度评价研究[C]. 中国软科学研究会2019年中国软科学论文集，2020.

[12] 李擎，崔家瑞，杨旭，等. 面向工程教育专业认证的自动化专业持续改进[J]. 高等工程教育研究，2019(5): 76-80，96.

Evaluation of Degree of Achievement of Graduation Requirements of Engineering Education Certification Course Based on Improved Analytic Hierarchy Process

Engineering education certification emphasizes that curriculum system setting and assessment are closely carried out around the core task of achieving students' graduation requirements. As the basis for assessing the achievement of graduation requirements, the evaluation of curriculum achievement has not formed a unified and standard method in theoretical research and specific practice. By establishing the graduation requirement index system, designing the importance statistical table, simplifying the construction process of the judgment matrix of the traditional analytic hierarchy process, obtaining the contribution degree of the curriculum target points on the basis of analyzing the importance of the indicators at all levels, accurately calculating the curriculum achievement degree, laying a foundation for calculating the achievement of graduation requirements, and explaining the implementation process in detail through example analysis. This method transforms qualitative evaluation into quantitative evaluation, which not only reflects professional characteristics, but also reflects curriculum characteristics, and has strong universality. It provides a useful reference and paradigm for the smooth development of certification work.

improved analytic hierarchy process; engineering education certification; degree of achievement of graduation requirements

G647

A

1008-1151(2022)02-0129-04

2021-11-28

广东高校重点平台和科研项目青年创新人才类项目（2018KQNCX251）；广东省研究生教育创新计划项目（2019JGXM60）；湛江市科技攻关计划项目（2019B01013）；广东海洋大学科研启动资助项目（101502/R18014）；广东海洋大学教育教学改革项目（580320073）；惠州学院2021年校级教学质量与教学改革工程建设项目（X-JYJG2021047）。

沙金（1978－），男，河南郑州人，广东海洋大学机械与动力工程学院讲师，博士，研究方向为物流与供应链管理、工业工程。

郑斯斯，惠州学院数学与统计学院讲师，博士，研究方向为物流与供应链管理。