新工科背景下毕业设计选题质量反馈评价定量方法探索

吕建勋 郭玉柱 袁海斌 刘颖异 袁海文

摘 要 中国工程教育认证标准对于毕业设计（论文）选题提出明确要求，如何有效评价毕业设计选题质量对于新工科背景下的毕业设计教学质量提高具有重要意义。提出一种基于综合赋权法的毕业设计题目选题质量评价方法，并在检测系进行实践。实践表明，该方法可以有效提供选题质量定量评价反馈，为毕业设计教学质量提高提供服务。

关键词 工程教育认证；毕业设计（论文）；选题质量评价；层次分析法；熵权法

中图分类号：G642.477 文献标识码：B

文章编号：1671-489X（2021）22-0060-04

Research on Teaching Quality Improvement Method Based on Topics Quality Feedback of Graduation Thesis Under Back-ground of New Engineering//LYU Jianxun， GUO Yuzhu， YUAN Haibin， LIU Yingyi， YUAN Haiwen

Abstract Engineering education certification standards of China have clear requirements for the selection of graduate thesis. How to effectively evaluate the quality of graduation thesis topics is of great significance to the improvement of graduation design teaching quality. This paper proposes a method for evaluating the quality of gradua-tion thesis topics based on the comprehensive weighting method， and puts it into practice. The results show that， this method can provide effective feedback for the evaluation of the subject quality and pro-vide reference for the improvement of teaching quality in the future.

Key words engineering education certification; graduation design （thesis）; evaluation of the topics quality; analytic hierarchy process; entropy method

0 引言

工程教育是我国高等教育的重要组成部分，坚持以学生为中心和成果导向的教育理念。我国从2006年开始构建工程教育专业认证体系，于2013年加入《华盛顿协议》，成为预备成员，并于2016年正式加入《华盛顿协议》，实现了我国工程专业本科学位与该协议其他正式成员之间的互认[1-2]，极大地提高了我国工程教育的国际影响力，意味着我国向工程人才国际化迈出重要一步，也对我国工程类后备人才的培养起到重要作用。

工程教育的目的是培养学生解决复杂工程问题的能力，毕业设计（论文）是工程专业本科教学计划中培养学生综合运用本专业基础理论知识、专业知识与基本技能，增强学生实践能力、创造能力、就业能力和创业能力的极为重要的教学过程，对本科生工程意识的培养、专业素养及综合能力的提升起到重要作用，在新工科人才培养中有着其他环节不可替代的作用。中国《工程教育认证标准》中课程体系的工程实践和毕业设计（论文）部分明确指出：毕业设计（论文）选题要结合本专业的工程实际问题，培养学生的工程意识、协作精神以及综合应用所学知识解决实际问题的能力[3-4]。在此背景下，对毕业设计选题质量及其相应的评价机制提出更高的要求，合理的毕业设计选题质量评价方法对于提升高校毕业设计教学质量，强化毕业生工程能力、工程素养以及工程知识至关重要。

结合北京航空航天大学检测系近年来本科毕业设计（论文）教学质量评价方面的实际和不足，针对本科毕业设计（论文）选题质量评价这一问题，本文以工程教育专业认证标准对毕业设计环节要求为基本导向，以毕业设计对毕业要求的支撑度为基础，提出一种层次分析法和熵权法相结合的本科毕业设计选题质量评价方法，并以2017级学生的毕业设计选题为研究对象进行实践，从而给出毕业设计选题评分，为未来毕业设计选题的改进提供依据。

1 工程认证毕业要求通用标准及毕业设计对其支撑关系分析

在工程教育背景下，毕业设计选题质量评价的关键就在于其对工程认证毕业要求的支撑能力，进而可以表现为对毕业要求达成度的评价。为了更好地评价毕业设计的选题质量，首先需要分析明确毕业设计与毕业要求通用标准間的支撑关系。

工程认证毕业要求通用标准有12条，包括工程知识、问题分析、设计/开发解决方案、使用现代工具等。北京航空航天大学检测系针对这些通用要求制定了相应的毕业要求，突出航空航天特色和解决航空航天领域复杂工程问题的能力。通过对北京航空航天大学自动化科学与电气工程学院课程体系对毕业要求支撑的相关资料的分析总结，梳理出目前本科生毕业设计教学环节可以支撑第1、2、3、4、6、10、12条毕业要求，因此，毕业设计选题质量评价需要从这几个要求的达成度入手。为了更明确毕业设计选题质量评价指标，在课程体系对毕业要求支撑度分析总结的基础上，进一步对本科毕业设计对毕业要求支撑的具体指标点进行梳理，并将梳理结果进行整理，如表1所示。研究毕业设计题目选题对于这些毕业要求指标的达成情况，也就反映了毕业设计教学环节对于新工科工程教育的支持度，可以反映出毕业设计选题质量，也为之后的反馈改进提供依据。

2 基于综合赋权法的本科毕业设计选题质量评价方法

本科毕业设计选题质量评价是一个复杂过程，各种因素交织。本文设计一种层次分析法和熵权法相结合的综合赋权法来完成毕业设计题目选题质量评价。根据上一节所梳理的毕业要求指标点，设计相应的表格，分别获得专业方向内部评审小组、学院专家组、学生三方面对于毕业设计选题对毕业要求达成度的评价数据，然后运用综合赋权法进行毕业设计选题质量评价打分。

2.1 层次分析法

层次分析法将影响决策的各种因素划分为有序的层次，把复杂问题条理化、层次化，是一种多目标、多准则的定性定量相结合的决策方法[5-6]。它通过将评估参数两两比较，形成代表分析者和专家意见的客观判断结果。该方法主要步骤如图1所示。

针对毕业设计选题质量评价，将总体质量评价层次化，最终总体评价为第一层级；以专业方向内部评审小组、学院专家组、学生三方面分别作为第二层级的一个特征类；以每类的具体特征参数，也就是表1中梳理出的七个毕业要求指标点的特征值（打分）为第三层级。

由于不同特征参数重要性不同，采用两两比较方法建立相应的层次分析法评价矩阵，再計算评价矩阵最大特征根λmax，并进行评价矩阵一致性校验。如果该矩阵符合一致性指标，则评价矩阵最大特征根所对应的特征向量经归一化后的结果，就是不同特征参数的权重分配。

2.2 熵权法

信息论中，一个指标的信息熵越大，那么能提供的有用信息量越小，相应地，在评价体系中对该指标权重分配就应该越小。这也是熵权法的基本思路，熵权法的优点在于客观性更强[7]。熵权法确定权重的基本步骤如图2所示，具体计算步骤可参考文献[8]。

2.3 综合赋权法

充分结合层次分析法和熵权法的优点，采用线性组合法，充分体现决策者对于层次分析法和熵权法的偏好。假设wj1，wj2分别是层次分析法和熵权法计算所得到的权重，利用公式（1）来计算最终的权重：

wj=αwj1+βwj2（1）

其中，α为层次分析法权重在综合赋权法中的系数，β为熵权法权重在综合赋权法中的系数，且α+β=1。α和β取值根据最终决策者的倾向和经验来确定。

获得综合赋权法权重后，针对每个毕业设计题目进行评分计算，获得专业方向内部评审小组、学院专家组、学生三方面的评分，通过这些评分就可以直观地反映不同群体对毕业设计题目的评价情况。

3 北京航空航天大学自动化学院检测系基于毕业设计选题质量反馈的教学质量改进实践

具体到2017级本科毕业设计质量评价，通过评审小组会议讨论及学生问卷调查，获得评审小组及学生两方面对毕业设计达成度的评价数据。评价采用优、良、中、合格及不合格五级评分制，分别对其赋予分值：优—5分，良—4分，中—3分，合格—2分，不合格—1分。然后采用综合赋权法对该次本科毕业设计选题质量进行评分计算。

3.1 指标体系建立

毕业设计对毕业要求指标点的支撑情况如表1所示，以这些指标点的达成情况作为特征参量，以专业方向内部评审小组、学院专家组、学生三方面作为三个特征量。此时，X=[X1，X2，X3]，X1对应内部评审小组评分影响度，X2对应学院专家组评分影响度，X3对应学生评分影响度；对应评分影响指标记为X1={xi11，xi12，xi13，xi14，xi15，xi16，xi17}，X2={xi21，xi22，xi23，xi24，xi25，xi26，xi27}，X3={xi31，xi32，xi33，xi34，xi35，xi36，xi37}，其中i代表所评价的毕业设计题目编号。2017级本科毕业设计的毕业要求达成度评价数据分别如表2、表3、表4所示。

3.2 综合赋权法确立权重

STEP1：层次分析法权重计算 采用层次分析法对不同特征参数的权重进行计算，按照不同特征参数的重要性不同，采用两两比较的方式获得其评价矩阵如公式（2）所示：

计算得到其最大特征值为7.446 4，即λmax=7.446 4。其对应的特征向量是[0.084 7 0.058 8 0.058 8 0.065 5 0.065 5 0.620 1 0.046 6]。然后依据评判矩阵一致性校核公式，计算评判矩阵A的随机一致性比率CR。经计算，CR=0.054 7，小于0.1，满足一致性要求。因此，最大特征值对应的特征向量即为七个不同特征参量对应的权重系数。

STEP2：熵权法权重计算 基于所获得的专业方向内部评审小组、学院专家组、学生的毕业设计选题评分，根据熵权法权重步骤分别计算专业方向内部评审小组、学院专家组、学生三方面关键特征量的权重。计算得到，专业方向内部评审小组熵权法权重分配为[0.265 3 0.075 8 0.075 8 0.146 0 0.100 7 0.202 7 0.133 7]，学院专家组熵权法权重分配为[0.203 3 0.149 8 0.203 3 0.084 4 0.032 5 0.057 9 0.268 8]，学生评价熵权法权重分配为[0.265 3 0.075 8 0.075 8 0.146 0 0.100 7 0.202 7 0.133 7]。

STEP3：综合赋权法权重计算 根据综合赋权法权重计算方法，本文认为层次分析法代表的专家主观评价更有价值，因此设定层次分析法权重占比更大，取α=0.6，β=0.4。

分别计算专业方向内部评审小组、学院专家组、学生三方面关键特征量综合赋权法权重，计算结果如下：

w1=[0.141 0.290 0.175 0.137 0.053 0.116 0.088]

w2=[0.157 0.319 0.226 0.112 0.026 0.058 0.143]

w3=[0.101 0.285 0.202 0.121 0.079 0.111 0.101]

3.3 毕业设计选题质量评价及分析

利用计算得到指标权重，分别计算三方面对毕业设计题目的评价结果，如表5所示。分析发现，专业内部评审小组及学院专家组评分一致性较好，但是个别学生评分差别较大，这与三个群体的知识结构以及知识积累有关。从这方面也可以看出，毕业设计指导教师需要加强与学生的沟通，让学生更好理解毕业设计内容及能力培养的意义。

通过与学院及相关教育专家讨论，认为三个方面评分在毕业设计题目质量最终评分中权重分别为0.45，0.35，0.2。通过加权计算后可以得到这20个毕业设计题目的最终评分分别为4.5，3.74，4.92，4.33，4.42，4.83，4.39，4.65，4.49，4.2，4.78，4.9，4.46，4.23，4.68，4.36，4.23，4.94，4.86，4分。本次畢业设计题目最低评分3.74分，最高评分4.94分，平均评分4.5分，总体效果良好。

4 结论

本文提出一种针对本科毕业设计（论文）选题质量进行评价的方法，该方法通过层次分析法和熵权法的有机结合，可以将现有的主观定性评价进行量化，并充分考虑专业方向内部评审小组、学院专家组及学生的意见，实现毕业设计题目质量的有效定量评价。通过北京航空航天大学检测系2017级本科毕业设计教学实践，给出该方法的具体实现步骤和实践结果，表明该方法可以给出定量的评分结果，结果可以作为管理人员进行毕业设计教学管理的依据，同时可以反馈给毕业设计指导教师，给毕业设计选题改进提供参考。

参考文献

[1]刘雅，陈宝泉，崔培培，等.基于工程教育专业认证的高校本科生毕业设计的改革与创新：以化学工程与工艺专业为例[J].教育现代化，2019，6（39）：138-139.

[2]邓庆芳，马媛媛，韩福忠，等.工程教育认证背景下提升本科毕业设计质量的探索与实践[J].化工时刊，2020，34（3）：32-33.

[3]严林博.工程教育认证背景下对毕业设计（论文）教学改革的思考[J].教育教学论坛，2018（15）：1-4.

[4]工程教育认证通用标准解读及使用指南（2018版）[EB/OL].https：//www.ccf.org.cn/c/2018-11-05/654410.shtml.

[5]陈嘉杨，张洪彦，王敏.AHP-熵权法在综合传动装置健康状态综合评估中的应用[J].车辆与动力技术，2017（1）：38-41.

[6]Jeonghwan J， Rothrock， Ling， et al.Using the Analytic Hierarchy Process to Examine Judgment Consis-tency in a Complex Multiattribute Task[J].Systems， Man and Cybernetics， Part A： Systems and Humans， IEEE Transactions on，2010（5）：1105-1115.

[7]郑含博.电力变压器状态评估及故障诊断方法研究[D].重庆：重庆大学，2012.

[8]Jun Xu， Fan Kong. Adaptive scaled unscented transformation for highly efficient structural reliability analysis by maximum entropy method[J].StructuralSafety，2019（76）：123-134.