基于层次分析法的工科专业毕业设计质量评价体系研究

阮雪景 孙海 李清清

摘  要：工科专业毕业设计质量评价是一个过程性和结果性评价相结合的复杂系统问题，需要考虑的评价因素较多。文章针对工科专业毕业设计的特点和当前质量评价中存在的重答辩轻过程、未形成科学合理的评价指标体系、信息化程度有待提高等问题，以OBE成果导向理论为指导、层次分析法为主要手段建立评价指标体系、计算各指标权重。通过计算机语言将评价指标体系和模型计算方法集成为工科专业毕业设计质量评价系统平台，将数据输入系统便可自动计算得分结果，既实现评价过程的信息化又提高评价结果的准确性。

关键词：工科专业;毕业设计;层次分析法;质量评价

中图分类号：G642.477      文献标志码：A          文章编号：2096-000X（2022）09-0020-05

Abstract： The quality evaluation of engineering graduation thesis is a complex system problem which combines process evaluation and result evaluation， and many evaluation factors need to be considered. In view of the characteristics of engineering graduation thesis and the problems existing in the current quality evaluation， such as paying more attention to the defense than the process， not forming a scientific and reasonable evaluation index system， and the information level needs to be improved， this paper takes OBE theory as the guidance and AHP as the main method to establish the evaluation index system and calculate the weight of each index. The evaluation index system and model are integrated into the platform of engineering graduation thesis quality evaluation system by computer language， and the score results can be automatically calculated by inputting the data into the system， which not only realizes the informatization of the evaluation process， but also improves the accuracy of the evaluation results.

Keywords： engineering majors; graduation thesis; AHP; quality evaluation

2016年我国正式加入《华盛顿协议》，标志着国际同行对我国工程教育认证工作的肯定。如何從工程教育大国迈向工程教育强国是我国高等教育急需解决的关键问题。为促进我国工程教育的快速发展，向国家输送大量高素质创新型工程技术人才，国家提出的“卓越工程师计划”“中国制造2025”“新工科建设”等战略，都对工科专业毕业生培养提出了更高的要求[1]。本科毕业设计作为高等学校本科教学的最后环节和学生本科阶段综合学业成果，是检验学生综合应用四年所学知识去分析和解决实际问题的能力和素质的重要手段，对达成人才培养目标具有重要作用。其质量是直接衡量高校教学水平和学生专业素养的显著指标[2]。

国务院及教育部十分重视毕业设计的质量和管理工作，连续出台相关政策和方案。2018年8月，教育部发布《关于狠抓新时代全国高等学校本科教育工作会议精神落实的通知》明确要求加强对选题、开题、答辩等环节的全过程管理，强化指导教师责任，确保本科毕业生设计质量。2020年2月，中共中央办公厅、国务院办公厅印发《关于深化新时代教育督导体制机制改革的意见》，提出了加强和改进教育评估监测，保证教育教学质量的要求。2020年10月，中共中央国务院印发的《深化新时代教育评价改革总体方案》强调推进落实立德树人根本任务，改进本科教育教学评估，突出毕业设计指导，探索学士学位毕业设计抽检试点工作。为落实该方案和保证本科人才培养质量，2021年1月教育部出台的《本科毕业论文（设计）抽检办法（试行）》中规定，每年对所有本科高校及专业的毕业论文（设计）抽检一次，抽检比例不低于2%，重点考察其选题意义、写作安排、逻辑构建、专业能力以及学术规范等进行考察，一经查实抄袭剽窃将撤销学位[3]。

根据《华盛顿协议》提倡的OBE成果导向理论，以学生通过教育过程最终取得的学习成果反向指导教学实施。切实提高工科专业本科毕业设计质量的关键问题之一是对毕业设计评价方式的改革，构建科学合理、高效适用的评价指标体系，进而反向促进毕业设计的全过程管理。工科专业毕业设计质量评价是一个复杂的多指标综合评价问题，且各指标的重要程度各不相同，本文针对当前工科专业毕业设计评价中存在的问题，以层次分析法为主要手段建立评价指标体系，并通过计算机语言将评价指标体系和模型计算方法集成为工科专业毕业设计质量评价系统平台，将数据输入系统便可自动计算得分结果。

一、当前工科专业毕业设计质量评价现状

工科专业毕业设计的工作流程一般包括选题、开题报告、中期检查、完成毕业设计说明书和答辩等，指导老师的监督和管理贯穿始终。毕业设计的评价由指导老师成绩、评阅老师成绩和答辩小组成绩按一定的比例共同组成，而目前以答辩成绩为主的现状导致学生“重答辩轻过程”的心理。工科专业的毕业设计具有应用性强的特点，常以完成一个具体项目设计方案为主要形式，持续时间在10周以上，有的专业达到15周以上。学生通过模拟实际项目设计过程锻炼综合应用所学理论知识解决实际工作问题的能力，并且培养创新、敬业、职业道德、大国工匠精神等素养，达成立德树人的目标。根据文献研究和高校调研发现，当前工科专业毕业设计质量评价中存在一些普遍问题，阻碍着毕业设计水平和人才培养质量的提高。

（一）重视答辩环节，忽略过程评价

毕业设计成绩比例集中于毕业答辩表现，如PPT成果展示和回答答辩小组问题等，而本科专业毕业生的答辩过程较短，学生突击准备精美的成果展示，答辩小组难以在有限的时间内与学生深入交流，发现一些隐藏的问题[4]。这就导致答辩环节准备充分的同学成绩较高，错误地引导学生重视答辩环节，对设计过程的参与度和互动性不够重视。

（二）未形成科学合理的评价指标体系

工科专业毕业设计持续时间长、涉及环节多、参与学生广，设计方案从无到有、逐渐完善，指导老师在指导过程中与学生多次交流和互动，最终结合学生参加例会的出勤情况、毕业设计内容质量、格式规范程度及初稿修改效果等给出指导老师成绩。这种评分方式较为主观，难以客观地根据毕业要求对每个学生进行统一标准的量化考核[5]。评阅和答辩环节均为分组开展，每位老师对学生要求的尺度和关注点不尽相同，打分依据和评价标准不一致。因此，整个评价过程存在局限性和随机性，没有形成客观统一的评价指标体系和权重。

（三）信息化程度有待提高

目前高校毕业设计全过程管理主要采用人工管理的传统方法，管理效率较低且不规范[6]。不管是选题、开题、中期检查及设计提交等各必备环节还是师生互动、交叉评分都是独立线下进行，缺少完善的毕业设计全过程管理平台，导致各类信息和数据难以整合控制和统计分析。充分利用计算机网络技术，并将评价指标体系植入管理平台，可有效记录学生过程参与程度和各环节完成质量，并转化为指导老师和答辩小组客观评分的依据。在提高毕业设计全过程管理水平的同时促进学生重视毕业设计的参与和质量，符合OBE教育理念。

二、工科专业毕业设计质量评价模型

工科专业毕业设计质量评价是一个需要综合考虑多个指标的系统问题，层次分析法是将决策问题分解为多个有序层次并采用定性和定量相结合的方法进行计算和分析。

（一）确定评价指标

根据《华盛顿协议》中12项毕业生能力和教育部《本科毕业论文（设计）抽检办法（试行）》重点考察项目的要求，针对工科专业强化高级工程技术人才的能力培养，确定了一系列科学、合理且细化的毕业设计质量评价指标。这些评价指标既考虑了从选题、开题、每周指导教师进度检查、中期检查到答辩等各个环节的全过程评价又考虑了设计质量和专业能力提高等课程对毕业要求的支撑，将立德树人根本任务和全过程管理理念落到实处。

（二）构建层次结构

工科专业毕业设计质量评价模型共包括目标层、准则层和指标层，其中指标层划分为5个方面，指标层包括20个评价因素，如图1所示。

（三）构造判断矩阵

向土木工程、建筑环境及能源应用、工程管理等工科专业领域专家20人发放调查问卷，利用1～9标度法对各层次评价指标的重要性进行打分，经过统计汇总，得到各个判断矩阵。

准则层A1，A2，A3，A4，A5相对于目标层的判断矩阵A：

指标层A11，A12，A13相对于准则层A1的判断矩阵B：

指标层A21，A22，A23，A24相对于准则层A2的判断矩阵C：

指标层A31，A32，A33，A34，A35，A36相对于准则层A3的判断矩阵D：

指标层A41，A42，A43，A44，A45相对于准则层A4的判断矩阵E：

指标层A51，A52相对于准则层A5的判断矩阵F：

（四）计算权重值

1. 层次单排序及一致性检验

以准则层A1，A2，A3，A4，A5相对于目标层的判断矩阵A为例，将判断矩阵每一列正规化得到：

按行将正规化后的矩阵相加得到A1，A2，A3，A4，A5的权重[0.315，0.914，1.526，1.742，0.503]T，将其正规化求出特征向量W=[0.063，0.183，0.305，0.348，0.101]T。然后計算判断矩阵的最大特征根：

λmax=

=

=5.126

进行一致性检验：

CI===0.032 ，（1）

查AHP方法中平均随机一致性指标RI取值表可知， 五阶矩阵的平均随机一致性指标RI=1.12，由于该矩阵的随机一致性比率CR=CI/RI=0.029<0.1，因此该矩阵满足一致性检验。A1，A2，A3，A4，A5相对于目标层A的排序为[0.063，0.183，0.305，0.348，0.101]T。

同理，计算得到A11，A12，A13相对于准则层A1的排序为[0.634，0.260，0.106]T，A21，A22，A23，A24相对于准则层A2的排序为[0.085，0.139，0.542，0.233]T，A31，A32，A33，A34，A35，A36相对于准则层A3的排序为[0.132，0.192，0.262，

0.213，0.113，0.089]T，A41，A42，A43，A44，A45相对于准则层A4的排序为[0.080，0.171，0.238，0.408，0.103]T，A51，A52相对于准则层A5的排序为[0.333，0.667]T。

2. 层次总排序及一致性检验

计算指标层各个元素相对于目标层的重要性权重，即为层次总排序，见表1。

层次总排序的一致性比率：

CR==0.021<0.1 。（2）

因此，层次总排序的一致性满足要求。

三、模型计算结果解析

（一）重视专业能力培养，符合工科专业OBE教育理念

从准则层来看，专业能力权重为34.8%，在5个准则中占比最高，其次是设计质量，权重为30.5%。在OBE教育理念中，教育者必须明确每个教学环节学生应该取得学习成果，也就是获得的能力和水平。工科专业毕业设计作为本科阶段综合性和实践性最强的教学环节，评价体系聚焦于学生经过设计过程得到的问题分析、软件应用、设计解决方案、创新研究等能力提升和设计的质量。以最终的学习成果为起点，反向开展毕业设计全过程的管理，体现在包含了开题、中期检查、每周进度等的设计过程权重达到18.3%，这也弥补了目前很多评价体系中忽略了过程评价的问题。因此，工科专业毕业设计质量评价模型的计算结果十分符合国际工程教育的成果导向教育理念，同时将全过程管理融合其中。

（二）充分发挥指导教师作用，促进向学生中心转变

在指标层中，设计解决方案能力的权重最高，为14.2%，每周进度的权重9.9%和软件应用能力的权重为和8.3%，分列二、三位。工科专业毕业设计质量评价的核心在于学生自主完成整个设计方案所获得的能力提升，为学生走向工作岗位完成实际工程项目打下坚实的基础。这就促使学生从分析问题、设计方案到解决问题的全过程以个人为中心，变被动为主动，指导老师发挥解答疑惑、引导辅助、分析讨论和进度监督等作用。学生在与指导老师每周交流互动中保证毕业设计的进度合理及过程质量，既可以避免突击完成和整篇抄袭等问题的发生，又能够真正实现学生能力培养的目标。

（三）满足学术规范，直接影响毕业设计评价结果

学术规范是学术研究活动中的基本原则，也是对学生学術道德修养的约束机制。目前，在各大高校中工科专业毕业设计完成后需通过查重环节才可参与答辩，若查重率超过规定比例，则无法获得答辩资格，这种“一票否决制”也体现出我国工程教育对抄袭的零容忍态度。同时，在评价准则中加入满足学术规范性并且权重达到8%，对毕业设计中标注引用文献、严谨完成实验、杜绝捏造结果进行了明确规定，落实教育部《本科毕业论文（设计）抽检办法（试行）》的要求，树立良好的学术风气，实现立德树人根本目标。

四、工科专业毕业设计质量评价系统平台

笔者将层次分析模型和计算方法集成并设计开发了一个工科专业毕业设计质量评价系统平台，可实现层次结构的管理、评价指标的新建修改、指标权重的计算、毕设得分的自动计算和推优等功能，如图2所示。

五、结束语

工科专业毕业设计质量评价是一个过程性和结果性相结合的复杂系统问题，需要考虑的评价因素较多，仅依靠主观判断难以获得统一标准的评价结果。本研究针对工科专业毕业设计的特点以及目前质量评价中存在的问题，以OBE成果导向理论为指导，应用层次分析法综合确定评价指标、构建层次模型并计算权重，通过计算机编程开发了一个工科专业毕业设计质量评价系统平台，使得评价过程信息化和智能化同时提高了评价结果的准确性和客观性。在今后的研究中还可以进一步丰富平台功能，构建完善的工科专业毕业设计全过程管理平台，实现选题、开题、中期检查和设计提交等各环节和每周进度检查、师生互动等在平台中完成，准确记录和统计分析各类数据信息，智能化计算各指标得分。

参考文献：

[1]朱正伟，李茂国.实施卓越工程师教育培养计划2.0的思考[J].高等工程教育研究，2018（1）：36-53.

[2]郭涵，郑逸芳，林晓莹.“双一流”建设背景下公共管理类本科毕业论文质量评价指标及权重研究——基于AHP法的分析[J].现代教育科学，2019（3）：52-59.

[3]教育部.本科毕业论文（设计）抽检办法（试行）[EB/OL].（2021-01-04）http：//www.moe.gov.cn/srcsite/A11/s7057/202101/t20210107_509019.html.

[4]何立恒，杨强，鲍其胜.基于全过程的本科毕业设计质量评价体系构建[J].测绘通报，2019（10）：138-141.

[5]康雪，李裕，李同川，等.基于化工专业认证的毕业设计（论文）过程控制及达成评价[J].化工高等教育，2020，37（1）：132-137.

[6]程洁，吴强.“双一流”背景下研究型高校毕业设计（论文）管理现状探究-基于33所高校毕业设计（论文）管理文件文本分析[J].高等教育研究学报，2020，43（2）：88-94.