DEA法对材料化学专业课程教学效果评价的研究

赵静，侯静云，冯辉

(1.淮南师范学院化学与材料工程学院，安徽 淮南 232000；2.淮南师范学院计算机学院，安徽 淮南 232000)

0 引言

材料化学是一门高等教育应用型本科专业，其人才培养方案以化学和材料科学两大基础学科为支撑，旨在为社会输送综合性和专业性的高质量技术人才。其主要课程涵盖各类理工科课程，如高等数学、大学物理、无机化学、有机化学、数据分析、仪器分析等，具有内容涉及范围广、知识点更新速度快、课程交叉性强、前沿科技含量高等特点。对材料化学专业学生的授课过程的要求，不仅包含对专业内课程的熟练掌握，也细化到对具体材料化学性质的表征、功能材料的合成和制备、特殊材料的物理性能的分析。这一过程需要学生在专业课程的学习基础上，具备交叉学科知识储备、实验设计动手能力以及解决问题实践能力；需要教师能够灵活、迅速、直观地对授课效果进行分析和掌握。目前，教学工作者主要通过收集各界(学生、同行、学校等)反馈意见、整合教学成果(诸如考试成绩、发表论文、学科竞赛)等方法对课程教学效果进行评价，但由于各指标的评价标准不同，难以获得统一的、客观的整体性评价。因此，材料化学专业教学过程中，在对学生全方面、全方位的知识传授和实践指导的同时，需要找到一种基于各项反馈信息、科学的课程教学效果可视化评价办法[1]。

本论文以科学高效评价材料化学专业课程为研究目标，依托淮南师范学院大学生就业平台进行研究背景调查，向2018—2022届全体材料化学专业毕业生发放专业课程评价调查问卷，收集数据并进行统计分析，整理其中部分代表性数据，如图1所示。统计结果表明，材料化学往届毕业生对专业课程教学方法、教学效果的满意度均较高，均已超过75%；对专业知识系统学习后自身评价，诸如知识掌握以及运用知识解决实际问题的能力自我评价“优秀”的占比较小，尤其是对自身应用能力较差的评价高达69.76%，同时认为自身较好的掌握了专业知识的仅占比3.21%。以上分析表明往届材料化学专业毕业生对专业课程的开设、课程安排、教授方法均较为满意，但同时认为实际知识掌握情况不好，在实践动手能力、知识拓展运用、与其他学科的交叉分析等方面存在缺陷和不足。问卷调查数据体现出课堂教学、理论实践、专业应用等方面共同发展不足、存在短板现象，极大限制了教育教学效果的提高。

图1 问卷调查结果

综上所述，需要一种对教学成果定量分析，并对短板部位定量考察的教学效果评价方法，并在此基础上进一步发现问题、解决问题。论文以材料物理导论课程为评价对象，进行教学效果的评价研究。该课程是一门材料化学专业课程，介于基础物理学、微观量子力学、材料加工技术、仪器分析和检测技术之间，在理论授课之外还包含实践课程指导，即实验操作和论文写作指导。因此满足课程在理论教学、实践操作、拓展应用方面的多维度评价需求。本研究选用数据包络分析(data envelopment analysis，DEA)对材料物理导论课程进行教学效果分析。

1 教学评价方法介绍

1.1 分析原理

DEA是一种成熟的非量纲效率分析方法，于1978年由运筹学家A.Charnes，W.W.Cooper和E.Rhodes三位学者共同提出[2]，由于其对效率的评教采用相对效率的概念，因此不需要考虑影响因素间量纲的差异，是一种非参数的对决策单元进行评价的高效方法。此后在进一步总结规律后三位学者用各自名字的首字母创建了第一个DEA模型，命名为CCR，即规模报酬不变CRS(constant returns to scale)模型[3]。DEA的优势在于其评价效率的依据的是决策单元的数据输入/输出，即评价单元间的相对有效性。DEA模型只需设计投入与产出，不需要对指标进行无量纲化处理，可以直接进行技术效率与规模效率评价，而无需再定义一个具体的表达函数。同时，不需要大量的样本，无需任何权重假设，且以决策单元输入、输出的实际数据求得优先权重，排除了很多主观因素，具有较强的客观性。DEA方法假定每个输入都关联到一个或者多个输出，且输入输出之间确实存在某种联系，但不必确定这种关系的显示表达式。

在使用DEA进行效率分析时，首先需要选定模型的技术效率。技术效率是指某个生产单元在生产过程中可以实现的在该技术领域的水平程度，需要根据研究对象进行具体设计。一般来说，技术效率从投入既定和产出既定两个角度衡量，前者旨在使产出最大化，后者旨在使投入最小化[4]。诸如本研究中，投入既定产出最大化指导评价课程的教学效果，拟选取成绩的优秀率作为其中一项考核指标。技术效率的选择可以极大的体现生产单元的技术水平情况，因此在选定过程中需要注意生产单元和技术效率之间确切存在内在联系。其次，DEA需要选取标定测度对象效率的决策单元(decision making unit，DMU)，DMU可以是任何可数据化表征的投入(输入)、产出(输出)的研究对象，在数据准备阶段需要注意必须对DMU原始数据进行命名且不允许有缺失值。最后是输入数据和输出数据的确定。

课程评价过程中，教学基础条件一致，因此研究使用以产出为向导(output-oriented)的基于规模报酬不变的CCR模型。在不考虑生产规模影响的前提下，技术效率可通过产出/投入的比值来定量的测量。假设要测量一组共N个DMU的技术效率，记为DMUj(j=1, 2…,N)；每个DMU有m种投入，记为xi(i=1, 2…,m)，投入的权重表示为vi(i=1, 2…,m)；q种产出，记为yr(r=1, 2…,q)，产出的权重表示为ur(r=1, 2…,q)。将待测DMU记为DMUk，其产出投入比为

将效率值限定在[0, 1]的区间内，在所有DMU的效率值都不超过1的条件下令被评价DMU的效率值最大化。确定模型的权重u和v，将各单元的产出/投入比值除以其中的最大比值，就可以将产出/投入比值标准化成0～1之间的数值，实现被评价单元与最优单元之间技术效率差距的评价。

1.2 准备数据

输入数据指决策单元在某种活动中需要消耗的某些信息量，输出数据指决策单元经过一定的输入之后产生的表明该活动成效的某些信息量。通过上述分析，在经过2021—2022第二学期和2022—2023年第一学期的理论教学、实践操作、拓展应用方面的教学后，本研究以淮南师范学院化学与材料工程学院材料化学专业学科评价指标(如表1所示)，结合材料物理导论课程教学目标(如表2所示)，考虑到具体指标的量化情况，对投入和产出进行DEA方法设计。为了对教学方法三个方面的效果分别评价，决策单元设计为理论教学、实践操作、拓展应用，将学科评价指标中的具体项目划分为以上三个决策单元的投入变量和产出变量。合并决策单元间一致的运算数据，如工作基本条件和学术队伍情况，由于授课使用指定教材、授课队伍组成情况一致，设计时不做体现。考虑课程授课学期不包含毕业年级，不考察优秀毕业论文等相关目标。最后，在学科评价指标的选择上，鉴于本研究向教学效果受众倾斜，产出变量的选择以本科生可以实现的目标为考量基础。考虑课程教学拓展应用的高质量要求，增加发表科研论文、大学生创新创业类项目立项数量的考核。此外，由于教学效果是师生双向协同的共同结果，研究将参与学生人数纳入投入变量的选择范围。

表1 学科评价指标

2 评价效果分析

2.1 规划模型

分析使用MaxDEA 8软件，从理论教学、实践操作、拓展应用三个方面考察材料物理导论课程的教学效果，并将其设置为决策单元，选择CCR模型，以产出为导向，旨在使技术效率实现产出最大化。投入变量设计为授课人数、参与人数和实验平台，产出变量课程期末考试成绩优秀人数(简称“考试成绩”)，大学生创新创业、大学生创新科研项目、大学生挑战杯等科学技术竞赛(简称“立项数目”)、各类赛事三等奖以上获奖数目(简称“获奖数目”)、各类本科学报以上公开刊物发表的论文数量(简称“论文数量”)。其规划模型的基本方法是，对考察样本的投入及产出数据的分析确定有效生产前沿面，并根据DMU与生产前沿面的距离情况，确定DMU是否为DEA有效。课程教学效果DEA分析的输入/输出(Input/Output)数据，如表3所示。

表3 输入数据

2.2 运行结果

建立MaxDEA支持的Access数据，选择Envelopment Mode，对包络模型的基本选项诸如模型距离、导向、规模报酬和前沿类型等基础选项进行设计后，运行上述模型。得到DMU数量、投入/产出数量、距离函数类型、模型导向和规模报酬等信息。需要注意，为了避免DEA模型在松弛变量产生不完全计算，导致结果中计算出的投影值处于无效/低效状态，研究采用两阶段法(Two Stage)对模型进行求解[5]，运算结果包括数据效率值(Score)、参考标杆(Benchmark and Lambda)比例改进值(Proportionate Movement)、松弛改进值(Slack Movement)和目标值/投影值(Projection)。表4中列出了部分关键数据的运行结果，其中Score体现了模型的有效性，等于1为弱有效，如果同时满足松弛两边均为0，则为强有效。Slack Movement本身为正值，在输出结果中通过添加“±”号表示投入产出松弛变化的方向，定义为正值表示增加方向、负值表示减弱方向。Projection是原始值、比例改进值和松弛改进值的代数和。

表4 运行结果

2.3 结果讨论

理论分析表明，模型有效的基本条件是需要至少有一项产出的松弛变量为0，如果产出的松弛变量都不等于0，说明模型设计的不合理仍然需要等比例调整，或者参数选择不具有代表性，无法获得最优解。对本例结果进行分析，在产出导向模型中，理论教学和拓展应用的松弛变量均为0，即在材料物理导论课程的教学过程中这两个方面的教学效果达到了课程的授课基本目标，是合理的；而实践操作的松弛变量存在不为0情况，且数值为正，表明需要正向提高的改进。

上述模型运行结果表明，理论教学和拓展应用DMU的效率值均为1，并且这所有投入(A、B、C)和产出(D、E、F、G)的松弛变量均为0，说明这2个DMU均为强有效，即在材料物理导论课程的教学中理论教学和实践拓展的教学效果为强有效。而实践操作方面的教学效果并未到达最优，其中Slak Movements在产出松弛变量(D、E、F、G)的运行数据均为正值，表明实践操作在考试成绩、立项数目、获奖数目和论文数目方面均需加强，结合Projection的运行结果，模型分析给出了投入松弛变量改进的方法。

3 结语

本文在淮南师范学院材料化学专业人才培养方案的基础上，以材料物理导论为分析案例，结合其课程教学大纲，采用数据分析包络法设计以产出为导向的规模报酬不变模型，从理论教学、实践操作和拓展应用方面对课程教学效果进行了评价。模型运行结果表明，课程教学效果总体显著，理论教学和拓展应用的效率值均为强有效，实践操作的效率值需要提高，可以通过增加授课人数、扩大授课基数和建设实验平台的方法进行改进。