基于层次分析法的《企业经营沙盘推演》课程评价模型构建

崔文琦

摘 要：课堂教学是高校教学活动中的一项重要组成部分，其教学效果与学生受到教育的质量密切相关。因此，对高校课堂教学质量进行准确的定位评价非常关键。当前高校中对课堂教学效果的评价，一般是通过主观的定性描述来完成的。没有规范的评价标准可以参照执行，对于量化评价结果不能达到客观评定。本文通过将在安全科学和环境科学两个领域应用广泛的层次分析法与教学综合评价相结合，通过定量计算的方式确定评价指标的权重，同时优化整个评价过程，因而使得评价结果具有更强的说服力和参考价值。

关键词：教学质量评价;层次分析法;沙盘推演;定量分析

一、引言

本科教育是高校教育中的一个极为关键的组成部分。坚持“以本为本”，将本科教育视为高校教育中的重点工作，同时以立德树人为根本，将有助于本科教育的提升。在本科教育中，课堂教学的质量直接影响学生接受教育的质量。高质量的课堂教学对推动一流本科的建设和发展产生积极的影响。因此，为了提升教师课堂教学的质量，各大高校均对教师课堂教学效果的评价作为整个教学质量评价体系中的一项重要组成部分。通常情况下，教学质量评价是通过专业的教学评价技术，结合一定的专业理论对教学全程进行综合性分析，剖析教学成果各项指标，从而评定其是否达到特定价值程度[1]。这项质量评价作为教学活动中不可或缺的一个组成部分在科学的教育理念指导下，以特定的教学目标为依据实施全面准确的判断。课堂教学是一种特定场景中教师与学生之间的思维互动过程[1]。现有研究表明：在教学评价的过程中，建立科学合理的评价指标机制，直接决定教学评价结果是否真实有效[2]。

完善的评价指标机制的形成，对教学评价结果的客观公正起到关键的主导作用。其包括两项主要内容：一是确定能够全面反映教学质量的评价指标，二是准确运用评价指标的权重性，也就是通常所说的教学质量受各项指标的影响力。一般情况下，专家打分法以其操作便捷、高效成为最为常用的指标权重评定方法。但专家在打分过程中仅依靠自身经验，主观性较强，因而无法对教学效果进行准确评价。在这种情况下，需要找到一种能够定量描述不同评价指标权重的方法，以便使得评价结果具有更强的说服力和参考价值。

论文拟利用层次分析法建立教学质量评价模型，并以本科阶段开设的《企业经营沙盘推演》课程为例，通过定量计算获取评价指标的权重，从而得到更加科学的评价结果。

二、文献综述

文献综述部分将从教学质量评价方法以及层次分析法在相关领域内的应用两个方面展开。

（一）教学质量评价方法

目前针对教学质量的评价方法包括聚类分析、大数据分析、等级评分等。

专业学者王艳娥[3]等人对课堂教学质量评价进行了深入探索，根据有关“教学态度”是否积极向上和“教学方法”是否灵活高效的综合表现，结合“教学内容”是否丰富以及“课堂氛围”是否活跃等四个评价指标，对高校教师的课堂教学进行评分。在此基础上利用经过优化的K-means聚类算法，在SPSS分析软件的支持下分析了高校教师课堂教学质量评价的数据集，挖掘出了不同评价指标之间的隐含关系，以及不同的聚类分析过程中所使用的评价指标的差异，进而得出了对课堂教学质量具有关键因素的评价指标。研究结果表明：高校教师在教学态度方面具有高度相似性，而在教学内容与教学方法两个方面的差异较为显著，因而在教学效果上产生了较大差异。并根据这一结果对高校教师的课堂教学工作提出了科学合理的建议。

董彦佼[4]等人结合新冠肺炎疫情下“停课不停教，停课不停学”的实际情况，针对各高校中MOOC课程存在的选课率高而完成率低的问题，以利用文本大数据分析方法提取的学生对课程的评价作为参考，提出了基于文档大数据分析的MOOC课程教学质量评价方法，并基于已有研究成果构建了MOOC课程的评价指标体系，在此基础上确定了各项评价指标的权重。

王传云[5]以产出为导向，设计了涵盖教学过程中“设计—实施—效果”全流程的教学评价指标体系及评价内容，将“教学实施过程”“教学内容有效性”以及“教学成果”三个因素作为对教学效果的影响因素构建了教学效果的评价指标体系，每个因素下均有更加具体的评价指标及评价内容。并以此为基础提出了一种基于评分等级自适应的课程质量评价方法。该方法利用三角模糊数实现了对课程教学效果评价结果的判定，同时在学生评价的基础上利用同行教师及教学督导的评议来优化学生的评价结果，从而在一定程度上缓解了评价集中“好评”和“差评”的问题，确保对课程质量评价结果真实、准确。

曹彩峰[6]在分析了高校英语教学质量评价重要性的基础上利用多元智能理论、构建主义等相关理论及方法，从不同角度建立了大学英语学科的教学質量评价体系，不但包括评价对象和评价主体的基本能力，还涵盖了综合评价指标和评价内容是否全面等基础要素，甚至对评价方式也作了具体的界定，以学生和同行以及严格督导等作为评价主体要素，从教师素质、课堂教学以及学生学习效果三个方面对大学英语教师的教学质量展开综合性客观评价，并获得公正、科学、合理的评价结果。在此基础上针对评价过程中存在的不足之处提出了改进的建议，促使学校在进一步完善教学管理制度的同时有效提升教师的教学能力。

王永为[7]等人在OBE（注重学生的学习效果）教学理念的支持下提出了以学生为中心的课堂教学评价方法，其评价内容及指标设计由传统评价方法中强调教师教学行为的状况转变为从学生的视角出发，学生在学习过程中的真实体验和成果成为关注的重点，使之心理层面产生绝对的认可，使得评价结果更加客观真实。与此同时，评价表格中开放性问题的设置能够使学生跳出单一、固定化的选项型评价的思维模式，对教师的课堂教学质量做出更加多元化的直观评价。

综上所述，目前已有部分学者在高校课堂教学质量评价体系建设方面进行了有益的探索，在一定程度上改进并弥补了当前高校课堂教学质量评价中存在的不足。然而，上述研究所用的方法大多属于定性描述，较少涉及对评价指标的定量计算与分析。

（二）层次分析法

美国SaatyT. L.早在20世纪70年代中期就提出了层次分析法，这是一种较为客观的定性分析与科学的定量相结合的计算方法，利用巧妙的融合，具有显著的系统化、层次化特点[2]，该方法是在网络系统理论的基础上，与各种目标进行综合比对，有效地把其中相对复杂的问题因素，合理划分层次，使彼此之间相互关联，相互作用，形成具有多目标和多准则的客观分析方法[8]。此法适用于为环境科学与安全学科领域，特别是在煤矿安全研究领域和城市灾害预警综合能力测评方面应用广泛，对于交通安全和环境保护措施的指标研究也起到一定的客观评价作用，除此之外，在野生动物保护区污染源和水质指标的综合评定领域也被广泛利用[9]。

层次分析法以其独特的思维方式，完成准确的判断过程，与人的运行思路有异曲同工之妙[10]，就是面对复杂的问题时，可以根据其表现出来的支配关系转化为一个包含若干层次的结构框架，每一层次均由相互关联的不同因素组成。在对目标问题进行分析时，利用成对比较的方法对各层级中不同因素之间的重要性进行量化排序，并就不同因素对目标问题的影响力权重进行赋值，然后进行整体的权重计算与排序，最终据此得出目标问题的解决方案。

目前，层次分析法在课堂教学质量评价研究中的应用尚不广泛。裴少婧[10]等人构建了高校教学质量评价的指标体系，将影响教学质量的因素归纳为“教学准备”“教学思想”“教学执行”以及“教学效果与特色”四个方面，每个因素下均有若干个更加细化的二级指标。在现有基础上，建立客观的评价模型并确定评价指标的权重，从而避免了评价专家的主观随意性。周姗颖[11]从教学质量评价的来源入手，从基础的“教研室评价”和“系部评价”入手，合理借鉴“学生评价”与综合性的“督导评价”等四个维度，对评价指标进行合理划分，且成功设置二级指标。利用层次分析法对指标权重加以确定，确保客观、真实，并以安徽审计职业学院为例进行了应用，并取得了较为理想的效果。蒋秀林[12]等人研究了一种能够在新工科背景下对物联网工程专业学生的实习效果进行定量分析和评价的模型。该模型首先利用层次分析法建立了学生实习效果的层次化评价体系，以实习成绩为评价目标设置了“实习阶段成绩”“实习评阅成绩”以及“实习总结成绩”三个影响因素，每个因素下包含两到三个具体评价指标。并利用灰色关联分析法，准确计算关联系数，在评价指标定量基础上，客观地评价实习教学的效果。

根据上述种种情况，概括来说，利用层次分析法對课堂教学质量进行综合性评价的应用范围还有较大的局限，存在进一步扩大的空间。

三、基于层次分析法的教学评价分析

（一）基于层次分析法的《企业经营沙盘推演》课程评价指标体系

评价指标体系的建立必须严格遵循下面几项原则，才能发挥其科学合理的作用效果[1]：一是整体相关性原则，也就是说每项评价指标必须紧密结合课堂教学的实际情况，客观真实;二是全面性原则，在建立课堂教学评价机制过程中，必须严格根据教学态度和教学准备是否完备，以及教学内容和方法的表达以及课中与课后的完美答疑等流程是否形成良性循环，确保不脱节，环环相扣，形成较为严密综合评价;三是客观准确性原则，通过评价指标与目标的呼应，客观真实地把观测到的内容表示出来;四是简单可操作性原则，利用简便方式实现评价服务，因此一套科学的评价体系应具备较强的可操作性。

根据以上原则，结合实验课程及《企业经营沙盘推演》课程的特点，我们利用层次分析法构建了《企业经营沙盘推演》课程的评价指标体系。

论文将《企业经营沙盘推演》课程评价体系用三个层次进行叙述，把评价指标体系服务的对象定为目标层A，即《企业经营沙盘推演》课程教学评价;准则层B为该课程评价的四个维度，即教学态度（B1）、实验内容（B2）、实验指导（B3）以及实验教学管理（B4）;指标层C包括该课程评价过程中使用的各项评价指标。具体评价指标如下：

1. 教学态度

C1—C3是用于评价教师教学态度的指标，主要包括教师授课时的态度、精神状态以及课程准备情况。教师严谨认真的教学态度、饱满的精神状态以及充足的课前准备是良好课堂教学的重要保障。

2. 实验内容

《企业经营沙盘推演》课程主要通过在软件平台中开设虚拟企业，并模拟现实中企业经营过程的方式让学生学习企业经营方面的知识。其目的在于使学生在市场分析、战略制定、资金筹集、营销策划和生产组织以及财务核算等相关活动中，对企业运作流程形成一个完整的体验，对企业资源现有的特性形成一种深入的理解，把握ERP的管理内涵，深刻领悟其科学客观的发展管理规律，为今后工作全面开展奠定较为扎实的基础。

基于上述目的，在该课程的实验内容部分设计了以下几项评价指标：

C4：实验目的及要求明确，且能够贴合课程教学的目的。该课程实验的内容应为教学目的服务，即让学生在课程学习的过程中积累未来实际工作所需的经验。因此对学生的要求应有助于使其了解企业经营的具体流程，并积极参与经营活动。

C5：实验内容完整，步骤明确。为了更好地服务于课程教学的目的，使学生能够更加透彻地理解企业经营活动中的规律，该课程的实验内容应能够覆盖现实中企业经营的全过程，同时为了使实验过程具备可操作性，实验内容应具有明确的操作步骤。

C6：实验内容之间衔接有序，逻辑性强。《企业经营沙盘推演》课程按年度开展经营活动，每年的业务应按照企业经营逻辑依次进行，各项业务之间应相互衔接，具备较强的逻辑性。

3. 实验指导

对于实验课程而言，教师对学生实验过程中的指导是必不可少的，教师指导的质量将直接决定学生对相关专业知识的掌握程度。因此在这一部分设计了以下评价指标：

C7：实验进度控制合理，能够用满规定课时。教师在授课过程中应合理把握实验进度，按照课程规定的课时进行授课。

C8：对学生经营结果的点评准确，具有指导意义。《企业经营沙盘推演》课程在学生每一年度的经营活动完成后需由教师对其进行点评。这一点评应力求准确无误，并能够从点评中指导学生后续的经营活动。

C9：对实验报告要求明确，可操作性强。《企业经营沙盘推演》课程结束后，学生需以小组为单位提交实验报告。在实验报告撰写方面教师应提出具体的、可操作性强的要求，以确保学生按照明确统一的要求对所学知识及感悟进行归纳总结，并顺利完成实验报告。

4. 课堂管理

课堂教学过程中教师对课堂的管理是非常重要和必要的一个环节，有效的课堂管理能够维持教学过程中的秩序和氛围。因此在课堂管理方面设计了以下评价指标：

C10：实验课堂管理有序，氛围良好。《企业经营沙盘推演》课程在学生实验过程中不同小组之间需要进行必要的协商交流。由于各小组之间属于竞争关系，因此教师应注意维持实验过程中的课堂秩序，确保课程实验的顺利进行。

C11：严格要求学生，对犯错误者及时批评指正。教师授课及学生经营过程中应严格要求其按照经营规则开展经营活动，如出现违反经营规则，进行不正当竞争的学生则应提出严肃批评，帮助其改正错误。

（二）构造成对比较矩阵

成对比较矩阵是层次分析法中重要的数据来源和依据，以展现出该层内每一个因素对于上一层内某个因素的重要程度。第一步是架构出准则层的两两比较矩阵（A），即比较准则层中教学态度、实验内容、实验指导以及实验教学管理四个因素对目标层（即《企业经营沙盘推演》课程教学评价）的影响及重要性。成对比较矩阵A中的元素aij展现出准则层内一对元素Bi和Bj（其中i、j均大于等于1小于等于4）对目标层的重要性。它们的大小是人为规定的，可由专家打分或由决策分析者给出。为了便于说明，本文中采用人工赋值的方式获取相关数据。赋值的标准采用Saaty所提出的1—9的比较标度，如表1所示。

（三）单层评价指标权重计算及一致性检验

在成对比较矩阵内，考虑到所有元素的值都是人为给出的，未必完全满足一致性条件，为了避免评价体系中的指标偏离实际情况，保证最终分析结果的准确性，必须对以上矩阵的最大特征值与特征向量进行定量分析，并由此完成一致性检验。该过程中用到的指标包括一致性指标、随机一致性指标以及一致性比例。

对于一个n阶矩阵，考虑到最大特征值即λ连续依赖于元素aij，所以只要最大特征值远大于n，那么就能反映出矩阵的不一致性相对明显，借助最大特征值相应的特征向量进行比较，则上一层内某因素作用于程度的权重向量导致的偏离越严重，此时可以利用λ-n来衡量矩阵的不一致程度。

进行实际应用时，可以允许矩阵有不一致性，但不能让矩阵的不一致程度不受约束。这就需要划出一个合理的范围，层次分析法借助下面的式子定量分析不一致程度。

以上CI代表矩阵的一致性参数;λ代表最大特征值;n代表矩阵的阶数。

考虑到需要定量分析CI，因此该方法采用随机一致性参数即RI，对它进行运算的过程为：

随机建立五百个成对比较矩阵，那么就出现了五百个一致性参数，RI就是这些参数的平均水平。用算式表达如下：

根據这一思路，针对不同阶数的矩阵计算出其RI值如下表所示。

在这一基础上定义了一致性比例的计算公式如下所示。

如果该指标小于1/10，则判断矩阵的不一致性处于规定的范围中，意味着可以通过检验。这种情况下，可把矩阵的特征向量当做权重向量。如果检验没有通过，就必须再次作成对比较。

就此设计的模型而言，借助SPSS得到成对比较矩阵A的最大特征值即λmax为4.209，根据公式1，A的一致性参数CI为0.07。参考表2发现如果矩阵是四阶的，则RI为0.89。再根据公式3计算出A的一致性比例CR为0.079，不超过1/10，故通过检验。准则层内的4个因素对目标层的权重分别是0.0895、0.5553、0.2349以及0.1203。

上述结果说明：在《企业经营沙盘推演》课程教学评价过程中，对其影响最为明显的是实验内容，其占比为55.53%;实验指导因素占23.49%，位居第二;排在第三的是课堂管理因素，占比为12.03%;最后是教学态度因素，占比为8.95%。

同理可得指标层各项评价指标的检验数据：CR为0.081，CR为0.005，CR为0.081，CR为零。因此说明指标层的所有指标的成对比较矩阵的不一致程度都在规定范围内。指标层对准则层的4个矩阵即B1到B4的权重见表3。

（四）整体权重计算及一致性检验

此项检验当中，对每一层内的每一个因素与评价指标对目标层的重要性权值作出定量分析。这些工作按照高至低层的顺序开展。这里首先计算图1中指标层各项评价指标对目标层（即《企业经营沙盘推演》课程教学评价）影响的权重。计算方法为将各层指标的单层权重对应相乘即可得到整体权重。举教学态度下的“治学严谨，认真负责”为例子来阐述。由前文计算可知“教学态度”（B）这一因素对目标层的影响权重为0.0895，而由表3可知“治学严谨，认真负责”（C）这一评价指标对“教学态度”（B）这一因素的影响权重为0.2311。因此“治学严谨，认真负责”（C）这一评价指标对目标层的影响权重可由上述两个单层权重相乘得到。即ωCA1=0.2311×0.0895=0.0207。

同理可得指标层中各项评价指标对目标层的影响权重如表4所示。

得到指标层内所有评价指标对目标层的影响权重后，再完成一致性检验。具体的步骤为：

假设准则层B内包含n个因素B，B，…，Bn，它们每一层的权重分别是b，b，…，bn。那么指标层C内某指标对B每一层权重的一致性是CI，相应措施随机一致性参数的平均值是RI，那么C的整体权重随机一致性比例为[5]：

如果该指标小于1/10，则说明整体权重达到一致性标准。

借助以上方法，可得到指标层對目标层整体权重的随机一致性比例是1/75，小于1/10，故通过检验。

借助以上定量分析，得到准则层内4个因素与指标层内所有指标对目标层的影响权重，以完成所有评价指标对《企业经营沙盘推演》课程教学质量评价影响权重的定量分析与确定，有利于对该课程的教学质量进行科学准确的量化评价。

四、结论

课程教学质量评价是高校教学工作评价的重要组成部分。此设计将在安全科学与环境科学当中普遍使用的层次分析法和课程教学评价融合起来，构建了基于层次分析法的课程教学评价模型，并以经管类高校本科阶段开设的《企业经营沙盘推演》实验课程为例进行了计算分析，从教学态度、实验内容、实验指导以及实验教学管理四个方面设计了共11项评价指标。利用层次分析法，在SPSS软件的支持下通过定量计算与分析确定了各项评价指标对目标层（即《企业经营沙盘推演》教学质量评价）影响的权重，从而有利于获得量化的评价结果，使其具有更强的说服力与参考价值。

参考文献：

[1] 邢永丽，孙冠南，黄光东.本科教学评价的层次分析法研究与应用[J].高教学刊，2021，（14）：50-53.

[2] 王小燕，田小丹.基于BP神经网络的ERP企业经营沙盘模拟课程评教模型的建立与实证[J].甘肃科技纵横，2010，39（1）：165-166.

[3] 王艳娥，梁艳，丁心安.基于聚类分析的课堂教学质量评价标准研究[J].软件导刊，2021，20（2）：234-237.

[4] 董彦佼，吴泓宣，罗丽君.基于文本大数据的MOOC教学质量评价方法研究[J].产业与科技论坛，2021，20（7）：252-253.

[5] 王传云.面向产出的评分等级自适应式课程教学质量评价方法[J]. 黑龙江教育（高教研究与评估），2021，（7）：21-23.

[6] 曹彩峰.大学英语教师教学质量评价方法探究[J].英语广场，2021，（159）：89-91.

[7] 王永为，高亚贤，郭森，等.OBE理念下高校课堂教学质量评价指标的构建研究[J].创新创业理论研究与实践，2021，（3）：149-151.

[8] 王莲芬，许树柏.层次分析法引论[M].北京：中国人民大学出版社，1990.

[9] 郭金玉，张忠彬，孙庆云.层次分析法的研究与应用[J].中国安全科学学报，2008，18（5）：148-153.

[10] 裴少婧，苏雅.层次分析法在高校教学评价体系中的应用研究[J].轻工科技，2021，37（4）：167-169.