教学质量多目标评价方法的研究及应用

曾燕， 陈高云

(成都信息工程学院软件工程学院， 成都610225)

教学质量多目标评价方法的研究及应用

曾燕， 陈高云

(成都信息工程学院软件工程学院， 成都610225)

针对课程教学全过程的特点对课程教学质量进行科学评价是教学改革的重要任务。提出基于惩罚因子的层次分析法建立课程教学质量多目标评价模型，采用学生评教数据、教师评学数据和课堂考勤提问等授课过程中的大量客观数据，利用层次分析法将教学质量量化，并采用惩罚因子对评价结果进行修正，对课程的教学质量进行综合评估，从而为课程教学的改革提供决策支持。将评价模型运用于课程教学过程化管理平台，对三个学院的37名教师和2100名学生的课程教学质量进行了评估实验，结果表明，基于惩罚因子的层次分析法的课程教学质量多目标评价方法能够客观、科学地反映教师的课程教学质量。

层次分析法；惩罚因子；多目标评价；教学质量

引言

随着信息化社会的发展，新时代更加需要兼具创新精神和实践能力的新型人才，教学质量的创新和提高是高等教育发展和社会各界时刻关注的问题之一[1]。要培养出优秀的实用型人才，课程教学是关键。课堂教学质量评价是教育质量体系的核心环节之一，国内外研究人员进行了广泛而深入的研究，提出了基于权值计算的问卷式主观评价模型[2]、全程性课程教学质量评价模型、多元化课程教学质量评价模型等多种课程教学质量评价模型。教学质量具有多维性的评价指标[3]，如Marsh和Dunkin提出：教学技能、师生关系、结构、组织和作业量五个评价维度[4]，以及Kolitch提出的课程组织、行为管理、学生成绩评价和师生关系四个评价维度[5]。

传统课程教学质量评价以学生评教为主，评教工作局限于以表格的形式统一评教，这样的评教方式在各大高校已运用多年，评价指标和评价方式的可信度较高。但该方法单一、片面，且师生间缺乏互动性，不能全方位地对教师教学、学生学习态度进行量化、客观的评价，并且难以对课程教学进行过程化管理和监控，教学改进存在滞后性。因此，提出基于惩罚因子的层次分析法的课程教学质量多目标评价方法，以提高课程教学质量评价的互动性和全面性，从而提高课程教学质量评价的科学性和可信度。

国内和国外研究学者对评价指标的权值算法进行研究，提出了很多有效的计算方法，如熵值法[6]、层次分析法(Analytical Hierarchy Process)、灰色关联分析法(Grey Relational Analysis)[7]和绩效二维结构法[8]等。其中层次分析法是课程教学质量评价模型中最常用的权值计算方法[9]。层次分析法是美国运筹学家匹茨堡大学教授萨蒂(Saaty T L.)提出，该方法对复杂的决策问题的本质、影响因素及其内在关系等进行深入分析的基础上，利用较少的定量信息使决策的思维过程数学化，从而为多目标、多准则或无结构特性的复杂决策问题提供简便的决策方法，也是针对难于完全定量的复杂系统做出决策的模型和方法[10-13]。

本文针对传统课程教学质量评价中存在的问题，利用层次分析法的决策优点，提出基于惩罚因子的层次分析法的课程教学质量多目标评价方法。该方法以层次分析法为基础，全面分析课程教学质量影响因素，并利用惩罚因子对课程教学质量不一致的评价结果进行合理标注并修建，以降低其对评价目标的噪音干扰，确保课程教学质量评价的有效性，提高课程教学质量评价的可信度。此外，依据课程教学质量评价结果的数据维度可视性、固有的概念模式、明确的匹配方式和反馈机制等结构特征，设计了基于惩罚因子层次分析法的课程教学评价方法，并结合该评价方法实现了课程教学过程化管理平台。该方法在教学全过程能够正确反映教师的教学质量情况，并能够对教学全过程进行全方位的考核，实现课程教学质量评价的有效性和客观全面性，进一步说明该方法在高等教育的课程教学质量评价过程中具有很高的推广价值。

1 基于惩罚因子的层次分析法

为全面分析课程教学质量的影响因素，实现教师的课程教学质量量化评估，在层次分析法的基础上引入惩罚因子，将课程质量评价的客观和主观因素用层次分析法进行独立分析，将判断思维进行数字量化，并用惩罚因子对结果进行平滑过渡调整操作，使某些噪音干扰收敛至平衡状态，以达到课程教学质量评价的客观性和合理性。

1.1术语解释

(1) 判断矩阵

假设有n2个因素，Χ为Xij组成的n阶判断矩阵，其中Xij为第i个元素对第j个元素的相对重要性。Χ记为：

(2) 一致性检验

一致性是指判断思维的逻辑一致性，如元素a、b、c，a比b重要，b比c重要时，则a一定比c重要，否则判断不合理，因此用矩阵理论对判断矩阵进行一致性检验。判断条件为：当CI=0时，该矩阵通过一致性检验，当CR≠0时，若判断条件满足：

(1)

表1 平均随机一致性指标

(3) 惩罚因子

图1 调整方向示意图

(2)

1.2层次分析法

层次分析法能够全面分析课程教学质量的影响因素，按照各因素之间的关联关系进行层次分类，通过专家意见列出因素的相对重要性，并对各因素进行运算和比较，得出不同方案的权值，从而为选择最佳的决策提供依据。层次结构模型以顶层为目标层，中间层依次为支撑目标的准则和子准则，底层为准则的方案层。层次分析法分为以下6步：

(1)首先确定研究的问题。

(2)把问题条理化、层次化，分析其因素的关联，并建立层次结构图。

(3)根据专家判定因素的重要性构造判断矩阵[12]，判断矩阵的判断标度含义见表2。

表2 判断矩阵标度含义

(4)计算判断矩阵的最大特征值λmax和几何平均值，求出各因素权值。

(5)根据最大特征值λmax和一致性检验标准进行一致性检验。

(6)将通过一致性检验的因素权值与其量值进行计算，即得到课程教学质量评价结果。具体流程如图2所示。

图2 层次分析法流程图

1.3基于惩罚因子的层次分析法

层次分析法是以专家意见为依据，对课程教学质量

的评价指标进行分类，然后分别利用层次分析法对分类结果进行建模训练和结果计算，得到各子目标的结果。

正常情况下，课程教学质量的评价可信度根据评价指标分值的一致性来判断，一致性越好，可信度越高。当评价指标分值不一致的时候，需要在评价指标平均值的基础上为评价指标的偏离程度设置一个惩罚因子，对偏离情形采用平滑过渡调整操作，使偏离收敛至一个平衡状态。则课程教学质量的计算公式为：

(3)

2 评价模型层次结构的建立

教学平台是高校教育的一种重要方式[15]，课程教学过程化管理平台是一个记录课程教学全过程的教学辅助平台，结合该教学平台的功能以及课程教学过程的特点，课程教学质量从学生评教、教师评学以及课程教学客观授课数据三方面进行评价，并根据该教学平台的数据对该方法进行验证。因此，利用层次分析法的分层思想，将课程教学质量设置为目标层，学生评教、教师评学以及客观授课为子目标层。

2.1评价指标

根据教学专家意见和课程教学过程化管理平台的功能支持，列出课程教学质量的影响因素，确定学生评教、教师评学以及课程教学客观授课为课程教学质量评价的三个子目标，包括10个维度和22个指标，见表3。

其中评教有效率为有效评教次数与评教总次数的比值，评教同意率为评教同意人数与评教参与总人数的比值。评教未申诉率为有效评教中教师未发起申诉的评教次数与有效评教次数的比值。评教申诉无效率表示无效申诉次数与评教申诉次数的比值。评教有效率、评教同意率、评教未申诉率和评教申诉无效率反应学生的评教态度和评教可信度，为学生评教的方案层评价指标。

表3 课程教学质量评价指标

评学有效率为有效评学次数与评学总次数的比值，评学未申诉率为有效评学中未申诉次数与有效评学次数的比值，评学申诉无效率表示无效申诉次数与评学申诉总次数的比值。评学有效率、评学未申诉率、评学申诉无效率反映了教师评学态度以及评学的客观性和有效性。为教师评学的方案层评价指标。

以课件上传量、下载量、组卷量和作业完成率等指标作为评估教师授课情况和学生学习情况的依据，能够较为客观的反应教师授课态度、授课内容以及学生的学习态度和对知识的掌握程度。因此，将课件上传量、下载量、组卷量和作业完成率等作为客观授课的方案层评价指标。

2.2层次结构的建立

根据对评价指标的分析，建立课程教学质量评价层次结构。整个层次结构分为四层，即目标层、子目标层、准则层和方案层。子目标层包括学生评教、教师评学、客观授课三个子目标；准则层涉及评教频度、评教分值、评学频度和课件资源质量等10个维度；方案层涵盖评教次数、评教分值、评学分值和资源上传量等22个评价指标。具体层次结构如图3所示。

图3 课程教学质量评价层次结构图

2.3指标权值的计算

以学生评教为例，计算准则层和方案层的权值。根据教学专家对准则层评价指标进行分析，判定各评价指标的相对重要性，并根据表4构成B0—B3的四阶判断矩阵。

表4B0—B3的四阶判断矩阵

根据判断矩阵计算B0—B3权值，即：

(4)

其中，χi为判断矩阵第i行的几何平均值[16]，即：

(5)

计算结果见表5。

表5 判断矩阵权值计算结果

使用相同计算方法对方案层评价指标进行计算，计算结果分别见表6、表7和表8。

表6C01—C02判断矩阵及相对权值

表7C21—C22判断判断矩阵及相对权值

表8C31—C32判断矩阵及相对权值

计算后，对数据进行一致性验证。经验证，结果均符合一致性要求。

由于方案层数据类型不一致，如评教分值为0-100分，评教次数0-20(评教次数与教学周次有关)，因此需要对不同数量级的数据进行数据标准化处理。利用线性变换法[17-18]对方案层数据进行标准化处理，目标A1的计算为：

(6)

其中，

(7)

其中，A1、Bi和Cij分别为子目标层、准则层和方案层的评价指标，Wi和Wj分别为Bi和Cij的权值。

3 实验与分析

3.1实验结果

将基于惩罚因子的层次分析法应用于课程教学过程化平台，利用课程教学过程化管理平台的学生评教数据、教师评学数据和客观授课数据，以软件工程专业的4名教师、2门课程和10个教学班级为例，实验结果如图4所示。

图4 两名教师两门课程教学质量结果

图4(a)为软件工程学院课程1，教师1对1-3班和教师2对4-6班的课程教学质量评价结果。图4(b)为软件工程学院课程2，教师3对1-2班和教师4对3-4班的课程教学质量评价结果。由图4可知，教师1和教师4的课程教学质量评价结果在80-90之间，教师2的课程教学质量评价结果在85-90之间，教师3的课程教学质量评价结果在75-85之间。结果表明，同一教师对不同教学班级进行课程教学，课程教学质量评价结果趋于一致，其差值较小。

对软件工程学院三名教师的三门课程进行课程教学质量评价。结果见表9。

表9 三名教师三门课程评价结果

三名教师的各课程教学质量结果对比如图5所示。

图5 三名教师多门课程评价结果图

由图5可知，对于教师1，课程3分值较高，课程1次之，课程2分值最低；教师2课程3分值较高，课程1和2分值较低；教师3课程2分值较高，课程1和3分值均较低。结果表明，同一教师对多门课程进行授课，其中只有1-2门课程的课程教学质量评价结果分值较高，其他课程教学质量评价结果相对较低，符合教师一般擅长对1-2门课程进行授课的现实情况。

3.2实验分析

由实验结果对比可知，以学生评教、教师评学和客观授课三方数据进行课程教学质量评价，从验证结果可以看出，教师对同一课程的不同教学班级进行授课，其课程教学质量评定结果趋于一致，其差值较小。对不同教学班级的三方数据、惩罚因子的大小和惩罚方向进行分析，判断不同教学班级存在的问题。如教师对班级1的授课，教师评学为异常数据，三方数据平均分为85.0，惩罚因子-0.039，表明该教学班级的整体评学成绩较低，教师应增加评学频度，以增加评学的可信度，另一方面，应注意改善班级的学习氛围，以提高课程教学的整体质量。

针对同一教师对不同课程进行授课的情况，其课程教学质量评价分值越高，表明教师对该门课程越擅长。如图5所示，教师A和教师B均擅长课程3的授课，比较教师A和教师B对课程3的惩罚因子和课程教学质量评价分值，教师A和教师B的惩罚因子均为-0.031，而教师A的课程教学质量评价分值高于教师B，因此，选择教师A对课程3进行授课，教师C擅长对课程2进行授课。

4 结束语

本文面向课程教学质量评价的客观性、全面性需求，提出基于惩罚因子的层次分析法的课程教学质量多目标评价方法。该方法能够客观反映教师和学生之间课程教学的授课与学习情况的质量，并能快速判断教学中存在的问题，在全面性和客观性上具有突出优势，此外层次分析法计算方便，可操作性强。基于惩罚因子的层次分析法的课程教学质量多目标评价方法在提高教学互动性和对课程教学质量进行智能评价的同时，为教师和学生提供教学综合评价，为教学管理人员提供教学辅助决策支持，在高校课程教学质量评价中具有广阔的应用前景。

[1] Anthony S,Frank W.The postmodern university-contest visions of higher education in society[M].New York:Open University Press,1997.

[2] 田 静,生云龙,杨长青,等.国内高校教师评价体系的变迁历程与阶段特征[J].清华大学教育研究,2006,27(2):58-61.

[3] Herbert W M,Michael B.Multidimensional students’ evaluation of teaching effectiveness:a profile analysis[J].The Journal of Higher Education,1993,64(1):1-18.

[4] Herbert W,Marsh D M.Students’ evaluation of university teaching:a multidimensional perspective[J].handbook of research and practice,1992,8:173-234.

[5] Kolitch E,Dean a v.Student Ratings of Instruction in the USA: hidden assumption and missing conceptions about good’s teaching[J].Studies in Higher Education,1999,24(1):27-42.

[6] 史琪立,张俊凇,付 敏,等.基于层次分析法和熵值法的学生评教模型[J].科技信息,2013(13):128-128.

[7] 蒋慧峰.基于灰色关联分析法的学生评教模型[J].湖北工业大学学报,2011,26(3):106-109.

[8] 胡仲勋.基于绩效二维结构模型的高校教师绩效考核指标体系构建[J].郑州师范教育,2012(3):23-27.

[9] Liu Jing.Research on classroom teaching quality evaluation of Chinese as a foreign language based on AHP model[J].Applied Mechanics and Materials,2013(411-414):2957-2960.

[10] Saaty T L.A scaling method for priorities in hierarchical structures[J].Journal of mathematical psychology,1977,15(3):46-51.

[11] 张 明,张兰平,罗 元.基于模糊数学方法的高职教师绩效评价模型[J].硅谷,2009(22):49-50.

[12] 许成鹏.基于层次分析和模糊数学方法的高校教师绩效评价[J].黑龙江高等教育,2007(3):82-84.

[13] Saaty T L.How to make a decision: the analytical hierarchy process[J].European Journal of Operational Research,1990(48):9-26.

[14] 徐 俊,刘 娜.层次分析法的基本思想与实际应用[J].情报探索,2008,12:113-115.

[15] Meng Qian.Research on the construction of teaching resources platform in universities[J].Lecture Notes in Electrical Engineering,2014(269):1149-1154.

[16] 邓 雪,李家铭,曾浩建,等.层次分析法权值计算方法分析及其应用研究[J].数学的实践与认识,2012,42(7):97-100.

[17] 李 光,吴祈宗.基于结论一致的综合评价数据标准化研究[J].数学的实践与认识,2011,41(3):72-77.

[18] 俞立平,潘云涛,武夷山.学术期刊综合评价数据标准化方法研究[J].图书情报工作,2009,53(12):146-149.

Studies and Applications of Multi-objective Evaluation Method of Teaching Quality

ZENGYan,CHENGaoyun

(School of Software Engineering, Chengdu University of Information Technology, Chengdu 610225, China)

Aiming at the characteristics of the whole process of courses teaching, making a scientific evaluation of courses teaching quality is significant for teaching reform. The proposed work is to construct a Multi-objective Evaluation Model (MEM) of courses teaching quality based on the Analytic Hierarchy Process(AHP) with the penalty factor. With large amounts of objective data from the practical teaching process which including the students’ evaluation result of teaching, teachers’ assessment data, students’ attendance and questions in the class, the quality of the courses is quantized by using the AHP, the evaluation result is amended by using penalty factor and the teaching quality of courses is evaluated comprehensively, thus a decision support is provided for teaching reform. The experiment gathers the data from three colleges, covering thirty-seven teachers and twenty-one hundred students, and utilizes the MEM to the Teaching Process Management Platform to make the quality evaluation of the courses teaching. The result shows that the MEM based on AHP with the heuristic penalty factor can reflect the teaching quality of teachers objectively and scientifically.

AHP; penalty factor; Multi-objective Evaluation; teaching quality

2014-09-10

四川省教育厅基金项目(11ZA269)

曾 燕(1989-)，女，四川内江人，硕士生，主要从事数据挖掘方面的研究，(E-mail)703861403@qq.com 陈高云(1963-)，女，安徽霍邱人，教授，主要从事数据集成与可视化方面的研究，(E-mail)cgy@cuit.edu.cn

1673-1549(2014)06-0086-06

10.11863/j.suse.2014.06.22

TP315

A