基于层次分析法的混合式教学评价体系研究

李行 邱明 蔡彬卓 张雷

[摘 要]混合式教学以其灵活运用不同教育技术和教学手段，结合网络教学与课堂教学的优势，成为目前主流的教学模式之一。对教学过程进行科学的评价，更有利于掌握、优化教学方法。项目组使用层次分析法，从混合式教学的特点出发，把教学过程分为线上和线下两个部分进行评价。线上教学评价针对的是网络教学资源，线下教学评价针对的是课堂教学活动。针对数字设计类课程，构建出较完整的混合式教学评价体系。该教学评价体系为课堂上科学地开展混合式教学提供了有意义的实践参考，也为同类型课程开展教学评价提供了有效途径。

[关键词]混合式教学;层次分析法;网络教学资源;课堂教学活动;评价体系

[中图分类号] G434 [文献标识码] A [文章编号] 2095-3437（2021）02-0039-04

随着教育信息技术、教育教学理论的迅猛发展，许多新信息技术环境的教学理念应运而生。20世纪90年代后期，混合式教学的概念被提出[1]，并在近二十年得到不断发展与实践。混合式教学在技术上的包容性与理念上的延展性，以及采用自主学习与教师引导相结合的教育理念，使之成为当今主流教学模式。杨歌谣[2]对2005年到2018年的混合式教学评价文献进行了综合分析，认为评价指标分值应根据课程特点灵活设置，教师教学工作的评价也要涵盖线上和线下全过程。杨洁[3]认为，应该结合混合式教学实施流程设计评价体系。熊素娟[4]借鉴美国学者柯克帕特里克的理论，构建了反映层、学习层、行为层、结果层的四层次评估模型。韩晓玲等人[5]采用层次分析法构建了针对网络教学资源的评价体系。尽管学界对混合式教学的评价进行了大量研究，但其仍处于宏观性、探索性、一般性的研究阶段[2]，一些问题还有待解决，例如混合式教学的特点与优点如何在评价指标中体现、如何处理好不同类型课程的评价指标和权重、如何更具体的量化评价指标等。

本文建立了数字设计类课程的混合式教学评价体系，该评价体系从混合式教学基本理论出发，既体现出混合式教学的特点和优点，又考虑到课程类型的差异性，同时还具备较强的量化性。数字设计类课程混合式教学评价体系的构建很好地监督了混合式教学实施过程，提高了教学质量，也为其他类型课程的教学评价构建提供了参考。

一、研究的理论基础和方法

（一）线上与线下特点分析

混合式教学是一种将线上教学与线下教学有机结合的教学模式。在线上教学中，教师在网络教学平台中建设及发布丰富合理、结构性强、交互性强的网络学习资源供学生自学。线上教学最主要的教学活动还是学生利用网络学习资源进行学习，所以，评价线上教学重点是针对网络教学资源。值得一提的是，这些教学资源并不只是单向性的资源，还包括学生与教师进行互动的各种交互式资源。

在线下教学中，教师则需要设计与实施有混合式教学特点的教学活动，这些活动不仅是“教”，还有检验、探究、实践、交流、展示、激励等。这些教学活动的设置一定要突出学生的主观能动性，在教师的引导下，学生对知识与技能进行学习，而且这种学习不应当只是单纯地被动接受，更应该多维度地进行能力的构建，所以，评价线下教学的方法应当是针对教学活动质量进行评价。

（二）数字设计类课程的混合式教学分析

混合式教学方法提倡针对不同类型的课程采用不同的教学方法，不同类型课程的网络教学资源和课堂教学活动必定有较大的区别[2]，必须对课程按维度进行聚类分析，采用三个维度，即理论—实践、面授—网络、记忆—交流。以课程类型为依据，聚类为理论讲授型、技能实践型、开放学习型，每种类型下又含二级类型，如技能实践型包含实物操作型、电脑操作型、工作技能型等。此时，可以对同类型课程设计评价体系，这保证了较高的精准度和适应性，而且在迁移到其他类型的课程时也具备重要的参考价值。

将数字设计类课程作为研究对象，该类课程属于技能实践型下的电脑操作型。数字设计类课程是将计算机与其他领域的学科结合起来，将计算机与媒体技术结合起来的课程，媒体技术主要包括文字排版、平面图像、三维图像、动画、网页、视频、音频、多媒体等，涉及的软件有Word、Photoshop、3dmax、Flash、Dreamweaver、Premiere、Audition、PPT等。这一类课程的教学特点与混合式教学模式非常契合，如以实践能力为导向、依赖数字化资源、运用多媒体环境、充分发挥学生的主观能动性等，所以数字设计类课程采用混合式教学模式具有优势[6-7]。

（三）基于层次分析法的评价体系构建

项目组以八门数字设计类课程的混合式教学实践为基础，在四个学期的混合式教学实践中积累经验，收集教学数据并进行整理。同时，针对混合式教学课程实例进行了专家咨询及问卷调查，问卷对象包括了学生、授课教师、研究者，并对反馈的数据进行了信度和效度的分析，保证数据的可靠性。美国运筹学家匹茨堡大学Saaty教授最早将层次分析法[8]用于美国国防部的“根据各个工业部门对国家福利的贡献大小而进行电力分配”课题，运用层次分析法构造系统模型，应用网络系统理论和多目标综合评价方法，提出一种层次权重决策分析方法。该方法分为四个步骤：建立层次结构模型、构造判断矩阵、层次单排序及其一致性检验、层次总排序及其一致性检验[5]。按层次分析法的建模步骤，计算出各指标的权重，从而得到一套完整的评价体系。

二、构建混合式教学评价体系

（一）评价体系与指标的确立

一级指标有两个，分别是网络教学资源和课堂教学活动，这样符合混合式教学特点，而且也便于进行评价。

数字设计类课程的混合式教学模式下的课堂教学过程一般有三个环节：一是自主学习效果检验环节，该环节对线上学习效果进行监督与检验，以测试学生的基本知识与技能的掌握程度;二是探究学习及创意设计环节，该环节是课堂教学的核心环节，锻炼学生对知识技能的灵活運用并构建解决问题的能力;三是作品展示及交流总结环节，该环节能够激发学生的学习热情，构建协作能力，并能总结延展本课的知识技能[9]。这种针对教学环节的评价指标在评课时具有更强的可操作性，而且对教学设计也具有很好的指导作用。对应这三个一级指标，分别确立了3个、4个、3个二级指标，整个评价系统的结构模型如表1所示。

网络教学资源依据使用方法分为自学资源和交互资源两大类。自学资源主要依赖学生自学，教师将相关资源放到网络平台上，资源使用方式是人机交互;而交互资源则是需要教师更多地参与，师生间能形成引导、交互、监督、检测等互动方式。对应这两个二级指标，分别确立了4个、3个三级指标。网络教学资源部分的评价模型如表2所示。

（二）构造两两判断矩阵

在问卷设计的时候我们考虑到了可比较的评判方式，比如完成指标的时长、指标的必要性、对学生各方面能力影响的大小、烦琐程度等，并基于这些比较方式、信度和效度分析剔除了一些影响极小且不好比较的指标，合并了一些不易区分的指标。考虑到评价指标的差异在前期工作中已经相对减小，最终采用1、2、3的比较标准，依次代表同样重要、比较重要、绝对重要，得到的一级判断矩阵可表示为：

其中，A、B、C、D、E、A1-A3、B1-B4、C1-C3、D1-D4、E1-E3所代表的意义见表1、表2。

（三）一致性检验

矩阵中的指标是否合理，取决于各指标的重要性排序是否具备一致性，对于一个严格的一致阵而言，应该满足aij·ajk=aik。然而，以主观判断方式构造的判断矩阵不可能也没必要服从这种严格的一致性，对于不一致，只要在允许范围内，我们仍然认为是可接受的。Saaty对一致性的定义给出了建议[8]，对应于判断矩阵最大特征根λmax的特征向量，经归一化（使向量中各元素之和等于1）后记为W，在使用计算机计算的情况下，适于采用幂法求解，经过若干次迭代计算，按照规定的精度求出判断矩阵A的最大特征值及其对应的特征向量。W的元素为同一层次因素对于上一层次因素某因素相对重要性的排序权值，可使用该权值对指标的重要性进行衡量。由于矩阵的最大特征根λ的连续依赖于aij，则λ比n阶正互反阵的n大得越多，矩阵A的不一致性越严重。用最大特征值λmax对应的特征向量作为被比较因素对上层因素影响程度的权向量，其不一致程度越大，引起的判断误差越大。因此可以用λ-n的大小来衡量矩阵A的不一致程度。定义一致性指标：CI=（λ-n）/（n-1），则CI越大，一致性越差。为了衡量CI的大小，计算500个随机矩阵CI，求它们的均值，构造出随机一致性指标RI，定义一致性比率CR=CI/RI，当CR<0.1时，认为一致性可接受。计算出各矩阵的一致性如表3所示。

（四）混合式教学评价体系

在一致性通过后，计算层次单排序和层次总排序，最后计算出各指标的权重，从而得到整个评价体系表，如表4所示。为了方便实际评价工作中的运用，将权重值近似化处理，转换为百分制的对应分数，其中数字的单位为分。

基于该评价表，可以得出以下观点。

1.从传统教学转换到混合式教学，不可能也不应当进行割裂式的转变，原有的教学环节仍然有较大的占比。在这其中，“探究学习”“创意设计”这两个环节有35分，如果加上一些传统教学一直使用的指标，如“作业点评”“交流展示”等，将占到50分以上。这使得教师在做混合式教学改革的时候，不至于前功尽弃，另起炉灶，完全能够在原有的基础上改进教学模式，充实教学内容。

2.混合式教学提倡的“以学生为中心进行能力构建”也在这个体系中得到了比较好的体现，与这个思想联系紧密的几个指标，如“视频教程”“案例资源”“作业测试”“问题探究”“创意引导”“交流展示”等，加起来的分数也超过了50分，相对于传统教学改变较大。这不仅要考虑教师的讲授，更要考虑教师是否能充分为学生提供自主成长的环境，是否能通过师生、生生间的深层次互动引导学生去构建能力。

3.有些指标的课程特点比较明显，如“评比方法”指标，仅占2分，但实际上这个指标的实现需要收作业、批改、统计结果，从教师花费的精力来看，应该要大许多。数字设计类课程的教师对教育技术的掌握较好，在这个指标上，基本能够通过计算机自动完成，如使用平台收集作业、点赞评价、数字化统计等，所以并不会耗费太多精力。再比如“教学课件”指标仅有3分，如果是理论讲授型的课程，课件是非常重要的，而在数字设计类课程中，课件只是讲授少量的基础理论，或是作为教学活动的辅助，并不显得非常重要。

三、结语

本文通过对数字设计类课程的教学实践及问卷数据分析，构建数字设计类课程的混合式教学评价体系。利用层次分析法，科学分析各指标的权重，建立层次结构模型，构造判断矩阵，一致性检验，最终得出混合式教学评价体系的各指标权重。针对有共性的同类型课程，紧密结合混合式教学的特点，把混合式教学分为两大模块进行分析，通过科学量化评价指标，使得该评价体系比传统评价体系的评价目标更明确，评价更精准。对混合式教学的教学效果实现了精确衡量，这为混合式教学的教学设计与实践提供了重要的参考。

[ 参 考 文 献 ]

[1] 冯晓英，王瑞雪，吴怡君.国内外混合式教学研究现狀述评：基于混合式教学的分析框架[J].远程教育杂志，2018（3）：13-24.

[2] 杨歌谣.混合式教学模式下教学评价的文献综述与展望[J].高教论坛，2019（2）：64-67.

[3] 杨浩.高职院校混合式教学质量评价指标体系构建与应用实践[J].中国职业技术教育， 2019（11）：69-75.

[4] 熊素娟.基于“柯氏模型”的混合式教学效果评估体系构建[J].无锡职业技术学院学报，2017（1）：24-27.

[5] 韩晓玲，许娟.混合式学习课程资源评价指标体系的构建[J].现代教育术，2018（12）：34-40.

[6] 李行，张丽珠.数字媒体设计类课程的混合式教学设计研究与实践[J].现代职业教育，2018（18）：136-137.

[7] 李行，邱明.基于混合式学习模式的Photoshop图像设计课程教学设计探究[J].大学教育，2018（1）：20-22.

[8] Saaty T. L. The Analytic Hierarchy Process[M]. New York： McGraw-Hill， 1980.

[9] 李永.轻松掌握翻转课堂（第一版）[M].北京：清华大学出版社， 2018.

[责任编辑：陈 明]