线上线下混合式教学过程的评价指标体系构建研究

付蓉,郭梦珠,江艺羡,林征,胡志坚

(福建医科大学 公共卫生学院,福建 福州 350122)

线上线下混合式教学是将传统线下教学与信息化式线上教学结合起来的教学模式,已成为当代高等教育的重要教学方式,也是教学改革的关注点[1]。尽管线上线下混合式教学有诸多优势,但如何保证教学质量值得深思。教学评价能有效反映教学质量、保障教学实施,对整个教学过程有监督、激励和积极导向作用[2]。线上线下混合式教学需要一套适应的评价指标体系,以更好地监督混合式教学实施过程。根据评价结果促进混合式教学改革,找出目前教学方式的优势与劣势,针对不足之处采取改革措施,以提高线上线下混合式教学质量。

尽管已有研究建立了混合式教学过程的评价指标体系,但仍存在问题:(1)大多数研究限于理论性,评价指标太多且可行性较差;(2)个别评价指标无法量化、主观性强;(3)每个指标的评价方式、评价环节和评价主体不明确[3-6]。笔者在现有研究基础上,充分考虑科学性、可操作性、便捷性和可行性等,用德尔菲法和层次分析法,针对教师和学生建立线上线下混合式教学过程质量评价指标体系,并确定每个指标的评价方式、评价主体和评价环节,以便更好地规范线上线下混合式教学过程,提高教学质量。

一、研究方法

(一)德尔菲法

使用德尔菲法构建线上线下混合式教学过程评价指标体系[7]。

1.专家的确定。国家级(4人)和省级(12人)线上线下混合式一流课程负责人应邀参加,能保证研究期间参加几轮咨询。其中教授6人、副教授8人、讲师2人。

2.专家评价标准。专家积极系数(E)用问卷回收率表示,衡量专家参与的积极性。E=Nj/N,其中N为发出咨询表数,Nj为实际回收数。E>70%表明专家积极性高。

专家权威程度q为专家学术水平权数q1、指标熟悉程度q2和专家判断依据q3的算术均数,即q=(q1+q2+q3)/3,衡量专家对该领域的了解程度及咨询结果的可信度。q≥0.7表明咨询结果可信。其中,专家学术水平权数的量化值按“教授1.0、副教授0.8、讲师0.6和其他0.4”计算,指标熟悉程度的量化值按“非常熟悉1.0、较熟悉0.8、一般0.6、比较不熟悉0.4和非常不熟悉0.2”计算,专家判断依据及其影响程度的量化值见表1。

表1 专家判断依据及其影响程度的量化值

3.候选指标的确定。查阅文献、硕博士论文、慕课准则和国家级一流课程评审指标等,确定教师线上线下混合式教学过程评价指标体系的理论框架,分为教学态度、教学能力和教学效果3个维度;学生评价指标体系的理论框架为学习态度、学习能力和学习效果3个维度,包括41个教师候选指标和24个学生候选指标。

(二)层次分析法

笔者用层次分析法确定评价指标的权重[8]:(1)构建层次评价模型,即评价指标体系的理论框架,包括3级结构。(2)邀请16位专家中的5位专家面对面讨论,用层次分布法中1～9标度方法构造评价指标间相对重要性的判断矩阵。用方根法计算层次单排序的权重并作判断矩阵的一致性检验。若CR<0.1,表明评价指标间相对重要性的判断矩阵满足一致性标准,确定的权重体系可信。(3)用前几层层次单排序的结果,从最高层次向最低层次依次进行,用乘积法计算最低层次评价指标的组合权重,即最低层次评价指标的组合权重等于各层评价指标权重的连乘积。

(三)统计分析方法

用SPSS 26.0计算指标评分的均数、变异系数和满分率;用在线分析工具SPSSPRO进行层次分析,包括构建评价指标的层次结构模型、构造判断矩阵、确定每个评价指标层次单排序和层次总排序的权重。

(四)评价指标体系实践应用方法

以某高校省级线上线下混合式一流课程——“卫生统计学”为例,进行线上线下混合式教学过程评价指标体系的实践应用。教学团队共5名教师,授课对象为2021级检验检疫专业58名学生,总学时80学时,其中33学时依托中国大学慕课和学银在线平台进行线上教学。学生方面,利用学银在线平台的问卷发布功能,邀请每个学生按每个指标要求整体评价教学团队的教学态度和教学能力,同时自评学习态度和学习能力。采用定性评价,若满足则得分100,否则得分为0,最终计算每个评价指标的平均分。教师方面,组织5名教师面对面讨论,按百分制获得教师指标的自评分数和学生指标的评价分数。课程结束后,教师统计58名学生课堂小测、课后作业和期末考试的平均分作为学习效果指标的评价分数。

二、研究结果

(一)线上线下混合式教学过程评价指标体系

第1轮咨询:根据3位专家面对面讨论的意见和慕课准则确定用于第2轮专家咨询的47个教师和28个学生的候选指标。

第2轮咨询:共发放咨询表16份,回收咨询表16份,专家积极系数=1(100%),专家权威系数=0.93。教师候选指标的筛选标准为满足均数≥4.200、变异系数≤0.202且满分率≥0.426;学生候选指标的筛选标准为满足均数≥4.292、变异系数≤0.201且满分率≥0.467(表2)。根据上述筛选标准并结合专家意见确定用于第3轮专家咨询的40个教师和18个学生的候选指标。

表2 第2轮和第3轮专家咨询结果

第3轮咨询:专家积极系数=100%(回收16份/发放16份),专家权威系数=0.93。教师候选指标的筛选标准为满足均数≥4.216、变异系数≤0.165且满分率≥0.341;学生候选指标的筛选标准为满足均数≥4.100、变异系数≤0.201且满分率≥0.321。本轮中专家的修改意见明显减少,由于教师候选指标中“布置课后作业”和“布置有效讨论话题”不符合筛选标准,而学生候选指标中有“按时完成有效讨论”和“课后作业”,因此邀请3位专家进行第4轮咨询,面对面讨论第3轮咨询结果。

第4轮咨询:3位专家一致认为教师指标中“布置课后作业”和“布置有效讨论话题”是慕课准则中的要求且与学生候选指标相对应,应予保留,其他不符合筛选标准的评价指标可删除。最终的线上线下混合式教学过程评价指标体系包括33个教师和14个学生的评价指标(表3,表4)。

表3 线上线下混合式教学模式教学过程3级评价指标(教师)

表4 线上线下混合式教学模式教学过程3级评价指标(学生)

(二)线上线下混合式教学过程评价指标的权重

所有教师、学生评价指标间相对重要性的判断矩阵的CR值均为<0.1,表明判断矩阵符合逻辑、满足一致性标准。层次总排序结果显示,教学态度中“分析测验和学生提问情况,寻找学生学习难点”的权重最高(0.150),提示教师在线上和线下环节中均要及时了解学生学习难点,针对性教学,帮助学生掌握知识;教学能力中“表达清晰,条理清楚,逻辑性强”和“重难点突出”的权重均最高(0.066),提示教师要做好备课,有逻辑、有条理地授课能提升课程教学质量。

学生评价指标的层次总排序结果显示,学习态度中“按时完成自测题”的权重最高(0.068),提示学生需及时完成自测题,查漏补缺,进而全面掌握知识;学习能力中“了解章节重难点”的权重最高(0.069),提示学生在学习中应先了解章节重/难点,做到高效率、不盲目地学习;学习效果中“期末考试”的权重最高(0.413),这与目前高校考核学生的方式中期末考试的占比较大相对应,反映期末考试得分是评价教学质量的重要方面。

(三)卫生统计学线上线下混合式教学过程评价

由态度和能力的评价结果可知,师生均对该课程教学过程质量的评价较高,但师生在少数指标的评分上稍有差别。从教师角度来看,学生与教师互动交流的积极性和主动性较弱,使得师生间信息不对等,导致个别学生不认可教师的助学和督学工作以及教学设计、课堂驾驭和信息技术使用能力。提示教学团队在接下来的教学活动中需要增加师生间的互动,引导学生主动与教师沟通交流,了解学生的学习难点。

课前小测是学生网络自主学习后对基础知识点的考查,课后作业是对知识点的深入考查,期末考试是对所有教学内容的综合考查。从测验成绩评价结果来看,随着测验难度的增加,学生的成绩有所下降,反映该专业学生的学习效果有较大的提升空间。

三、讨论

线上线下混合式教学质量的众多影响因素中,教师的作用非常关键。教师是实施者、组织者和监督者,在教学活动中起组织领导作用。具体表现为帮助学生明确学习目的和方向,规定教学要求和内容,加工学习教材,用恰当的教学方法培养学生自主学习精神和自我教育能力等[9]。混合式教学模式属于“以学生为中心”的线上线下结合的创新模式,学生也发挥很大作用[10]。笔者针对教师和学生构建线上线下混合式教学评价指标体系,还确定了每个指标的评价方式、评价主体和评价环节。评价方式和评价主体的确定是为了保证评价的可行性,评价环节的确定是为了保证线上线下混合式教学过程各个环节的教学质量。研究显示,学生年级、学习成绩、课程属性和教师职称等均影响学生评教作用[11]。学生评教慢慢变成了教学考核、人事管理、学生教学事务控制的简单政策工具与手段[12]。因此,教学团队尊重专家的意见,最终评价教师的指标体系只包含教学态度和教学能力2个维度。

笔者在文献、硕博士论文、慕课准则和国家级一流课程评审指标的基础上,通过4轮德尔菲咨询确定了评价指标体系。在此过程中将专家咨询表单独发给专家,让其独立思考判断,实现低成本的集思广益。邀请的均为国家级或省级专家,积极性和权威性高,减少了主观因素影响。本研究充分利用层次分析法系统性和实用性的优点确定评价指标权重[8],评价指标间重要性判断矩阵得分由5位专家面对面讨论得出,受专家个人主观影响较小,具备更强的信服力。德尔菲法和层析分析法的应用提升了线上线下混合式教学过程评价指标体系的科学性。

从“卫生统计学”课程线上线下混合式教学过程评价实践应用来看,本研究构建的线上线下混合式教学过程评价指标体系操作简单易行,33个评价教师教学态度和能力以及11个评价学生学习态度和能力的指标均采用定性评价,学生只需按指标描述选择“是”或“否”,最终“是”选项的百分比即为评价分数;教师集体评分可在集体备课和教学总结会议上讨论得出;3个评价学生学习效果的指标在课程结束后统计成绩得出。采用学银在线平台的问卷发布功能进行学生评价,学生的参与情况计平时分,学生保持较高的评分积极性,保证问卷的回收率。通过师生评价结果,从评价指标分析线上线下混合式教学过程存在的不足,反馈教学效果,监督教学过程,从而采取有效的整改措施。同时学校可以对评价指标体系进行动态评价,发现整改闭环,最终达到提高线上线下混合式教学质量的目的。

综上,研究邀请国家级和省级专家为专家组,具有专业性和权威性。通过德尔菲法和层次分析法专家咨询构建的线上线下混合式教学评价指标体系具有科学性和可行性,可为学校教学过程质量评价提供参考。