教师发展导向的直播教学评价表开发与验证

姒依萍　邱美秀　庄舰　 黄静茹

摘  要： 本研究旨在阐述“高职院校网络直播教学评价表”的指标、内涵及其开发过程，该评价表包括学生学习、教师教学、课程建设和课堂文化4个维度，共12个指标，采取1-4分四级计分。39位高职教学管理人员和拥有网络直播教学经验的一线教师及249位学生提出的建议提高了评价表的建构效度和表面效度。3位高职院校教学督导对18个网络直播教学录像样本进行独立评分，评分者间一致性比例为76.23%，组内相关系数为0.815。表明该评价表具有可接受、良好的信度。该评价表不仅能够提供可靠一致的评分结果，保障高职院校网络直播教学品质，还能够为开展网络直播教学的高职教师提供明确的导向和有效的指导，起到教师教学发展的效果。

关键词： 教师专业发展; 网络直播教学; 评价表; 高职院校

中图分类号： G712          文献标志码： A          文章编号： 1671-2153（2020）04-0034-09

一、研究背景

为了有效防控新冠肺炎疫情，我国大中小学推迟2020春季开学时间。疫情之下，各地高校积极响应“停课不停学”的国家号召，通过线上教学的方式最大限度保障原定教学计划的实施，大批高校教师纷纷开启网络直播教学。

教育部高教司吴岩司长在2月12日的“国务院应对新型冠状病毒肺炎疫情联防联控新闻发布会”上指出，“不提倡、不鼓励、不希望、不建议每一位老师都做直播课”。在过去几年里，我国已经在多个线上课程平台陆续推出了几万门课程，有很多是经过精心组织、精心培育、精心遴选的好课程，为各级各类教育提供了优质的教学资源。然而，在高等职业教育中，大部分专业课程是基于地方经济发展状况和所需的人才规格而开发的，具有鲜明的区域性和地方性特色[1]，开放平台上的在线课程可以作为课题教学的补充，但是远远不能满足各地职业技术教育的实际需要。

在此次疫情中，高职院校教师普遍选用腾讯、钉钉等办公社交软件，或超星、蓝墨等专业的线上教学平台，通过“屏幕分享”或“摄像”等模式与学生实时连线，開展直播教学。不少高校教师表示，网络直播教学与传统课堂教学相比，虽然在课堂管理、交流互动等方面有一定的局限性，但也表现出诸多传统课堂教学不可比拟的优越性。如学生可以通过教学录像回放功能反复学习相关内容;不受座位远近的限制，可以在电脑屏幕上清楚地看到教师的演示和板书;可以缓解部分学生面对面交流的焦虑和畏惧等。

随着产教融合的不断深入，高职院校扩招规模的持续加大，以及高职院校社会培训功能的强化，网络直播教学以其在突破时空限制上的独特优势，必将成为高职院校教学的重要组成部分。

目前大部分高职院校教师对网络直播教学缺少充分的理论认知和技术准备，对于如何上好网络直播课倍感迷茫，甚至出现担心焦虑的状况。而对于学校教学管理部门而言，传统的线下教学评价标准显然不适用于网络环境下的教学。制定一套稳定可靠的评价工具来监督和评判网络直播教学的品质是当务之急。

教学评价表作为评判和保障教学品质的重要工具，在教学实践领域广泛应用。而指标建构合理、内涵表述清晰的教学评价表，还能帮助教师理解优质教学的特质，积极开展有效的教学反思，起到促进教师教学发展的作用。Allsopp、DeMarie、Alvarez-McHatton 与Doone[2]的研究表明，结构化的课堂观察与评分表能够为教师架起理论与实践之间的桥梁，是促进教师教学发展的有效工具。张志恒[3]的研究也证实，通过分析评分表所产生的量化和质性数据，能够对教学状况作出更为准确的判断，为制定教学改进和教师发展策略提供可靠的依据。

本研究拟开发一套适用于高职院校的网络直播教学评价表，一方面，便于学校教育管理部门评判和监督网络直播教学的品质，另一方面，增加高职院校教师对网络直播教学的认知，起到促进教师教学发展的作用。

本研究包括以下两个问题：（1）高职院校网络直播教学评价表的结构与内涵为何？（2）高职院校网络直播教学评价表表的信度与效度如何？

二、研究设计

根据Moskal与Leydens[4]的建议，本研究将分以下三个阶段完成高职院校网络直播教学评分表的开发和验证，分别为：拟定初步指标与内涵、效度验证与信度验证（详见图1）。

第一阶段：初步拟定指标与内涵。这一阶段我们在广泛的文献回顾基础上，逐步构建起高职院校网络直播教学评价表的框架与内涵。首先，我们参考教学观察评价标准的相关文献，确定网络直播教学的观察维度和具体观察点;其次，我们需要了解网络环境下特有的教学评价指标。在2019新冠肺炎疫情之前，网络直播教学在高校的应用并不普遍，相关的研究也不多。我们在万方数据平台上以“网络直播”、“直播教学”为关键词、时间跨度为近10年（2010-2019），搜索到的CSSCI期刊论文仅为31篇（搜索日期2020年3月5日），尚未查询到关于网络直播教学品质评估的研究。不过，我国高校在线课程已有近20年的发展历程，学术界对在线课程的质量认定开展了多角度的研究，其中不乏对质量认定标准的探索。这些研究成果为网络直播教学评价指标的确定提供了宝贵的线索;再次，作为高等教育和职业教育结合体的高等职业教育，不仅要满足高等教育的基本要求，更要体现职业教育的鲜明特色。我们进一步查阅国家关于高职院校教学改革的相关指导性文件，并提炼出高等职业教育线上教育的特有元素。

第二阶段：效度验证（validity testing）。根据Moskal与Leydens的建议，本研究从建构效度（construct validity）和表面效度（face validity）两方面验证评价表的效度。建构效度是指一个测验实际测验其宣称或标榜要测验的项目的程度。在本研究中，是指评价表能够反映高职院校网络直播教学品质的程度;表面效度是指测试工具能否让测量者明确需要测试的内容[5]。在本研究中，则是指评分表的文字表述是否能够使评分者和被评分者清楚地理解评分表的评价指标、特征内涵和计分标准等内容。

为了验证和提高评价表的建构效度和表面效度，本研究在拟定评价表初稿后，以开放式问卷的方式，征求教师和学生的意见。首先，我们向高职院校教学管理人员，教师发展专业人员及有网络直播教学经验的一线教师征求意见。开放式问卷包含四方面问题：（1）评价表是否涵盖了网络直播教学的主要评价指标？是否有需要补充的一级或二级指标？（2）各指标下不同等级的特征描述是否清晰易懂？有哪些地方需要修改？（3）该评价表能否让教师理解优质网络直播教学的特征以及网络直播教学中需要注意的问题？有哪些需要补充的吗？（4）您对此评价表的内容和使用还有哪些建议？其中3位教学管理人员被邀请依据评分表（初稿），对4个不同学科的网络直播教学录像进行尝试性评分，就评分表架构、文字表述及记分方式等提出更为深入细致的修改意见。

作为网络直播教学的直接受众，学生在网络直播教学过程中的体验和感受及其对网络直播教学的期待，也是评分表效度验证的重要资源。本研究继而向高职院校学生展开网络问卷调查，问卷设一个开放式问题，即“你喜欢怎样的网络直播教学？能给老师一些建议吗？”，被调查者需要提出3条建议。

本研究在归纳整理来自教学管理人员、教师和学生的建议和意见后，对高职院校网络直播教学评价表（初稿）进行了几轮修改，最后形成高职院校网络直播教学评价表（正式稿）。

第三阶段：信度验证（reliability testing）。本研究选取18段（每段40—120分钟）高职院校教师网络直播教学录像为样本，录像来源于工程、商贸、艺术、语言、公共基础等多个学科。3位有网络直播经验的高职院校督导充当评分者，正式评分之前，3位评分者就评分表的使用，参加了1个小时的线上研讨和尝试性评分练习。随后，3位评分者对照高职院校网络直播教学评价表（正式稿）对上述18段直播教学录像独立给出评分，再经由评分者间一致性比例（Percentage Agreement）和组内相关系数（Intraclass Correlation Coefficients，简称ICC）两种统计方法验证评分表的信度。

三、研究结果

（一）高职院校网络直播教学评价表指标及内涵

在课堂观察的指标方面，我国著名教育学家崔允漷[6]团队在丰富的理论和实践经验基础上开发的《课堂观察框架》，对各层级的教育均有指导作用。该框架以教师教学发展为出发点，通过学生学习、教师教学、课程性质和课堂文化4个维度，20个视角，68个观察点，回答“学生在课堂中是怎样学习的”“是否有效”“教师是如何教的”“教学行为是否适当”等教学中的关键问题，是帮助教师开展教学研讨和反思的有效工具。

在线上课程的品质评价方面，杨晓宏[7]等对国内在线课程质量认定研究进行了回顾梳理后发现，课程资源质量、课程实施质量、用户学习及学习平台保障是目前在线课程质量认定指标体系建构的主要维度。

在职业教育的层面，国务院于2019年1月24日印发实施的《国务院关于印发国家职业教育改革实施方案的通知》[8]（简称“职教20条”），对我国职业教育提出了全方位的设想，是指引职业教育发展的重要文件。《通知》中指出的深化校企合作、推进产教融合的思想，更是为高职院校教学改革指明了方向。此外，由教育部主办的全国职业院校教学能力比赛是高职院校教学领域的最高赛事，已经连续举办了8年，其比赛规则与评分标准经过几轮修改后，已较为成熟和稳定，体现了国家对高等职业教育的期望和要求。2019年全国职业院校技能大赛教学能力比赛评分指标包括5个指标，分别为：目标与学情、内容与策略、实施与成效、教学素养和特色创新[9]。

如前所述，本研究通过对课堂观察、高校在线课程评价标准相关文献的回顾梳理，及对高等职业教育教学改革相关文件和教学技能比赛规则的解读，初步拟定高职院校网络直播教学评价表，包含5个维度和12个指标，每个评价指标下区分4个等级，并详细描述了各个指标下不同等级的特征，由此生成的高职院校网络直播教学设计评价表初稿。

（二）评分表效度

1. 来自管理人员及一线教师的反馈

39位教学管理人员及一线教师填写了开放性问卷，对高职院校网络直播教学评价表（初稿）提出了修改意见。多数受访者认为此评价表（初稿）指标设置合理，基本涵盖了直播教学的品质标准，各指标的内涵描述详细清晰，有助于教师理解优质网络直播教学的特征并据此作出相应的反思和改进。同时，受访者也对评价表（初稿）的进一步优化提出了许多有建设性的修改意见。本研究首先将39位受访教师按T1—T39的序列编号，然后采用质性资料的主题分析法[10]，对问卷资料进行开放式编码和反复归类后，將受访者提出的建议归纳为以下6个主题和18个子主题（如表1）。

（1）教学设计与实施。20人次的反馈涉及教学的设计与实施，主要体现在教学方法（10人次）、教学目标（5人次）、教学评价（4人次）等三个方面。在教学方法方面，8人次的观点认为线上教学不具备实践和操作的环境，难以实现“做中学”，更难以将“真实的工作任务”作为知识和技能的载体。在教学目标方面，对教学目标“高阶性”的质疑相对集中。一方面，受访者认为“高阶性”的含义比较模糊，不容易形成共识;另一方面，他们认为在概论或语言等以基础知识讲授为主的课程中，很难体现“高阶性”。在教学评价方面，受访者认为对学生掌握程度的即时评估难以在有限的课堂教学时间中实现，需要利用课后时间，通过分析学生作业的完成情况或后台的数据得出结果。

（2）直播平台的选用。17人次的反馈涉及直播平台的选用，主要体现在平台的功能（7人次）、平台的网速（7人次）和平台的操作（3人次）等三个方面。首先，受访者认可平台的功能对教学效果的直接影响。目前老师们选用的直播平台虽然都能实现实时音视频传输，但是在教学功能上差异较大。一些以社交或办公为主的平台教学功能并不完备，课堂互动、学习评价和数据分析等受到很大的局限;而一些教学功能较强的平台在此次疫情中因无法承受突然增加的直播流量，普遍出现服务器超载当机。因此选择流畅而又具备强大教学功能的平台是对教师的一个考验。其次，网路传输速度作为直播教学重要的保障条件受到不少受访者的关注。受访者在肯定网络通畅重要性的同时，认为，网络速度受外界影响较大，不是教师本人所能决定和控制的。受访者对于网速是否应纳入直播教学的评价指标莫衷一是。此外，部分受访者认为教师应在熟悉平台功能的基础上熟练操作直播平台及相关的软件，充分发挥平台的功能，提高教学的效率和效果。

（3）评分表结构与内容。13人次的反馈涉及评分表的结构与内容，其中，4人次认为不同级别之间区分度不高，操作性不强，4人次认为评分表中应加入学生评教维度，2人次认为此评分表过于复杂，2人次认为应设定各维度的权重。

（4）课堂监督与管理。11人次的反馈涉及课堂监测与管理。学生的在线学习状态直接影响学习效果，但是在网络直播教学中，教师与学生无法面对面，无法直观地掌握学生的状态，学生是否准时进入直播间上课，是否专注于学习内容，是否中途退堂，都需要老师采用新的手段予以监督。受访者一方面认为对学生学习状态的监督非常重要，需要列入网络直播教学的评价指标，另一方面也表示实施有效的线上监督是一个巨大的挑战。一些受访者表示大学生已是成年人，过于直接的监督控制显得不信任学生，可能会引起学生反感。一些有经验的教师表示，除了采用点名、签到等常规的监督手段之外，可以将经常性地请学生答题、视频连线、奖励积分等互动活动自然地融入教学环节中，不仅能监督到学生的学习状态，还能增加与学生的互动，并及时了解学生对内容的掌握程度，起到过程性评价的作用。

（5）课程资源建设。6人次的反馈涉及课程资源的建设。受访者认为网络直播教学的品质有赖于课程资源的品质，如果教师事先将优质的课程资源进行有序地组织或已经搭建了较为完善的课程资源平台，通过直播教学加深对资源的理解和应用，在线课程资源与直播教学两者相得益彰，能够大大提升教学的效果。相反，如果事先的资源建设不充分，只是将传统的课堂教学复制到线上，则会限制教学活动的展开，对教学效果产生不良影响。

（6）课后学习与辅导。5人次的反馈涉及课后学习与辅导。受访者认为直播课堂只是整个教学过程中的一个环节，其效果很大程度上取决于直播前的准备及课后的辅导，所以应该增加对直播课前后环节的评估。如果学生事先对直播内容有充分的准备，学生在直播课上的参与度和教学效果会大大提高。另外，网络直播不同于传统课堂，教师难以直观地感受到学生对内容的理解和掌握程度，尤其需要通过课后作业或练习来确认教学效果，必要时应对个别学生开展个性化的辅导。

2. 来自学生的反馈

本研究收到学生问卷249份，其中男生155名（62.25%），女生94名（37.75%），大一学生171名（69.67%），大二学生78名（31.33%）。每位受访学生都有参与网络直播教学的体验，问卷请他们针对网络直播教学给老师提出3条建议。问卷星调查平台（https：//www.wjx.cn/）的“关键词分析”结果如表2所示。

通过对高频关键词所在语句的逐条细读，我们发现学生对网络直播教学的建议主要体现在教学过程、课堂氛围、课程内容和网络环境4个方面。

（1）在教学过程方面，“互动”这个关键词出现频率最高（82次），学生非常希望网络直播教学中能有更多的师生互动或生生互动。学生还希望教师能在教学中合理分配时间（27次），不要拖堂，多留一些思考和练习的时间，同时希望老师能放慢教学的节奏（26次），语速不要太快。

（2）在课堂氛围方面，学生希望教师更加有趣幽默（60次），希望直播课堂营造出生动活泼（17次）、轻松愉快（11次）的氛围。

（3）在课程内容方面，学生对教学中视频（39次）资料的使用提出了不少建议。他们一方面希望教师能多使用视频资料，帮助学生更好地理解抽象或难度较高的内容;另一方面，他们希望视频的时间不要太长，因为太长的视频不仅需要耗费很多流量，而且观看的效果也不好。还有不少学生希望老师提供上课的PPT（15次）和可回放的教学录像，便于课后复习和整理笔记。此外，学生希望课程内容更加丰富和充实（12次）。

（4）在网络环境方面，学生对平台的选用（15次）和网络速度（17次）表达了自己的想法，他们希望老师们能够使用统一的直播平台，避免下载多个直播软件，最好选用有回放功能的直播平台，并且希望直播平台足够流畅，不要频繁出现卡顿现象。

3. 高职院校网络直播教学评价表（正式表）

本研究结合上述来自教学管理人员、一线教师和学生的意见，对评价表初稿进行反复调整和修改，最终形成高职院校网络直播教学评价表（正式稿），详见表3。正式稿与初稿之间主要差异体现在以下几个方面：

（1）评价维度的调整。为了增加评价表的表面效度，即让评分者和教师更清楚地把握评价的观察点和指标内涵，本研究进一步参照沈毅力、崔允漷[11]的课堂观察框架，将正式稿调整为学生学习、教师教学、课程建设和课堂文化四个维度。其中学生学习维度下设有学习准备、学习状态、互动交流三个指标;教师教学维度下设有教学准备、教学过程、監督管理和课后辅导四个指标;课程建设维度下设有教学目标、课程资源和直播平台三个指标;课堂文化维度下设有创新思维和关系氛围两个指标。

（2）评价指标的重新归类和增删。根据教学管理人员、一线教师和学生的反馈意见，结合评价维度的调整，我们对部分二级指标进行了重新定位和增删。

（3）措辞的修改。鉴于较多受访者认为初稿教学目标维度下“高阶性”指标概念模糊，不易形成共识，且在基础课程中难以实现，正式表中不再将“高阶性”作为一个独立的指标，而是在课堂文化维度下以“注重培养学生智力和思维能力”体现;由于较多受访者认为直播教学中“做中学”的可行性较低，正式表中不再出现此字眼，而是在课堂文化维度下，以“鼓励学生讨论、探究真实问题”作为评判优秀的标准。

（三）评分表信度

本研究邀请3位有丰富高职院校教学经验和网络直播教学经验的校级教学督导作为评分者，根据评价表正式稿对18位高职院校教师提供的直播录像进行独立评分。

首先，我们计算3位评分者的一致性比例（percentage agreement）。以其中一个教学录像为例，3位评分者对指标1（学习准备）的评分结果分别为2分、3分、3分，可见有1位评分者与其他2位评分者有不同意见，于是我们在这一指标下标注“不同数=1”;又如，3位评分者对上述教学录像的指标3（交流互动）分别给出3分、3分、3分， 3位评分者意见一致，我们在此处标注“不同数=0”;如果3位评分者在某一指标上给出评分互不相同，则“不同数=2”。以此类推，如果12个指标下的不同数分别为1、1、0、0、1、1、1、0、0、0、1、0，将所有不同数加总，和为6。再利用公式（1-6/36）*100%，得出3位评分者对该教学录像的评分者间一致性比例为83.33%。详见表4。

根据以上计算方法，在本研究中3位评分者对18个教学录像的评分意见一致性比例分别83.33%、75.00%、83.33%、75.00%、80.56%、75.00%、72.22%、86.11%、77.78%、80.56%、75.00%、83.33%、77.78%、69.44%、61.11%、77.78%、80.56%、58.33%，得评分者间一致性平均值位76.23%。说明评分结果具有良好的评分者间一致性。

接着，我们采用IBM SPSS 23统计软件对评分结果进行组内相关系数（ICC）分析。根据Terry K. Koo与Mae Y. Li[12]的建议，选择“双向混合”模型，“绝对一致”类型，置信区间为95%。分析三位评分者对18个教学录像的平均分数，计算结果显示三位评分者的ICC为0.815，95%置信区间的上下限分别为0.601和0.925。F值为5.62，使用真值0的F检验自由度df1=17，df2=34，显著性Sig<0.001。Terry K. Koo与Mae Y. Li认为，当样本数量大于30时，组内相关系数低于0.5表示测量信度偏低，介于0.5～0.75之间表示测量信度中等，介于0.75～0.9之间表示测量信度良好，高于0.9表示测量信度优秀。

以上评分者间一致性比例（76.23%）和组内相关系数（0.815）的计算结果表明，本研究开发的高职院校网络直播教学评价表具有可接受、良好的信度，可以在一定程度上保障评分结果的可靠性和一致性。

四、讨论

2020春季，全国范围内的大规模网络直播教学固然是为了防控新冠肺炎疫情而被迫催生。但是，不难想象，随着高职院校产教融合的深入，对社会人士的持续扩招以及高职院校社会培训功能的不断增强，网络直播教学以其不受地域限制的强大优势，必将成为高职教学中的重要组成部分。因此，建立一套网络直播教学的质量标准，保障网络直播教学品质的同时，为教师开展网络直播教学提供必要的指导是当前一项重要的任务。本研究希望通过高职院校网络直播教学评价表的开发在一定程度上满足以上需求。

本研究在参考数十个线上教学评价表及回顾相关文献和文件的基础上，确定了高职院校网络直播教学评价表初稿。在广泛吸收高职教育专家、有网络直播经验的教师及学生的意见，并对初稿进行了若干轮的修改后，形成有良好结构效度和表面效度的高职院校网络直播教学评价表的最终稿。最后，通过评分者间一致性计算和组内相关系数分析，验证该评分表具有良好的信度，可以确保评分结果的可靠性与一致性。

该评分表虽可作为网络直播教学质量监控和评比的工具，但更希望让高职院校教师通过此表获得关于网络直播教学的必要的认知，为其开展或改进网络直播教学提供有效的参考和指导。

该评分表开发于新冠肺炎疫情暴发期间，广大教师为了配合疫情防控而投入网络直播教学，对网络直播教学的准备和经验相对不足，平台的选择和设备的使用上也稍欠熟练，包括研究团队对网络直播教学的前期探索也很不充分，必将导致该评分表存在不足之处。期待在后续的使用中，得到更多的反馈意见，使之更加完善。

参考文献：

[1] 房风文，张喜才. 我国高等职业教育与经济发展的匹配性分析[J]. 江苏高教，2019（6）：99-104. DOI：10.13236/j.cnki.jshe.2019.06.017.

[2] Allsopp， D. H.， DeMarie，D.， Alvarez-McHatton，P.，& Doone，E. Bridging the gap between theory and practice：Connecting courses with field experiences[J]. Teacher Education Quarterly，2006，33（1）：19-35.

[3] 张志恒，陈旭，叶梅. 以发展为导向的高校教师综合评价指标体系构建[J]. 重庆工学院学报（社会科学版），2009，23（3）：159-161. DOI：10.3969/j.issn.1674-8425.2

009.03.045.

[4] Moskal，B. M.，& Leydens，J. A. Scoring rubric development：Validity and reliability[J]. Practical Assessment，Research & Evaluation，2000（7）：71-81.

[5] Strauss，Milton E.，and Gregory T. Smith. Construct validity：Advances in theory and methodology[J]. Annual review of clinical psychology，2009（5）：1-25.

[6] 沈毅，林榮凑，吴江林. 课堂观察框架与工具[J]. 当代教育科学，2007（24）：17-21.DOI：10.3969/j.issn.1672-2221.2007.24.003.

[7] 杨晓宏，周海军，周效章. 国内在线课程质量认定研究述评[J]. 电化教育研究，2019（6）：50-57. DOI：10.13811/j.cnki.eer.2019.06.007.

[8] 国务院关于印发国家职业教育改革实施方案的通知[EB/OL]. （2019-02-13）[2020-05-08]. http：//www.gov.cn/zhengce/content/2019-02/13/content_5365341.htm.

[9] 2019年全国职业院校技能大赛教学能力比赛方案[EB/OL]. （2019-08-19）[2020-05-08]. http：//www.moe.gov.cn/s78/A07/A07_gggs/s8467/201908/t20190819_395002.html.

[10] Fereday， Jennifer， and Eimear Muir-Cochrane. Demonstrating rigor using thematic analysis：A hybrid approach of inductive and deductive coding and theme development[J]. International journal of qualitative methods，2006，5（1）：80-92.

[11] 沈毅，崔允都. 课堂观察：走向专业的听评课[M]. 上海：华东师范大学出版社，2002：104-107.

[12] Koo，Terry K.，and Mae Y. Li. A guideline of selecting and reporting intraclass correlation coefficients for reliability research[J]. Journal of chiropractic medicine，2016，15（2）：155-163.