学习行为分析视角下高职教师线上培训评价指标体系的设计

刘涛

（广东邮电职业技术学院计算机学院，广东广州 510630）

教育部下发的《国家职业教育改革实施方案》《职业教育提质培优行动计划（2020—2023年）》提出要完善国家职业教育制度体系，提质培优行动计划中也指出要提升教师素质，打造教师培训基地，将教师培训上升到战略高度。但现行的高职教师培训中，各大高职院校都重视培训，然而对培训效果缺乏监督管理，即所谓的“重培轻评”，这种现象十分普遍。即使有评价，但是评价往往只是流于形式，未能够公正客观地反映整体的培训效果。这不利于高职教师培训的长远发展，也不利于高职教师的职业发展，也是对培训资源的一种浪费。数字化时代的到来重塑了教育培训的业务生态，使线上培训成为新常态，如何评价线上培训的质量和效果成为教师培训研究的关注热点。

一、相关文献分析

培训评价指标体系是一种以数据为评判依据的客观评价培训效果的有效手段。目前相关研究成果十分丰富，本文对知网近10年发表相关内容的学术期刊进行了内容分析，发现目前关于教师培训评价的研究主要集中在以下两个方面：一是以柯式四级培训评估为代表的系列培训评估模型为研究视角，并基于这些模型规定的培训评价的方式和内容维度，构建特定对象的培训评价指标。如楼旭明企业E-Learning培训效果评价模型及指标体系，基于CIPP 和柯氏评估模型的教师工作坊研修评价指标体系，教师教育技术能力评价指标体系等［1-3］；二是随着新的教育培训行为分析验证理念的出现，如胡艺龄对在线学习行为的数据进行分析，提出通过数据行为分析验证学习效果的理念［4］，在此基础上一些学者构建了基于在线行为分析的教师网络学习空间评价指标体系［5］，用来评价教师网络学习的效果。有学者通过分析学生的学习行为，构建了在线学习模式下学生学习效果评价体系［6］。

上述学者的研究更多的是关注线下教师培训的评价，且评价的主体、标准大多数是以培训组织者的视角来进行，仅是为了评价而评价，且大多是主观的评判；评价的维度也十分宽泛，既有对授课教师的评价也有对培训组织管理的评价。但是对于学员的参训学习效果究竟如何进行客观的评判，至今未有一套完善的体系。数字时代，多元化的技术媒体与培训全流程的深度融合，产生的海量的学习行为数据，成为一种宝贵的“资源”，为参训学员学习效果的分析提供了新的重要途径，且教师线上学习行为本身具备的客观性、真实性强的特点，能够有效地反映出教师参训的态度、结果，这为高职院校教师培训评价体系的建立提供了新的解决思路，也是本文研究的切入视角。

二、高职教师线上培训学习的行为特征分析

高职教师线上培训的本质也是线上学习，只是参加学习的对象为高职教师，学习的内容相对普通学生来讲不是系统的知识体系，而是针对某一问题或能力定制化的内容，其学习的目的是提升某一项或多项能力。现有的学习行为研究也能为其提供参照和指导。数字时代大量技术媒体的深度应用，对高职教师线上培训行为的重塑产生了新的影响，变革了教师线上培训学习的行为表现。立足媒体的技术特性对高职教师线上学习行为数据的特征进行梳理，有助于为后续高职教师线上培训评价体系的建立提供支撑。

学习行为从动机角度可以划分为内显行为和外显行为两类，内显行为具有隐蔽性，难以直接测量；外显行为是学习者主动表现的行为，这类行为可以通过观测直接记录，且这类行为具有极强的真实性、不可更改性。外显行为是内显行为的间接体现，内显行为通过外显行为直接表达学习者当时的心态。高职教师的线上学习行为也具备同样的特性。分析高职教师的线上学习行为能间接反映当时学习者的心理和态度，为培训效果的评价，甚至培训组织采取干预策略提供指导。

自线上学习兴起后，关于线上学习行为的研究已成为国内外学者关注的焦点，但是现有的研究只是停留在学习行为分析的模型理论和构建上，对如何收集行为数据、评判行为研究相对匮乏［7］。线上学习行为数据是指学习者通过线上学习平台进行学习，并在学习过程中产生的行为数据，这些行为数据除了具备线下学习行为特性外，还会受到技术条件的限制，如学习平台的功能等，具有较强的隐蔽性和技术依赖。本文从技术的视角对高职教师线上培训学习行为的数据特征梳理，如表1 所示。

表1 线上学习行为数据的特征

线上学习行为数据的六个特征为构建基于学习行为分析的线上培训评价体系提供了根本遵循。但是也应注意到，数字化时代线上培训的行为数据是相当海量的，数据的记录存储方式各异，且存在标准上的不一致，能否快速汇总、梳理所有的行为数据信息是关键点，对整个培训的组织评判，具有决定性作用。同时线上学习行为数据的技术依赖性，会随着技术的不断发展进步变得越来越强，技术的进步也会进一步丰富和完善线上学习行为数据的信息，使其记录更加精准，评价更加客观、真实有效。

三、高职教师线上培训学习行为分类

线上学习也是一种教学活动，与传统教学唯一的区别是将教室这一物理空间，转为线上学习空间，这里的线上学习空间可以是单一的也可以是多元的，这与线上教学活动的设计相关。在以学习行为为基础的对教学活动分析的研究中，美国学者弗兰德的课堂行为分析法最为系统，应用也最广泛。其核心要义是以教师课堂教学为切入点，对教师课堂的教学活动进行记录、分类和编码，制定课堂行为编码分析的规则，通过课堂行为编码分析的方式，实现对教师课堂教学效果的量化分析，如教学模式分析、教学环节分析、存在问题分析。这也是本文学习行为视角下高职教师线上学习培训效果评价体系设计的根本遵循。因此梳理高职教师线上培训学习的行为关乎整个体系的应用效力。

为精准地对高职教师线上培训学习行为进行分类，结合高职教师线上培训学习行为的特征，本研究从高职教师线上培训常见的组织模式分析入手，重点关注培训采取的平台功能，对常见如教师继续教育平台、网络研修平台、社交学习平台如微信等几类媒体进行了功能分析；也对培训领域具有代表性的CSTD学习平台的功能进行了详细了解和梳理，总结出高职教师线上培训学习18 条常见的行为。需要指出的是，随着技术的进步，这些行为还会进行动态调整。

本研究认为高职教师线上培训学习其本质也是成人学习的一种方式，具备成人学习的特性。对成人线上学习行为分类的研究目前还不是十分完善，但是对于学习行为的分类研究已经相对成熟。比较具有代表性的是勒温的学习行为OCCP 层次模型［8］，从操作行为层（OB）、认知行为层（ColB）、协作行为层（CogB）以及问题解决层（PSB），学习行为的程度也在不断加深，层级越高说明其学习效果越好。按照该分类模型，结合高职教师群体特色和线上培训的现实情况，对高职教师线上培训学习的18 项行为分类梳理如表2 所示。

表2 高职教师线上培训学习行为分类

上述18 类行为中，1—15 类是可以直接通过线上培训平台的操作如实进行客观记录和反映的，是高职教师线上培训过程中最直接的行为，可以直观地反映和观测出参训人员的状态，可以为培训组织方、教师培训干扰提供参照。16—18 类是线下的通过工作检验的隐性行为，会带有一定的主观性，比较难以记录和观测，但一旦激发出类似行为，可以从侧面反映培训的效果和质量。同时行为与行为之间存在一定的层级性，层级越高代表学习越深入，对学习效果的反映越客观、真实，越能体现学习的效果。

四、学习行为视角下高职教师线上培训评价体系设计

目前对于线上学习行为分析模型的研究成果众多，如网络教学学习行为分析模型［9］、在线学习行为分析模型等［10］。这些模型只是在理论上对学习行为数据如何被采集、加工、处理、分析给出了指导，但是究竟如何进行实践应用，目前还缺乏相关的研究。本文立足弗兰德分析法的编码矩阵分析模型，构建了高职教师线上培训学习评价的分析机制，主要包括高职教师线上培训学习行为评价编码表、数据分析处理矩阵。

（一）高职教师线上培训学习行为评价编码表

学习行为视角下的高职教师线上培训效果评价的核心前提是收集记录学习过程中教师的行为数据，并将其量化。因此需要建立高职教师培训学习行为信息记录收集的工具。立足前文对高职教师线上培训学习行为的分类，结合开展效果评价的需要，基于弗兰德课堂行为分析方法的要义，设计了高职教师线上培训学习行为评价编码表，如表3 所示。

表3 高职教师线上培训学习行为评价编码表

（二）数据分析处理矩阵

高职教师线上培训学习行为评价中涉及的教师行为记录者包括多方，主要是系统操作日志、具有线上培训管理权限的培训管理人员，也会包括来自参训教师上级领导的信息，其来源具有多元化、非线性的特征，因此，不能完全按照弗兰德课堂行为分析法的理念进行数据的分析处理，在对高职教师线上培训学习行为分析时，主要是通过统计每个行为的次数或者频次，通过量化的方式来对教师的整体培训进行评估。其编码行为的统计如表4 所示。

表4 高职教师线上培训学习行为评价编码统计表

通过上述的表格进行编码统计，可以分析的内容、计算方式如表5 所示。

表5 分析内容、公式、含义

上述数据分析方式是基于参训者的视角进行的，通过这些数据分析能够得出高职教师线上学习的参训态度、投入程度以及参训效果等。但考虑到高职教师线上培训采取的技术媒体的特性，会有不同的培训组织模式，除了分析学习者外，对于一些特定的如线上直播、社群学习等，还可以通过分析参训者的行为数据信息来表征培训讲师的教学方式，对其培训教学的组织情况进行客观评价，为组织方评判教师提供参考。此外，数据的分析和应用具有无穷性，除上述可以分析的内容以外，使用者还可以根据实际情况，参照上面的操作方式，进行更多内容的分析和应用。

五、研究总结

本研究主要是从学习行为分析的视角探讨了高职教师线上培训评价体系的设计与应用。其核心的理念是关注参训者的个体，通过对参训教师的行为进行量化编码和量化分析，以求公正客观地对其进行培训效果的评价。当前研究成果还处于理论阶段，未进行实践验证，后续将进行实践应用以不断完善研究的成果，为高职教师线上培训效果的评价提供新思路。