教师在线学习结果的混合预测研究
2022-06-16李昕荆永君
李昕 荆永君
摘要:学习者的个体特征和学习过程中的行为表现对在线学习结果具有一定的预测作用。为了探究在职教师在线学习结果的影响因素及预测模型,研究以教师信息技术应用能力在线学习为研究场景,选取1041名教师作为研究对象,依据性别、年龄、学科、学段等倾向性指标和参与、专注、绩效、规律4个维度的行为表现指标建立4种学习结果预测模型,综合评估7种分类算法后选择较优的预测模型和算法,并对确定的预测模型进行调参优化、动态适应性检验、可视化呈现和规则提取,并对预测风险给出了干预策略。研究表明:应用CART决策树算法通过倾向性指标和行为表现指标的混合预测模型获得了较优的预测效果,并且该模型具有早期的预测能力,可以为培训管理者在不同的学习阶段实施学习干预和支持服务提供科学依据。
关键词:在线专业发展;倾向性指标;学习行为;学习结果;预测与干预
中图分类号:G434 文献标识码:A
* 本文系全国教育科学规划教育部重点课题“基于学习分析的教师网络学习行为预测与干预研究”(课题编号:DCA170305)研究成果。
2019年教育部在《关于实施全国中小学教师信息技术应用能力提升工程2.0的意见》中提出打造智能化、数字化的教师培训网络平台,建立自适应、个性化的教师培训学习体验空间,实现“三提升一全面”的总体发展目标。基于网络的教师培训具有跨时空、形式多样、资源丰富、学习方式灵活等优势,已逐渐成为教师专业发展的主要途径,教师在线学习结果也成为备受关注的热点。研究者通过问卷调查法和访谈法从政策要求、课程设置、培训模式、活动设计等外部環境因素,以及受训教师的年龄、性别、学习态度、学习动机、学习风格等个体内部因素多个角度开展了学习结果影响因素的研究[1][2]。此类研究大多是在教师培训结束后开展的调查研究,属于事后总结追因分析,目的是为后续教师培训提供参考和决策。随着学习分析技术的成熟,在线学习过程中的行为表现指标被纳入在线学习结果的预测模型,并取得了较好的预测效果[3]。基于行为表现指标的预测可以在学习过程中,当各类学习行为数据有了一定积累之后,根据前期建立的学习行为与学习结果的预测模型给出预测分析,便于在学习过程中实施干预措施。从研究对象来看,已有的在线学习结果预测研究大多数是针对在校大学生和MOOCs学习者,而关于在职教师的研究偏少[4]。参加在线学习的教师年龄分布范围广、职业身份特殊、学历层次较高,受过良好的学科知识教育和教师职业教育,原有知识基础、学习动机、职业发展的认知等多方面与其他学习者不同。这些因素可能会导致其与其他学习者的在线学习行为和学习结果的影响因素存在着差异,教师在线学习结果的影响因素和预测模型还有待进一步深入研究。因此,本研究尝试基于教师的倾向性指标(静态)和学习行为表现指标(动态)建立4种学习结果预测模型,并综合评估机器学习中常用的7种分类算法选择较优的预测模型和算法,以期获得更好的预测性能和早期的预警能力,为教师在线学习干预和支持服务提供精准的决策依据,改善和优化教师的在线学习投入,从而提高教师在线学习效果。
大数据技术的兴起促使数据密集型研究范式被逐渐应用于在线学习结果的预测研究。研究者更加注重综合运用多种预测模型和算法,采集多种场景数据丰富数据来源,将数据按时间维度进行序列化,希冀构建的预测模型不仅能够获得较优的预测性能,而且还要具有早期的预测能力。吴林静、赵磊等人在综合对比分析决策树、K近邻分类、人工神经网络等多种分类算法的预测性能后,确定了大学生和MOOCs学习者的课程成绩预测的较优模型,发现在线学习时长、内容交互、人际交互和参与评价等行为是关键的预测指标[5][6]。罗杨洋等人使用随机森林增量学习算法构建混合式学习环境中大学生的在线学习行为与课程成绩的预测模型,研究结果证实随着样本量增加准确率越高[7]。胡航、许炜等人利用倾向性指标和在线学习行为、课堂行为、一卡通消费、图书借阅和运动行为等多种场景数据,实现了对大学生课程成绩的有效预测[8-10]。王亮、Hassan、Waheed等人分别以日、周、季度为时间窗编制学生活动时间序列预测开放教育学习者的课程完成情况,研究发现预测模型能在学习初期达到较好的准确度,从而使预测模型具备早期的预测能力[11-13]。
关于在职教师的研究中,刘丽娜等人以农村幼儿园教师网络培训为案例,利用相关性和方差分析研究发现在线学习完成率影响最显著的是地域因素,与任教年限、年龄、在线学习经历、计算机操作技能以及学习动机、学习风格等心理特征显著相关,而与性别和学历无关[14]。赵艳、吴绍靖等人利用多元回归分析发现,登录总时长、登录次数、交流讨论次数、完成任务等因素是中小学教师在线学习成绩的关键因素[15][16]。张思等人在综合对比6种常见的分类算法后,使用决策树以参与、专注、规律和交互4个维度的学习投入情况预测中小学教师的在线学习成绩,获得了较好的准确性[17]。
综上所述,学习者的个体特征和学习过程中的行为表现能够有效预测在线学习结果。在预测指标的选择上,学习者的性别、年龄、知识背景等倾向性指标,和行为的次数、时间、作业(练习)成绩、人际交互等行为表现指标是相对稳定和重要的预测因子,主要以课程成绩、完成情况、是否获得证书等学习结果作为预测目标。由于在线学习者的构成来源不同、学业背景各异,导致学习结果与学习者的个体特征、在线学习行为之间的关系复杂。众多研究表明在线学习结果的预测具有一定的教学情境差异,还尚未形成适应各类学习者的通用预测指标和模型[18]。
为了进一步探究在职教师在线学习结果影响因素及学习结果预测模型,本研究以教师信息技术应用能力在线学习为研究场景,开展基于倾向性指标和行为表现指标的学习结果混合预测研究。其中,倾向性指标在教师的性别、年龄、计算机操作水平、所在区域等个体特征的基础上,增加了与教师职业紧密相关的学段、学科特征;行为表现指标在行为产生的数量、取得的质量和持续时间的基础上,利用信息熵计算行为规律指数衡量行为发展的稳定性,即将行为表现指标划分为参与、专注、绩效和规律4个维度。依据倾向性指标和行为表现指标建立4种学习结果预测模型,并对构建的预测模型进行算法评估、调参优化、动态适应性检验、可视化呈现和规则提取,以期提高教师在线学习结果预测的准确性、稳定性和早期预测能力。
(一)研究场景
Y市教师信息技术应用能力培训项目由教育管理部门依据《中小学教师信息技术应用能力标准(试行)》设计课程内容,共包括8个主题,每个主题学习时间为1周(从周一开始至周日结束),要求中小学在职教师全员参与,并累计在线学习50小时。依托的在线学习平台包括:课程公告、课程内容、在线测试、课程作业、学习讨论、学习小组和学习评价等功能,在线学习活动以任务驱动、活动引领、小组协作学习为主,教师的学习完成率95%以上。学习结束后参加管理部门统一组织的水平测试,测试结果分为合格与不合格两类,合格率为69%。
(二)研究模型
在本研究场景中,教师参加在线学习活动除了自身专业发展需求外,还具有一定的组织约束性,在线学习的完成率较高并不适合作为预测目标,所以选择水平测试结果作为预测目标。在借鉴已有研究和教师在线学习特点的基础上,构建了基于倾向性指标和行为表现指标的学习结果混合预测模型。其中,倾向性指标主要是指教师个体特征属性,包括教师的性别、年龄、计算机操作水平、学校所在区域、学段和学科6个指标;行为表现指标主要是指教师在线学习过程发生的教学交互行为。
在远程教育的教学交互研究中,穆尔和安德森从教学构成要素的视角,认为远程教育的教学交互包括学习者、教师、学习内容三者之间的交互[19];陈丽从交互层次的视角提出远程学习中的教学交互层次塔理论,认为交互由具体到抽象、由低级到高级,分为学习者与媒体界面的操作交互,学习者与资源、学习者、教师的信息交互,以及学习者新旧概念的交互[20]。本研究按照教学交互理论提取教师各类在线学习行为,为了更细致、准确地刻画教师的在線学习行为表现指标,将其划分为参与、专注、绩效和规律4个维度[21]。其中参与反映交互行为的数量,即教师按照课程学习要求与系统、资源、同伴和培训者间交互的各类在线学习行为发生的次数,如登录系统次数、浏览学习内容次数、参与讨论次数等;专注反映交互行为的持续程度,即教师在线学习时保持注意力的努力程度,如学习投入时间、每次登录持续学习时间、学习序列的步长、话题讨论的深度和内容长度等;绩效反映交互行为的质量,即教师完成课程评价设置的相关学习任务取得的成绩,如练习和作业的成绩、讨论话题质量、学习任务完成度等。规律反映交互行为发展的有序程度,即教师在线学习行为的偏好和规律特征,如在不同时间段内具有稳定的或倾向性的学习频率、学习投入时间、学习序列等。
为了多角度验证研究模型的有效性,本研究构建了倾向性指标(模型A)、不含规律维度的行为表现指标(模型B)、全部行为表现指标(模型C)、基于倾向性和行为表现的混合指标(模型D)共4种预测模型。模型A用于检验在学习初期倾向性指标对学习结果的预测效果;模型B用于检验在学习过程中积累了一定量的交互行为数据后,行为表现指标对学习结果的预测效果;模型C用于与模型B对比分析,用于检验行为表现指标增加规律维度后对学习结果预测效果的影响;模型D用于与其他模型对比分析,以此检验基于倾向性和行为表现的混合指标对学习结果的预测效果是否优于其他模型。
(三)研究方法
本研究的预测目标是一个二分类问题,因此可以采用逻辑回归、决策树、人工神经网络等分类方法分析倾向性指标和行为表现指标对学习结果的影响。整个研究过程分为4个阶段:一是按照研究模型从系统日志和数据库中收集整理相应的倾向性指标和行为表现指标数据;二是通过相关性分析筛选出与学习结果相关的指标作为4种预测模型的预测变量;三是将研究样本分为训练集和测试集,运用7种常用的分类算法通过训练集建立预测模型,再使用测试集评估预测模型的预测性能选出较优的预测模型;四是对确定的预测模型进行调参优化、动态适应性检验、可视化呈现及规则提取生成规则集。具体技术路线如图1所示。
(一)数据收集
按照数据可获得性和完整性,从学习平台中筛选出1041名教师作为研究对象,共收集教师平台访问、工具使用和学习讨论等各类在线学习行为数据28万余条。研究对象的基本情况如表1所示。
由表1可知,女性教师的数量将近男性教师的5倍,这与我国当前基础教育女性教师偏多的现象相一致。教师年龄主要集中在36—45岁,各学段的教师人数相对均衡,语文和数学学科的教师相对多些,物理、化学、历史和政治等其他学科占三分之一左右,教师所在学校位于中心城区和计算机操作水平属于低等水平的人数各占一半以上。
按照研究设计从系统访问日志和数据库中收集整理出教师平台、工具、资源和人际交互行为的参与、专注和绩效的度量指标,并在此基础上计算获得各行为度量指标的规律指数和行为偏好特征。共筛选出35个教师在线学习行为表现的度量指标,如表2所示。
参与、专注和绩效中各度量指标的次数、时间和成绩可以从系统访问日志和数据库中统计分析获得。规律维度中的偏好度量指标是指教师在学习行为序列和学习时间上的倾向性,其中学习序列导向偏好采用滞后序列分析和频繁序列分析获得,如基于学习内容或绩效的行为序列导向[22];主题学习时滞偏好和活跃偏好采用描述性统计和方差分析方法,获得统计学意义上存在显著性差异的行为倾向,如主题开始阶段学习倾向、夜间学习倾向等。规律维度中各类度量指标的规律指数是衡量每个主题中度量指标的有序程度,由信息熵计算获得[23][24]。其计算过程为:先将每个主题开放学习时间内教师的参与、专注和绩效各度量指标形成数据集合,再根据集合中数据分布的熵值获得,其计算公式如下:
规律指数Hx的取值范围为0—1之间,取值越高说明数据分布越有序。例如,计算教师x在n个主题内的登录系统次数的规律指数,其中pi表示该教师第i个主题登录系统次数在n个主题内总登录系统次数中的比重。假设教师A和B的8个主题内的登录系统总次数均为100次,每个主题内的登录系统次数分布如表3所示。
根据规律指数计算公式,可获得教师A和B的登录系统次数的规律指数分别为0.994和0.853,说明教师A比教师B的登录系统行为更有序、更稳定。可见行为度量指标引入规律指数后能更深层地反映各类学习行为数据的含义。
(二)预测变量选择
根据变量数据类型和分布特点,采用Spearman相关系数检验6个倾向性指标和35个行为表现指标与学习结果的相关性,删除掉不显著和相关系数小于0.2的指标,最终保留20个指标作为学习结果的预测变量,如表4所示。
大多数倾向性指标和行为表现指标与学习结果在0.05水平上具有显著相关性,相关系数绝对值在0.2—0.6之间,其中学段、所在区域、登录系统次数、主题学习时间、主题学习时间规律指数和讨论得分规律指数6个指标与学习结果为中度相关,其他14个指标为弱相关。因此可以将以上指标作为自变量全部选入学习结果预测模型。
(一)预测模型的构建
研究对象的水平测试合格率为69%,可以看出预测目标数据存在不均衡问题,因此采用SMOTE过采样方法拟合生成测试结果为不合格的新样本,最后共有1712名教师数据作为数据样本,测试结果的类别比例接近1∶1,保证数据样本的无偏性,以便提高预测模型的准确性。按照7∶3的比例将数据样本形成训练集和测试集,分别用于执行和评估各种分类算法和模型。
本研究使用Python语言及常用的机器学习库Scikit-learn包作为分析工具,首先将预测变量中的性别、年龄、学段、学科、所在区域、学习活跃偏好等离散型变量转成One-Hot编码;其次利用十折交叉验证法分别使用逻辑回归、线性判别分析、K近邻算法、CART算法、朴素贝叶斯、支持向量机和人工神经网络7种常用的分类算法,对训练集按照研究设计的4种预测模型进行训练;然后以准确率、精准率、召回率、F1分数和AUC值作为预测评估指标,综合分析预测评估指标选定4种预测模型的较优分类算法;最后使用测试集评估选定的较优分类算法和预测模型的泛化能力。4种预测模型的较优分类算法的评估指标如表5所示。
从评估指标对比分析可以看出4种预测模型都有较好的预测表现,在模型A和模型B中人工网络算法和线性判别分析算法分别获得了较优的预测效果,在模型C和模型D中CART算法获得了较优的预测效果。由模型C与模型B比较发现除精准率外,其他评估指标有所提高,測试集的准确率、召回率、F1分数和AUC值分别由0.669、0.701、0.669和0.670提高到0.685、0.806、0.709和0.691,可见在学习行为增加了规律维度后预测效果有了一定提升。由模型D与其他模型比较发现,除了召回率略低于模型C外其他评估指标均为最高值,测试集的准确率为0.801、精准率为0.800、F1分数为0.789、AUC值为0.800,召回率为0.778比模型C(0.806)略有下降。总体来说,基于动态行为表现的学习结果预测性能优于基于静态倾向性指标,学习行为增加了规律维度后预测性能有所提升,基于倾向性指标和行为表现指标的混合预测模型(模型D)的预测性能明显优于其他模型,对学习结果的预测获得了较优的预测效果。
(二)预测模型的优化
为使混合预测模型(模型D)生成的决策树能够具有较好的泛化能力,避免出现过拟合问题,本研究采用代价复杂度CCP算法对决策树进行剪枝处理,通过迭代在训练集和测试集中寻求一个衡量代价与复杂度之间关系的较优参数α值。通过计算获得当α值介于0.05—0.10之间时,决策树模型的训练集和测试集的正确率均比较高,稳定在0.75—0.90之间。因此本研究以α为0.06构建决策树模型,获得测试集的准确率、精准率、召回率、F1分数和AUC值分别为0.791、0.813、0.765、0.788和0.791。最终共有性别、年龄、学段、学科、所在区域5个倾向性特征指标,和登录系统次数、讨论内容长度、测试成绩、登录系统次数规律指数、主题学习时间规律指数、讨论内容长度规律指数、测试成绩规律指数和讨论得分规律指数8个行为表现指标参与决策树分类。参与、专注、绩效和规律4个维度中均有指标被选取为分类特征,其中规律维度指标最多。按分类特征重要性排序,学段、主题学习时间规律指数、讨论得分规律指数、所在区域和登录系统次数指标排在前5名。可以看出,本研究提出的学习行为规律维度与其他行为维度比对学习结果的预测作用更显著。例如,主题学习时间方面,有四分之三以上的教师能够达到培训方案规定的学习时间要求(50小时),但不同主题间存在学习时间分配不均衡现象,主题学习时间指标在对学习结果的预测中并没有起到分类作用;而主题学习时间规律指数能在一定程度上规避集中突击或不规则“刷课”产生的“学习时间”对学习结果预测的影响,起到较好的分类作用。
(三)预测模型的动态适应性检验
为了检验预测模型在学习过程中的动态适应性,以主题学习时间段为时间窗,按照主题的学习进程将教师每个主题内的学习行为数据逐步累加,分别形成8个主题的行为表现数据子集。预测模型C和D使用CART算法分别对第2—8个数据子集(因第1个主题数据子集没有学习行为规律维度,故排除)进行分类预测与评估,计算获得测试集的准确率、精准率、召回率和F1分数的变化趋势如图2所示。
从图2可以看出,在不同主题学习阶段模型D的预测性能优于模型C;随着学习过程中学习行为数据的不断积累,模型D的预测性能不断提升,其中的准确率从0.762上升到0.801;模型D的召回率相对平稳而模型C波动较大。其中主题5学习时间处于法定假期,通过学习行为数据分析发现,教师整体登录次数和学习投入时间明显低于其他主题,这种学习活跃性和学习投入低且不规律的现象对学习结果预测性能产生了一定影响。整体上来说,基于倾向性指标和行为表现指标的混合预测(模型D)在整个学习过程中具有很好的动态适应性,可以在不同主题学习阶段开展学习结果预测,充分发挥预测模型的早期预警能力。
(四)预测模型的可视化及规则提取
为了使学习结果预测模型获得的知识更加通俗易懂,便于培训管理者在实际场景中使用,本研究利用可视化技术将学习结果预测模型进行可视化在线呈现,生成的决策树的局部树形结构如图3所示。
节点中“主题学习时间≤0.878”表示当前节点分类条件(如无分类条件则为叶子节点),上分支为满足分类条件的情况,下分支为不满足条件的情况。分类不纯度代表样本的不确定性,当样本中每类的数量均匀分布时分类不纯度越大,分类结果也就越不确定。样本比例表示当前节点样本数占总样本的比例,类别比例表示各分类结果的比例,类别表示当前节点被判断的分类结果,分类结果为叶子节点时用椭圆形标识。培训管理者可以根据可视化树形图结合教师的倾向性特征和行为表现特征的多个维度信息建立学习结果的诊断规则。例如,从图3中可以提取如下规则:
规则1:如果教师的主题学习时间规律指数≤0.878,并且讨论得分规律指数≤0.936;则学习结果为不合格的概率为0.798。
规则2:如果教师的主题学习时间规律指数≤0.878,并且讨论得分规律指数>0.936,并且年龄在46岁以上;则学习结果为不合格的概率为0.750。
规则3:如果教师所在学段不为初中,并且主题学习时间规律指数>0.977;则学习结果为合格的概率为0.676。
规则中倾向性指标是教师固有的个体特征,是无法通过学习活动和主观努力改变的,只在预测中起到分类作用;而行为表现指标是在学习过程中动态发生的,可以通过外界干预措施和支持服务进行优化调整。学习平台可以通过监测教师的在线学习行为表现,匹配相应的预测规则推送给培训管理者和潜在学习风险群体,助力培训管理者实施有目的、有针对性的干预措施和学习支持服务,促使潜在学习风险群体调整在线学习行为和投入时间,从而提高教师在线学习效益。
(五)预测风险的干预
在本研究场景中,教师整体在线学习参与度、专注度、绩效水平和學习完成率较高,其中大多数的行为度量指标还具有良好的规律性。但也有少部分行为度量指标表现欠佳,例如在线测试成绩、参与讨论次数不高,以及它们对应的规律指数较低;也存在着部分学习结果预测为不合格的潜在学习风险群体。该类群体是培训管理者实施干预和学习支持服务的重点对象。首先在学习开始阶段依据教师的倾向性指标预测学习结果,培训管理者初步筛选出潜在学习风险群体,分析其学习态度、动机、认知、自我管理能力和计算机应用能力等在线学习准备情况,再结合其在线学习过程中可能出现的问题行为特点,从培训前期的设计与组织抓起,实施补偿性群体干预策略并建立干预对象持续跟踪机制。然后在学习过程中随着学习行为数据的不断积累,再增加行为表现指标进行混合预测,进一步提高学习结果预测的准确率和精准率,为实施跟踪式个体学习干预措施和支持服务提供科学依据。
1.学习初期补充性群体干预
根据上述学习结果预测模型研究结果,在学习初期依据倾向性指标预测模型共获得两类潜在学习风险群体。
群体1:小学和初中位于县区乡镇的教师(学习结果不合格的预测概率为0.658)。
群体2:年龄在46岁以上的教师(学习结果不合格的预测概率为0.667)。
虽然我国教师在线培训已经开展多年,但不同学段、年龄和地区教师的在线专业发展理念和信息技术素养等方面还存在着一定差异,培训设计与组织应正视不同群体的差异,才能促进以人为本的精准培训的实现[25]。针对以上潜在学习风险群体,可以在培训前采取补偿性的基于人工的群体干预化解学习风险,将学习风险干预措施前移。例如,在培训设计与组织前,开展在线学习准备情况和需求调查,特别关注潜在学习风险群体学习准备方面存在的不足,以及学习需求和困惑。开展必要的理论引领学习,使其认同在线专业发展的价值,改变消极的学习态度,提高在线学习的主观能动性和感知有用性。提供在线学习技术和心理辅导,使其具有基本的在线学习技术能力和心理适应能力,提升在线学习感知易用性,从而促进持续学习行为意向的产生。建立小组合作学习方案,实施互助式学伴机制,根据教师倾向性指标预测的学习结果划分学习小组,建立城乡、不同学段和年龄段间的协作学习小组,形成不同群体间以强带弱、优势互补、协作互助、共同发展的学习共同体。
2.学习过程跟踪式个体干预
在学习过程中依据基于倾向性和行为表现的混合指标预测模型共获得5类潜在学习风险群体。
群体1:小学和初中年龄在46岁以上,且主题学习时间不规律的教师(主题学习时间规律指数≤0.878,学习结果不合格的预测概率为0.750)。
群体2:小学女性,且主题学习时间和在线测试成绩不规律的教师(主题学习时间规律指数≤0.977,在线测试成绩规律指数≤0.893,学习结果不合格的预测概率为0.764)。
群体3:小学和初中,且主题学习时间和参与讨论得分不规律的教师(主题学习时间规律指数≤0.878,讨论得分规律指数≤0.936,学习结果不合格的预测概率为0.798)。
群体4:高中,且登录学习积极性低的教师(平均主题登录次数≤7.13,学习结果不合格的预测概率为0.868);
群体5:小学和初中位于县区乡镇,且登录学习积极性低的教师(平均每个主题登录次数≤6.06,学习结果不合格的预测概率为0.986)。
在学习过程中系统自动采集分析教师的学习行为数据,当满足潜在风险群体判别要素的条件时,则触发基于系统的学习风险个体干预机制,如采取学习任务检测、推送学习预警信息、展示学习榜样行为画像等策略,实施诊断、指导、提醒、激励等干预[26]。
建立学习任务检测机制,能够强化教师学习任务完成质量。如根据在线学习评价要求设置学习任务点,定期检测任务点完成情况并给出主题学习报告和总结评价,促进教师学习过程全面参与,避免出现课程结束前集中突击的现象。针对预设讨论话题设置回复内容长度检测和词云展示提醒,避免低质量甚至无效的应付式回复,促进教师间深度交互。控制在线测试提交时间,避免因测试投入时间过少而导致成绩不高的现象,对测试成绩较低的教师,推送与测试知识点对应的学习内容,建议其重新学习内容后再测试,鼓励其取得较好的测试成绩。
及时推送学习预警信息的目的是引起潜在学习风险群体的注意,引导、督促其自主调整学习状态,化解学习风险并顺利完成在线学习。如针对登录学习不积极、主题学习时间不规律的教师,以邮件、手机短息的方式推送学习日程和学习要求,提醒其按要求登录学习系统,并完成内容学习、作业提交、阶段测试等任务,督促其提高在线学习的活跃性和规律性;在设计发布学习内容和学习任务时给出完成所需时间要求,在学习系统中设置在线持续学习时间提醒功能,让学习者及时了解自身学习进度和持续学习时间,促使其保持学习投入时间的充足性和持久性。
社会比较理论认为人类体内存在一种评价自己观点和能力的驱力,个体需要通过和他人比较才能获得稳定和準确的自我评价,以及维护自尊和自我价值[27]。因此,对潜在学习风险群体可采取学习榜样行为画像激励的策略。选择与其具有相同倾向性指标的学习榜样作为社会比较对象,通过数字画像技术呈现二者学习行为表现指标,形成平行比较和上行比较激励机制,便于潜在学习风险群体认识到自身学习行为表现差距,激发自我评价、自我提高和自我满足的社会比较动机,改变不良学习行为,实现自我调节学习,从而规避学习风险。
预测干预机制能够将学习风险的“事后处理”转变成为“事前预防”和“事中控制”。预测结果和问题学习行为预警信息不仅反馈给学习者起到自我监控和自我调节的作用,而且也呈现给培训管理者起到学习督促与监管的作用。
教师在线学习结果的预测与干预能够有效提升教师在线专业发展的质量。本研究通过多种模型与分类算法对比分析,证实了教师的倾向性指标和行为表现指标对学习结果具有一定的预测能力。倾向性指标中与教师职业相关的所在学段和学校所在区域,以及行为表现指标中参与维度的登录次数、规律维度的主题学习时间(专注)规律指数和讨论得分(绩效)规律指数等指标是学习结果的重要影响因素。学习行为增加了规律维度后能够提升学习结果的预测性能,应用CART算法构建的基于倾向性和行为表现指标的混合预测模型获得了较优的预测效果,并在学习过程中表现出较好的动态适应性,随着行为数据的累加预测性能不断提升,预测模型具有一定的早期预警能力。未来研究中,可以在预测指标上增加教师的学习动机、学习风格等心理特征,在数据源上还可以引入教师生活、工作等多种场景数据,将能进一步提高学习结果的预测性能。
参考文献:
[1][15] 赵艳,赵蔚等.基于学习分析技术的中小学教师远程培训效果影响因素实证研究[J].中国电化教育,2014,(9):142-148.
[2] 刘丽娜.在职教师特征与网络学习成效关系的实证研究[J].教师教育学报,2017,(4):46-54.
[3][18] 范逸洲,汪琼.学业成就与学业风险的预测——基于学习分析领域中预测指标的文献综述[J].中国远程教育,2018,(1):7-17+46+81.
[4] 田浩,武法提.学习分析视域下学习预测研究的发展图景[J].现代教育技术,2020,(11):98-104.
[5] 吴林静,劳传媛等.网络学习空间中的在线学习行为分析模型及应用研究[J].现代教育技术,2018,(6):46-53.
[6] 赵磊,邓彤等.基于数据挖掘的MOOC学习者学业成绩预测与群体特征分析[J].重庆高教研究,2021,(6):95-105.
[7] 罗杨洋,韩锡斌.基于增量学习算法的混合课程学生成绩预测模型研究[J].电化教育研究, 2021,(7):83-90.
[8] 胡航,杜爽等.学习绩效预测模型构建:源于学习行为大数据分析[J].中国远程教育,2021,(4):8-20,76.
[9][23] 胡航,李雅馨.学习绩效预测模型的应用:运动与课堂行为关系研究[J].中国远程教育,2021,(10):19-28+76.
[10] 許炜,刘文同等.基于大学课堂学习行为的成绩预测方法研究[J].现代教育技术,2021,(6):104-111.
[11] 王亮.学习者与平台交互行为挖掘及学习预测模型构建[J].中国远程教育,2021,(5):62-67.
[12] Hassan SU,Waheed H,et al.Virtual learning environment to predict withdrawal by leveraging deep learning [J].International Journal of Intelligent Systems.2019,(34):1935-1952.
[13] Waheed H,Hassan SU,et al.Predicting academic performance of students from VLE big data using deep learning models [J].Computers in Human Behavior,2020,(11):1-13.
[14] 刘丽娜,平凡等.在职教师特征对其网络学习成效的差异性影响初探[J].中国远程教育,2015,(12):32-37+60+79.
[16] 吴绍靖,易明.中小学教师网络学习行为对学习效果的影响[J].现代教育技术,2019,(9):101-107.
[17][21] 张思,刘清堂等.网络学习空间中学习者学习投入的研究——网络学习行为的大数据分析[J].中国电化教育,2017,(4):24-30+40.
[19] 特里·安德森,董秀华.再论混合权利:一种最新的有关交互的理论定理[J].开放教育研究,2004,(4):19-26.
[20] 陈丽,王志军.三代远程学习中的教学交互原理[J].中国远程教育,2016,(10):30-37+79-80.
[22] 荆永君,李昕.学习分析技术支持下的教师在线学习行为特征分析[J].中国电化教育,2020,(2):75-82.
[24] Cao Y,Gao J,et al.Orderliness of campus lifestyle predicts academic performance:A case study in Chinese University [M]. Digital Phenotyping and Mobile Sensing,New Developments in Psychoinformatics,2019.
[25] 唐烨伟,范佳荣等.人本服务理念下区域中小学教师信息化教学能力精准培训策略研究[J].中国电化教育,2019,(11):113-119.
[26] 李艳燕,邢爽等.在线协作学习中学习分析工具对教师干预的影响研究[J].中国电化教育,2019,(2):80-86.
[27] 邢淑芬,俞国良.社会比较研究的现状与发展趋势[J].心理科学进展,2005,(1):78-84.
作者简介:
李昕:副教授,硕士,研究方向为远程教育与智能教学。
荆永君:教授,博士,研究方向为教师教育研究、在线教育与学习分析。
Research on Hybrid Prediction of Learning Results in Teachers’ Online Professional Development
Li Xin, Jing Yongjun(Institute of Educational Technology, Shenyang Normal University, Shenyang 110034, Liaoning)
Abstract: Online learning results can be predicted through learners’ individual characteristics and behavior in the learning process. In order to explore the influencing factors and prediction model of learning results in Teachers’ online professional development, this paper takes the project of teachers’ information technology application ability online learning as the research scene, and 1041 teachers are taken as the research object. The four learning results prediction models are established according to gender, age, discipline, school stage and other dispositional indicators and behavior indicators such as participation, attention, performance and regularity. After seven classification algorithms are evaluated, the better prediction model and algorithm are selected. Then the generalization ability of the model is optimized by adjusting parameters, the dynamic adaptability is tested, and the knowledge and rules are visualized and extracted from the model. Finally, some intervention strategies for predicting risk are given. The results show that better prediction performance are obtained by using the classification and regression trees(CART) algorithm in the hybrid prediction model of dispositional indicators and behavior indicators. The model has early prediction ability and can provide scientific suggestions for training managers to implement learning intervention and support services in different learning stages.
Keywords: online professional development; dispositional indicators; learning behavior; learning results; prediction and intervention