健康教育类在线课程的用户需求及评价挖掘分析
2023-06-27邰杨芳
邰杨芳
摘 要:探究MOOC(Massive Open Online Courses,又称“慕课”)用户对健康教育类在线课程的需求及评价,为健康教育类在线课程的建设和MOOC平台的管理提供决策支持。基于LDA(Latent Dirichlet Analysis,LDA,潜在狄利克雷分布模型)主题模型识别评论文本的主题,借此发现用户需求主题并构建用户对课程的评价指标体系、分析用户需求主题演化趋势;基于百度AI(人工智能)情感分析进行在线课程评价,将用户对在线课程需求的满足程度进行可视化。研究结果表明:用户需求主题呈现出多元化特点;构建的在线课程评价指标更加丰富、具体,符合在线学习环境和健康教育类课程的特点;MOOC用户对健康教育类课程整体满意度较高。
关键词:健康教育;在线课程;用户需求;LDA;情感分析
互联网时代,通过网络进行在线学习成为大众获取所需知识的重要方式。例如,有的互联网用户通过健康类社交网站、视频网站、微信公众号、问答平台等获取所需要的健康信息和知识,也有用户通过知识付费平台购买课程和知识资源。随着大规模在线开放课程的兴起,互联网上的免费优质课程资源越来越多,逐渐成为互联网用户学习知识的主要选择。中国大学MOOC作为中国最大的在线教育服务平台,提供了千余门免费的优质课程,不仅吸引了在校大学生,还吸引了许多想要提升自己知识水平的非学生用户学习平台上的课程。课程内容来自北京大学、清华大学、浙江大学等全国七百多所高校,涉及的学科门类丰富,不仅包含计算机类、经济管理、语言、艺术、历史、金融等,还有医学、健康教育类课程,成为互联网大众学习健康知识、提高健康素养和进行健康交流的重要平台。
中国大学MOOC平台除了提供课程资源,还向用户提供学习帮助,如课堂测验、课程讨论和提交作业,以及课程评论功能。课程评论功能允许用户发表有关课程内容、教学过程、学习感受等相关评论信息。评论文本中蕴含丰富的潜在信息,分析评论文本内容,可从中挖掘出用户对在线课程所关注的主题,了解用户的学习诉求、学习体验等信息,而这些信息也正是基于用户视角的关于课程内容、质量和教学效果的评价标准与情感反映,对于在线课程的建设与平台服务都具有重要的参考价值。为此,本文以用户的评论文本为分析数据,首先挖掘用户对健康教育在线课程的评论主题,分析评论主题的特征,从中提取基于用户视角的课程评价指标,并引入时间获得用户学习诉求的发展变化。另外,根据情感倾向了解用户对在线健康教育课程在这些维度上的评价结果,期望能为在线健康教育课程的建设和MOOC平台的功能与服务优化提供决策支持,也为提升全民健康素养、促进全民健康和推进“健康中国”建设进程做出努力。
一、相关研究综述
1.在线课程的评价研究
随着在线教学的广泛实施,对在线课程的质量和教学效果的评价成为在线教育需要解决的重要问题。为此,学者们围线在线课程评价标准的制定问题展开了广泛的研究。根据评价标准的来源,现有的在线课程评价标准包括两种类型:基于专家知识的评价体系和基于学习者意见的评价体系。
基于专家知识的评价体系,即权威部门的政策、规范文件(如教育机构和部门的在线课程评审指标、网络课程评价标准、在线课程评价量规等)、前人的研究成果中提出的评价指标、邀请专家参与完成的指标和参照上述内容提炼、完善后形成的评价指标体系。其特点是指标的形成依赖于专家思想或专家的参与,是一种自上而下的评价指标构建方法。李青等人在对国内外八个权威在线课程评价指标进行分析的基础上[1],结合国内外MOOC建设的案例和优秀实践,从媒体技术、课程内容、课程管理三个维度,构建了MOOC质量保证体系;李昱对106篇相关文献进行初步筛选[2],采用德尔菲法和网络层次分析法构建了在线课程评价指标体系;赖玲玲、钱小龙等人进行了类似的研究[3-4],首先基于相关理论研究并结合个人的教学经历构建在线教学服务质量评价指标,然后依据对在校大学生的问卷调查结果对其进行优化,确定最终的在线课程服务质量评价指标体系。从指标内容上看,现有的指标体系中基本都包含课程平台(技术)、课程教学、课程内容及课程管理等维度,也有部分指标体系中包含课前准备、学习服务等维度。
基于学习者意见的评价体系,即评价指标来源于具有学习实践经历的学习者,由学习者提出或基于学习者的意见和观点提炼得出的评价指标体系。例如基于用户访谈资料、由用户提交的关于课程的评论文本或行为(打标签、点赞、转发、打分等)数据分析得出的评价指标,更能反映用户的价值判断标准,是一种自下而上的评价指标体系。学习者对课程进行评价,尤其是对于以用户自主学习为主的在线教育课程而言,其作用越来越受到课程建设者、教学者和服务平台的重视[5]。已有相关研究采用文本挖掘技术分析学习者关于在线课程的评论信息,分析课程评论文本的主题、情感倾向,识别出用户的学习诉求、关注主题、学习体验等,据此形成课程评价体系。在评论文本数据的选取范围方面,有学者以各学科类别的在线课程为研究对象,如选取MOOC平台上评论文本较多的各类课程[6]、某高校疫情期间开设的所有在线课程,从评论文本中提取出与学科领域无关的评判主题,提取出的课程质量评价标准可能会普适性较好。也有学者以某一门具体课程为例,对基于评论文本的在线課程用户关注主题分析方法进行实证研究,如王洪鑫等学者对MOOC平台上的“面向核心素养的信息化教学设计”课程分析发现[7],学习者在课程学习时比较关注课程的授课方式、技术工具、课程内容、评价方式和学习成效问题。然而,不同类型、不同学科的课程具有其自身的特点,学习者的学习诉求和学习体验也会有相应的个性特征,上述研究的结论是否也可用于对其他课程的评价其实还有待进一步研究。
2.评论文本的分析方法
自然语言文本是人们表达需求、交流思想和观点的记录,是人类思维的载体。对大规模非结构化的自然语言文本进行语义内容分析,目的在于挖掘其中蕴含的有价值信息。对于用户提交的评论文本,分析挖掘的主要内容包括:评论文本所表达的主题和情感倾向,即文本主题分析和情感分析。目前使用较多的潜在狄利克雷分布模型(Latent Dirichlet Analysis,LDA)是一种无监督机器学习的文本主题分析方法,能够在大量的文本中发现数据中潜在的变量或隐藏的结构[8],对于评论文本主题提取具有突出优势,可提高主题聚类质量,正确识别评论文本内容主题[9]。该模型广泛用于问答平台中用户的信息需求[10]、社交媒体中突发事件的舆情发展[11]、电子商务平台中消费者的商品需求偏好等内容的分析与挖掘[12]。
情感分析是指通过使用自然语言处理技术从文本数据中识别出用户主观的情感、观点和态度的过程[13]。目前,情感分析方法主要包括基于机器学习的情感分析与基于情感词典的情感分析。通过情感分析,可识别政府及公众对突发事件的情感倾向[14],了解用户的感受和体验,分析结果可用于划分微博热点话题下的用户群体[15],实现对图书读者的精准推荐[16]、评价产品质量和服务等。
综合上述分析结论,学习者关注的问题、学习体验与感受对于评价在线课程的质量和服务尤为重要,MOOC的课程评论文本成为重要的课程评价数据。基于机器学习的文本主题分析方法和情感分析方法可有效地挖掘大规模非结构化文本数据中的有价值信息。本文面向健康教育领域,对MOOC平台健康教育类在线课程的用户评论文本进行主题挖掘和情感分析,旨在了解用户对健康教育类课程的真实学习需求及评价,为基于课程的在线健康教育实施与促进提供决策支持。
二、研究设计
以中国大学MOOC平台中健康教育类课程为研究对象,以课程的用户评论文本为数据源,挖掘健康教育类在线课程用户对课程的需求和评价信息,整体研究框架由三部分构成(见图1)。
1.数据采集与处理
在“中国大学MOOC”平台的国家精品课程库中进行检索并筛选出符合健康教育主题的课程。采用自编的Python爬虫代码,获取课程的评论文本,并对文本进行数据去除重复、删除无实质意义的评论、去除数字、特殊符号、大小写转换等数据整理工作和分词工作,为下一步的分析做准备。分词采用Python第三方库jieba,并使用自定义词典,整合“哈工大停用词表”“四川大学机器智能实验室停用词表”“百度停用词表”和自定义词构建而成的领域停用词表,对分词结果进行优化。
2.用户需求分析
用户需求分析包括用户评论主题识别、基于评论主题的用户需求主题及特征分析和需求主题的演化分析。首先,采用LDA模型识别用户评论主题。其次,基于学习者的视角,将用户的评论主题映射为用户关于健康教育课程的需求主题及特征指标,据此形成基于学习者视角的课程评价指标体系。在此基础上,引入时间维度,分析用户需求主题随在线课程开设时间发展的演化情况,识别用户需求的变化趋势,聚焦现阶段用户对健康教育类在线课程的关注热点。
3.用户评价分析
首先基于机器学习的方法分析健康教育类课程评论文本的情感倾向,得到每个文本的情感类别。然后,依据文本所属主题分析每个主题中各类别情感文本所占比例,得到MOOC用户对当前的健康教育类在线课程在学习体验、学习效果及满意度等主题的量化评价结果。百度情感倾向分析服务是基于机器学习对包含主观信息的文本进行情感倾向性判断,符合MOOC评论特征。因此,本文的情感分析调用了百度提供的情感分析API(Application Program Interface,应用程序界面)。
三、健康教育类在线课程用户评论数据采集与处理
1.数据采集
以“健康”为关键词,在“中国大学MOOC”平台的国家精品课程库中进行检索后,分析课程的名称、课程大纲,筛选出10门属于健康教育类的课程。课程名称分别为:大学生心理健康、体育与健康、营养与健康、健康评估、运动与健康、中医养生与健康、学前儿童健康教育、生殖健康、病理与健康、环境与健康。从名称可见,这些课程大都属于通识课,既适合对大学生进行健康通识教育,又适合对普通社会大众进行健康科普教育。用Python数据爬取程序自动获取到18 702条课程评论文本记录,包括课程名称、用户ID、评论文本及评论时间,数据采集时间为2022年2月5日。
2.数据处理
经过去除重复评论、删除数字、无实质内容的评论(比如“哈哈哈哈哈”“好好好”“棒”以及一些网络用语)和字符转换等工作后,最终获得10 356条有效评论数据,对其再进行对分词、去停用词处理,其结果作为LDA主题挖掘模型的输入文档。
四、健康教育类在线课程的用户需求分析
1.评论主题的识别
(1)评论文本的LDA主题分析
LDA是一种对文档隐含主题进行建模的方法,其基本思想是每个文档由多个主题构成,每个主题则是词表上词汇的概率分布。将分词后的评论文本数据读入LDA模型进行主题分析,识别用户的评论主题。其中,先验参数α和β设置为默认值,模型迭代次数为100次。同时由于LDA是一种无监督的机器学习聚类方法,聚类分析得到的主题数目为多少时最适合,需要人工选择。已有的研究表明,聚类的困惑度(Perplexity)值越低,聚类的区分度越高,即聚类效果越好[17]。为此,根据LDA分析得到的数据绘制主题数—困惑度曲线(见图2),選择困惑度最低值对应的主题数11为最优主题数。
表1为将用户评论文本聚类为11个主题时,每个主题下概率分布值排名靠前的词语,它们是对于描述和解释对应聚类主题的语义贡献
大、价值高的词语,本文将其称为关键主题词。其中,比重代表每一个主题在整个评论文本集中的权重。
(2)评论文本的主题内容分析
对评论文本的LDA主题分析,能够将用户的评论信息划分为若干个代表其关注热点的类团(Topic),但无法自动生成每个 Topic 的主题名称[18]。因此,结合每个主题的关键主题词和其支持文档(LDA分析结果中,在该主题上概率分布值为最大的那些评论文本)对主题进行人工解析,归纳总结主题含义。
主题1可归纳为课程主题。反映纳入本文分析范围的健康类课程的主题内容。主题关键词运动、中医、养生、学前、儿童、环境,分别对应于课程名称运动与健康、中医养生与健康、学前儿童健康教育、环境与健康,涉及各方面人的健康,说明当前中国大学MOOC平台上的健康教育课程资源比较丰富。其中,“健康”作为获取课程数据时的检索用词,在该主题下出现频率位居第一。
主题2为课程学习收获。相关评论主要针对“大学生心理健康”这门课程,学习者反映在情绪、心态、人际关系等方面都有所改善,促进身心健康发展。
主题3为课程内容特征。包含的关键词以形容词为主,有趣、充实、清晰、新颖、详细、丰富多彩等词体现了课程内容的趣味性、新颖性与准确性。
主题4为课程知识。包含的关键词以对课程内容或知识的客观陈述性关键词为主,如体育、运动、病理、养生、中医、知识等,内容丰富且实用,用户学习后感觉受益匪浅。
主题5为授课风格与策略。关键词有课堂、授课、幽默、风趣、吸引、沟通、深入浅出、指导等,说明教师在授课过程中语言风趣幽默,授课和指导学生时深入浅出,能吸引学生。
主题6为教学模式。包括关键词视频、课件、活动、讨论、交流、案例、分析、测试等,说明MOOC在线教学模式除了包括视频讲解、课件学习,还有即时测验、主题交流讨论这样的课上和课后活动,过程中有教师或助教提供答疑和指导。
主題7为教学风貌。关键词有教师、专业、授课、积极向上、条理清晰、温柔等,体现教师授课时的专业性、思维条理性和积极向上的教学风貌。
主题8为用户学习感受。总体印象为通俗易懂,心理素质得到锻炼,从中收获快乐,期待课程证书。
主题9为教学态度与策略。关键词有教师、认真负责、兴趣等,说明教师对课程教学态度认真,教学内容讲解能结合用户兴趣,贴近日常生活。
主题10介绍了教师通过答疑为用户解决困惑,通过设置作业进行测试,可概括为师生互动与测评。
主题11是用户学习体验。反映学习者对在线学习过程、学习环境中各种要素的感知和体会[19],体现为学习者的偏好性、愉悦性。关键词有推荐、优秀、点赞、乐观等,说明学习者感到收获颇多,愿意推荐该课程,为其点赞,课程学习改变了其心态,以乐观的态度积极生活。
为了更直观地显示用户评论文本的主题聚类情况,本文采用多维尺度分析方法,基于各主题间的相似性构建多维空间到低维空间映射,将LDA主题之间的相互关系可视化[18]。如图3所示,图3(a)的每个气泡代表一个主题,气泡的大小表示主题的比重,气泡大表明气泡所代表的主题在文档主题集中的占比大;气泡间的距离代表主题之间的差异,即气泡间距离越大,气泡所代表的主题间差异越大。选中图3(a)某一主题,图3(b)显示与该主题对应的关键主题词语;当未选中图3(a)任何主题时,图3(b)的词语列表显示对整个评论文本集的主题具有显著代表性的前30个关键词,横轴代表词频。其中,“知识”和“内容”是排在前两位的主题关键词,表明课程的知识内容是在线课程学习者首要关注的问题。“教师”一词是第三个代表性词语,并且在评论文本中的词频率最高,说明教学主体及其相关活动也是学习者关注的核心要素。“受益匪浅”“喜欢”等词也位居前列,说明学习者的学习收获和体验也是评论文本中的重要主题。
2.基于评论主题的用户需求及其特征分析
(1)用户评论主题的分类及其依据
学习者的评论主题代表了其在课程学习过程中感兴趣或关注的问题,反映了学习者从自身角度出发对在线课程的学习诉求和判断。明确学习的需求及其特征,是建好在线课程和做好教学与服务需要解决的首要问题。在线课程教学的基本过程为:建设课程—组织教学—教学评价,对应于学习者的在线课程学习的基本行为过程:获取资料—学习—学习评价。两个过程中涉及三个共同的要素:课程内容、课程活动和课程效果。学习者对课程的评论主题及其特征即是学习者围绕上述三要素对在线课程提出的需求及其特征。
基于上述思路,同时参照主题间的远近关系(见图3),本文在基于关键主题词及原始评论文本分析11个评论主题特征的同时,将这些主题按描述对象归入上述三大类课程要素主题,它们即为学习者对在线课程的需求主题及特征,需求主题特征反映用户对课程要素的评价指标或称需求指标,从而形成用户关于健康教育类在线课程的需求主题及其评价指标。
(2)用户需求主题及特征分析
①课程内容需求
课程内容是在线课程的灵魂[20],是整个学习开展过程的开端,是学习者学习的直接对象和所需知识的主要来源。评论主题中的课程主题、课程主题内容特征和课程知识,都是对课程内容不同方面的描述,反映学习者对课程内容的需求,将其归入课程内容需求主题。结合各主题的关键主题词及其支持文档内容,课程主题中“内容充实”“丰富多彩”等词语反映了用户对课程内容的丰富性要求;课程主题内容特征中“内容生动有趣”“内容新奇”“逻辑清晰,科学严谨”等词,说明用户对课程内容的趣味性、新颖性和准确性要求;课程知识主题中,语句“包含很多健康知识”“具有实际应用价值”等,反映用户对课程内容的专业性、实用性需求。因此,用户的课程内容需求主题涉及课程主题、课程主题内容特征和课程知识3个维度,包括6个需求或评价指标:丰富性、趣味性、新颖性、准确性、专业性和实
用性。
课程内容需求主题在整个文本集中所占比重(3个构成维度的评论主题所占比重之和)为34.5%,位居第一。与现有基于专家思想的传统研究文献相比[1],基于用户评论文本分析得出的学习者对课程内容的需求不仅包含了专业性、准确性、丰富性、实用性等基础需求指标,而且出现了趣味性、新颖性等较高层次的学习需求。
②课程活动需求
课程活动对于MOOC学习者而言,是指其利用平台自主学习、交流讨论、参与测评等围绕课程任务而进行各种活动的总和[21]。在线学习是一种学习者的自主学习,学习内容的主要呈现形式为录制的教师授课视频,学习者在视频中授课教师的引领下以课程内容为对象进行思维活动。视频课程中授课教师表现出的教学风貌、教学态度、采用的教学模式与教学策略,都直接作用于学习者的学习体验和学习效果[22]。同时,基于MOOC平台论坛的师生互动、生生互动以及通过参与在线测评、考核等活动内容是促进学习者知识建构的重要资源,是在线课程教育保障学习质量必不可少的环节。因此,可将评论主题中教师的授课风格与策略、教学态度与策略、教学风貌、教学模式和师生互动与评价归入课程活动需求主题。同样的方法,对评论主题的关键主题词及支持文档分析后,提取出反映学习者对课程活动需求的9个评价指标:授课教师的幽默感、责任感、精神状态的积极性和思维敏捷性,教学策略的引导性和情境化,教学模式的系统性、师生互动性和评价方式的多样性。
其中,深入浅出和贴近生活的引导式与情境化的教学策略,教师积极向上、思维敏捷的教学风貌以及教学模式的系统、综合性,体现了符合网络环境中自主学习特点的在线课程学习者的需求。
③课程效果需求
课程效果是学习者参与在线课程之后对其产生的情感反应和价值判断[23]。效果评价包括对在线学习的价值性评价和综合性评价。价值性评价表现在学习者对在线课程及其学习效果的价值确认[24];综合性评价是指学习者对在线课程学习意义深刻理解和对学习结果进行评估基础上形成的整体内心感受和情感反应。评论主题中,课程学习收获反映学习者对课程学习价值的评价;用户学习感受、用户学习体验反映学习者学习课程后的整体内心感受与体会,即对课程学习的综合性评价。因此,将这三个评论主题归为课程效果需求主题。结合评论主题的关键主题词及支持文档内容,提取出反映用户对课程效果需求的4个需求评价指标:课程学习后的价值感,整体内心感受上的成就感、偏好性和愉悦性。
其中,愉悅性指标,对应于主题关键词“乐观”和评文论本中的短句“改变心态”“乐观生活”等信息,反映用户学习健康教育课程之后的感受和心态变化,是具有健康教育类课程功能特点的需求指标。这也说明,开展面向社会公众的健康知识教育符合社会大众的健康知识学习需求。
图4记录了评论主题、主题内容描述、主题特征及向需求主题映射过程的全部信息,最终得到由3个需求主题(一级指标),11个维度(二级指标)和19个评价指标(三级指标)及其指标说明(文本词描述)构成的三级指标体系,成为基于学习者视角的健康教育类在线课程评价指标体系。
3.用户需求主题的演化分析
对于LDA分析得到的文档—主题矩阵,先计算其中每个评论主题的主题强度(即该主题分布在每个评论文本上的概率之和与总评论文本数的比值),再计算同一需求主题类下各评论主题的强度之和,得到每类需求主题的主题强度。主题强度代表一个主题在整个评论文本集的所有主题中所占比重,可反映评论用户对该主题的关注程度。按评论文本的生成时间(以年为单位)统计各需求主题强度,得到需求主题强度—时间分布,图5即为用户需求主题随时间发展的演化情况(因2022年仅有一月份数据,故不对2022年数据做分析)。
图5中,横坐标表示评论文本的生成时间,左侧纵坐标表示需求主题强度。为了使不同需求主题之间的差异及变化在图例中的对比效果更直观,本文对主题强度按评论文本数量进行同倍放大,放大后的主题强度相当于计算公式中分子,可将其理解为需求主题的文档支持度。曲线表示不同年份MOOC用户的三类需求主题总强度。柱状图表示三类需求主题强度在当年需求主题总强度中的占比。
需求主题总强度,从整体上反映用户对课程的关注度。虽然本文采集的10门课程数据中最早的开设时间是2016年,但MOOC平台的评论功能2018年才开通。因此,图5显示最早的健康教育类MOOC用户评论文本产生于2018年,此时的健康教育类在线课程已经在一定程度上受到了社会公众的关注。2019年的用户关注度同2018年基本持平。2020年的公众关注度
则显著提高并达到顶峰,这是由于新冠疫情于2020年突然爆发,各大高校全面开展在线教学模式,公众采取居家学习、办公,延长了国民日均上网时间,并且疫情使国民更关心健康问题,使用户对健康教育类课程的关注度达到新高。2021年相较2020年则有所下降。究其原因,是因为新冠疫情得到有效控制,居民恢复了日常出行,高校恢复正常开学;但是相较2018
年、2019年,仍然呈上升状态,说明公众对健康教育课程越来越关注,国民健康素养也在逐步提高。
各类需求主题的占比反映用户对课程需求的侧重点。图5中的柱状图显示,从各需求主题的比重变化情况来看,用户对课程内容需求主题的关注度呈现逐年下降的趋势,从2018年占比37.22%至2021年占比29.94%,稳中有降的占比情况说明课程通过不断迭代,课程质量已经达到了一定水平,课程内容可以满足用户需求;课程活动需求主题在总需求强度中的比重保持在一定水平,并且持续为占比最大的需求主题,表明课程活动依然是用户当前对课程的重点需求;课程效果需求主题的受关注度呈现逐年上升的趋势,从2018年的20.20%到2019年的21.36%,然后在2020年需求比重猛增,达到24.04%,2021年达到最大值28.51%,这表明随着国民健康素养的提高,MOOC用户越来越注重自身的学习感受,而课程活动也是为了满足学习效果,因此课程活动与课程效果呈现稳定或上升的趋势。究其原因,在线课程与传统课堂教学最大的区别在于师生之间不能直接互动,课堂互动与学习反馈成为影响在线学习效果的最主要因素,随着课程设计和平台功能的不断完善,课程互动与教学反馈的短板正在不断得到改进并取得显著效果,既是用户对线上课程最主要的需求,也当然地成为在线学习用户评论的热点。
五、用户需求主题的评价分析
1.用户需求主题的情感分类
借助百度AI的自然语言处理应用工具对用户的评论文本进行情感倾向判别,获取用户对健康教育类课程的情感类别:积极情感和消极情感。如文本“受益匪浅,继续学习”为积极情感,文本“测试就根本看不到题,咋做”为消极情感。对于每一类需求主题,分别计算其在积极情感评论文本集和消极情感评论文本集中的主题强度,除以该需求主题在全部文本中的主题强度,得到用户关于该需求主题的积极和消极评价的比例。对三类需求主题的评价情感分析结果见图6。
在图6中,纵坐标是MOOC用户的需求主
题,横坐标显示需求主题的两类评价情感占比。
总体上看,用户对健康教育类在线课程的评价为正向情感,三类用户需求主题的积极情感占比都在90%以上,说明MOOC较大程度上满足了用户的健康知识学习需求,用户的在线学习体验较好,总体满意度较高。相对而言,用户对课程内容需求主题的消极评价占比最低,仅为2.86%,说明用户关于课程内容的需求得到了最大程度的满足。与用户需求主题的演化分析结果相呼应,课程内容的不断升级致使用户高满意度和需求逐年下降现象的出现。课程活动和课程效果两个需求主题的消极占比达5%以上,表明相比课程内容来说,用户对课程活动和课程效果的满意度较低,在线课程仍需在某些方面进行加强和完善。结合演化结果可知,这两类需求也是用户当前关注的重点。
2.積极和消极需求主题的词云分析
为了进一步探明健康教育类在线课程在哪些具体方面满足了用户需求,在哪些内容上还存在差距,采用自编Python程序对积极情感评论文本和消极情感评论文本进行分词、统计并分别绘制出积极和消极情感文本的词云(见图7)。在词云图中,关键词的词频越高,字体越大。
如图7(a)中的积极主题词云显示,“教师”“知识”“健康”“内容”“授课”“受益匪浅”出现频率都比较高,表明MOOC用户对健康教育类课程的课程内容和教师的授课活动比较满意。这与MOOC主要来自国内一流高校,师资水平高,并且大部分课程为国家精品课直接相关。同时,这一结果也与主题分布可视化效果图(见图3)所列出的高相关度关键词相一致。其次,可以看到“实用”“很棒”“喜欢”“感谢”“收获”等词,这是对课程内容表达赞赏与感谢之情,说明健康教育类在线课程得到了用户较大的关注与认可。接着是“通俗易懂”“有趣”“生动”“详细”“答疑”,表达了对该课程内容及课程活动的极大肯定。
图7(b)中的消极主题词云中,因本文的研究对象为健康教育类课程,所以“健康”“知识”在两个词云图中出现频率都很高。在仅占评论总数4.6%的消极文本中,“教师”的出现频率最高,虽然对比积极主题的词云可以看到用户对教师的授课活动满意,但也存在少量不满意的问题。原因是部分用户对个别课程视频中教师的身体语言、副语言等课堂表现感觉不太习惯。例如,教师在录课时表情僵硬、语速较快,学习者不太适应。频率第二高的为“证
书”“申请”,查看评论的原始数据可知,MOOC用户在申请证书时会遇到各种问题,比如该如何申请证书、申请证书之后何时可以发证书以及申请证书时需要交费等,给用户带来不太好的学习体验。“内容”也是消极主题中的高频词,表明用户对课程内容不满意,对照文本发现,主要是针对“课件”内容,用户反馈个别课程没有提供课件、课件不全面、课件与“视频”相比陈旧,未得到及时更新等。课程“测试”板块也存在需要改进的问题,在测试模块,用户偶尔会遇到测试题“打不开”或打开后“看不到”测试内容的问题,还有测试过程中因“时间”太短而答不完题的情况,这表明还需要技术的支持和产品功能的不断迭代。总体来看,部分用户比较在意课程的考核结果和学习认同问题,期望获得相关课程的证书,由此,建议MOOC平台管理者可以采取有关措施,使考核结果清晰化。
六、结论
1.公众对健康教育类在线课程持续、广泛关注,其课程需求主题多元化
课程内容需求中,实用是用户对课程的最普遍需求,用户期望可将学习到的健康知识应用于现实生活中,解决生活中所面临的生理或心理健康问题。课程活动需求中,教师的授课方法、语言和态度、各种形式的课程互动、考试测评等都是学习者关注的重点,它们对用于用户保持主动、持续学习的兴趣和动力、强化对课程内容的理解非常重要。学习课程之后的价值认同感和整体感受也是用户非常重视的问题。
2.用户视角的在线课程评价指标丰富具体,具有健康教育在线课程特点
基于用户评论文本的LDA主题分析挖掘出健康教育类在线课程评价指标体系,与传统的教学评价体系相比,具有趣味性、新颖性的课程内容,具有引导性和情境化的教学策略,教师积极向上、思维敏捷的教学风貌以及教学模式的系统全面性等用户需求,体现出教育信息化环境下用户在线自主学习的特点。对课程效果的学习者价值感、成就感、偏好性与愉悦性评价指标,是更加强调学习者中心的评价指标。与田园等学者的同类研究相比[20],学习者中心的4个评价指标也具有新颖性,是对现有评价指标体系的补充与完善。
3.MOOC用户对健康教育类课程整体满意度较高
大多数的用户评论文本呈现出积极的情感倾向,表明公众对健康教育类课程需求的满足程度高。多数用户表示喜欢课程,而且该类课程有益身心健康,用户乐于推荐给身边的同学、同事、家人,增加他们的健康知识储备。当然,用户对课程内容的最大感受就是受益匪浅,不仅满足了自身的学习需求,还获得了课程所带来的价值认同感,并且期待后续的健康课程。
4.MOOC平台在课程管理、平台功能及服务方面有待优化
当前用户对健康教育类课程的课件、课程测试及考试、教师的身体语言与副语言、课程证书方面评价消极。相应地,MOOC平台建设和课程开发者,需要进一步完善对课程的管理,做到及时提供与课程视频配套的最新课件资料。加强对MOOC平台的技术支持,使用户在线课程的测试及考试等环节操作简单快捷,确保每个学习环节都能顺利完成。加强与课程提供方的沟通与培训,使教师在课程录制过程中尽量做到表情自然、语速适中,并理顺证书申请与办理流程。对于可提供证书的课程,向学习者提供流程化的申请证书指导,并且向提交申请后的用户开放整个流程的进度。
参考文献:
[1]李青,刘娜.MOOC质量保证体系研究[J].开放教育研究,2015,21(5):66-73.
[2]李昱,刘斌.教学医院在线课程质量评价指标体系[J].解放军医院管理杂志,2020,27(6):570-575.
[3]赖玲玲,彭丽芳.高校在线教学服务质量评价指标体系构建研究[J].黑龙江高教研究,2021,39(6):147-154.
[4]钱小龙,曹维娜.基于用户视角的微软人工智能专业慕课质量评价研究[J].高等职业教育探索,2020,19(6):69-75.
[5]郭丽君.教育生态视阈下的高校教学评价问题研究[J].湖南农业大学学报(社会科学版),2017,18(4):91-94.
[6]张新香,段燕红.基于学习者在线评论文本的MOOC质量评判——以“中国大学MOOC”网的在线评论文本为例[J].现代教育技术,2020,30(9):56-63.
[7]王洪鑫,闫志明,陈效玉,等.面向MOOC课程评论的主题挖掘与情感分析研究[J].开放学习研究,2021,26(4):16-23.
[8]陳嘉钰,李艳.基于LDA主题模型的社交媒体倦怠研究——以微信为例[J].情报科学,2019,37(12):78-86.
[9]陈明红,黄涵慧.用户视角下微博档案主题识别与情感分析研究[J].档案与建设,2021(9):36-42.
[10]周国韬,龚栩,邓胜利.基于主题分析的用户养生健康信息需求演化趋势研究[J].情报科学,2022:1-10.
[11]王晰巍,刘宇桐,李玥琪.突发公共卫生事件中公民隐私泄露舆情的情感演化图谱研究[J].情报理论与实践,2022,45(3):19-27.
[12]王军,李子舰,刘潇蔓.不同文本长度的体验型产品在线评论时间序列研究——以电影评论为例[J].图书情报工作,2019,63(16):103-111.
[13] TOMAS M, ILYA S, KAI C, et al.Distributed Representations of Words and Phrases and their Compositionality[J].CoRR,2013.
[14]任中杰,张鹏,李思成,等.基于微博数据挖掘的突发事件情感态势演化分析——以天津8·12事故为例[J].情报杂志,2019,38(2):140-148.
[15]张梦瑶,朱广丽,张顺香,等.基于情感分析的微博热点话题用户群体划分模型[J].数据分析与知识发现,2021,5(2):43-49.
[16]杨鑫,赵凯,马原东,等.基于情感分析和Word2Vec的图书推荐方法[J].图书情报导刊,2021,6(3):46-52.
[17] RANARD B L, WERNER R M, ANTANAVICIUS T, et al.Yelp Reviews Of Hospital Care Can Supplement And Inform Traditional Surveys Of The Patient Experience Of Care[J].Health Aff (Millwood),2016,35(4):697-705.
[18]王晋,支茵.性别差异视角下网络问答社区减肥信息需求主题特征研究——以“知乎”为例[J].现代情报,2021,41(2):89-96.
[19]沈凯莉.虚拟仿真学习体验的影响因素及其相关性研究——以“中小学课堂突发安全事件处理”虚拟仿真实验项目为例[J].中国教育信息化,2022,28(3):106-112.
[20]田园,宫婷婷.基于LDA模型的在线教学需求数据主题挖掘研究[J].情报科学,2021,39(9):110-116.
[21]江毓君,白雪梅,伍文臣,等.在线学习体验影响因素结构关系探析[J].现代远距离教育,2019(1):27-36.
[22] JANE W, PETER H.Teaching Effectiveness in Technology-Mediated Distance Learning[J].The Academy of Management Journal,1997,40(6).
[23]张文兰,李莎莎.在线课程学习体验量表的开发与检验[J].现代教育技术,2021,31(2):65-72.
[24]刘斌,张文兰,江毓君.在线课程学习体验:内涵、发展及影响因素[J].中国电化教育,2016(10):90-96.
[基金项目:中华医学会医学教育分会、中国高等教育学会医学教育专业委员会2020年医学教育研究立项课题一般项目“医学研究生学术创新能力提升与保障体系研究”(2020B-N11224B),2021年山西省高等学校教学改革创新项目“医学高校学生科学数据素养教育课程体系建设与教学实施的探索”(J2021260)]
[责任编辑:余大品]