APP下载

基于用户视角的微软人工智能专业慕课质量评价研究*

2020-11-17钱小龙曹维娜

高等职业教育探索 2020年6期
关键词:学习者人工智能指标

钱小龙,曹维娜

(1.南通大学,江苏南通226019;2.华东师范大学,上海200062)

一、问题的提出

2016年被视为人工智能技术爆发元年,人工智能的发展速度远远超过了人们的想象。2017年“两会”首次将人工智能写入政府工作报告,至此人工智能发展已上升为国家战略。与此同时,人工智能专业人才的培养也成为提升国家综合实力的核心环节,甚至成为各国博弈的重要筹码之一。为有效落实《新一代人工智能发展规划》(国发〔2017〕35号)及《高等学校人工智能创新行动计划》(教技〔2018〕3号)的指示,教建议字〔2019〕213号文件在对十三届全国人大二次会议第7573号建议的答复(以下简称“答复”)中强调,要进一步加大人工智能领域的人才培养力度和学科建设。此外,“答复”中还提出了加快人工智能在线开放课程建设的要求。作为在线教育的一种特殊形式,慕课(MOOC)是一种基于联通主义理论和信息学习的开放式教学法,它通过开展的大规模的网络教育课程,在很大程度上实现了学习资源的整合,从而满足学生多样化、个性化的学习需求,使整个学习过程更加立体化、多元化。[1]很多社会机构和学校依托慕课平台开设人工智能专业课程,莫宏伟、徐立芳等(2015)认为慕课是传播人工智能知识的重要教学形态。[2]从理论上来看,通过这种形态一方面有助于可以实现高、精、专知识的普及化,让更多的受众了解人工智能,另一方面有助于弥补传统教学中时空受限的弊端,为受众群体提升学习效果、拓宽学习途径提供有利条件。

然而,从实际应用上来看,存在的问题也不容小觑。就师资素养而言,尽管清华大学以及微软开设人工智能慕课的主讲人大多是世界知名的科学家或来自大型企业的负责人,有着深厚的理论基础或者实践经验,但其教学专业技能却备受质疑。就课程形式而言,有关Udacity人工智能专业慕课的调查研究发现,人工智能专业慕课存在知识点分散、资源粒度分割过于粗糙等问题,因此建议将慕课教学与传统授课形式相结合。[3]就课程内容而言,人工智能专业慕课的知识点呈现出过度的普适性,大多数课程以讲授人工智能的概论原理、应用以及对当代社会的影响为主,如北京大学的人工智能与信息社会、浙江大学的人工智能导论等课程,专业深度有待提升。诚然,这样的问题并不是人工智能专业慕课所特有的,而是所有慕课普遍需要关注的。不过,人工智能作为新兴的高深前沿领域,有着丰富的专业特色和内涵,值得发掘和探索,有必要采取各种措施以提升人工智能专业慕课的实用性与专业性。

大规模线上课程的出现,在一定程度地践行教育公平,但同时应对课程质量加大关注与管控力度。目前,对于人工智能专业慕课质量评价的研究尚处摸索阶段。本研究要解决的问题是:从个案出发,构建微软人工智能慕课的质量评价标准体系,通过调查研究,对其质量作出评价,并针对存在的问题提出对策建议,以期为人工智能专业慕课的改进与完善提供一定参考。

二、研究设计与研究过程

(一)研究设计

研究选取了微软亚洲研究院在国内慕课平台上开设的微软人工智能系列公开课为研究对象,依据研究的目标,通过期刊、专著、学位论文以及网络文献等资源,搜集与在线教育平台的质量评价体系相关的文献,进行分析整理,在此基础上选取了五个相对权威的质量评价标准,包括《国家精品课程评审指标体系》[4]、《网络课程评价规范》(教育部教育信息化技术标准委员会)[5]、《网络课程评价指标体系》[6]、《MOOC评价体系》[7]以及《慕课质量评价指标体系》[8],将其一级指标进行筛选并合并同类项,对于不能直接确定涵义的一级指标,通过进一步查阅其对应的二级指标来确定,本着指标与评价目的一致性、评价指标项的相对独立性、指标项的可操作性以及整体性的原则,[9]结合人工智能慕课的特点和研究者经验,初步确定了微软人工智能慕课的质量评价指标。利用德尔菲法,选择了教育技术学专业一位对在线教育领域有深入研究的专家,将初步制定的评价指标项交由这位专家,根据其反馈对评价指标做了一些修改,并将修改后的质量评价指标表格发放给该领域另外两位教师,在两位教师没有见面商讨的情况下,分别都对表格做出了一定的评价,给出了改正意见,通过对比研究两位专家的意见,确保评价指标基本符合专家的标准后,经过修改,确定了各级评价指标项。指标项权重系数的确定结合使用了统计加权及层次分析法(AHP),最终确定评价指标体系,表1所示。

表1 质量评价指标体系

(二)研究过程

以质量评价指标体系的二级指标为维度,各三级指标为题项,利用问卷星,制定了微软人工智能专业慕课质量的调查问卷。该问卷共分为三个部分,第一部分为受调查者身份信息模块,第二部分为质量评价模块,第三部分为主观题部分。主观题部分主要涉及用户对微软人工智能慕课建设质量方面的意见与建议,其中第二模块的问题采用分级量表的形式,分为五个等级,从“非常满意”到“非常不满意”分别记为1~5分。由于慕课的开放性特点,慕课学习者群体不限于在校学生,所以本次问卷采用随机发放的形式,面向的对象包括校内校外人士,学历、专业、职业存在差异。填写问卷的前提是在国内慕课平台上至少观看过一门微软人工智能公开课。本次问卷共发放出118份,回收118份,有效问卷118份。将问卷结果导入SPSS分析软件进行信度与效度分析,获得有效问卷数据的克隆巴赫信度系数(Cronbachα系数值)以及KMO的值均大于0.8,具有较高的信度与效度,可用于进一步分析。

三、结果分析

(一)客观数据的分析与解释

从问卷答案中可以分析到,微软人工智能慕课的受众人群绝大多数的学历是本科,占比达到91.53%,研究生学历以上的人群占少数,其他人群包括本科学历以下的学生以及社会人士的占比相对来说很少。这从某种角度反映了微软人工智能慕课的特点,对基础知识的要求较高,对学习者的学习能力要求也较高,没有受过高等教育的人群,可能很难适应该课程。高学历人群(研究生以上)占比较少,仅有5.39%,侧面反映出微软人工智能慕课的知识水平相对来说较基础,适合一般水平的学习者学习,这也与慕课的特点相结合,适合于大多数学习者的学习,以彰显慕课的大规模特点,适应人群广泛,专业或职业不限,从词云图可以看出微软人工智能慕课面向人群更偏向于教育类及技术类专业。

问卷数据进行描述性分析处理,其满意度的平均值对比图,如图1显示。

图1 满意度均值对比图

对比图整体可以分为三个部分,第一部分相对来说波动较大,波动部分为教学目标和教学内容对应的三级指标,在该部分平均值最低的为教学内容的“时效性”。“时效性”是指教学视频的更新速度。笔者在观看教学视频的过程中发现,许多课程视频更新很慢,不同平台的更新速度也不尽相同;第二部分区趋于平缓,这一部分为教学策略、教学评价以及教学队伍整体素质对应的三级指标,教学策略对应的三级指标“课堂问答”满意度最低。通过对微软人工智能慕课内容的观看可以解释其原因:微软人工智能慕课绝大部分课程为演播室录制形式,课堂实录的形式很少,演播室录制的授课教师,在上课过程中不实际面对学生,不具备对学习者进行课堂提问的条件,因此不能很好地把握学习者的学习效果、调整教学节奏,这就导致许多学习者对课程节奏不是很适应,有些学习者认为节奏过快,有些学习者则不满足于当前的学习节奏,这就对课程的整体评价产生了消极影响;第三部分整体波动较大,该部分包括界面设计、课程视频以及学习支持模块。平均值最大的类目为“简洁性”,出现在该部分,其均值为4.02,学习者对微软人工智能慕课的界面设计达到了满意的水平,学习者体验效果相对来说较好。整体来说,平均值最低值为3.76,对应类目为“弹幕”,可见学习者对弹幕的满意度最低。且由表2看,弹幕对应的数据的最值(最小/最大值)超过平均值3个标准差,说明数据波动较大。该现象出现的原因有三个:一是技术层面,由于不同的慕课平台有的支持弹幕功能有的则不支持,对弹幕不满意的学习者可能是在不支持弹幕功能的慕课平台进行学习;二是内容层面,有些学习者观看视频时,弹幕的内容可能是很多与教学内容无关的谈论;三是人为原因,很多学习者对课程的学习属于“滞后学习”,没有在规定时间内学习课程,在事后学习中,就出现没有很多学习伙伴在线讨论的现象。

表2 描述分析结果-基础指标

将三级指标平均值作为每一指标项的得分,按照各指标项的权重系数,计算获得二级指标的得分情况(表3)。

表3 二级指标得分

进而根据指标体系中权重系数,计算获得一级指标得分情况(表4)。

表4 一级指标得分

由此计算得到微软人工智能专业慕课的质量评价总得分为3.48分,其质量达到中等偏上的水平。

以不同学历作为分组变量,以质量评价中的一级指标教学、教师以及技术为检验变量,利用spss软件进行方差(单因素方差)分析,以检验不同学历对微软人工智能专业慕课教学质量的满意程度存在的差异性,如表5。

表中显示,不同学历的学习者对微软人工智能专业慕课在教学、教师与技术方面的质量要求具有显著性差异(P<0.01),学历较高(研究生)或较低(专科及以下)的学习者相对于中等学历(本科)的学习者对微软人工智能专业慕课的质量评价较高,其中评价最高的是有较低学历(专科及以下)的学习者。

表5 满意度差异分析

(二)主观数据的分析与解释

将问卷中主观题数据,删掉“没有”“无”“不清楚”等无效回答后,获得本题有效问卷数量为81份,根据内容可以将其划分为“评价类”和“建议类”回答,评价类语言多为“好”“内容不错”等评价性语言,建议类为“课程时长设置应更合理”等建议性语言,其数量划分情况如表格所示:

表6 主观题回答分类

在建议类回答中,根据质量评价指标体系可以将回答归结为三种类型,一种是对教学的建议,一种是对教师的建议,另一种是对技术的建议,也即是质量评价指标体系的三个一级指标,各类型占比如表7所示。

表7 各评价类型数量及占比

评价类回答是学习者对微软人工智能做出总结性的评价,建议类回答是学习者提出的微软人工智能慕课需要改进的地方。从不同种类回答的占比可以看出,绝大部分学习者对微软人工智能专业慕课满意度不是很高,认为其还存在改进的空间。笔者借助NLPIR大数据搜索与挖掘共享平台对评价类回答和建议类回答分别作了情感分析和词频分析。

从评价类回答情感分析可以看出,学习者对微软人工智能专业慕课持积极的态度,负面情绪几乎为零,回答者多使用“好”“很好”“不错”等词对慕课作出评价。

建议类回答分别从名词、动词、形容词三方面进行词频分析。动词词频分析中,出现了“控制”“加强”“互动”“多样化”等,其中“可以”“能够”“希望”三个动词是学习者对慕课改进作出的期望,并不作为实际的意见进行分析。名词词频中出现最多的是“课程”和“内容”,其次是“方式”,结合各类型占比表,可见学习者对质量评价一级指标中“教学内容”和“教学方式”提出的意见相对较多。形容词词频中,“丰富”出现次数最高,其次是“适当”,还包括“简单”“合理”“幽默”等词。

通过上述分析可以发现当前微软人工智能慕课存在的问题主要有:第一,教学内容相对来说单调,且不能将知识点进行详细的划分,导致视频很难进行剪辑,课程视频普遍较长;课程存在重复性现象,即同一个视频,以不同的名字出现在不同的课程中;教学媒体的选用不具丰富性,不能够很好地与学习者的认知相匹配;课堂互动问答较少;教学评价方式很少,缺少课后习题、期末考试等类似的考查学习者实际掌握知识水平的评价方式。第二,教师水平都很高,但缺乏师范类专业训练,不能很好地将教学内容以学习者能够接受的方式进行呈现;部分课程是演播室录制,有些授课教师表情、语言拘谨不自然。第三,缺少多语言字幕,课程公告更新速度慢;学习支持方面,不能够提供纸质或电子认证证书;不能够切实保证学习者学习的真实性。

四、策略建议

教育部对在线开放课程建设提出 “五个一流”标准,其中包括一流教学内容、一流教学方法、一流师资队伍等[10]。如何将微软人工智能专业慕课建设成为高质量在线开放课程,从而为广大人工智能领域的教学者和学习者提供更好的服务,需要针对这些标准,结合学习者需求,提出改进意见。

(一)从建设机构层面明确对慕课应用的态度

慕课建设机构对于人工智能专业慕课的发展来讲是一个宏观调控的角色,是细化、深化慕课教育改革和发展的重要力量。充分考虑学习者的需求,明确对慕课应用的态度,鼓励并全力支持人工智能专业慕课的发展是慕课建设机构应有的姿态。

一是探索慕课管理与推进工作机制,多方借鉴并引进人工智能相关慕课精品课程。制定相应的工作计划与目标,多途径研究中国人工智能专业慕课教育的现状及问题,比较国外优秀精品课程特点,总结出优势及劣势所在,有针对性地制定相关问题解决策略及发展规划,优化并提高在制作、管理、开发和运行方面的投入。

二是严把慕课教学质量关,不仅要考虑人工智能专业课程综合性强的特点,还要兼顾慕课课程短小、精悍等特点,切实改善当前微软人工智能慕课存在的课程视频过长、内容单调、知识点划分不明确等问题。针对用户反映的教师专业素养问题,可以从教师素质测评体系的构建入手,打造高水准的教师培训团队,全方位多角度优化人工智能专业慕课的质量。

三是增强课程实践性和实用性。现阶段微软人工智能慕课缺少项目类实践,慕课建设机构应积极协调政府机构、专业协会联盟及知名企业等社会组织及团体,搭建人工智能专业慕课的实践平台。同时可以将实践作为教学评价的一部分,促进教学评价方式多样化的实现。除此之外,还应该积极举办各类线下人工智能专业大赛作为检验慕课学习成效的“试金石”,将其作为慕课教学的宝贵资源整合至线上,不断实现信息资源的更新换代。

(二)从教学者层面加强对慕课应用的优化

慕课的出现,使教学者的角色较传统课堂丰富了许多,有研究将其总结为慕课的“建设者和学习者”,同时也是慕课的“研究者和评价者”。角色的变化与丰富进一步要求教学者加强对人工智能专业慕课应用的认识,以更加客观、专业、积极、蓬勃的姿态参与到慕课建设中去。客观,要求教学者辩证地看待人工智能专业慕课,既不盲目夸大慕课的“万能性”也不过度诋毁慕课的“摧毁性”。正如美国学者彼得森提出的,慕课无法取代传统的课堂,[11]以辩证的视角看待人工智能专业慕课,才能保证其功能的充分发挥。

慕课不仅是学习者学习的平台,更是教学者不断学习教学经验,汲取前沿信息,更新教育理念的重要途经。微软人工智能慕课的教学者可以借助慕课平台,汲取他人的教学经验,不断提高自己的专业素养,通过对课程体系的深入研究,保证将知识点以最科学合理的方式进行分解。[12]国外慕课的起步较早,在课程的设置与理解,授课模式及方法上都有着相当丰富的经验,教师可以参与其中并认真研究,学习他们如何将短时视频利用到极致。尤其是国外教师幽默风趣的教学风格,别出心裁的媒体设计等,以给当前教学方法单一、教态不自然等问题以启示。

微软人工智能慕课当前存在的问题,很大程度上在于建设者、教师等利益相关者之间缺乏高度配合。慕课教学团队应充分发挥合作的力量。教学上,教师团队需要不断地备课、磨课、提炼,确保授课目标、内容及方式上的科学性,而不应出现例如同一教学内容在不同的章节出现的问题;技术上,相关信息技术人员和摄影传媒人士应通力合作,确保给学习者最舒适、最有效的多重感官刺激,丰富媒体呈现形式,推进多种语言字幕的实现;审核上,教学团队和技术团队还需要跨领域交流讨论,以便更加了解彼此之间在个环节处理上的意图,保证各项技术上的高度匹配。人工智能专业慕课的发展,精品课程的推出不是单枪匹马可以创造出来的,“台前”“幕后”一样重要。

(三)从学习者层面了解慕课应用的需求

人工智能专业慕课课程尚处在摸索—试误—总结—分析—改善的循环阶段。学习者是人工智能专业慕课课程的主体之一,因此在前进的过程中,施教者应始终坚持以学习者的基本需求为出发点。

1.细化授课环节,完善教学流程

研究发现,微软人工智能慕课教师在授课过程中,偏重灌输,课堂呈现也是以普及型知识为主,同时缺少对预备知识有关材料的补充和参考资料的提供。人工智能专业课程作为一门综合性较强的学科,除了基础理论,还涉及多个学科的交叉,如计算机、数学、哲学等。除了配备高素质的复合型专业人才作为授课主体外,教学流程的详尽性及完整性应是满足学习者学习期待的重要方面。

2.优化“普惠”格局,加强学历认证

微软人工智能慕课的学习者对学历认证方面的需求并未得到满足,除了对证书的需求外,更重要的是社会认可度。一方面,学历认证是对慕课学习者学习效果的一个重要肯定;另一方面,慕课学历的普遍认可有助于增强学习者的竞争力,大幅度提升慕课课程的实用性。

3.加强互动交流,营造人文氛围

数据显示,学习者对“弹幕”满意度最低,这也侧面反映出学习者对互动交流的需求。一直以来,慕课受到诟病的主要原因之一就在于无法实现传统课堂那般的互动和交流。为克服这一局限性,需要慕课设置多样化的互动环节及板块,如问答、讨论区交流、任务互批等,以满足学习者的自主化学习需求。

猜你喜欢

学习者人工智能指标
一类带临界指标的非自治Kirchhoff型方程非平凡解的存在性
你是哪种类型的学习者
十二星座是什么类型的学习者
最新引用指标
2019:人工智能
莫让指标改变初衷
人工智能与就业
数读人工智能
汉语学习自主学习者特征初探
下一幕,人工智能!