基于用户视角的大学人工智能慕课质量评价研究

钱小龙 罗利君

摘要：慕课是一种新的教学模式，对传统课堂、教学模式、教育理念等产生了巨大的冲击，促进了高等教育的改革。基于用户视角对清华大学在学堂在线网站上开设的人工智能慕课进行质量评价，结果表明，学习者对成就价值、课程内容和策略的满意度较高，人工智能慕课在教学资源、教学方法、互动交流等方面仍需改进。未来，慕课的发展策略应当包括：明确课程目标，拓展教学资源;改革教学方法，强化教学设计;加强教师能力，改革考核评价;重视社交功能，增进师生交流和同伴交互。

关键词：人工智能;慕课：学习体验;用户视角

中图分类号：G434 文献标识码：A 文章分类号：1674-7089（2020）02-0117-10

作者简介：钱小龙，博士，南通大学教育科学学院教授，硕士研究生导师;罗利君，上海师范大学教育学院硕士研究生。

一、研究背景

慕课（MOOC）的概念源于国外，是指大规模在线开放课程，这是一种新型教学模式，打破了时间和空间的限制，能够为学习者提供丰富的课程资源和个性化的推荐。在大数据、云计算等技术的支持下，高等院校广泛使用慕课，可以为师生提供更多的教育资源和更好的学习体验，从而有效推进高等教育教学模式和教学理念的改革，提高教学质量，在一定程度上加速我国教育现代化的进程。国家支持是人工智能教育发展的有效保障，教育部于2018年4月印发了《高等学校人工智能创新行动计划》，要求优化高校人工智能领域科技创新体系，完善人工智能领域人才培养体系。国家高度重视人工智能教育，积极鼓励、引导高校在相关慕课平台上开设人工智能领域的慕课。

中南大学通过爱课程网提供的人工智能PK人类智能课程在2012年就人选国家精品视频公开课建设计划，成为首批播出的课程之一，受到公众欢迎与好评。国内几大慕课平台都积极开设人工智能方面的在线课程，例如学堂在线、中国大学MOOC、华文慕课等均開设了人工智能前沿与产业趋势等课程。这些课程介绍了人工智能技术的概念、发展历史、应用领域、对人类社会的影响和应用发展前景等相关知识，为大家打开了学习人工智能的大门。但是，考虑到通俗易懂的要求，为了保证普及性，这些课程的专业性并不强。目前，在一定专业基础上的深入研究型课程比较少。

清华大学主动对接国家战略，呼应《新一代人工智能发展规划》的要求，落实教育部《高等学校人工智能创新行动计划》要求，推进“新工科”建设，在学堂在线网站上积极开设人工智能慕课。本研究的人工智能慕课是指在慕课平台上开设的人工智能专业课程，包括以概率统计为基础的数学课程，以编程和系统为基础的计算机课程，以及以知识表达、问题求解和机器学习为基础的人工智能课程，而不是指将人工智能技术运用于慕课教学。基于上述背景，对清华大学人工智能慕课展开质量评价研究。

二、文献回顾

（一）国内研究现状

慕课的实际教学效果关系着慕课能否获得可持续发展，国内不少学者对慕课质量评价展开了研究。冯雪松等从量化考核和定性描述的两个视角出发，并基于北京大学的慕课的实践，提出了慕课的评价指标体系。王璐等依据扎根理论，考虑学习者的需要，设计了慕课课程质量评价指标体系。巩永华等提出了基于知识转移效率的慕课教学质量评价指标体系，为慕课课程建设与评价提供了新的思路。这些研究的重点不同，但很少有学者从用户满意度的角度对慕课质量进行评价。此外，针对人工智能慕课的文献较少，现有研究主要集中在课程内容设计、教学改革实践等方面。因此，开展人工智能慕课质量评价具有一定价值。

（二）国外研究现状

当前，人工智能时代已经来临，培养人工智能人才成为社会发展的必然要求，各国高度支持人工智能教育的发展，将人工智能纳入教学内容，开设人工智能课程。一些著名的高校和公司在Edx、Coursera等平台开设了人工智能课程。哥伦比亚大学创建了Micro Masters，可以供全世界的学习者在Edx网站上使用，学习者能够理解人工智能的指导原则，将机器学习等概念应用于现实生活。关于人工智能慕课的研究，学者们的研究角度各有不同。Liu认为，人工智能课程内容丰富、错综复杂，传统教学方法难以满足教学需要，应开设人工智能慕课，便于学习者掌握抽象的知识。Goel等将认知的原理和实践融合在一起，介绍了课程的设计、实施和评估等环节，探讨如何拓展人工智能的教学。

国外学者从不同的角度进行慕课质量评价研究，以规范和推进慕课建设。Espada等认为，慕课平台的用户体验会影响课程质量，提出了一个可量化的指标以反映用户体验的演变，从而更好地促进慕课课程的建设。Dyomin等研究了托木斯克州立大学（TSU）的慕课评价系统，分析数据样本，发现不同慕课（大众科学和专业课程）的质量评价存在显著差异，他们认为不同类型课程的质量标准应当是不同的。Stracke提出了一种新的慕课质量评价指标，即从学习者个体目标和意图的完成情况着手评价，而不是测量失学率。相对而言，国外慕课质量评价的研究比较成熟。

三、研究设计与研究过程

（一）研究设计

慕课的质量在很大程度上会影响学习者的学习体验，依据一定评价指标设置评价量表，可以对清华大学人工智能慕课课程进行全方位的、客观的评价，以便发现人工智能慕课在发展过程中存在的问题，提出有针对性的改进措施，从而促进人工智能慕课的发展，顺应人工智能时代的需求，并对其他慕课的建设提供参考。关于网络课程质量的研究比较多，慕课是一种在线教育方式，可以依据现有的网络课程和网络资源的评价标准设计慕课的课程评价指标。2012年，教育部教育信息化技术标准委员会起草了《网络课程评价规范（cELTS-22.1）》，给网络课程提供了参考依据和质量评价模型，但是这项规范存在重等级评定、轻质量改进，重竞争、轻合作等缺点。

在《网络课程评价规范（cELTS-22.1）》的基础上，结合2018年印发的《教育部办公厅关于开展2018年国家精品在线开放课程认定工作的通知》和慕课的特征，设计了清华大学人工智能慕课质量评价指标体系。该指标体系分为5个维度，包括14个二级指标，25个三级指标，如表1所示。

（二）研究过程

1.设计问卷

根据上述评价指标体系，借助问卷星平台设计清华大学人工智能慕课质量评价的调查问卷。问卷总共有三个部分：第一部分是被调查者的基本信息;第二部分是质量评价模块，根据评价指标体系的三级指标制定了25道单项选择题，每题均有5个选项，即“很不满意”“不满意”“一般”“满意”“很满意”，分别记1～5分;第三部分是主观题，针对学习者对清华大学人工智能慕课的体验，请他们提出意见，以提高慕课质量。我们向通过学堂在线网站学习清华大学人工智能慕课的用户发放了120份问卷，回收问卷110份。经检验，这110份问卷皆为有效问卷。在分析数据之前，需要分析问卷的信度和效度以衡量问卷的有效性和准确性。经检验，本研究中问卷的信度为0.982，大于0.9;KMO值为0.953，大于0.6，而BaItlett球形度检验的sig值是0.000，小于0.01，问卷具有很好的结构次序，获得的数据信度和效度均满足分析要求。

2.确定权重

评价指标框架确定后，需要对各项指标在整个评价指标体系中的重要程度进行量化分析，即确定指标权重。文中，指标权重的确定主要采用了统计加权方法，邀请10位专家对指标的重要性进行排序，并利用公式Wi=（∑Aj×nij）/（n×∑Ai）计算出一级指标权重，i为项数，j为等级序号。结果如表2所示。

借鉴《地方高校院系本科教学工作考核的研究与实践》中提出的方法，计算一级、二级指标的平均分和得分率。得分率是指平均得分占该等级指标全分的百分比。也就是说，平均分=该级指标得分/问卷人数/该级指标下的同一级别指标的个数。得分率=[平均分/（权重×100）]×100%。例如二级指标“教学内容”的平均分为[（1×1+2×0+3×11+4×65+5×33）+（1×1+2×1+3×20+4×52+5×36）]/110/2=4.136，得分率為[4.136/（0.11×100）]×100%=37.6%。如表3所示。将二级指标的得分率求平均，得到一级指标的得分率，如表4所示。

四、结果分析

（一）客观数据分析

本研究设计了5个维度，分别是课程内容与策略、课程活动、学习支持、课程平台、成就价值。根据表3和表4的数据，可以分析学习者的学习满意度。

由表4数据发现，学习者对课程内容与策略、成就价值的评价最高，表明学习者对这两方面比较满意。课程活动和学习支持的得分较低，说明在课程教学中，这两个方面需要改进之处较多。而且，课程活动、学习支持会影响学习者的成就价值，进而影响满意度，所以要不断提高和改进。由表3可知，内容目标一致性的得分率较高，说明课程内容与教学目标相适应，目标清晰明确并且能够涵盖课程的各项学习目标。教学内容的得分率最低，说明学习者对教学的组织结构和内容的合理性、科学性、丰富性等方面不满意。

为了进一步进行慕课质量评价，笔者借助问卷每一小题的平均得分，分析每一个维度的二级指标。

1.课程内容与策略维度的类目数据分析

课程内容与策略维度主要包括课程说明、内容目标一致性、教学内容、教学资源、教学方法等5个二级指标。在课程内容和策略维度中，课程说明这个二级指标的平均分最高，为4.16，说明人工智能慕课课程基本上明确告知了课程目标和开课时间，安排了常见问题解答，学习者比较满意。教学方法这个二级指标的平均得分最低，为4.12，说明学习者对教学方法不是特别满意。未来，案例教学、动画展示、任务驱动等方法应当得到更多的运用。

2.课程活动维度的类目数据分析

课程活动维度包括互动交流和学习评价2个二级指标。互动交流和学习评价的平均得分为4.04和4.08，说明学习者对课程活动模块整体上是肯定的，但是相比其他指标，得分较低。进一步分析发现，互动交流包含的三级指标对应的题目得分分别为4.04、4.03、4.04，说明在教师和助教及时协助答疑、参与讨论，搭建课程以外的交流平台（例如微信群、公众号）促进学伴交互协作，提供充分的交互机会让学习者讨论或协作解决问题等方面有所欠缺。学习评价主要包含2个三级指标，对应的小题得分为4.06和4.10。该指标得分较高，说明课程的教学评价环节符合学习者的期望，课程所采用的评价方法、评价工具比较成熟。

3.学习支持维度的类目数据分析

学习支持维度包括教师支持、同伴支持2个二级指标，得分均值为4.09。通过分析发现，“教师具有较高的教学水平和学术水平，较强的组织能力和管理能力;教师团队优秀，成员结构合理;团队成员分工明确，课程维护积极有效”这一题得分为4.15。而“在课程和非课程平台中，学生提出的问题能够得到同伴的反馈，在学习过程中能够自发组成学习共同体进行学习”这一题的得分为4.03。这说明在慕课学习中，同伴交互是不充分的。在学习过程中，不仅要强调人机互动、师生互动，更应该关注同伴交互，组建学习团体，营造良好的学习氛围，这一点需要改进和强化。

4.课程平台维度的类目数据分析

课程平台维度包括2个二级指标和4个三级指标，最终的平均值为4.16。进一步分析每一小题的得分发现，可用性二级指标对应的题目得分为4.15、4.21，这说明学习者能够随时随地使用任意终端设备获取流畅的视频，满意度较高。界面设计二级指标的2个小题的得分为4.11、4.17，在一定程度上说明学堂在线的课程导航系统直观明确、方便使用，但是界面设计难以令人满意，文本、图形等可视元素的搭配不太协调，表现形式较为单一。对慕课平台来说，这些方面需要不断加以完善。

5.成就价值维度的类目数据分析

成就价值维度包括3个二级指标和3个三级指标，得分均值为4.13。这个分数说明学习者通过学习慕课，专业知识和技能得到了提升，意识到慕课对今后的学习有帮助，认同课程的价值。

（二）主观数据分析

在清华大学人工智能慕课质量评价问卷的最后，有一个主观题，“您对清华大学人工智能慕课的建设有哪些建议？”回答包括：采用多媒体辅助教学，教学时多举例子，课程内容更贴近人工智能行业要求，更多的互动和反馈，建设高校联盟，希望授课老师是这个专业里有权威的人士，希望更多“双一流”名校开设更多的相关课程，采用多样化的教学方式激发学生的学习兴趣，希望能进一步挖掘细节的知识……分析主观题的答案，调查对象的建议可以分为8个方面，分别是教师队伍、课程平台、教学内容、教学策略、拓展资源、教学评价、学习支持、交流互动。对数据进行统计分析，结果如表5所示。

根据表5，学习者关于清华大学人工智能慕课的建议主要集中在教学内容和教学策略方面，分别有35条和26条。进一步分析教学内容这一项，发现建议主要针对教学内容的丰富性、趣味性、多样性、前沿性等。分析有关教学策略的建议，发现案例的使用、任务驱动、演示法、教学方法的多样性、教学媒体的合理使用等受到学习者的重视。

关于教学评价，有受访者提到，可以在视频中插入嵌入式问题，这种方法有利于学习者保持注意力，教师也能得到及时反馈。此外，同伴互评是学生自主学习、合作学习的重要一环，在学堂在线中，缺少同伴互评这一环，受访者针对这个问题提出的建议具有一定的实践意义。关于教师队伍的建议，受访者主要针对教师的精神状态和仪表、教师队伍建设等问题提出了自己的想法。清华大学人工智能慕课课程包括人工智能前言、产业趋势、大数据科学与应用等一系列讲座和课程，邀请了国内AI领域的专业人员、互联网公司的技术负责人等进行讲授，学习者可以获得很好的学习体验，因此，关于师资力量的建议很有意义。拓展资源和课程平台方面的建议较少，但是不代表这两个方面不重要。在学习型社会中，人们必须学会学习，秉持活到老、学到老的理念。所谓师傅领进门，修行靠个人，人们可以根据拓展资源深入学习。教师提供的拓展资源可以帮助学生加深理解，提高学习效果。关于课程平台的建设，学习者针对学堂在线网站的不足，建议修改界面，增加课程评价模块。

五、策略建议

（一）明确课程目标，拓展教学资源

在新时代背景下，人工智能人才的培养是衡量一个国家核心竞争力的重要指标。根据全面育人、终身教育的理念，教育的目标应该是培养具有批判性思维、创新能力、自主性、跨学科思维的学生。在人工智能慕课教学过程中，需要高度重视计算思维的培养，这样的课程目标对学习者提出了更高的期望，符合智能时代高素质人才的要求。慕课教学内容的深度、广度会对学习者的学习兴趣和效果产生重要影响。徐振国等认为，教学内容陈旧、教学内容与学习者的心理期待有落差等是学习者中途辍学的重要因素。丰富且具有拓展性的教学资源可以提高学习兴趣，学习者在学习人工智能慕课时不能局限于教师讲授的知识。人工智能是一个交叉学科，本质是对人类思维进行模拟，因此，人工智能慕课的涉及面很广。作为学生学习的引导者，教师有责任培养学习者的自主探索能力。教师可以给学习者推荐参考书目，提供拓展视频的链接等，帮助学生及时了解学术会议和顶级期刊的动态，开拓学生的眼界，使学生不局限于慕课，深化在慕课中学到的知识。

（二）改革教学方法，强化教学设计

当学习者使用在线教育平台时，视频是他们学习的主要媒体资源。视频的时长会影响学习者的学习体验，进而影响完成率，一般为5～10分钟较好。视频过长或过短都会降低学习效率，而且视频的切分不能仅考虑教学内容所需要的时间，更应该考虑教学内容的内在逻辑结构，过短的视频不利于学生建立完整的学习内容框架。此外，国务院于2017年发布了《新一代人工智能发展规划》，部署了开展智慧教育的相关工作，要求以思维创新、教学方法创新等落实教育创新。人工智能慕课内容抽象、涉及面广，在教学过程中不能简单地罗列知识点，要尽量少用专业术语分析问题，建议大量采用实战性、趣味性的案例开展教学。这样可以帮助学生理解抽象的概念，使学习者不仅能识记，更能领会，进而加深理解。针对一些实践性较强的课程，建议采用任务驱动式教学。总之，在教学方法的改革过程中，教师应结合课程目标，以学生为主体，激发学习兴趣，提高学习意识。

（三）加强教师能力，改革考核评价

在慕课的学习过程中，教师的能力非常重要，在很大程度上会影响学习效果。较高的教学水平、学术水平和良好的教学风范、组织管理能力是每个教师都应当具备的。学习动机是将学习者的学习需要和学习目标联系起来的关键，推动并调节学习者感知、记忆和学习，直到解决问题。教师适当提高学生的学习动机，可以使学生的学习效率变高，从而获得较好的学习效果。第一，教师应该积极参加培训，学习相关知识，不断提高教学能力、创新意识和创新能力，丰富自己的教学智慧。第二，教师在教学过程中应当多多采用邀请性的语气，用温和而幽默的方式激发学习兴趣，使学习者内心产生学习的意愿。第三，教师应不断进行学习动机的理论研究，以便更好地辅助教学。传统的面授型教学方式多以考试测验作为教学效果评估手段，根据教学目的，教学效果评估可以分成诊断性评价、形成性评价和终结性评价，因此，课后习题、单元测试、期末测试较为常见，在嵌入式问题、同伴互评等方面有所欠缺。在慕课的教学效果评价中，应针对这些缺陷，实现评价方式多元化，使学习者得到及时的、人性化的评价，有利于提高学习效果。

（四）重视社交功能，增进师生交流和同伴交互

教学平台不仅要实现学生和教学内容之间的交互，还要实现教师和学生之间的交流，学生和学生之间的互动。协作学习是指不同的学习者彼此负责，共同付出努力进行学习。师生交流和同伴交互能够促进协作学习。因此，除了常规的论坛讨论，教师应该努力搭建更多的交流平台（如建立微信群、QQ群等），提供充分的交流互动机会，提高学习者的社交体验和学习效果。此外，同伴互評能够增强学习体验，激发学习动机，提高社会责任感，帮助学习者加深对知识的理解，进行自我反思。慕课的学习者数量庞大，教师、助教在批阅作业时工作量很大，因此，引入同伴互评是一个有效的方法。

（责任编辑：沈丹）