国际中文教育慕课质量评价体系构建研究——以Coursera中文教育慕课为例

梁 琳 段松江 王全良

【内容提要】国际中文教育慕课质量评价体系是国际中文教育慕课发展的指南，对慕课开发有质量导向和监督作用。本文以Coursera平台上77门国际中文教育相关课程及学习者为研究对象，构建学习者、在线学习行为及在线学习数据库，围绕国际中文教育学科大纲及慕课分类，构建多维度、多层次的慕课质量评价体系。通过使用线性回归数据分析方法测算指标权重，创建包括建设主体、课程类型、课程难度、授课语言、授课周期、课程视频量、课程阅读材料量和课程测试数共8个指标要素的国际中文教育慕课质量评价体系，以助力完善国际中文教育慕课体系，为慕课平台及课程质量的优化提供借鉴。

2012年以来，“大规模在线开放课程（慕课）”迎来全球性发展阶段。其中，国际中文教育慕课作为一种语言慕课（Language MOOCs，简称LMOOCs），是计算机辅助语言学习（Computer Assisted Language Learning，简称CALL）课程新模式。具体而言，是指面向大规模学习者的汉语作为第二语言的在线教学课程①Sallam M.H.，Martín-Monje E.，Li Y.，“Research trends in language MOOC studies：a systematic review of the published literature（2012—2018），”Computer Assisted Language Learning（2020）：1-28.。自全球突发公共卫生事件以来，计算机辅助语言教学（CMC）、语言MOOC、远程语言教学和虚拟语言课堂等诸多新型汉语教学模式应运而生。①崔希亮：《全球突发公共卫生事件背景下的汉语教学》，《世界汉语教学》，2020年第3期。Coursera、edX和FutureLearn等国外慕课平台是国际中文学习的主流阵地，我国国际中文教育慕课建设也发展迅速，中国大学MOOC、华文慕课、学堂在线等国内慕课平台上线的第二语言汉语的教学慕课已超过100门，注册学习人数超过300万。②王陈欣：《国际汉语慕课的历史、现状分析及展望》，《世界华文教学》，2020年第2期。然而，这些国际中文教育慕课质量良莠不齐，没有统一的评价标准，在注重微观课程实践建设的同时，“也要从宏观上构建一套严密的第二语言慕课教学管理办法和评价体系”。③王添淼：《国内第二语言慕课教学研究热点问题和发展趋势分析》，《国际汉语教学研究》，2020年第4期。

一、研究背景

（一）相关研究

国内外研究主要聚焦宏观层面的平台及课程建设，微观层面的教学设计、教学主体以及教学内容的建设。

1.慕课平台及课程建设研究

相较其他学科，二语教学慕课的研究开始较晚。基于二语习得规律，对于“什么是成功的第二语言慕课”展开初步讨论，提出“详细的课程设计是课程成功的关键”。④Bárcena E.,Read T.,Martín-monje E.,et al.“Analysing student participation in Foreign Language MOOCs: a case study,” Proceedings of the European MOOC Stakeholder Summit，（2014）：11.⑤Martín-monje E.,Bárcena E.,Language MOOCs: providing learning,transcending boundaries,（Walter de Gruyter GmbH &Co KG,2015）.全球16家慕课平台的综合评价表明：三分之二以上的第二语言慕课缺乏有效的师生互动及教学反馈，课程设计和评估机制也有待进一步提升。⑥Perifanou M.,“Designing strategies for an efficient language MOOC,” in CALL communities and cultureshort papers from EUROCALL.ed.S.Papadima-Sophocleous,Linda Bradley,S.THOUëSNY.（2016）.p.3 80.

引进慕课（MOOC）的概念之后，国内研究也逐渐开始聚焦于慕课平台及平台的创建、开发。2014年，上海交大自主研发的中文慕课平台“好大学在线”⑦李海琴：《中国高校全球首创学历流通中文慕课平台》，《世界教育信息》，2014年第12期。发布，目前，国内对于慕课或在线课程平台的创建尚未成熟，相关成果较少。

2.教学设计与教学主体研究

从整体教学设计的角度，国内外的侧重点不同。国外学者提出将课堂与慕课学习融合为混合学习与合作学习模式。⑧Caballero-Hernández J.A.,Palomo-Duarte M.,Dodero J.M.,“Skill assessment in learning experiences based on serious games: A Systematic Mapping Study,” Computers &Education,（2017）：42-60.国外的实证研究侧重于第二语言慕课学习成效与行为分析，而国内还未形成规模性研究。

从教学主体的角度，国外研究早于国内研究。基于实证调查，欧美学者提出第二语言慕课能有效促进语言习得效果。①Holotescu C.,“MOOCs for innovative entrepreneurship in smart cities,” WJET,vol.8,no.3（2016）：245.②Garcia M.F.,Appel C.,“Synchronous tandem language learning in a MOOC context: A study on task design and learner performance,” in CALL communities and culture– short papers from EUROCALL.ed.Salomi P-S,Linda B.,Sylvie T.（2016）.③Qian K.,Bax S.(eds.), Beyond the language classroom: researching MOOCs and other innovations（Research-publishing.net,2017）.对第二语言慕课学习者的学习动机进行调查，并提出改进策略（Beaven 2014）。④Beaven T.,Codreanu T.,Creuzé A.,“Motivation in a Language MOOC: Issues for Course Designers,” in Language MOOCs: Providing Learning,Transcending Boundaries.ed.Elena M-M.,Elena B-M.（Berlin:De Gruyter Open Ltd,2014）.pp.48-66.近年来，国内关于慕课建设的研究重点逐渐聚焦于微观层面的教学主体研究。王添淼、裴伯杰从慕课个案研究的角度，强调了教师与学习者之间的交际性与互动性。⑤王添淼，裴伯杰：《汉语慕课课程个案研究》，《民族教育研究》，2016年第2期。教学视频资源的开发建设是慕课应用于汉语教学的核心⑥赵寰宇：《汉语教学“慕课”视频资源的开发与建设》，《现代交际》，2014年第1期。，其次，相关研究也从宏观层面做出了对于慕课的课程形式、教学方法、教学内容等方面的探索。

（二）研究述评

国外研究侧重点与国内不同，国外更侧重对二语学习者实际学习效果及行为模式的研究，而国内对于宏观课程模式及慕课平台建设的研究相对较多，对于学习者、教师及教学实践的关注集中于研究的中后期。国内早期研究与近期研究的侧重点不一致，早期研究主要关注慕课平台及课程模式的整体构建与开发，近期研究则多聚焦于微观层面的教学实践，从课程的教学实际为教师、学习者提出具体的、有针对性的建议。但就后期研究而言，多维课程评价体系这一整体性的课程建设等相关问题缺乏一定的理论研究及数据支撑，宏观体系建设和课程质量评估是本研究试图推进的方向。

二、研究设计

（一）研究问题

本文通过对具有代表性的国际中文教育平台慕课进行分析，归纳出课程的优点与有待改进之处，探寻慕课建设成效的影响因素并构建回归模型，为新时代的国际中文教育慕课建设提供参考。本文提出3个研究问题：第一，研究国际中文教育慕课的特征；第二，分析国际中文教育慕课建设成效的影响因素；第三，探讨国际中文教育慕课的建设成效。

（二）研究对象和数据来源

研究对象选取Coursera（www.coursera.org）平台77门国际中文教育相关课题及参与学习的182万名学习者，其描述性统计图如图1所示。

图1 课程学习者数量图

选择Coursera平台的原因：第一，平台历史悠久、发展成熟，该平台由斯坦福大学教授吴恩达和Daphne Koller于2012年成立，拥有4 400门在线课程，注册用户1.89亿，课程学习者9 200万；第二，平台全球化程度高、开放性强。这是一个全球性在线学习平台，任何人、任何地区都有机会学习；第三，平台用户群体年龄覆盖广。Coursera平台未限制学习者的年龄阶段。分析得知，国际中文教育慕课具有以下特征：第一，课程数量多，但与主流二语慕课仍有差距；第二，学习者总量多，各课程分布不均；第三，课程类型少，难以满足学习者的多样化需求。

截至2021年10月，Cousera平台77门课程总注册人数为182万。根据平台数据的开放程度进行了77门课程的网页字段的采集，有效数据指标共有13项，本文在此基础上进行指标画像，并尝试从课程指标中获得影响慕课质量的因素，为评价体系建立提供参考。数据采集的时间为2021年10月，数据包括建设主体、课程类型、课程难度、授课语言、课程字幕语种、字幕语种数量、授课周期、课程视频数、课程阅读材料数、课程测试数、学习者人数、学习者评分（课程）和学习者评分（教师）。根据专家意见去除课程字幕语种、字幕语种数量两项数据，确立11项课程指标。

本文建立课程指标数据库和学习者评价语料库：分别采集77门慕课的11项指标及相关数据，分析国际中文教育慕课建设成效的客观影响因素；采集学习者在课程下方的评论语料，分析学习者在线学习成效的主观影响因素。

（三）研究方法

本文采用的研究方法如下：

1.使用文献分析法，对文献中的方法进行分析总结，构建国际中文教育慕课质量评价框架。

2.使用相关性分析法，测算各项指标之间的关联度并进行对比分析，尝试得出各项课程指标对国际中文教育慕课成效的影响程度。

3.使用回归分析法，以学习者数量、学习者评分（课程）和学习者评分（教师）3项反映慕课建设成效的指标作为因变量，以课程建设者维度的8项指标作为自变量进行线性回归分析，得出课程建设指标对于建设成效指标的回归系数并构建回归方程。

4.使用聚类分析法，将以上分析得出的对于国际中文教育慕课建设成效有显著影响的指标作为聚类变量，进行课程聚类，解读慕课存在的聚类间差异并提出相关优化建议。

（四）研究过程

研究过程如下（流程图如图2所示）：

图2 研究流程图

首先，构建国际中文教育慕课质量评价框架；

其次，采集样本数据；

再次，数据分析，验证评价框架的有效性；

最后，完善国际中文教育慕课质量评价体系。

本文研究过程按照以下思路开展，即采用相关性分析方法对学习者维度指标和建设者维度指标进行研究，探讨慕课影响因素；采用聚类分析方法研究77门慕课，结合学习者维度指标和学习者评论语料，探讨慕课建设成效；采用回归分析的方法，以课程建设者维度的指标为自变量，课程学习者维度指标为因变量，求得回归系数，探讨慕课的质量评价体系构成；在上述研究的基础上，得出国际中文教育慕课建设成效的相关结论，提供参考意见，如图3所示。

图3 研究过程及方法流程图

首先，针对“国际中文教育慕课建设成效如何，影响因素有哪些”的问题进行研究。将11项指标导入SPSS软件进行双变量相关性分析，获取各指标之间的关联度并进行对比，根据各项指标的不同关联度，得出慕课建设成效的因素及其显著性。

部分指标的原始数据为字符串格式，需进行赋值处理后导入。如“课程类型”这一指标，赋值情况参考了《国际汉语教学通用课程大纲》①孔子学院总部、国家汉办：《国际汉语教学通用课程大纲·修订版》，北京：北京语言大学出版社，2014年。。具体赋值情况如表1所示。

表1 国际中文教育慕课课程类型赋值情况

指标相关性分析得到不同相关系数与显著值。进行显著性分析可见，有4项属于国际中文教育慕课成效的影响指标。在相关性均为显著的情况下，4项指标按照相关系数从大到小的顺序为课程类型、建设主体、课程难度和课程阅读材料数。得出的相关分析结果如表2到表5所示。

表2 建设主体指标皮尔逊相关性检验

表3 课程类型指标皮尔逊相关性检验

表4 课程难度指标皮尔逊相关性检验

表5 课程阅读材料数指标斯皮尔曼相关性检验

表6 最终聚类中心

表7 最终聚类中心之间的距离

表8 每个聚类中的个案数目

其次，经过相关性分析，确定了有显著影响的几大因素，以此为聚类变量进行课程聚类。同时，将聚类分析结果与学习者评论语料的相关研究结合，共同探究“国际中文教育慕课建设成效如何”这一问题。聚类变量为课程建设主体、课程类型、课程难度和课程阅读材料数4项，将聚类数设定为3，进行k-means聚类分析，得到如下结果。

从分析结果来看，第一类课程QS排名最靠后，课程难度最大，课程类型在赋值5（中国文化教学）附近，阅读材料数适中，此类课程共5门。第二类课程QS排名适中，课程难度适中，课程类型在赋值5（中国文化教学）附近，阅读材料数较少，此类课程67门。第三类课程QS排名靠前，课程难度适中，课程类型在赋值3（语法课）附近，阅读材料数最多，这一类课程共5门。

最后，为探究变量对慕课建设成效的具体影响程度，对各项指标进行线性回归分析，分别以学习者数量、学习者评分（课程）和学习者评分（教师）为因变量，以8项课程建设者维度的指标为自变量，结果见表9。

表9 学习者数量回归分析（模型摘要）

表10 学习者数量回归分析（系数）

表11 学习者评分（课程）回归分析（模型摘要）

表12 学习者评分（课程）回归分析（系数）

表13 学习者评分（教师）回归分析（模型摘要）

表14 学习者评分（教师）回归分析（系数）

可分别得出学习者数量、学习者评分（课程）和学习者评分（教师）的线性回归模型。回归方程如下：

三、研究结果与分析

（一）学习者维度的质量评价体系

本文已对Coursera平台的77门国际中文教育慕课进行聚类并对其进行了聚类变量指标的描述性分析。根据聚类结果，本文对应选取“中国哲学经典著作导读”（聚类第一类）、“Chinese for Beginners”（聚类第二类）和“Chinese for HSK 1”（聚类第三类）三门课程的评论语料。三门课程语料分别为67条，4 263条，593条。利用Python 3.9.7将评论语料进行清洗和去停用词操作后，通过TF-IDF算法提取重要性排名前十的关键词，见表15。

表15 评论语料中TF-IDF值排名前10的关键词

最后，将学习者相关指标与上述研究结合，可对国际中文教育慕课建设成效进行解读。本文共得出三点结论：

第一，国际中文教育慕课总体建设成效较好。77门课程中有48门课程（62.34%）的“学习者评分（课程）”高于Coursera平台的课程平均值（4.7）。同时，从三类课程评论语料中提取的关键词多表现出积极正面语义，且TF-IDF值较高，如“good（0.1833）”“感谢（0.0707）”等，这表明国际中文教育慕课取得了较好的建设成效。

第二，国际中文教育慕课的建设成效受课程类型因素的影响较大，“专门用途汉语—HSK”类课程建设成效最佳。聚类第三类课程的“学习者数量”“学习者评分（课程）”和“学习者评分（教师）”的平均值均高于其他两个聚类，聚类中的5门课程中，有4门属于“专门用途汉语—HSK”类型。评论关键词也可发现“HSK（0.1977）”在第三类课程中也具有较高的TF-IDF值，反映出学习者的学习目标（考试）具有明确的指向，提升了相关慕课的建设成效。

第三，课程建设主体对国际中文教育慕课建设成效有一定的影响，排名靠前的建设主体所发布的国际中文教育慕课建设成效较好。聚类结果显示第一类、第二类和第三类课程的QS排名不断上升，三项学习者指标的平均值同时呈上升趋势。在学习者评论语料中，聚类第二类和第三类的“course（0.5751，0.7139）”“learn（0.1741，0.1318）”“learning（0.1491）”等关键词反映出学习者对于排名靠前的建设主体所发布的课程具有强烈的学习热情。

（二）建设者维度的质量评价体系构建

在上述分析研究和线性回归模型的基础上，通过提取回归分析标准化系数绝对值的方法，计算得出各项课程建设者维度指标对国际中文教育慕课建设成效的权重，如表16所示。

表16 各指标对慕课建设成效的权重

8项指标权重从大到小依次为课程类型、课程难度、课程测试数、建设主体、授课周期、授课语言、课程视频数、课程阅读材料数。基于邱均平和欧玉芳对于慕课课程质量评价体系的研究成果①邱均平、欧玉芳：《慕课质量评价指标体系构建及应用研究》，《高教发展与评估》，2015年第5期。，分别对8项指标进行了概括性描述，并尝试以此构建出8项指标考量的国际中文教育慕课建设成效评价体系（表17）。

表17 国际中文教育慕课建设成效评价体系

（三）国际中文教育慕课的质量评价体系

综合学习者维度和建设者维度的质量评价体系，可以得出国际中文教育慕课的质量评价体系，如图4所示。

图4 国际中文教育慕课的质量评价体系

参考前人研究，结合数据采集的实际情况，将13项指标优化为11项指标，最终得到课程建设者维度8项（建设主体、课程类型、课程难度、授课语言、授课周期、课程视频数、课程阅读材料数和课程测试数），课程学习者维度3项（学习者人数、学习者评分—课程和学习者评分—教师）。在以学习者为中心的思想指导下，国际中文教育慕课建设成效由学习者维度的3项量化指标共同反映。

四、结论与建议

国际中文教育慕课建设快速发展，本课题采用语言测试、数据分析等方法对国际中文教育慕课学习者在线学习数据和语料进行研究，旨在构建国际中文教育慕课质量的评价体系，为评价慕课质量水平提供标尺。

（一）结论

借助上述研究方法，结合所得数据，本研究初步得出了如下结论：

1.慕课教育体系的建设正在稳步推进

虽然国内外的研究重点和推进程度不完全一致，但数据表明国际中文教育慕课总体建设仍呈现稳步推进趋势。因此，在建立宏观层面的质量评估体系、细化课程、优化教师教学的进程中，慕课的建设与研究仍存在上升空间。

2.慕课质量评价体系存在两个重要维度

课程建设者与学习者作为两个重要维度，对慕课教学体系建设至关重要。慕课的课程设置及其质量评估体系，不但需从课程建设者维度出发，课程学习者维度也同样重要。近年来，对于学习者视角的慕课研究逐渐增多，这也意味着学习者维度对于含慕课教学这一形式在内的国际中文教学实践具有重要意义。

3.慕课建设成效受到关键指标的影响

本文通过线性回归分析得到了国际中文教育慕课建设成效的回归模型，在此基础上获取了8项指标对慕课建设成效的不同权重，构建了评价体系。8项因素共同对国际中文教育慕课的质量产生一定的影响。

其中，课程类型作为影响慕课建设成效的关键因素，与组织材料等其他因素也有着密切的相关性。除以上8项指标的内在相关性之外，课程建设者与学习者维度的角色关系也为指标的构建和相互作用创造了前提。

（二）建议

为助力国际中文教育慕课提质增效，本文同时提出了以下几点建议供后续建设者借鉴参考：

1.慕课平台及课程建设需稳中求进

目前，慕课的平台及课程建设已取得一定的成效，但整体的课程体系建设仍存在理论及实践层面的研究空缺，较国外而言，研究成果也比较有限。因此，国内研究应当借助政策及技术的优势，稳中求进，推进宏观评估体系的建设。

2.建设主体共同助力评价体系的建设

课程建设者与学习者作为影响慕课教育质量体系的两个重要维度，需要双方在关键指标具备基本意识，在基于双方视角的理解上有效融合，共同助力慕课的体系建设。

（1）课程建设者的作用。从建设者维度而言，需精准预判影响课程评估的各项指标，明确学习者实际需求类型，加大专门用途汉语课程建设力度。“专门用途汉语—HSK”为研究过程中发现的建设成效最佳的课程，这表明当前学习者对此类课程有高程度的需求。此类课程的学习者往往拥有明确的中文学习动机，相关课程容易取得较好的建设成效。随着参与HSK考试及来华学习人数的日益增多，专门用途汉语课程建设力度亟待加强。此外，基于对课程建设及质量评估的客观要求，课程建设者与教学实践者应当不断提高自身的技术水平以及研究能力，从根本上改善教学现状。未来，国际中文教育即将迎来“数智化”的发展趋势，而慕课（MOOC）是顺应第二语言教学的重要载体，慕课建设者可以在课程维护的过程中优化课程设计要素，与新兴技术实现更新融合，提升学习者的体验感和课程建设质量。

（2）课程学习者的作用。从学习者维度而言，首先，提升参与程度，丰富国际中文教育慕课阅读材料供给。通过研究发现阅读材料数与课程学习者数量有显著的相关性，这启示学习者可丰富国际中文教育慕课阅读材料的供给，通过材料组织方式的优化为学习提质增效。慕课平台可在技术层面搭建自由度更高且容纳量更大的学习支持系统；课程学习者可借助现有环境下课件、视频、音频等丰富的阅读材料的形式和数量，最终达到提高学习成效，即助力课程建设及质量评估的目的。除此之外，学习者人数、学习者的学习风格、学习者与教师之间的互动关系都是影响慕课质量评估的隐性指标，需借助分析方法如Citespace可视化图谱分析、SPSS数据分析、SWOT分析、多模态话语分析等，结合相关数据进一步聚焦问题，并提出具体、可行的解决策略。