国外在线课程评价研究现状及启示

杨晓宏  李运福  周效章

摘 要：本研究采用CiteSpace对Web of Science核心文集数据库收录的2000—2017年的在线课程评价相关文献进行了引文空间分析。研究发现：国外在线课程评价的研究主要涵盖在线课程本体评价、继续教育领域在线课程评价、高等教育领域在线课程评价、开放教育资源视角下在线课程评价、在线课程无障碍性评价、医学教育领域在线课程评价、以个性化学习为导向的在线课程评价、关注学习者学习心理特征的在线课程评价等八个方面，且系统性强，形成了丰富的研究成果。对我国在线开放课程教学质量标准的研制具有重要启示。

关键词：在线开放课程;评价;研究现状;引文空间分析

中图分类号：G434 文献标志码：A 文章编号：2096-0069（2019）01-0086-07

自《教育部关于加强在线开放课程建设运用与管理的意见》发布以来，在线开放课程教学质量认定标准的研制已成为各高校通过引入在线开放课程推动课堂教学革命，促进高等教育内涵式发展所面临的现实问题，也是新时期继续完善我国高等教育质量保障体系的重大课题。国外在线课程评价研究起步相对较早，尤其是美国、英国等西方发达国家，积累了丰富的研究成果。在我国教育信息化迈入2.0时代的新背景下，运用定量与定性相结合的方法，对国外在线课程评价研究的现状进行系统梳理与深度剖析，能够为我国当下高校在线开放课教学质量认定标准的研制提供重要启示。

一、研究设计

（一）文献检索与描述

为增强研究样本的代表性，本研究以Web of Science核心文集为检索源，首先，采用高级检索功能，分别将“基于网络的课程”（“Web Based Course” OR“Web-based Course”）、“大规模在线开放课程”（“Massive Open Online Course”OR“Open Online Course”）、“MOOC”、“在线课程”（“Online Course”OR“On-line Course”）、“數字学习课程”（“Elearning Course”OR“E-learning Course”）、“远程课程”（“Distance Course”OR“Distance Education Course”）、“虚拟课程”（“Virtual Course”）、“互联网课程”（“Internet Course” OR“Network Course”）与“评价”（“Evaluation” OR“Evaluate”OR“Assessment”OR“Appraisal”）进行匹配，设定语种为“英语”且文献类型为“论文”，开展主题检索，分别生成检索结果#1、#2、#3、#4、#5、#6、#7、#8;其次，采用逻辑“或”运算生成检索结果#9，涉及文献472篇，即#9=#8或#7或#6或#5或#4或#3或#2或#1;最后，剔除“国家/地区”值为“中国（PEOPLES R CHINA）”的14篇文献和值为“台湾（TAIWAN）”的21篇文献，生成检索结果#10，涉及文献437篇，将其作为本研究引文空间分析的施引文献。

通过对研究样本进行基本的描述性分析，本研究发现：就刊载年度而言，自2007年至2016年，与在线课程评价相关的文献数量呈逐年递增的趋势;就刊载期刊而言，共涉及235种期刊，最高频次为18，其中《美国药学教育杂志》（American Journal of Pharmaceutical Education）、《国际远程开放教育研究述评》（International Review of Research in Open and Distance Learning）是对在线课程评价最为关注的两个期刊，分别占研究样本总量的4.12%、3.66%;就研究作者而言，研究样本共涉及500位作者，最高频次为5，最低频次为1，其中累计频次为5的高产作者主要有K.S.Khan、C.D.Kloos、R.Kulier、P.J.Munoz-Merino、A.L.Pittenger等5位;就国家和地区而言，研究样本共涉及72个国家和地区，最高累计频次为208，美国是关注在线课程评价最为集中的国家，占研究样本总量的47.6%;就研究机构而言，研究样本共涉及500家研究机构，最高频次为12，英国开放大学是关注在线课程评价最集中的机构，占研究样本总量的2.75%。

（二）研究方法与思路

基于对CiteSpace引文分析学科基础和技术基础的分析和理解[1]，本研究着重采用以下思路对国外在线课程评价的研究热点进行分析：第一，利用知识图谱可视化分析软件CiteSpace对研究样本进行共被引聚类分析，形成共被引聚类图谱、共被引时间线图谱;第二，根据上述聚类分析的结果，探寻各类主题所涉及的高突现性文献、高被引文献、高中心性文献以及各聚类所涉及的前沿文献和经典文献;第三，通过对高突现性文献、高被引文献、高中心性文献的分析，从宏观层面了解国外在线课程评价研究的发展历程;第四，分别对各聚类所涉及的高被引文献、高引用频次施引文献进行查阅与分析，了解各聚类研究的知识基础与前沿动态;第五，对上述数据分析结果进行归纳和总结，形成研究结论，并结合我国实际，对当下我国高等教育领域开展在线开放课程教学质量认定研究与实践的启示进行归纳和梳理。

二、数据分析与结果

参考文献共被引是指两篇参考文献被同一篇文献引用的现象，通过分析共被引网络中的聚类及关键节点，可以揭示出某个研究领域的知识结构[2]。本研究采用引文空间分析软件CiteSpaceV，以“被引文献”为节点，时间区段设置为1年，选择“突现名词”为突变术语类型，设置每片筛选百分比（top N% per sliced）值为10%，设置LRF=2、LBY=8、e=2.0，对437篇施引文献进行分析，最终在12660篇参考文献中筛选出196篇高被引文献，通过聚类分析最终形成引文共现聚类图谱与聚类结果（表1）。

通过聚类分析，196篇高被引文献被划分为32类，其中显著聚类共8类，分别为：联通主义（Connectivism）、痴呆（Dementia）、大学（University）、开放资源（Open Resource）、残疾（Disability）、慕课（MOOC）、个性化学习（Personalized Learning）、学习者动机（Students Motivation）。其规模（Size）、轮廓值（Silhouette）、聚类标签（LSI、LLR、MI）、引文的平均发表年份等信息统计如表1所示。

通过文献共被引聚类分析既可以准确查找出某一聚类中能够代表该类主题研究基础的高被引文献，同时也可精确定位该聚类中能够代表该类主题研究前沿的高引用比例的施引文献。被引频次越高意味着该文献对该主题研究的奠基作用越明显，引用比例越高意味着该文献对该主题研究前沿的代表性越强。因此，为进一步深度分析国外在线课程评价研究的现状，本研究对各聚类中所涉及的高被引文献与高引用频次文献进行了深度分析。

（一） 联通主义（Connectivism）

该类研究的知识基础主要包括：MOOC研究的元分析[3];基于数据挖掘MOOC应用统计与评估[4];MOOC中作文评价方法的比较分析[5];阻止在线评价中欺骗行为发生的MOOC学习评价框架研究[6];等等。此外，该类的研究前沿话题主要包括：教学与技术双重视角下多类别MOOC实践应用的比较研究;bMOOC在高等教育领域中有用性与有效性进行的评估研究;基于课程内容与传输的质量评价、课程教学效果和影响评价两个维度的MOOC在地理学教学中的应用评估研究;MOOC发展阶段研究;基于引导性量规的MOOC同伴互评优化策略研究。

（二） 痴呆（Dementia）

该类研究的知识基础主要包括：MOOC研究趋势分析[7];在线学习对在职、职前护士专业知识与技能提升的影响研究[8]; MOOC学习者教育水平与课程参与度的关系研究[9];MOOCs同伴互評有效性提升途径研究[10]。此外，该类研究的前沿话题主要包括： MOOC与医学教育的融合与评价研究;MOOC情境下学习者自我调节策略对个体学习行为、目标达成的预测效应研究;MOOC研究趋势评估; MOOC监测与评估策略研究。

（三） 大学（University）

该类研究的知识基础主要包括：MOOC用户特征分析[11];MOOC、引入及其发展趋势分析;在线学习实证研究述评。此外，该类研究的前沿话题主要包括：不同传递模式下（传统型、支持型）MOOC学习者参与度的比较研究; MOOC在考古学领域的应用研究;等等。

（四）开放资源（Open Resource）

该类研究的知识基础主要包括：基于大数据分析技术开展的MOOC注册与完成率的变化趋势研究[12];xMOOC与cMOOC教学设计质量评估研究[13];优化MOOC学习体验与改善MOOC质量的学习设计框架研究[14];MOOC学习动机与学习群体特征分析[15]。此外，该类研究的前沿话题主要有MOOC情境下学生完成率研究[16]。

（五） 残疾（Disability）

该类研究的知识基础主要包括：英国开放大学发布的《创新教育2012》明确阐释了MOOC的发展及其对未来教育教学产生影响的趋势[17];MOOC发展趋势分析[18];MOOC研究成果综合性述评[19]。此外，该类研究的前沿话题主要包括： edX Studio的无障碍性评估;MOOC平台的无障碍性评估;MOOC全球性学习潜能评估框架构建;MOOC学习活动中，学习分析仪表盘的学习支持效果评估;MOOC教学分析评估。

（六）慕课（MOOC）

该类研究的知识基础主要包括：医学教育领域在线学习研究的综合性述评[20];在线学习对医学教育的影响研究[21];医学教育领域实验研究的反思性研究[22];医学继续教育领域线上、线下教学效果的对比研究[23]。此外，该类研究的前沿话题主要集中体现在在线课程在医学教育领域应用效果的评估。

（七）个性化学习（Personalized Learning）

该类研究的知识基础主要包括：MOOC学习群体分类方法研究[24];MOOC低完成率的原因分析[25]。该类研究的前沿话题主要为基于移动的个性化课程平台（MIIC）设计、实施与评估。

（八）学习者动机（Students Motivation）

该类研究的知识基础主要包括：学习者的当前角色与专业背景对其MOOC学习行为的影响研究[26];严肃游戏与MOOC课程活动的融合研究;基于自然实验评价法开展的MOOC课程内容发布形式（阶段性发布、一次性发布）对学习活动的影响研究;MOOC情境下学习者学习动机与学习者自我调节策略的关系研究[27];基于edX平台开展的MOOC视频制作对学生课程参与度的影响研究。此外，该类研究的前沿话题主要有学习分析工具的有用性与有效性评估研究以及MOOC学习环境下学习者态度性学习评估。

三、研究结论与启示

（一）研究结论

通过对上述国外在线课程评价研究引文共现聚类分析中高频被引文献与高引用频率施引文献的分析，本研究得出以下五方面结论。

第一，聚类标签需要重新调整与修订。本研究参考LSI、MI法生成的聚类标签，对LLR法生成的聚类标签进行了适当调整。重新命名后的各类标签名称依次为慕课、继续教育、高校、开放资源、障碍或缺陷、医学教育、个性化学习、学习者动机，各类所集中反映的国外在线课程评价研究的主题依次为在线课程本体评价、继续教育领域在线课程评价、高等教育领域在线课程评价、开放教育资源视角下在线课程评价、在线课程无障碍性评价、医学教育领域在线课程评价、以个性化学习为导向的在线课程评价、关注学习者学习心理特征的在线课程评价。除医学教育以外，其他各聚类中在线课程均以MOOC为主。

第二，国外在线课程评价研究系统性较强，各聚类研究前沿共性主题与个性主题并存。通过文献，本研究发现：综述性研究、权威机构发布的研究报告是国外开展在线课程评价研究的重要知识基础;在线课程有用性、有效性评估是高等教育、医学教育、继续教育等领域研究的共性主题，其评价对象由宏观的课程逐步转向微观层面的课程构成要素及其具体功能的有用性与有效性评价;多类型MOOC的教学质量评估工具、学习活动评估工具等是国外在线课程评价研究的前沿主题;MOOC对全球性学习的支持研究是在线课程无障碍性评价的最新主题;基于移动学习的个性化在线课程的设计与评价、SPOC课程的改进与评价以及学习者自我调节能力评价是个性化学习取向下国外在线课程评价研究的前沿主题;学习情绪、态度性学习是国外在线课程学习者心理特征评价的新兴主题。

第三，从在线课程评价的阶段来看，国外在线课程评价主要包括两个层面：本体层面的评价与应用层面的评价。在线课程本体层面的评价是在线教育发展早期在线课程评价研究的集中关注点，其评价取向主要是促进在线课程功能的不断完善，推进在线课程的普及与应用;在线课程应用层面的评价是在线课程评价的最新发展，其评价取向主要是优化学习者学习体验，提高学习者课程参与度与课程完成率，更加注重在线学习活动中学习者学习心理研究与在线课程的学习支持性研究。

第四，从研究方法来看，质性研究与量化研究相结合的混合研究法是国外开展在线课程评价研究的主要方法，其中个案研究是质性研究的主要方法，基于量表的调查研究是量化研究的主要方法;元分析是国外在线课程综合性述评研究的主要方法，实验法是在线课程有用性与有效性评估研究的常用方法。

第五，从研究成果来看，国外在线课程评价研究形成了类别丰富的研究成果，除聚焦不同主题、界定不同时间区间的综述性研究成果外，还包括：论证类成果，如iMOOC、bMOOC等多类型在线课程在医学、考古学、地理学等不同领域或学科应用价值的论证;工具类成果，如教师教育类MOOC教学质量评估指标、xMOOC评估标准等;关系类成果，如MOOC情境下学习者教育背景、课程内容发布方式。

（二）研究启示

对国外在线课程评价相关研究的梳理与分析，对我国当下高校在线开放课程教学质量认定的研究与实践主要有以下几点启示。

首先，以课程特性为基点，注重固有特性与赋予特性的双重评估。通过对质量概念的梳理，本研究发现产品特性和用户需求是质量的两种属性，是以产品为基础的质量观和以用户为基础的质量观的融合。质量既有客观性，又有主观性，因此质量特性是固有特性与赋予特性的辩证统一。鉴于此，一个完整的在线开放课程教学质量认定标准应该是在综合统筹在线开放课程的固有特性与赋予特性基础上的共性标准与个性标准的辩证统一。高校在线开放课程的共性标准，是指在线开放课程在本体层面的质量认证标准或规范，侧重在线开放课程的固有特性。明确在线开放课程的固有特性，有利于推动在线开放课程健康、科学发展。高校在线开放课程的个性标准，是指为最大程度满足不同高校及高校管理者、教师、学生等多方利益相关者的个性化需求，在在线开放课程固有特性的基础上，加入价值主体约束之后的在线开放课程应用层面的质量认定标准或规范，侧重在线开放课程固有特性与赋予特性的融合。突出在线开放课程赋予特性，有利于强化课程供给与需求之间的有效衔接。

其次，强化混合学习设计，注重课程特性与主体需求的有效衔接。在线开放课程应用模式是促进在线开放课程与高校人才培养活动深度融合的关键环节，是连接课程特性与价值主体需求的有效通道。过去五年新媒体联盟《地平线报告》（高等教育版）关于“加速高等教育技术采用的趋势”中，混合式学习设计位居榜首。通过引入在线开放课程开展混合式教学成为当下各高校推动课堂教学革命的重要举措之一。混合学习视角下在线开放课程教学质量的评估要突破以往单独从教学视角或技术视角开展评估的局限，注重线下、线上的有效融合。此外，注重混合学习视角下在线开放课程教学质量的评估既是强化教学过程评估的体现，也是适应在线开放课程应用趋势，发挥评价导向作用，促进线下、线上深度融合的主要举措。

再次，以深层学习为目标，注重学习空间与应用方式的合理匹配。受教育理念、教育资源、教育评价等因素的制约，深度学习在高等教育领域的实施仍处于一种薄弱状态。在线开放课程的引入引发了高等教育生态系统的变革，促进了教育观念、评价方式的转变，丰富的学习资源，拓展了学生学习的时间和空间。这在一定程度上为深度学习创造了条件，促进了高等教育创新性人才培养目标的实现。然而，部分高校现有的学习条件难以满足深层学习移动性、灵活性、泛在性以及实践性、协作性的需要，制约了在线开放课程应用方式的多样性，进而制约了在线开放课程满足教师、学生等价值主体需求的程度。因此，高校应将深层学习的实现、学习空间对在线开放课程应用方式的支持程度纳入在线开放课程教学质量认定标准的范畴。

最后，以混合研究为范式，注重质性研究与量化研究的协同应用。近年来，混合研究法在国外教育研究领域中的应用得到了迅速发展，它是以实证主义和系统哲学为理论基础，注重量化研究与质性研究的协同应用与优势互补的新兴研究范式或研究框架[28]。当下，在开展在线开放课程教学质量认定标准的相关研究中，采用混合研究方法的必要性集中体现在以下三个层面。其一，“先建设应用、后评价认定”是我国当下开展国家精品在线课程认定工作的重要原则，这是先前在线课程投入教育教学应用前尚未具有的独特特征，为现阶段在线开放课程教学质量认定标准的量化研究提供了大数据支撑。然而，为深度挖掘量化研究数据分析的深层次含义，就不得不借助访谈等质性研究手段。其二，在线开放课程教学质量认定标准是共性标准与个性标准的辩证统一，这就决定了基于个案的研究是提升在线开放课程教学质量认定标准（个性标准）针对性与有效性的主要手段。其三，当下国内制定在线开放课程教学质量认定标准可供参考的已有研究成果較为罕见，混合研究法中的探索性研究设计分析能够为新工具的设计与开发提供科学、严谨的研究框架。

參考文献

[1][2]陈悦，陈超美，胡志刚，等.引文空间分析原理与应用[M].北京：科学出版社，2014：15-16，65.

[3]LIYANAGUNAWARDENA T R，ADAMS A A，WILLIAMS S A.MOOCs：A Systematic Study of the Published Literature 2008-2012[J].International Review of Research in Open & Distance Learning（S1492-3831），2014，14（3）：202-227.

[4]BRESLOW L，PRITCHARD D E，DEBOER J，et al.Studying Learning in the Worldwide Classroom Research into edX’s First MOOC[J].Research & Practice in Assessment（S2161-4210），2013，8：13-25.

[5]BALFOUR S P.Assessing Writing in MOOCs：Automated Essay Scoring and Calibrated Peer Review[J].Research & Practice in Assessment（S2161-4210），2013，8 （1）：40-48.

[6]MEYER J P，ZHU S.Fair and Equitable Measurement of Student Learning in MOOCS：An Introduction to Item Response Theory， Scale Linking，and Score Equating[J].Research & Practice in Assessment（S2161-4210），2013，8：26-39.

[7]REICH J.Rebooting MOOC Research[J].Science（S0036-8075），2015，347（6217）：34-35.

[8]MARI L，HELI H，MARITTA V.Impact of E-learning on Nurses’and Student Nurses knowledge，Skills， and Satisfaction： A Systematic Review and Meta-analysis[J].International Journal of Nursing Studies（S0020-7489），2014，51（1）：136-149.

[9]GOLDBERG L R，BELL E，KING C，et al.Relationship between Participants’Level of Education and Engagement in Their Completion of the Understanding Dementia Massive Open Online Course[J].BMC Medical Education（S1472-3831），2015，15 （1）：2-7.

[10]SUEN H K.Peer Assessment for Massive Open Online Courses （MOOCs）[J].International Review of Research in Open & Distance Learning（S1492-3831），2014，15（3）：312-327.

[11]EMANUEL E J.MOOCs Taken by Educated Few[J].Nature（S0028-0836），2013，503（7476）：342.

[12]JORDAN K.Initial Trends in Enrolment and Completion of Massive Open Online Courses[J].International Review of Research in Open & Distance（S1492-3831），2014，15（1）：133-160.

[13]MARGARYAN A，BIANCO M，LITTEJOHN A.Instructional Quality of Massive Open Online Courses （MOOCs）[J]. Computers & Education（S0360-1315），2015，80：77-83.

[14]CONOLE G.MOOCs as Disruptive Technologies：Strategies for Enhancing the Learner Experience and Quality of MOOCs[J].Red Revista De Educación A Distancia（S1578-7608），2013，39（50）：1.

[15]CHRISTENSEN G，STEINMETZ A，ALCORN B，et al.The MOOC Phenomenon：Who Takes Massive Open Online Courses and Why？[DB/OL].（2014-04-18）[2018-07-21]https：//papers.ssrn.com/sol3/papers.cfm？abstract_id=2350964.

[16]SINCLAIR J，KALVALA S.Student Engagement in Massive Open Online Courses[J].International Journal of Learning Technology（S1832-3892），2016，11（3）：218.

[17]SHAROLES M，MCANDREW P，WELLER M，et al.Innovating Pedagogy 2012：Open University Innovation Report[EB/OL].（2012-12-30）[2018-07-21].https：//www.researchgate.net/publication/236616273_Innovating_Pedagogy_2012_Open_University_Innovation_Report_1.

[18]SHAH D.MOOCs in 2014：Breaking Down the Numbers[EB/OL].（2014-12-26）[2018-07-21].https：//www.edsurge.com/news/2014_12_26_moocs_in_2014_breaking_down_the_numbers.

[19]HAVES S.MOOCs and Quality：A Review of the Recent Literature[J].French Forum（S0098-9353），2015，13（3）：261-276.

[20]COOK D A，ANTHONY J.Internet-Based Learning in the Health Professions：A Meta-analysis[J].JAMA（S0098-2446），2008，300：1181-1196.

[21]RUIZ J G，MINTZER M J，LEIPZIG R M.The Impact of E-Learning in Medical Education[J].Academic Medicine（S1040-2446），2006，3（81）：207-212.

[22]COOK D A，BECKMAN T J.Reflections on Experimental Research in Medical Education[J].Advances in Health Sciences Education（S1573-1677），2010，15（3）：455-464.

[23]FORDIS M，KING J E.Comparison of the Instructional Efficacy of Internet-based CME with Live Interactive CME Workshops：a Randomized Controlled Trial[J].JAMA（S0098-7484），2005，294 （9）：1043-1051.

[24]KIZILCEC R F，PIECH C，SCHNEIDER E.Deconstructing Disengagement：Analyzing Learner Subpopulations in Massive Open Online Courses[J].International Conference on Learning Analytics & Knowledge（S1007-2179），2013：170-179.

[25]CLOW D.MOOCs and the Funnel of Participation[J].International Conference on Learning Analytics & Knowledge（S1007-2179）.2013：185-189.

[26]HOOD N，LITTEJOHN A，MILLIGAN C.Context Counts： How Learners Contexts Influence Learning in a MOOC[J]. Computers & Education（S0360-1315），2015，（91）：83-91.

[27]LITTLEJOHN A，HOOD N，MILIGA C，et al.Learning in MOOCs：Motivations and Self-regulated Learning in MOOCs[J].Internet & Higher Education（S1096-7516），2016，（29）：40-48.

[28]張绘.混合研究方法的形成、研究设计与应用价值：对“第三种教育研究范式”的探析[J].复旦教育论坛，2012，10（5）：51-57.

Current Status and Implications of Foreign Online Course Evaluation Research

—Citation Space Analysis Based on WOS Journal Literature （2000-2017）

YANG Xiaohong1，LI Yunfu1， 2，ZHOU Xiaozhang1

（1.College of Education Technology，Northwest Normal University，Lanzhou，Gansu，China 730070;2. School of Education Science，Shaanxi Xueqian Normal University，Xi’an，Shaanxi，China 710100）

Abstract： In-depth understanding of the research results of online course evaluation abroad can provide reference for the development of online teaching quality certification standards for colleges and universities in China.This study uses CiteSpace to analyze the citation space of research articles on online course evaluation from Web of Science core collection database published from 2000 to 2017.The results show that the research on foreign online course evaluation mainly covers eight aspects，i.e.online course ontology evaluation，online course evaluation in the field of further education，online course evaluation in the field of higher education，online course evaluation from the perspective of open education resources，online course accessibility evaluation， online course evaluation in the field of medical education，individual-learning-oriented online course evaluation，and online course evaluation focusing on learners’learning psychological characteristics，and have important implications for the development of online course teaching quality cerification standards in China.

Key words： online open course;evaluation;research status;citation space analysis