在线课程内容质量评价指标体系新探*——基于学习者体验和知识付费的视角

黄 璐 裴新宁 朱莹希

（1.华东师范大学 教师教育学院，上海 200062；2.浙江树人大学 基础学院，浙江杭州 310015；3.上海交通大学 在线教育中心，上海 200240）

近年来，对在线课程学生参与度、学习完成度的质疑和探讨一直持续不断，其中不乏激进的批判，实质上，矛头仍旧指向的是“吸引人”“留住人”这两个根本问题。在线课程之所以备受争议，不少研究者认为与它复制标准化的学校课程而缺乏创新有关[1]。为什么学校课程复制到互联网中就缺乏吸引力？如果说，传统在线教育提供专业化的课程内容就能满足学习者需求的话；那么，进入“智能互联时代”“共享经济时代”后，仅仅停留在课程内容授受层面，而缺失 “去中心化”“用户参与”“用户体验”“协同创生资源”等多元化互联网文化和思维，显然已经无法满足“数字土著”“数字移民”对知识强烈的渴望和参与学习所带来的成就感。

那么，在此背景下，什么样的在线课程才能吸引并留住学习者？目前鲜有聚焦于此的深层思考，我们试图立足于当下时代大背景，审思在线课程质量评价标准，构建符合时代要求的在线课程内容质量评价体系，为在线课程建设提供新的视角和依据。

一、在线课程质量评价的时代审思

（一）学习者主权理念下在线课程的需求牵引：学习者体验

“工业时代”的生产力和生产关系使得知识日益学科化、体系化，开启了以班级授课为主的标准化学校课程教学模式。而“智能互联时代”的使命，就是技术驱动教育理论和实践创新，运用数据挖掘、语音识别、学习分析技术，实现个性化、定制化、协作等新的学习理念[2]。表面上，“技术驱动”的创新教育变革的是教学模式，但实质上，它变革的是教与学关系，即在技术支持下学习者拥有更多“自主自决”的权利。为了实现用户增长和产品粘性，“互联网”领域从权力的视角提出了“学习者主权”（Learner Sovereignty）理念，指在互联网与人工智能技术支持下，学生拥有学习内容的适配权、学习方式的自主权、学习意识的主动权、知识获取的自由权[3]。

对在线课程来说，“学习者主权”意味着在在线课程的设计与开发中，以“学习者为中心”，突出学习者的主体性。从课程设计层面来看，它强调课程的编制围绕学生的需求展开，课程实施的形式以学生的活动为主，课程评价也倾向于学生的发展[4]。从学习环境和资源设计层面来看，它强调满足学习者的身心需求，支持学习者深度地、持续地参与在线学习。那么，如何以“学习者为中心”，满足学习者的主权需求？有研究者提出，借鉴互联网领域“体验为王”的发展战略，可从“学习者体验”（Learner Experience）角度牵引学习者参与在线学习[5]。

用户体验（User Experience）是指人们对于使用或期望使用的产品、系统或服务的认知印象和回应[6]。美国用户体验设计大师詹姆士·盖瑞特（James Garrett）认为，用户体验除了包括情感、信仰、喜好、认知印象等主观感受，还包括生理和心理反应、行为和成就等客观感受[7]。学习者体验不是简单的复制用户体验这一概念，而是综合考虑教育活动的复杂性和知识型产品的特殊性，从学习者的主观和客观感受视角了解学习者的认知规律。有研究者将学习者体验定义为：学习者对在线课程环境、在线学习活动、学习交互等多方面的感知和反应，包括学习环境体验、学习活动体验和学习结果体验[8]。此外，一些研究者们通过实证研究发现，学习者非常在乎在线课程的学习体验，也发现学习者体验与学习参与、学习满意度、在线课程质量存在正相关性[9-11]。可见，“体验”已成为学习者需求新的增长点，是在线课程质量评价的新要义。

（二）付费学习模式下在线课程的核心价值：内容质量

人们在追求体验的同时，为了消除心理焦虑，有着强烈的高效获取有用信息或知识的需求，知识输出者有认知盈余变现的动机和意愿，使原本存在已久的知识型供需关系，在近两年里呈现喷井式发展[12]。共享经济时代产生了一种基于互联网的知识消费模式——知识付费（Knowledge Payment），它是指公众利用互联网平台与他人分享自己的认知盈余，从而获得收入的经济现象[13]。根据艾瑞咨询发布的《2018中国在线知识付费市场研究报告》数据，2017年我国知识付费产业规模已达49.19亿元，预计2020年达到235亿元，市场潜力巨大[14]。目前，我国知识付费行业分为知识电商类、社区直播类、第三方支持工具、社交问答类、讲座课程类、付费文档类、内容打赏类和线下约见类，付费的模式有订阅合辑付费模式、单次付费模式、打赏模式和授权转载付费模式[15]。

从知识付费的概念我们可以看出，知识付费产品具有“线上”和“知识型”两个特征，主要集中在“在线知识服务”和“在线教育”两个领域。在线知识服务有“罗辑思维、吴晓波”等内容生产方，“得到、知乎、分答、喜马拉雅”等在线知识付费独立平台，以及内生于“微信、淘宝、新浪微博”渠道内的知识付费内容等。在线教育是基于网络的教学模式，包括“新东方、学而思、91 外教”等网校，“英语流利说、51Talk”等内容在线课程，“MOOC、网易云课堂、淘宝课堂”等垂直平台在线课程，以及“猿辅导、作业帮”等辅导或资源平台。

在线课程作为在线教育的产品之一，目前有免费、付费、公开和加密几种运行模式。2016年爆发的“知识付费”风暴对在线课程的运行模式和消费观念产生了巨大影响，“付费学习模式”已成为在线课程未来发展趋势的特征之一[16-17]。一方面，各类付费在线课程涌入教育市场（如，各类英语在线课程），并触发免费在线课程或平台实施了“付费学习模式”发展战略，如，在线课程网（iMOOC）推出了“职业路径”付费课程，中国大学MOOC推出“付费精品课程”，学堂在线推出部分付费课程，上海交通大学“好大学在线”发布了“微专业”付费课程。另一方面，学习者的付费学习观正在逐步形成，51.1%受访用户表示愿意购买知识付费课程[18]，且付费意愿逐年提高，以果壳网MOOC学院报告为例，2017年已有70%在线课程学习者为在线课程付费，为好的内容付费的意愿高达75.6%[19]。付费学习观的形成是否就表示付费学习模式下的在线课程能持续发展？并不见得，这还取决于在线课程是否符合付费学习模式的核心价值追求。

付费学习模式的核心价值是什么？是 “内容为王”，还是“平台为王”“渠道为王”“流量为王”“联接为王”？对此的不同看法，已成为互联网时代持久而经典的争论，其本质是在讨论“内容”和“运营”谁更重要。偏重“内容”的一方认为，内容是灵魂，只有当产品内容对用户来说非常有价值时，才能留住用户，赢得信任。而偏重“运营”的一方认为，互联网产品最重要的是互联网营销思维，应该通过寻找用户、拓展市场渠道、增加用户流量等运营手段，提高产品吸引力和用户粘性。诚然，以上两种主张所蕴含的价值追求在互联网时代都不可或缺，但就“知识付费产品”而言，其核心是“知识”，它相比一般性产品更侧重内在价值，直戳用户“知识性焦虑”的痛点，因而将“内容为王”作为“付费学习模式下”在线课程的核心价值追求更为妥当。

（三）在线课程质量评价的新视角：满足学习者内容体验的在线课程内容质量评价

基于上述对“智能互联时代”“共享经济时代”在线课程质量评价的审思，我们可以认识到：学习者存在大量“知识性需求”，这种“知识性需求”只能通过内容体验来满足。内容体验作为学习者体验之一，既能缓解知识性焦虑，也能满足部分学习体验。另外，根据哈雷·曼宁和凯丽·博丁 （Harley Manning&Kerry Bodine）提出的用户需要达到感官层、功能层和精神层三次体验，我们发现，“内容”相关的体验主要落在“功能层”和“精神层”。在线课程内容有用、实用、适切、前沿、有特色、定制化，可以让学习者获得功能层面的满足；同时，在线课程内容生动、有趣、易理解，使学习者身心愉悦的同时收获知识，得到了精神层面的满足。可见，内容体验能满足学习者高层次的体验，调动他们的思维和情绪。

概述以上观点，我们可以看到，“内容为王”“体验为王”不光只有“内容”和“体验”，而是从学习者的知识性需要出发，以优质内容满足学习者的“内容体验”，在线课程内容与学习内容体验是一个需求与满足的关系。据此，我们提出了在线课程质量评价的新视角：满足学习者内容体验的在线课程内容质量评价。在线课程内容与学习者内容体验的逻辑关系，如图1所示。

图1 在线课程内容与学习者内容体验的关系

我们知道，质量评价需要一套科学、有效的评价指标体系。然而，目前“在线课程质量评价体系”对“内容质量”的评价主要针对教学内容质量，未包含互联网媒体内容质量、体验质量、交互性内容质量等要素，也未单独聚焦“内容”提出全面的、科学的、易于操作的指标体系。“在线课程内容质量评价体系”是“在线课程质量评价体系”的重要组成部分，前者既能丰富后者的理论体系，也能引领后者升级发展。因此，构建“在线课程内容质量评价”具有很强的现实意义。本研究通过理论构建和实证遴选两大步骤，突破已有“在线课程质量评价体系”框架，旨在建构满足学习者内容体验的在线课程内容质量评价指标体系。

二、在线课程内容质量评价体系的理论建构

（一）在线课程内容质量的概念界定

“内容质量”（Content Quality）一般出现在互联网媒体和网络信息科学领域，它是指互联网中语言文字、音频内容、图像内容、视频内容或综合内容表达的优劣程度[20]。何谓在线课程内容质量（Content Quality of Online Course）？我们认为，可以从内容范畴和内容质量标准两个方面来理解：

第一，从内容范畴来看，在线课程主要由课程内容构成，因此，首先要符合一般课程内容规范。课程内容包括课程计划（教学计划）、课程标准（教学大纲）和教科书[21]，在线课程的课程计划和课程标准一般体现在课程公告以及测验、作业、考核等学业评价中，教科书一般体现在授课视频和教学资料中。其次，在线课程内容要符合互联网内容要求或规范，主要体现在在线课程的非视频教学资源内容和教学互动交流内容中。

第二，从内容质量标准来看，内容质量一般从“用户质量需求”视角和“产品质量标准”视角来理解。“用户质量需求”视角强调“用户的主观质量感知”，依据美国质量管理专家朱兰（J.M.Juran）的产品质量标准“适合使用”的思想，内容质量标准包括：用户认为“有意义”“有价值”“相关的”等特性；而“产品质量标准”视角强调的是“产品生产要符合质量特征或特性指标”。

基于上述对在线课程内容范畴的分析和内容质量标准的理解，我们认为，“在线课程内容质量”是指在教学目标下，能够满足在线课程学习者对学习和交流的需求，符合课程内容、互联网媒体内容和网络信息资源内容的特性指标。包括通过视频、文字、图片、音频、幻灯片呈现的课程教学内容，非教学目标下嵌入或外部链接的互联网媒体内容，以及专业生成、用户生成或群体共建的分享、交流、问答等网络信息资源内容。

（二）在线课程内容质量的评价维度和关键指标

课程内容、互联网媒体内容和网络信息资源内容的特性指标，具体指什么？我们认为，不应拘泥于“课程点击量或学习人数”“课程链接数”等运营数据，而是要转向多维关键指标，即能体现出在线课程所含内容所应具备的本质属性的指标。本研究基于在线课程质量评价的新视角，以及在线课程内容质量的界定，立足于教学和互联网两大属性[22]，从课程、互联网、开发三个维度，构建出在线课程内容质量评价的三个关键指标：专业度、稀缺度和规范度。

1．课程维度：专业度

课程（Course）是在线课程的归属，也是在线课程内容质量评价的首要维度。课程内容是指学科（领域）中特定的事实、观点、原理和问题及其处理方式。泰勒原理提出“为了达到明确的目标，设计并指导学生的所有学习”，在教学主题选择时应遵循内容与目标的“一致性”特征[23]。在选择教学内容时，考虑“什么知识最有价值？”斯宾塞认为，“教育的唯一目的是为完整的生活做准备”，即在进行课程主题和内容选择时，要为学习者准备有“实用性”“科学性”的知识[24]。另外，课程内容的编制需要考虑 “内容的逻辑”，比如，物理、化学、历史、艺术等课程按照“学科”为单位学习，那么，需要遵循“系统性”特征；生物等学科还要遵循“多样性”特征；科学、环境、教育、社会科学等现实课题按“主题”学习，应遵循“综合性”特征[25]。综合以上关于课程内容的经典课程理论，我们认为，在线课程的维度、在线课程内容质量，可以归结为学科或主题内容的“专业度”，即专门从事某种学业或职业的熟练程度。

在国内外相关在线课程政策和标准中不乏对“专业度”的要求。我国教育部发布的《2018年国家精品在线开发课程认定工作的通知》，明确提出“科学性”和“思想性”要求，即“内容具有较高的科学性水平”“弘扬社会主义核心价值观”[26]。美国《在线和混合学习的质量保证标准》（Quality Matters Rubric，简称QM）对教学内容的“适切性”提出了要求：“教学内容有助于实现教学目标和能力”[27]。西班牙在线课程标准UNE 66181：2012提出了 “关联性”“适切性”要求：“内容是相关的”“内容的制定应适合教学过程”[28]。此外，在在线课程质量综合研究中，包含了对在线课程内容“专业度”的研究，聚焦于内容与目标的一致性，内容的实用性、思维性、系统性和多样性，即“学习内容与学习目标一致”[29-30]，“应拓展内容使材料丰富实用”，使“内容组织有序、内容安排合适”，实现“内容丰富”[31]，以及“内容的难易性、丰富性、实用性和条例清晰性”[32]。综上，我们认为，在线课程的维度，可以从已有政策和文献中提取出关联性、适切性、一致性、科学性、实用性、思维性、系统性、多样性和思想性这9个特性指标。

2．互联网维度：稀缺度

什么内容值得学习者付费 （Payment）？从托马斯·斯特尔那斯·艾略特（Thomas Stearns Eliot）提出的“数据—信息—知识—智慧”金字塔体系结构（简称DIKW）可以看出，只有当所提供的内容注入了更多个性化的脑力劳动成果，接近于知识层次，甚至超越知识层次，靠近智慧层次时，所形成的以知识和经验为核心的“内容”，才更具价值和“变现”的可能。准确地说，值得付费的内容是那些“知识”或“智慧”裹挟的“稀缺”内容。经济学中所指的“稀缺”是指现实中人们在某段时间内所拥有的资源数量不能满足人们的欲望时的一种状态，它反映人类欲望的无限性与资源的有限性的矛盾[33]。根据“稀缺”的定义可以得到，知识付费产品的稀缺度（Scarcity）首先体现为“提供差异化智力成果，满足学习者的知识性需求”。

什么内容值得学习者持续付费？从哈雷·曼宁和凯丽·博丁所著的《体验为王》可以了解到，只有当产品满足用户感官层、功能层、精神层三个层面要求，实现“愉悦性”“容易性”“满足需求”，才可能吸引用户、降低用户流失率，提升口碑，让产品成为用户的“刚需”。我们基于此认为，只有那些能满足用户体验的知识付费产品，才会让学习者持续付费。按此逻辑，知识付费产品的稀缺度还体现为“关注学习者主观和客观感受，满足学习者的学习体验”。

可见，知识付费产品的稀缺度体现在两条线索上：一条是内容线索，发现、了解、评估和管理用户的“知识性需求”，并提供匹配用户需求的差异化智力成果；另一条是用户线索，设计、开发、评估、管理符合目标用户群体感官、功能、精神需求的内容，满足用户体验。付费学习模式下在线课程的稀缺度也是如此，在选题阶段，充分剖析目标学习者的知识性痛点，将痛点变成求知需求，建立用户画像，融入进“服务产业链上游”的决策、交流和需求匹配环节；在内容设计和生产阶段，制作与学习者需求匹配的在线课程内容。通过梳理已有相关研究我们可以发现，在线课程内容稀缺度，体现为前沿性、生趣性和权威性。在内容的“前沿性”指标方面，我国《2018年国家精品在线开发课程认定工作的通知》中明确提出，“内容应反映学科专业最新发展成果和教改教研成果”[34]。美国《在线和混合学习的质量保证标准》也提出，“教学内容代表了该学科最新理论和实践”[35]。另外，有研究者认为，在线课程内容应吸引学习者，比如，“视频以令人惊奇的内容开始来吸引学习者”[36]，具有“生趣性”，他们将“内容生动活泼”[37]“内容有趣”[38]看作评价在线课程的重要指标。还有研究者从内容的“权威性”角度提出“课程的开发高校或研究机构具有较高的享誉度”[39]。

在在线课程的信息内容中，无论是专业生成内容（Professional Generated Content，PGC） 还是用户生产内容（User Generated Content，UGC）都应具有创新性。在线课程互动交流社区，提供了“学习者作为信息资源内容生产者、发布者、分享者”的机会，有研究者提出“生成内容要具有独创性”[40-41]。此外，在线课程教学内容、媒体内容需要深耕细作，为学习者提供个性化、差异化的内容。美国《在线和混合学习的质量保证标准》提出，“内容应满足不同学习者的需要”[42]。有研究者提出内容质量应包含“增值要素，独特的内容”[43]。综上，我们认为，在互联网产品维度，可以提取出前沿性、娱趣性、权威性、创新性、定制性、特异性这6个特性指标。

3．开发维度：规范度

规范（Normalize）是提升产品质量、凸显品牌的有效方法，也是走向成熟的必经之路。一般认为，内容的“规范”与“特异”较难兼顾，它会限制产品的差异化发展。本文所指的“内容规范”，是指在内容开发和运营过程中，对内容的真实可靠、准确规范、易读易理解、安全合法等方面加以规定，为内容领域的实践提供可操作性行动指南，它与“特异”并非冲突关系，而是辅车相依的关系。

在线课程的内容规范度，主要是从开发维度对媒体内容和信息内容的生产、打磨与测试环节提出要求。首先，有研究者从媒体内容质量角度，提出内容需要具有准确性、规则性、完整性、可读性、易理解性等特性[44-46]。在线课程内容的文字、视频、音频，要严格按照我国 《出版管理条例》《网络出版服务管理规定》等国家有关法律法规规章和《中国音像与数字出版协会章程》，规范视频、音频内容；按照《中华人民共和国国家通用语言文字法》《出版物汉字使用管理规定》《关于进一步规范出版物文字使用的通知》等规定，规范使用文字和语句。

其次，有研究者认为，在线课程内容需要具有真实性、安全性、合法性等特性[47-48]，内容应“提供诚实副本，真实照片，可信消息，第三方认可”[49]。我国《2018年国家精品在线开发课程认定工作的通知》规定，在线课程内容“不危害国家安全、不涉密、无侵害他人知识产权”[50]，“课程中使用的所有材料和资源是合法、合乎道德的”[51]。除此之外，有较多研究提到在线课程内容应具有可用性，如，西班牙在线课程标准规定“内容要有时效性、文件内容及时更新”[52-54]。综上，我们认为，在技术维度，可以提取出准确性、规则性、真实性、安全性、合法性、时效性这6个特性指标。

（三）第一轮评价指标体系的形成

基于上文对已有政策和文献的梳理，以及对在线课程内容质量评价维度和关键指标的分析，我们提出了内容的专业度、稀缺度和规范度3个一级维度，遴选出适切性、一致性、科学性等21个指标，构成第一轮在线课程内容质量评价体系，具体如表1所示（各项指标描述见表3）。

表1 第一轮指标体系

三、在线课程内容质量评价指标的实证遴选

为了消除主观因素对理论建构的影响，我们在理论建构的基础上开展实证遴选，采取了基于“用户质量需求”的研究视角，对学习者发放二轮“在线课程内容质量评价指标的重要性调查问卷”。在第一轮调查中，收集被调查者的修正意见，得到了第二轮评价指标体系；在第二轮调查中，被调查者对第二轮指标体系的重要性进行判别，并使用模糊综合评价法分析各评价指标的隶属度，确定重要指数，以此遴选出关键指标，再运用SPSS 23.0分析指标的相关性、鉴别力，以剔除重复或交叉程度较大的指标和变异系数低的指标，最后，对评价指标体系的信度与效度进行检验。

（一）指标的修正

根据第一轮指标体系，编制了“在线课程内容质量评价调查问卷”，问卷共有22个题项。前21题是对21个指标重要程度进行打分，第22题是开放性问题，要求被调查者补充“除了以上21个方面外，还有哪些要素体现优质在线课程内容”。第一轮问卷通过在线网络调查平台向 “好大学在线”“中国MOOC大学”“国家开放大学”等在线课程学习平台的学习者发放，共回收有效问卷102份。被调查者提出的补充意见主要有：“内容要全面、涵盖广，但难度不能太深”“内容通俗易懂，贴近实际”“内容讲解要有实例”“内容量适中”“内容要有时代信息”等。因此，我们对各项指标的描述又进行调整，将X2修改为“内容难易适中，与目标学习者适切”，X5修改为“有实际应用案例，所含的知识或技能具有较高实际应用价值”，X13修改为“内容生动、形象、有趣、吸引人”，最终得到第二轮评价指标体系。

（二）隶属度分析

根据第二轮评价指标体系，再次通过在线网络调查平台向 “网易云课堂”“英语流利说”“好大学在线”“中国MOOC大学”“国家开放大学”等在线课程学习平台的学习者发放 “在线课程内容质量评价调查问卷”，要求学习者对21个指标的重要程度进行打分，共回收424份问卷。首先，对回收数据进行清理，使用SPSS 23.0检测缺失值和异常值，再采用删除法处理缺失值和异常值，得到419份有效问卷。其次，使用模糊综合评价（Fuzzy Comprehensive Evaluation，FCE）分析指标的隶属度。模糊综合评价根据模糊数学的隶属度理论，把定性评价转化为定量评价，即用模糊数学对受到多种因素制约的事物或对象做出一个总体的评价，它具有结果清晰、系统性强的特点，能较好地解决模糊的、难以量化的问题，可适合各种非确定性问题的解决[55]。

1．确定评价指标集

将因素集X按其属性分为21个子集：

2．建立测评结论集

3．无量纲指标标准化处理

由于评价指标体系中的指标是无量纲的指标，为了便于计算，需要转化为量纲指标。我们首先对被调查问卷的打分进行赋值，Vi={非常重要，重要，一般，不重要，非常不重要}={5，4，3，2，1}；然后采用标准化处理，对评价指标通过标准化转换到[0，1]区间内，处理方法是：

4．确定单因素模糊评价矩阵R

单因素模糊评价是指从单个指标出发进行评价，确定每个指标对评价集合的隶属程度。我们对X评价指标集合中第i个指标进行评价，评价集V中第j个元素Vj的隶属度为Rij，各个评价指标的评价结果用模糊向量集合Ri表示：

对所有评价指标进行评价，得到各指标的模糊综合判断矩阵为：

使用迈实模糊综合评价软件进行模糊综合评价，在软件中录入了419份测评数据及测评结论集，选择模糊算子为“M（·，+）算子：【1 相乘，2 相加】”。隶属度分析数据显示，模糊综合评分为4.263分，总的隶属度R={非常重要，重要，一般，不重要，非常不重要}={0.405，0.464，0.122，0.007，0.001}，21 个指标属于“非常重要”或“重要”等级，所以保留21个评价指标。各指标隶属度，如表2所示。

（三）相关性分析

相关性分析是指对两个或多个具备相关性的变量元素进行分析，衡量两个变量的相关密切程度。我们进行了Pearson相关性分析，来验证指标的独立性，一般做法是删除其中相关系数大于或等于0.8的指标[56]。再运用SPSS 23.0，对“在线课程内容质量评价调查问卷”得到的21个指标数据，进行相关性分析后发现，几个相关系数较高的为：“准确性”与“规则性”（相关系数0.668），“安全性”与 “合法性”（相关系数 0.628），“思维性”与“系统性”（相关系数0.620）。由此可见，“准确性”与“规则性”之间，“安全性”与“合法性”之间，“思维性”与“系统性”之间有很大的重叠部分。但是所有指标之间的相关性系数均没有超过0.8，因此，我们保留了第二轮评价指标体系。

表2 各指标隶属度

（四）鉴别力分析

鉴别力是指评价指标区分评价对象特征的能力，一般采用变异系数来表示评价指标的鉴别力。差异系数 C.V（Coefficient of Variance）等于标准差（Si）除以均值（）。其计算公式为：

当评价指标的变异系数越大，离散程度越高，说明其鉴别力越强，反之，评价指标的鉴别力则较差。我们运用SPSS 23.0，对第二轮调查数据进行了变异系数统计分析。一般做法是剔除变异系数低于0.4的指标[57]，统计分析后发现X1关联性、X8多样性、X18真实性三个指标的差异系数低于0.4，于是删除了X1关联性（变异系数0.35）、X8多样性（变异系数0.31）、X18真实性（变异系数0.32），最终得到了第三轮内容质量评价指标体系。

（五）最终确立的评价指标体系

我们通过理论建构和实证遴选，最终形成了由专业度、稀缺度和规范度3个一级指标，适切性、一致性等18个二级指标构成的在线课程内容质量评价体系。从表2我们可以看出，在18个二级指标中，内容专业度的科学性、实用性和思维性，内容稀缺度的生趣性、创新性，内容规范度的安全性和合法性，这7个指标隶属于“非常重要”。这说明在学习者心目中，在线课程的教学内容科学严谨、知识结构合理，能学以致用，有较强实际应用价值，并且内容安全、合法是在线课程内容质量最重要的几个因素。这7个指标的重要指数最高，用II表示；其余12个指标隶属于“比较重要”，也是在线课程内容质量的重要体现，我们将其重要指数定为次高，用I表示。在线课程内容质量评价体系及重要指标，如表3所示。

表3 在线课程内容质量评价指标体系

（六）评价指标体系的信度与效度检验

1．信度分析

我们采用内在信度检测每个指标所测量的是否是同一概念，常用的方法有Cranbach α系数和分半信度，信度系数越高反映量表的内在一致性越高。我们运用SPSS 23.0分析“在线课程内容质量评价调查问卷”的数据，得到了在线课程内容质量评价指标体系的α系数为0.949，半分系数为0.904，说明具有较好的信度。

2．效度分析

我们采用内容效度（Content Validity）检验在线课程内容质量评价指标是否符合测量的目的和要求，内容效度检验的方法主要有专家判断法、统计分析法和经验推测法。为了降低统计的主观因素，我们采用单项与总和相关分析法统计每项指标得分与总分的相关系数，根据相关是否显著判断是否有效。运用SPSS 23.0对“在线课程内容质量评价调查问卷”得到的18个指标数据，进行Pearson相关系数统计，所得18项指标单项得分与总分的Pearson相关系数都在0.579-0.745之间（P＜0.01），说明各指标得分与总分的相关关系显著成立。通过统计分析，我们可以认为，在线课程内容质量评价指标体系具有良好的内容效度。

四、讨论与反思

什么样的在线课程内容，才能吸引并留住学习者？通过对在线课程内容质量评价指标体系的建构，我们认为，除了以往研究中所提到的在内容“专业度”和“规范度”方面注重精研内容设计、精选内容素材、精细内容研发以外，还需要突出内容的“稀缺度”。对此，我们提出以下两点建议：第一，在线课程研发团队首先需要了解当下学习者的“知识性需求”，基于学习者主权开发教学内容、媒体内容和信息资源内容。要另辟蹊径，设计出具有区别于同类在线课程的差异化内容，通过生动、形象、有趣、新颖，甚至诙谐、后现代的内容，吸引“数字土著”和“数字移民”；第二，在线课程内容在建设和运营时，学习者可以参与文字、图片、视频等辅助学习内容的“协同创生”，这有助于提升学生的参与度，增强学生的成就感；同时，还可以通过内容互动形式，增进教师对学习者内容需求和内容表达的了解，提升学习者的自我价值感。

相较以往的在线课程质量评价指标体系，我们研究的创新之处在于：一是从当下现实背景出发，挖掘出 “学习者体验”是学习者主权理念下的需求牵引，“内容质量”是付费学习模式下在线课程发展的核心价值，在此基础上，提出了在线课程内容质量评价的新视角“满足学习者内容需求”，拓宽了在线课程质量评价的研究领域；二是梳理了已有在线课程质量评价研究中的内容质量要素，提出从内容的“专业度”“稀缺度”“规范度”三个维度，评价在线课程内容的质量，丰富在线课程的质量评价理论体系；三是运用理论遴选与实证遴选结合的方法，对在线课程内容质量评价体系进行了实证研究，发现评价指标体系具有较高的可靠性和合理性，对在线课程开发和设计具有重要的现实指导意义。但同时，研究还存在以下不足：首先，评价指标体系未展开应用，未来我们将运用该评价指标体系对若干在线课程进行评价，检验其可操作性，以便进一步修改和完善；其次，评价指标体系未做领域细分，未来可以根据在线课程内容领域特征细分质量评价体系，使在线课程内容质量，不仅符合专业度、稀缺度和规范度，还能符合内容领域特性。