成人教育背景下微信公众平台学习资源评价指标体系研究

摘 要：微信公众平台是成人学习者进行移动学习的重要媒介，其学习资源的开发和应用研究已经趋于成熟，但对其学习资源的评价研究尚待深入。在已有相关研究的基础上，通过内容分析法对微信公众平台的用户真实评论信息进行分析，构建微信公众平台学习资源的评价指标体系，进而运用层次分析法确定各个评价指标的权重。该研究既是已有的移动学习资源评价研究的传承，也是进一步的完善和创新，同时也为成人教育背景下微信公众平台学习资源的设计与开发提供一定的参考。

关键词：微信公众平台；移动学习；学习资源；评价指标

作者简介：汪涛（1968-），男，四川井研人，四川广播电视大学经济管理学院院长，副教授，研究方向为企业管理、教育管理。

基金项目：四川省教育厅2013-2016年高等教育人才培养质量和教学改革项目“基于移动学习的学习资源设计研究”，主持人：汪涛；四川广播电视大学2016-2017年度教改项目“基于手机APP的成人学生移动学习资源建设研究”（编号：XMHGJJ2016003Q），主持人：李惠青。

中图分类号：G720 文献标识码：A 文章编号：1001-7518（2018）04-0095-08

微信公众平台是腾讯公司研发的一款信息推送平台，具有用户基数大、运营成本低和信息推送精准的优势，具备群发消息、回复关键词、查询学习者留言、个性化定制和分享资源等功能[1]。近年来广大教育工作者充分挖掘微信公众平台的学习支持功能，并将微信公众平台与传统学习相结合开启混合学习模式[2]，在成人教育背景下，微信公众平台已经成为学习者进行移动学习的重要媒介，其教育功能不容忽视。

移动学习资源的质量直接关系到移动学习的成效，因此移动学习资源的研究已经成为移动学习研究的重点范畴。近年来，有关移动学习资源的研究主要集中在學习资源的设计、开发和应用三个方面[3]，而对于学习资源的评价研究屈指可数。有关移动学习资源评价的研究大多散见于移动学习资源的设计与开发研究中，这些研究大部分都是通过问卷调查进行简单的评价，并没有形成完整的评价模型和明确的评价指标体系。仅有的专门针对移动学习资源评价的研究文献中，比较具有代表性的是程罡（2014）的基于真实用户评论信息的构建的评价模型研究和詹青龙（2009）的质量屋模型研究。然而，这两项研究的研究对象是移动学习资源，并没有就微信公众平台这一新兴的移动学习媒介的学习资源进行评价研究。

由于微信公众平台具有设计门槛低、适用范围广等特点，与其他移动学习媒介存在一定的差异，微信公众平台的学习资源具有自身的特点和适用性。因此，我们有必要在原有的移动学习资源评价研究基础上，进一步完善和创新，构建微信公众平台的学习资源的评价指标体系，并确定各指标的权重，从而为成人教育背景下微信公众平台学习资源的开发和设计者提供参考，同时也帮助学习者更好的搜索、选择和评估微信公众平台的学习资源。

一、相关研究综述

（一）移动学习资源的评价研究

国外方面，LORI模型是典型的学习资源评价模型，是主题学习网站、网络课程、移动学习资源等多种类型学习资源评价的理论基础。LORI（Learning Object Review Instrument）是Nesbit等人提出的比较经典的学习对象评价模型。最新的LORI模型对于学习对象的评价指标包括内容质量、学习目标的一致性、反馈和适应性、动机激发、表征设计等九项指标[4]。学者们以LORI模型为基础发展和创建了各类型学习资源的评价模型。关于智能终端的移动学习App，芝加哥公立学校图书馆部门的“Mobilary”项目组设计了针对iPad App的学习资源评价量表，该量表包括对学习的支持、易用性、质量三个方面的指标[5]；教学设计师Villar提出了从内容、个性化、反馈、高阶思维能力等七个方面来评价移动学习App的学习资源[6]。

国内学者对于移动学习资源的研究，比较具有代表性的是詹青龙（2009）和程罡（2014）的相关研究。詹青龙（2009）运用了质量配置理论的思想和核心技术，从移动制造商、学习内容提供商和平台服务商等层面来揭示移动学习中的各方关系，并且运用相关关系分析法来对各项技术与学习资源之间的关系进行赋值，由此建立了以学习者需求为取向的移动学习资源建设质量屋模型[7]。程罡（2014）运用了内容分析的研究方法，通过分析App Store中40个排名靠前的学习资源类应用程序的真实用户的评论信息来构建移动学习资源的评价模型，并且根据评论信息出现次数来确定评价模型中指标项的权重[8]，这是一种新型的评价模型，区别于以往的领域专家构建资源评价指标的方式，他们研究的出发点是用户，研究视角较为新颖。此外，叶宝林（2014）把移动学习资源的评价研究放在远程教育背景下来进行研究，认为移动学习资源指标体系包括学习内容、呈现方式和教学设计、技术支持、学习评价四个方面，但没有就各项评价指标进行具体的权重分析[9]。

（二）微信公众平台学习资源评价研究现状

关于微信公众平台学习资源的评价研究，大多散见于微信公众平台学习资源的设计与开发的研究中，目前还没有专门针对微信公众平台学习资源评价研究的文献。陈峰（2014）运用访谈法和问卷调查法对微信公众平台学习资源进行了简单的定性和定量的评价研究。他从界面可视性、资源导航菜单、学习内容质量、系统的控制度、满意度五个方面设计了微信公众平台学习资源的调查问卷[10]。对于各项指标的权重研究，陈峰（2014）在调查问卷中对于上述指标进行简单的赋值，即1-5分，通过统计调查问卷的平均数来说明指标的重要程度，没有就各项指标的在整个指标体系中的权重进行进一步研究。卢胜男（2014）认为基于微信公众平台的微型移动课程的评价维度包括实用性、微型性、交互性、界面友好性、创新性五个方面[11]。基于这五项指标，卢胜男（2014）运用李克特五级量表进行了移动微课学习的满意度调查分析，但没有就评价指标的具体权重做进一步研究。

可以看出，以上两位学者关于微信公众平台学习资源的评价模型还是以LORI模型为基础的，只是根据微信公众平台的特性加上了“微型性”“创新性”等指标体系，也没有对这些评价指标做进一步的权重分析。

（三）研究现状总结

就移动学习资源的评价研究现状而言，目前还没有形成一套影响力广泛的评价模型，缺乏对移动学习资源评价系统化研究，相关的评价体系也在逐步完善当中。而针对微信公众平台这一具体的移动学习平台的学习资源而言，相关的指标体系更是缺乏研究，仅仅在其他部分的研究中有所涉及，提及的指标体系也比较简单，没有对各个指标项的权重进行量化研究。

微信公众平台作为新兴且快速发展的移动学习平台，在成人教育背景下，其教育功能已不能忽视。因此，对于微信公众平台学习资源的评价研究也显得十分重要，不仅能够促进资源开发者进一步改进学习资源，还能为学习者甄选微信公众平台学习资源提供一定的参考。为此，我们在已有的关于移动学习资源评价指标的基础上，充分考虑微信公众平台的特点，通过内容分析法分析微信公众平台教育类公众号用户提供的真实评价信息，创建微信公众平台学习资源评价指标，并运用层次分析法对各指标项进行权重分析，从而构建微信公众平台学习资源评价指标体系。

二、评价指标的建立

（一）创建初始的评价指标

一般来说，微信公众平台作为移动学习媒介，关于微信公众平台学习资源的评价指标可以参照有关移动学习资源评价的评价体系，但是考虑到微信公众平台与其他移动学习媒介的区别，微信公众平台自有的特点，我们需要在原有的移动学习资源评价指标上做一定的优化和调整。

程罡（2014）认为移动学习资源评价的初始模型包括整体学习体验与一致性、内容质量、内容粒度与资源粒度、学习反馈与评价、媒体表征、人机交互、情境适应和个性化、社会交互、可获取性这九个指标，在此基础之上，我们根据微信公众平台用户评论的随机选取分析，对这九个指标进行调整和设计。

1.新增了“内容数量”指标。微信公众平台用户评论中对于学习内容的关注不仅仅是看是否真实准确，还要考虑学习内容的丰富程度，是否满足学习者自学的需要，是否详略得当，学习内容的模块大小是否适合学习者在微信公众平台进行学习等关于内容数量的信息，因此我们有必要单独将学习内容的数量单独列出。

2.新增了“内容原创性”指标。微信公众平台学习资源的来源分为原创和转载。微信公众平台具有开放性的特征，运营公众平台的团体或个人在设计学习资源的时候，部分学习资源来源于网络，内容不是原创，也无法保证其真实性、准确性和科学性。而部分微信公众平台的学习资源的设计者邀请了相关方面的专家，专门针对相应的专题进行学习资源的原创，因此原创学习内容更能得到学习者的认同，这也在学习者的用户评论中体现出来。由此我们新增学习内容的原创型指标。

3.将“人机交互”和“社会交互”合并为交互设计。微信公众平台的人机交互功能是由腾讯公司设计研发的，相关的导航设计、用户界面、用户關键词回复查询信息等人机交互功能都成模式化发展，从学习者评论来看，几乎没有对于人机交互这方面的相关信息。相反，学习资源是否能够促进学习者之间构建社会认知网络，促进分布式认知，这成为学习者更为关心的问题，因此我们将“人机交互”和“社会交互”两个指标合并为交互设计。

4.新增“多样化展示”指标。从微信公众平台学习者评论信息来看，对于同一个知识点，能否通过文字、图片、音频、视频等多种表现形式进行学习是他们所关注的，因为越丰富的内容表现形式就越能加深学习者对于知识点的学习，且不容易让学习变得枯燥乏味。因此，我们新增了“多样化展示”指标。

基于上述分析，我们创设了11个初始的评价指标（见表1）。

（二）建立微信公众平台学习资源评价指标体系

1.研究方法。本文尝试以内容分析法作为研究方法来构建微信公众平台的评价体系。内容分析法是一种客观系统并量化的描述显性传播内容的研究方法[12]。内容分析法能够对传播的文本、视频、音频等内容进行分析，然后统计、分类处理这些数据，并将这种分析手段作为后续结论和理论的佐证。一般来说，内容分析法包括9个步骤：提出问题、确定研究范围、确定抽样方法、选择分析单位、建立分析类目、建立量化系统、内容编码、分析数据以及结论部分[13]。

微信公众平台作为学习平台，已经积累了一定数量的学习资源。因此我们可以通过内容分析的方法来构建关于微信公众平台学习资源的评价指标体系。

2.研究流程。目前微信公众平台学习资源最为直接反馈的一个指标就是学习资源的转载量、点赞数等直观性的指标，但是，仅仅有这些是不够的，特别是作为移动学习平台来说，微信公众平台的学习资源评价的方式应该有一套更加完整的指标体系。微信公众平台的用户留言，特别是学习资源的用户留言，目前主要针对原创学习资源进行开放，所以用户的留言能够直观的体现学习资源的优劣。我们通过内容分析法对这些用户评论进行分析，将它们归类到不同的评价指标维度，就可以反映出学习者所关心的微信公众平台的学习特征。

由于微信公众平台的用户评论功能主要针对原创文章，即原创的学习资源，所以也为我们在对用户评论分析的提供更为准确的基础数据。那么，我们的研究范围确定为一定时间内微信公众平台内教育类微信公众平台的学习资源评价内容，具体的微信公众平台学习资源评价指标的建立可以由以下流程构成（见图1）。

3.样本选取。当前微信公众平台的总体数量庞大，教育类的微信公众平台也是如此。在这些教育类的微信公众平台，关注量的分布是很不均衡的，有些微信公众平台的关注量几十万，而一些则是几个甚至更少。由于我们无法准确获取每个公众平台的关注数，那么我们可以借助专业的微信公众平台导航网站进行抽样。微信公众平台的学习资源是开放式的，只要输入了关键词，关注相应的微信公众号即可浏览相应的学习资源。然而，在微信公众平台中却没有对于微信公众平台的分类导航，因此我们需要借助其他网站的导航功能。

2016年8月，我们通过某微信公众平台导航网站的教育分类，选取了排名前50名微信公众平台作为分析对象，由于每个微信公众平台的学习资源的评论都是针对单个学习资源而言的，比较零散，而且并不是每个学习资源都会有用户评论，因此我们借助编写的程序，可以抓取这些微信公众平台的用户评价信息并列入待分析的数据表中。根据评论内容的丰富程度排序，每一个微信公众平台我们选取了前20条用户评价内容作为我们的研究样本。

4.样本信度和内容编码。当前绝大部分的微信公众平台的学习资源都是免费学习的，所以不存在为了盈利而雇佣用户发表虚假评论的现象，这在一定程度上保证了样本的有效性。我们构建的微信公众平台的评价指标分类是在发展比较成熟的移动学习资源评价模型基础上形成的，对于评价内容的编码，我们选取了长期从事移动学习资源研究的专业人员，对于评价内容的分类进行分类。对于评价指标的信度检验，本研究还邀请了两位教育技术领域的专家（熟悉移动学习且具有较强的专业水平）对上述11个初始指标进行预评价，并进行Kappa一致性检验。统计结果表明，两位评价者的一致性系数Kappa=0.812，具有很好的一致性。

5.样本分析。通过对50个微信公众平台的1000条用户评论进行内容分析和编码，剔除过于简单的无任何价值的评论信息，共计得到1125条分类条目，其中一条评论信息可以被归到多个分类维度。

各个评价指标对应的简单数量比例图2所示。

从图2我们可以分析得出，内容质量是微信公众平台学习者最为关心的指标，所占比重高达65%；内容数量（25%）、多样化展示（21%）、学习体验与一致性（34%）、学习反馈与评价（39%）和可获取性（27%）是学习者较为关心的第二层次的指标内容；内容粒度与资源粒度（14%）、内容原创性（6%）、媒体表征（16%）、交互设计（17%）、情境适应与个性化（13%）这五项是第三层次的指标项，所占权重相对较少（见图3）。

图3 微信公众平台学习资源评价指标比重分层图

（三）微信公眾平台学习资源评价层次模型

经过对微信公众平台用户评论的内容分析，我们认为初始评价指标模型的十一项指标在微信公众平台评论里有所涉及。通过归纳，我们将十一个指标分成学习资源内容、教学设计和学习评价三个类别，这三个类别也即是第一级评价指标，每个类别下的详细指标即为第二级指标，由此确立了针对微信公众平台学习资源评价的一二级指标，形成微信公众平台学习资源评价层次模型，如图4所示：

图4 微信公众平台学习资源评价指标层级图

1.学习资源内容。由于内容质量、内容数量、内容粒度与资源粒度和原创性这四个指标都是针对学习资源内容的评价，因此，我们可以将它们纳入学习资源内容这个一级指标中。

2.教学设计。微信公众平台的设计初衷并不是为教育所用，但其教育功能的发挥也离不开相关的教学设计，所以我们将这些指标中与教学设计相关的指标归入教学设计这个一级指标，包括媒体表征、交互设计、情境适应与个性化、多样化展示四个二级指标。

3.学习评价。学习者对于学习资源的评价不仅仅包括学习反馈与评价，还包括对于学习体验与一致性、可获取性。

三、评价指标的权重设计

在确定了评价指标之后，我们需要通过一定的方法对各项指标进行统计分析，得出评价值。虽然我们已经通过内容分析法对微信公众平台用户评论的指标进行了简单量化的分析，但是没有确定具体的权重。通常来说，权重的确定是根据专家的知识来确定的，本研究使用的是层次分析法（AHP）。

（一）研究方法

层次分析法（The Analytical Hierarchy Process，简称AHP）是20世纪70年代中期由美国运筹学家Saaty.TL教授提出的，它将决策者的定性判断与定量分析相结合，这种方法1982年介绍到我国[14]。

AHP是适合分析多目标、多准则和多因素发展系统，基本原理是：首先围绕一个问题目标，将复杂问题分成若干层次，构造出问题的层次模型；然后按照AHP的标度原理，将同一层次的各要素之间的相对重要程度进行两两判断，比较重要性，以此计算各层要素的权重；最后根据组合权重并按最大权重原则确定影响问题的最优因素。

（二）评价指标设计的构建过程

1.建立层次结构模型。要运用层次分析法，首先涉及到的就是建立层次结构模型。我们需要对问题进行详细分析，并且将因素属性分解，根据具体问题选定影响因素并建立相应的层级。

2.判断矩阵的构造。从层次结构模型的第二层影响因素开始判断各个层次因素的权重，本研究用1-9对比尺度构造判断矩阵。

3.层析单排序和一致性检验。层次单排序即依据构造的判断矩阵进行权重的计算。本文运用特征根法进行单排序。由于人们在进行判断时具有一定的模糊性，因此我们接下来需要做一致性判断。判断当时，则说明矩阵具有一致性；反之，说明需要进行修正。

4.计算最下层的权重，并且进行一致性检验。

5.确定最佳方案，计算同一层次所有元素相对上一层次的相对重要性的权值。

（三）微信公众平台学习资源评价采用的AHP算法

计算各判断矩阵的最大特征值和特征向量，并且检验矩阵的一致性。这里我们主要采用根法计算。根据标度理论构造判断矩阵，计算判断矩阵中每行所有元素的几何平均值，并计算判断矩阵的最大特征值，最后进行一致性检验。查出相应的平均随机一致性指标RI（Random index）（见表2）所示。

随机性、一致性比值CR=■，当CR<0.1时判断矩阵一致性是可以接受的。

在对微信公众平台学习资源评价指标的专家问卷调查中，整个评价过程是由10个专家全程参与，我们对各个相关人员赋予相同的权重，即每个人0.2的权重系数。在整个过程中，10位专家通过调研、资料采集等多方位的工作后才得出最后的结论，这对评价的客观性和准确性得到了保证。

笔者在对回收的10份问卷结果按各因素的重要性得分用AHP方法计算各因素的相对权重。本文需要对微信公众平台学习资源评价指标以及其子项目进行权重的确定。在权重的确定中，我们确保每个专家填写的问卷和内容都通过一致性检验。对各级指标的计算结果参见表3-6。

通过检验，以上各个矩阵的CR均小于0.1，则证明层次总排序具有一致性，因而得到所示的微信公众平台学习资源评价指标权重的总体分布（见表7）。

表7 微信公众平台学习资源评价体系总的权重分布图

四、研究结论及建议

根据上述的研究分析，我们认为微信公众平台学习资源评价指标与一般的移动学习资源评价指标总体相似，但又根据微信公众平台的资源特性有自身的特点，设计了3个一级指标和11个二级指标。通过运用内容分析法对微信公众平台成人学习者用户评论的内容进行量化分析，我们发现学习者对于学习内容的质量的关注度最高，其次是内容数量、多样化展示、学习体验与一致性、学习反馈与评价和可获取性，而对于内容粒度与资源粒度、内容原创性、媒体表征、交互设计、情境适应与个性化这五个方面所关注的相对较少。

对于这是一个评价指标的权重分布，运用层次分析法对专家调查结果进行分析，最终结果显示，学习内容的质量所占权重最高，达22.67%，其他的指标权重分布与学习者的用户评论得出的关注程度大致相当。

建议在面对成人学习者设计与开发微信公众平台学习资源时，要首先关注内容质量的提升，确保学习内容准确无误，学习资源内容的设计应该追求资源本身的标准性和再生性[15]；其次，在保证内容质量的同时，要关注微信公众平台学习资源的内容数量、成人学习者的学习体验、多样化展示、学习评价和学习资源的可获取性；最后，微信公众平台的设计者也应保持学习资源的原创性、丰富媒体的表现、强化交互设计和个性化。

移動学习资源评价研究是移动学习资源研究的薄弱环节，如何运用多种方法、多种角度去构建移动学习资源评价体系，确定权重比例是今后的发展方向。就微信公众平台学习资源而言，本研究的评价指标分析的主要角度是成人学习者和专家，今后的研究可以从技术研发者、微信运营者、教学管理者等多个角度去研究微信公众平台学习资源的评价指标，这是未来的研究方向。

参考文献：

[1]柳玉婷.微信公众平台在移动学习中的应用研究[J].软件导刊（教育技术），2013，12（10）：91-93.

[2]徐梅丹，兰国帅，张一春，等.构建基于微信公众平台的混合学习模式[J].中国远程教育，2015（4）：36-80.

[3]赵慧，史彦.国内移动学习资源研究综述[J].成人教育，2014（9）：28-30.

[4]J. C. Nesbit， K. Belfer， T. L. Leacock. LORI 1.5：Learning Object Review Instrument[EB/OL]. http：//www.elera.net/， 2004.

[5]Chicago Public Schools Dept. iPad App Asses-sment Rubric[EB/OL].http：//mobilary. Wikispaces.com/apprubric， 2011.

[6]Mayra Aixa Villar.7 Essential Criteria for Evalu-ating Mobile Educational Applications[EB/OL]. http：//mayratixavillar.wordpress.com/2012/12/06/7-essential-criteria-for-evaluating-mobile-educational-applications/，2012.

[7]詹青龙，元梅竹.移动学习资源建设的质量屋模型构建[J].中国电化教育，2009（10）：51-56.

[8]程罡，高辉，余胜泉.基于真实用户评论信息构建移动学习资源的评价模型[J].现代远距离教育，2014（1）：43-53.

[9]叶宝林.远程教育背景下移动学习资源的评价研究[J].黑龙江生态工程职业学院学报，2014（7）：56-58.

[10]陈峰.基于微信的微型移动学习资源设计研究[D].大连：辽宁师范大学，2014.

[11]卢胜男.基于微信公众平台的微型移动课程的设计与研究[D].上海：上海师范大学，2014.

[12]Bernard Berelson. Content analysis in communi-cation research[M]. New York： Free Press，195：18.

[13]李本乾.描述传播内容特征，检验传播研究假设[J].当代传播，2000（1）：47-51.

[14]Saaty T.L， How to make a decision： The Analytic Hierarchy Process. European Journal of Opera-tional Research， 1990（48）：9

[15]孙传远.基于泛技术观的我国开放大学课程学习资深设计[J].职教论坛，2013（24）：52-56.

责任编辑 王国光