基于用户视角的我国众包网站质量评价研究

沈洪洲+袁勤俭+肖国丰

〔摘 要〕众包网站在众包实施过程中发挥着关键的中坚作用，基于用户的视角对我国众包网站的质量进行综合评价具有现实意义。以WebQual 4.0模型为基础构建众包网站的质量评价指标体系，并利用网络层次分析法确定各评价指标的权重值，最后依据该质量评价指标体系，通过真实的用户对我国代表性的三家众包网站（猪八戒网、威客中国网、小鱼儿网）的质量进行全面的评价分析。从评价结果中总结出提升我国众包网站质量的启示，也验证了本研究构建的众包网站质量评价指标体系的适用性和可操作性。

〔关键词〕众包网站；质量评价；用户视角；WebQual；网络层次分析法

DOI：10.3969/j.issn.1008-0821.2017.11.002

〔中图分类号〕G203 〔文献标识码〕A 〔文章编号〕1008-0821（2017）11-0010-07

Research on the Quality Evaluation of Crowdsourcing Websites of China from the Perspective of Users

Shen Hongzhou1，2 Yuan Qinjian3 Xiao Guofeng1

（1.School of Management，Nanjing University of Posts and Telecommunications，Nanjing 210003，China；

2.Jiangsu Modern Information Service Industry Decision Consulting Research Base，Nanjing University of

Posts and Telecommunications，Nanjing 210003，China；

3.School of Information Management，Nanjing University，Nanjing 210023，China）

〔Abstract〕Crowdsourcing website plays a key role in the crowdsourcing process，a comprehensive quality evaluation of crowdsourcing websites in China，from the perspective of users，has practical significance.A quality evaluation index system for crowdsourcing websites was constructed based on WebQual 4.0，and the weight of each index was determined by the method of Analytical Network Process.According to the evaluation index system，real users was invited to give a comprehensive evaluation of the quality of China's 3 typical crowdsourcing websites，including zhubajie.com，vikecn.com and xiaoyuer.com.The evaluation results gave us some enlightenments about how to improve the quality of crowdsourcing websites in China，and also proved the applicability and operability of the quality evaluation index system of crowdsourcing websites.

〔Key words〕crowdsourcing website；quality evaluation；user perspective；WebQual；analytical network process

自从Jeff Howe于2006年首次提出众包（Crowdsourcing）的概念，众包便成为了国内外业界和学术界持续关注的热点。Howe最初从外包（Outsourcing）的概念引出众包，旨在描述企业、机构或个人利用互联网将工作外包给一群非特定的“众人”，以发现新创意或解决技术难题[1]。这与几乎同时期由中国学者刘峰提出的“威客”模式拥有相同的基本内涵。完整的众包过程有清晰的构成要素，主要包括发包方、接包方和众包中介[2]。其中，发包方即为提出任务需求的企业、机构或个人，他们也需要批准任务结束并支付报酬；接包方即任务承担者，他们既可以是专业人士，也可以是非专业的兴趣爱好者，他们的主要目的是投标参与、执行任务和获取回报；众包中介则是沟通发包方和接包方的桥梁，他们的作用主要是协调、代理和释疑等。发包方可以自己构建网站组织众包过程（如Dell公司的IdeaStorm，宝洁公司的Connect+Develop平台等），但更多情况下都是由第三方运营的众包网站来提供众包中介的服务。国外比较著名的众包网站有Mechanical Turk，InnoCentive等，我国比较知名的众包网站有猪八戒网，威客中国网等。

不难发现，作为众包中介的众包网站在整个众包过程中起着非常关键的中间作用，其质量的优劣对于众包的顺利开展有着重大的影响。优秀的众包网站应该能够引导发包方全面且清晰地提交任务需求，能够让发包方顺利地接收到任务结果，并快速安全地支付报酬以终结众包任务。同时，也应能够让接包方快速地找到他们感兴趣的众包任务，能让接包方理解任务的具体需求并顺利提交任务结果以获得相应的回报。高质量的众包网站更应该提供相应的沟通协调机制和保障措施，以保证发包方和接包方在透明、融洽、安全的环境下完成交易。所以，對众包网站质量的评价研究具有十分重要的现实意义，本文研究即以我国代表性的众包网站为对象，从用户的视角对它们的质量评价问题进行深入地探讨。endprint

1 相关研究综述

目前有关众包的研究大部分都关注于发包方和接包方，例如如何激励接包方更积极地参与和更好地完成众包任务，而有关众包网站本身的研究却并不多见。有少数研究者专注于众包网站的分类体系研究，分类的角度也各不相同。Geiger等人从接包方贡献的同质性或异质性，以及众包结果形成的独立性和非独立性的角度将众包网站分为事务处理类、评估评级类、问题解决类和创新创造类[3]。Zhao等在一份有关众包研究现状的评述中将众包网站按照功能的不同划分为设计开发类、创意咨询类、测试评估类和其他类[4]。Mourelatos等人则专门对现有的众包网站进行了更为全面的评述，发现绝大多数众包网站都设立在美国，并且大部分是提供微型工作和众筹服务的网站，并且只有大约一半的网站提供了针对众包任务的质量控制机制[5]。还有一些研究者关注众包网站的设计和建设，黄辰提出了基于LAMP的众包网站的详细建设方案[6]，Geiger等人也从社会技术系统的视角对众包平台的设计需求进行了探讨[3]。

有关网站质量评价的研究工作则要丰富得多，最早可以追溯至20世纪90年代，近20多年来一直是较为热门的研究主题，主要由大学等科研机构的研究者们主导。由于不同类型网站的建站目的各不相同，它们在功能布局、信息呈现和服务交互等方面的要求也不尽相同，所以，对于不同类型网站质量的评价内容和评价方法也较为多样化。以公司宣传和在线商务等为目的的商业性网站的质量评价受到了较多的关注。例如，Cebi在评价在线购物网站质量的研究中将模糊集理论和决策试验与评价实验等方法结合起来，形成了一种新型的网站质量评价模型[7]。Sun等人则从消费者使用体验的角度对影响中国旅游网站质量的关键属性进行了研究，通过决策树算法判断8个评价属性的重要性，结果发现信息质量、易用性、个性化、产品预订的灵活性均是消费者在评价旅游网站质量时较为看重的属性[8]。各种科技学术类网站的质量也是研究者们评价的重要目标。范佳佳和叶继元将顾客满意理论和“全评价”体系框架相结合，运用结构方程模型构建并验证了针对科技网站的信息质量评价模型，涵盖了信息内容质量、信息效用质量和用户满意度[9]。段宇锋等利用网络信息计量学的方法从网站规模、连接特征和影响力3个方面对中美财经类院校的网站进行了对比研究，并形成了一套较为稳定的网站定量评价体系[10]。万立军等人则借鉴SERVQUAL模型构建了针对我国高校网站信息服务质量的评价指标体系，确定了各指标的权重值，并进一步验证了评价体系的适用性和可操作性[11]。Thowfeek等则基于可用性模型抽取在线学习网站的可用性评价指标，并从有使用经验和无使用经验两类学生群体的角度同时去评价可用性对于在线学习网站的重要作用[12]。政府及医疗机构的网站质量也经常被研究者们评价。张发明等将层次分析法和序关系分析法想结合，并基于信息架构理论对政府应急管理网站进行了定性和定量的综合评价[13]。Leite等人通过文献调研设计出一套评价医疗单位网站内容质量的模型，并且运用德尔菲法对评价模型进行了精简，还进一步确定了模型中不同评价指标的权重[14]。

从相关研究的调研和分析中不难发现，目前有关众包网站自身的研究相对较少，更鲜有研究者对众包网站的质量评价问题进行探讨。本研究将基于用户的视角，以较为成熟的网站质量评价模型WebQual 4.0为基础，构建众包网站的质量评价指标体系，并利用网络层次分析法（Analytical Network Process，ANP）确定各评价指标的权重值。最后，利用所得的质量评价指标体系对我国代表性的众包网站进行全面的质量评价，形成有参考价值的启示。

2 众包网站质量评价指标体系构建

2.1 指标体系的构建基础

众包网站的核心用户群可以划分为发包方和接包方两大类，这两类用户在众包网站上围绕众包任务展开了包括信息提交、信息查询、资金支付、沟通互动等线上活动。此外，众包网站也为这两类用户提供了信息推广、决策咨询、资金保障、纠纷磋商和诚信管理等服务功能。可见，众包网站具有较明显的商务性特点，且网站用户对于其质量的判断至关重要，会直接影响用户的使用意愿。有鉴于此，本文研究选择擅长从用户视角评价商务型网站质量的评价模型WebQual 4.0为众包网站质量评价指标体系的构建基础。

WebQual模型由Barnes等首先提出，其形成基础为质量功能开发（Quality Function Deployment）的概念。质量功能开发强调了一种倾听客户声音的产品或服务的开发实现过程，因此，WebQual模型的构建非常看重最终用户对于网站的感知，强调从用户的视角全面评价网站的质量。WebQual模型已经发展至4.0版本，最新版本的开发依主要托于信息系统领域的信息质量、市场营销领域的服务质量和人机交互领域的可用性等[15]。相比于前面的版本，WebQual 4.0最大的变化在于以可用性取代了部分站点设计质量，因为它更加强调用户及其对网站的感知，而不是设计师。可见，WebQual 4.0更加全面地考虑了不同方面的网站表征，是一个相对综合的网站质量评价工具。该模型已被广泛应用于各类网站的质量评价中，并被证明特别适合对商务型网站进行评价[16-17]。

2.2 指标体系的构建分析

本研究细化了WebQual 4.0模型，并结合众包网站在功能布局和设计、信息展示和交互服务上的特点，构建出包含可用性、设计、信息质量、信任和互动质量这5个维度共22项众包网站的质量评价指标，具体如下：

2.2.1 可用性（C1）

可用性是交互式信息技术产品和系统的重要质量指标，它主要反映产品或系统功能的易学易用程度。在本研究的情境下，可用性可以表现为：众包网站功能的操作步骤是否很容易让用户学会（功能的易学性C11）；用户与众包网站的互动操作是否很明确也很容易理解（交互的清晰性C12）；众包网站的功能分布是否容易瀏览导航，用户能否很快找到目标功能（功能的易浏览性C13）；众包网站功能的操作是否简单，用户能否容易地使用（功能的易用性C14）。endprint

2.2.2 设计（C2）

设计是网站建设过程中的关键环节，良好的外观设计和功能设计有助于快速吸引用户的注意力，并让用户更加充分地使用网站提供的功能服务。在本研究的情境下，设计可以表现为：众包网站的外观是否漂亮且具有吸引力（外表的美观性C21）；众包网站的功能设计是否适用于众包的应用场景（功能的适用性C22）；众包网站能否显示出它足以胜任并能满足用户的需求（功能的胜任性C23）；众包网站能否给用户提供积极成功的使用体验（体验的积极性C24）。

2.2.3 信息质量（C3）

信息质量反映了信息系统或网站的内容质量，本文研究中可将其描述为众包网站所提供信息的适用性。具体而言包括众包网站提供的内容信息是否准确（信息的准确性C31）；众包网站提供的内容信息是否可以信赖（信息的可信性C32）；众包网站提供的内容信息是否及时（信息的及时性C33）；众包网站提供的内容信息是否与众包任务相关（信息的相关性C34）；众包网站提供的内容信息是否易于理解（信息的易理解性C35）；众包网站提供的内容信息是否具有该有的细节（信息的详细性C36）；众包网站提供的内容信息是否以合理的格式（如图文声像）呈现（信息呈现的合理性C37）。

2.2.4 信任（C4）

当用户认为网站值得信任时，他们在使用网站时的顾虑就会更少，也能更加深入地使用网站提供的功能和服务。本研究中，用户对众包网站的信任主要体现在众包网站是否拥有良好的声誉（声誉的良好性C41）；众包网站的任务交易过程是否让用户感到很安全（交易的安全性C42）；众包网站是否能够让用户感到自己的个人信息不会被泄露（个人信息的安全性C43）；众包网站能否让用户相信他们可以获得预期的任务结果或报酬（结果或报酬的信心C44）。

2.2.5 互动质量（C5）

用户与网站之间或用户与用户之间良好的互动能够促进多向交流，可增强网站的用户粘性。越来越多的网站开始重视以个性化的方式为用户提供互动功能，并着力增强其对用户的服务。在本研究中，众包网站的互动质量主要体现在众包网站是否提供了针对用户个人情况和需求的服务（服务的个性化C51）；众包网站能否让用户感觉到该网站是一个可以实现相互交流的社区（互动的社区性C52）；众包网站是否提供了便捷的渠道，以帮助用户与网站的运营者顺畅沟通（沟通的便利性C53）。

3 众包网站质量评价指标权重计算

在上文构建的众包网站质量评价指标体系中，各个评价指标对于众包网站质量的影响能力各不相同，因此需要计算各个评价指标的权重。以往许多研究者选择层次分析法（Analytic Hierarchy Process，AHP）来计算指标权重，该方法根据专家知识和经验对已经形成的评价指标进行比较判断，进而构建比较矩阵以计算指标权重。但是，AHP方法要求各层次的元素之间相互独立，且底层元素完全受高层元素支配，这在现实的复杂决策场景下很难完全满足。本研究中众包网站质量评价指标体系的构建基础是WebQual 4.0模型，该模型的最终目的是对网站质量进行全面综合的评价，模型中各项指标之间并不相互独立，具有较强的相关性[15]，这决定了本文并不宜直接运用AHP方法计算指标权重。因此，决定采用充分考虑了元素间相关关系的ANP方法并借助Super Decisions软件来计算各指标的权重。

ANP方法是在AHP方法的基础上发展形成的一种新的实用决策方法，其最大的特点在于充分考虑了各个指标元素及相邻层次之间相互的依存和反馈关系。ANP方法因为这些优势已经在营销、医疗、政治、军事等领域得到了广泛的应用[18]。在本文研究中，对众包网站的质量进行评价是ANP控制层中的目标，上文构建的评价指标体系中的5个维度（可称为一级指标）形成了ANP网络层中的元素集，而各维度下的具体评价指标（可称为二级指标）则是各个元素集中的具体元素。

为确定各元素集及元素之间的相互影响关系，笔者邀请了来自互联网公司和高校信息系统研究领域内的专家各两名进行了小组讨论。最终确定了各元素集及元素之间的关联关系，并用Super Decisions软件绘制成众包网站质量评价指标体系的ANP网络结构图（见图1）。

研究依据各元素集及元素之间的关联关系，通过两两比较矩阵来确定元素间的相对重要程度。为此，笔者邀请了10位专家（6位专家为来自不同互联网公司的高级产品经理，4位专家为来自不同高校的信息系统研究领域的教授或副教授）依据他们的知识和经验分别对所有的两两比较矩阵进行赋值。赋值的依据为元素集或元素之间重要程度的比较，赋值方式采用1～9标度法。将10位专家给出的两两比较矩阵数值的均值输入Super Decisions软件，依次计算未加权超级矩阵（Unweighted Super Matrix）、加权超级矩阵（Weighted Super Matrix）和极限矩阵（Limit Matrix）。最終得出如表1所示的众包网站质量评价指标体系中各指标的权重值。其中，局部权重值代表该指标在所属维度范围下拥有的权重，而全局权重值则代表该指标在整个评价体系中拥有的权重值。

从表1中的权重数据不难发现，众包网站能否让用户拥有获取结果或报酬的信心（C44），能否让用户拥有积极成功的使用体验（C24），为用户提供的功能操作是否简单易用（C14），以及能否给用户间的任务交易提供安全保障（C42）拥有较高的全局权重值，是用户评价众包网站质量时相对重要的指标。而众包网站是否为用户提供了相互交流的社区（C52），提供的内容信息是否及时（C33），以及网站的外观是否漂亮且有吸引力（C21）等则拥有较低的全局权重值，是重要性相对较低的评价指标。事实上，众包网站的核心目标是促成众包任务的提出、分配和完成，因此，其建站目的较为强调功能性和实用性，与信息发布型、社区交流型网站有很大的区别。由此可见，在对众包网站质量的评价指标体系中更加看重结果的可获得性、功能的使用感受以及交易的安全性符合用户的工作需求和实际情况，反映出本研究所确定的指标权重具有一定的科学性和合理性。endprint

4 我国众包网站质量评价实践

依据上文得出的众包网站质量评价指标体系及各指标的权重值，本研究对我国3家较为典型的众包网站进行了全面的质量评价，以了解我国众包网站的质量水平，也可进一步检验该众包网站质量评价指标体系的适用性和可操作性。被评价的3家众包网站分别是猪八戒网（www.zbj.com）、威客中国网（原网址为www.vikecn.com，后升级为www.680.com）和小鱼儿网（www.xiaoyuer.com）。其中，猪八戒网和威客中国网是我国创立较早的众包网站，他们的知名度相对较高，在我国的Alexa网站排名中分别为338位和d4 565位（2017年6月7日数据，下同）。小鱼儿网则是一家创立较晚的众包网站，它目前的知名度还不够高，在我国的Alexa网站排名为39 446位，但代表了我国众包网站的新生力量。

4.1 质量评价过程

本次众包网站质量评价的过程也以众包的方式实施，即由各众包网站的真实用户对网站的质量进行评价，符合用户的评价视角，也可确保评价结果的客观性和准确性。首先，依据已构建的众包网站质量评价指标体系设计了在线评价表，并邀请了10位众包网站的用户对评价表中各评价选项的表述提出修改建议，以确保表述的准确性。接着，将评价表的填写任务分别提交至待评价的3家众包网站，认真完成评价任务且验收合格的用户会得到3元人民币的报酬。最终，每家众包网站回收到有效评价数据30组，共计90组有效评价数据。参与各众包网站质量评价的用户基本信息如表2所示。

综合表2中各众包网站质量评价用户的个人信息可知，参与网站质量评价的用户中男性比女性人数稍多，他们所处的年龄段大多在21～30岁之间，他们的学历分布以大学专科或本科为主。从其在众包网站中的主要身份类型来看，大部分评价用户的主要身份为纯粹的承接众包任务的接包方，只有极少部分的评价用户的主要身份是单纯的提出众包任务需求的发包方，也有一部分的评价用户兼具接包方和发包方的双重身份。

对于某个被评价的众包网站而言，研究分别计算其每一组评价数据形成的网站质量得分，计算依据为每个二级评价指标的质量得分乘以自身全局权重值之后再求和。具体公式可表示为：

其中，T表示该组数据形成的网站质量得分，Si表示该组数据中在第i个指标上的质量得分，Pi为第i个指标的全局权重值。在分别计算出每组评价数据的网站质量得分后，再取它们的平均值作为对被评价众包网站总体质量的最终衡量。根据评价数据计算，最后得出猪八戒网的总体质量得分均值为8.01分，威客中国网的总体质量得分均值为7.68分，小鱼儿网的总体质量得分均值为7.44分。说明在被评价的3家众包网站中猪八戒网的网站总体质量最高，小鱼儿网的网站总体质量最低，而威客中国网的网站总体质量介于前两者之间。

除了各众包网站的总体质量得分，研究还分别计算了各网站在可用性、设计、信息质量、信任和互动质量这5个维度上的质量得分，以进一步分析被评价众包网站在不同维度上的优劣势。其计算方法类似于上述网站总体质量得分的计算方法，只是二级指标限定为各个维度之内，且指标的权重值更换为局部权重值。根据评价数据计算得出的各众包网站在不同维度上的质量得分分布如图2所示。

图2 各众包网站在不同维度上的质量得分分布

由图2可知，尽管猪八戒网的网站总体质量最高，但它并非没有不足，其互动质量（7.37分）是一个比较明显的短板，需要网站运营商更加关注。而在另外4个维度的质量得分上，猪八戒网均具有较为明显的优势。威客中国网需要在设计（7.35分）和信息质量（7.65分）这两个维度上投入更多的力量，以进一步提升其网站的总体质量。作为后来者的小鱼儿网则需要努力增强其可用性（7.61分）和信任（6.96分）这两个方面的质量。值得特别注意的是，被评价的3个众包网站在互动质量上的得分都不理想，最高分是小鱼儿网的7.51分，可见，我国的这些众包网站对于用户个性化的互动服务都不够重视。

4.2 评价结果的启示

综合本研究中对我国代表性的众包网站进行的总体质量评价和不同维度的质量评价，可以得出如下启示：

1）作为我国众包网站的先行者，猪八戒网的总体质量优势较为明显，这主要归功于其合理的功能设置、良好的功能可用性和较高的网站信任度。而上述这些关键优势点恰恰对众包网站的总体质量拥有更大的影响能力，也是其他众包网站在提升自身总体质量时应该重点投入的方向。

2）作为我国众包网站的新生力量，小鱼儿网在可用性和信任维度上有较大的劣势，直接影响了其总体质量。新兴的众包网站也许拥有较为先进的网站设计理念和开发技术，但是它们对众包过程及众包用户的研究需要深入和加强，只有这样才能增强其核心功能的可用性。更为重要的是，新兴的众包网站应该通过新颖的网站运营策略和完善的安全技术手段，快速地吸引新用户并打消新用户的顾虑，以提升用户对网站的信心。

3）众包网站的互动质量并未受到充分重视，这不仅反映在上述众包网站的质量评价结果中，也反映在众包网站质量评价指标的权重值上。然而，最新的研究显示众包网站上开放性的互动沟通功能可避免众包参与者的边缘化问题[19]。因此，我国众包网站应该考虑增加或增强诸如在线即时通信或在线社区等互动功能，以便于多方的沟通并提升众包效率。

4）本研究对我国3家代表性众包网站的质量评价结果符合这3家眾包网站目前的运营现状和知名度，并且不同维度上的质量评价也客观地揭示出了各众包网站的优劣势，充分证明了研究构建的众包网站质量评价指标体系具有一定的适用性和可操作性。

5 结 语

在众包模式日益兴盛的背景下，众包网站的桥梁作用已十分明确，其质量的高低又直接影响了其作用的发挥。然而，对众包网站质量的评价研究却较为缺乏。本文研究从用户视角出发，以WebQual 4.0模型为基础，构建了包含可用性、设计、信息质量、信任和互动质量5个维度的众包网站质量评价指标体系，并利用ANP方法计算出各评价指标的局部权重值和全局权重值。依据该质量评价指标体系，研究通过真实的用户对我国代表性的3家众包网站（猪八戒网、威客中国网、小鱼儿网）的总体质量及各维度的质量进行了全面的评价分析，并从评价结果中得出了一些提升我国众包网站质量的启示，也验证了本研究构建的众包网站质量评价指标体系的适用性和可操作性。本文研究是对众包网站质量评价的初步探索，形成的质量评价体系、评价结果及启示可为我国众包网站运营商提供参考。需要指出的是，本次研究主要基于众包网站用户的视角，评价角度较为单一，下一步研究工作可将用户评价视角与专业设计人员评价视角相结合，以形成更加全面立体的众包网站质量评价研究。endprint

参考文献

[1] Howe J.The rise of crowdsourcing[EB/OL].http：//archive.wired.com/wired/archive/14.06/crowds.html，2017-04-15.

[2]Vukovic M.Crowdsourcing for enterprise[C]//Proceedings of Congress on Web Services，2009：686-692.

[3]Geiger D，Rosemann M，Fielt E，et al.Crowdsourcing information systems：definition，typology，and design[EB/OL].https：//ub-madoc.bib.uni-mannheim.de/32631/1/Geiger_et_al._-_2012_-_Crowdsourcing_Information_Systems_-_Definition，_Typology，_and_Design.pdf，2017-04-15.

[4]Zhao Y，Zhu Q.Evaluation on crowdsourcing research：current status and future direction[J].Information Systems Frontiers，2014，16（3）：417-434.

[5]Mourelatos E，Tzagarakis M，Dimara E.A review of online crowdsourcing platforms[J].South-Eastern Europe Journal of Economics，2016，14（1）：59-74.

[6]黃辰.基于LAMP的众包型网站的分析与设计[D].南京：南京大学，2013.

[7]Cebi S.A quality evaluation model for the design quality of online shopping websites[J].Electronic Commerce Research and Applications，2013，12（2）：124–135.

[8]Sun P，Ca？rdenas D A，Harrill R.Chinese customers' evaluation of travel website quality：a decision-tree analysis[J].Journal of Hospitality Marketing & Management，2016，25（4）：476-497.

[9]范佳佳，叶继元.基于结构方程的科技网站信息质量评价模型构建及应用[J].图书馆杂志，2016，35（9）：66-75.

[10]段宇锋，邱均平.中美大学网站评价的比较研究[J].中国图书馆学报，2005，（5）：22-28.

[11]万立军，罗廷，马书琴.我国高校网站信息服务质量评价指标体系研究[J].情报科学，2016，34（5）：114-117.

[12]Thowfeek M H，Salam M N A.Students' assessment on the usability of e-learning websites[J].Procedia Social and Behavioral Sciences，2014，141（25）：916-922.

[13]张发明，李论.基于层次序关系分析法的政府应急管理网站优化评估[J].现代情报，2016，36（5）：57-62，93.

[14]Leite P，Gon？alves J，Teixeira P，et al.A model for the evaluation of data quality in health unit websites[J].Health Informatics Journal，2016，22（3）：479–495.

[15]Barnes S J，Vidgen R T.An integrative approach to the assessment of e-commerce quality[J].Journal of Electronic Commerce Research，2002，3（3）：114-127.

[16]Shia B C，Chen M，Ramdansyah A D，et al.Measuring customer satisfaction toward localization website by webqual and importance performance analysis（case study on aliexpress site in Indonesia）[J].American Journal of Industrial and Business Management，2016，6（2）：117-128.

[17]Chen J V，Rungruengsamrit D，Rajkumar T M，et al.Success of electronic commerce web sites：a comparative study in two countries[J].Information & Management，2013，50（6）：344–355.

[18]Saaty T L.网络层次分析法原理及其应用[M].鞠彦兵，刘建昌，译.北京：北京理工大学出版社，2015.

[19]Deng X，Joshi K D，Galliers R D.The duality of empowerment and marginalization in microtask crowdsourcing：giving voice to the less powerful through value sensitive design[J].MIS Quarterly，2016，40（2）：279-302.endprint