基于声誉的移动众包系统的在线激励机制

王莹洁　蔡志鹏　童向荣　潘庆先　高洋　印桂生

摘要：在大数据环境下，对移动众包系统的研究已经成为移动社会网络（MSN）的研究热点。然而由于网络个体的自私性，容易导致移动众包系统的不可信问题，为了激励个体对可信策略的选取，提出一种基于声誉的移动众包系统的激励机制——RMI。首先，结合演化博弈理论和生物学中的Wright-Fisher模型研究移动众包系统的可信演化趋势；在此基础上，分别针对free-riding问题和false-reporting问题建立相应的声誉更新方法，从而形成一套完整的激励机制，激励感知用户和任务请求者对可信策略的选取；最后通过模拟实验对提出的激励机制的有效性和适应性进行了验证。结果显示，与传统的基于社会规范的声誉更新方法相比，RMI有效地提高了移动众包系统的可信性。

关键词：大数据；移动众包系统；演化博弈；Wright-Fisher模型；激励机制

中图分类号：TP393

文献标志码：A

0引言

近年来，随着互联网技术和无线通信技术的快速发展，在线社会网络，如Facebook、Myspace和Twitter等，变得越来越流行。随着智能手机和移动开放平台的普及，用户可以随时随地获得各种类型的服务、轻松获得自己当前的位置信息。最近一项研究表明，智能手机上Web应用的最重要的目标就是在线社会网络[1-2]。目前，智能手机上已经有很多可用的在线社会网络的应用，像Apple iPhone系统和Google Android系统中的Facebook、Myspace、Twitter、人人网和微信等。在线社会网络中的服务，方便用户和朋友之间分享想法、活动、照片以及其他信息来增强彼此的友谊。

大数据时代的到来给网络科学提供了新的发展机遇和挑战，“众包”也成为了驱动网络科学理论与工程发展的新动力。传统的基于Web的众包系统，如Amazon Mechanical Turk和Microworkers，其执行过程为：首先，任务请求者将感知任务提交给众包平台，同时将“任务报酬”和“所需任务完成证明”等信息提交给众包平台；感兴趣的用户参与完成相应的任务，并将“任务完成证明”提交给众包平台；任务请求者根据用户提交的“任务完成证明”，判断其任务完成情况，并付给用户相应的报酬[3]。

由于移动设备的普及，对移动社会网络的研究在理论和应用上都具有十分重要的意义。在大数据时代，网络中的数据流一直处于动态变化的状态，且具有较高的速率，因此对计算的响应速度提出很高的要求[4]。为了适应大数据环境下移动社会网络的发展，“移动众包”（mobile crowdsourcing）的概念应运而生。具有移动设备的用户群体蕴藏着巨大的潜力，许多任务可以通过移动社会网络中的用户参与完成，用户利用自己的移动设备收集到感知的数据，上传给云平台，云平台通过对数据进行处理，最终将集成的数据发送给任务请求者。利用移动社会网络中的巨大资源，结合“移动众包”概念进行任务的发布、处理、感知以及集成，不仅可以减小传统方法中为了完成任务带来的巨大开销，还可以提高完成任务的效率，因此对移动社会网络中“移动众包”的研究具有十分重要的意义和很好的应用前景。与传统基于Web的众包系统不同，移动众包系统具有更强的实时性。在移动众包系统中，当用户到达某个区域时，如果对发布的任务感兴趣，用户会及时地上传自己的竞价（包括所需报酬、感知时间等信息）。众包平台在收到用户的竞价后，必须立即确定是否接受用户的竞价请求。因此，与传统的基于Web的众包系统相比，移动众包系统具有更强的实时性，不能用传统的离线方法来解决移动众包系统中的相关问题。

在众包系统中，如何激励用户积极地参与任务感知，使得整个系统的收益最大化，是保证众包系统性能的重要因素。目前大多的激励惩罚策略都是基于monetary rewards提出的，以微支付（micro-payment）的形式对用户进行激励惩罚[5]。该方法简单易行，然而不能解决用户和平台之间的社会困境问题（social dilemma问题）。由于个体的本性都是自私的，他们的目的都是最大化自身的收益。对于当前的价格机制，主要存在两种social dilemma问题：1）如果任务请求者在任务执行之前，将报酬付给感知用户，即ex-ante情况，则感知用户更倾向于付出很少的努力来进行任务的感知（甚至不进行任务的感知），从而导致感知数据质量的降低，这就产生了搭便车问题（free-riding问题）；2）反之，如果任务请求者在任务完成后，将报酬付给感知用户，即ex-post情况，则任务请求者有可能谎报感知数据的质量，从而减少所付报酬（甚至拒绝付报酬），这就产生了虚报问题（false-reporting问题）[6]。

本文针对移动众包系统的free-riding和false-reporting问题，建立基于声誉的移动众包系统的在线激励机制——RMI。结合移动众包系统的实时性特征及生物学特性，首先结合演化博弈和Wright-Fisher模型对移动众包系统的演化趋势进行预测分析，在此基础上分别针对任务请求者和感知用户建立two-side在线激励机制。本文提出的在线激励机制RMI的基本框架如图1所示，通过建立相应的激励机制，有效地解决移动众包系统中出现的free-riding和false-reporting问题，从而最大化移动众包系统的收益。

基于以上分析，本文研究移动众包系统的在线激励机制，主要工作为：

1）为了更准确地预测移动众包系统的可信演化趋势，结合演化博弈理论和Wright-Fisher模型对移动众包系统的可信演化进行预测分析；

2）针对移动众包系统中的free-riding和false-reporting问题，基于social norms设计个体的声誉更新方法，分别建立任务请求者和感知用户的在线激励策略。

1国内外研究现状

在移动社会网络的激励机制方面，对实体自私行为的控制和用户隐私的保护的研究获得了一定的成果，本文主要从激励机制框架设计、拍卖算法的建立以及激励惩罚策略的制定三个角度来介绍移动社会网络激励机制的国内外研究现状。

1）激励机制框架。

离线激励机制（offline setting）和在线激励机制（online setting）是两种典型的激励机制框架。Yang等[7]利用Stackelberg博弈提出了一种离线激励机制，在这种激励机制中，分别以平台和用户为中心研究了两种系统模型。以平台为中心的系统模型为参与的用户提供相应的奖励；而以用户为中心的系统模型则根据他们预计获得的收益来控制其参与任务感知的贡献量。离线激励机制的框架如图2（a）所示。然而在离线激励机制中，假设在任务发布后，所有用户在同一时间段上传自己的竞价，即该方法没有考虑移动感知的动态性特征，将用户的到来完全假设为静态竞价。Zhang等[8]提出了一种在线激励机制，分别提出了基于阈值的拍卖算法（Threshold-based Auction， TBA）和可信的在线激励机制（Truthful Online Incentive Mechanism， TOIM）。然而在线激励机制框架根据用户到来的先后顺序进行任务分配，假设用户均为可信用户，容易产生恶意攻击，影响移动社会网络的可信性。在线激励机制的框架如图2（b）所示。

2）拍卖算法。

两阶段拍卖算法（two-stage）是目前比较流行的拍卖算法之一[9-12]。两阶段拍卖算法是指将拍卖过程分为两个阶段，对于第一阶段进入拍卖中的出价者，系统均拒绝他们的竞价，并将在第一阶段给出竞价的出价者的竞价信息进行记录，根据第一阶段的竞价计算出竞价阈值，从第二阶段起，根据该阈值决定是否接受该出价者。两阶段拍卖算法具有很好的实用价值，然而，对于新进来的出价者来说，该方法有失公平性，从而导致出价者不愿意过早地参与竞拍过程，降低了拍卖效率。

3）激励惩罚策略。

为了解决移动社会网络中的free-riding问题，很多激励惩罚策略被提出。在移动社会网络领域中，大多的激励惩罚策略都是基于monetary rewards提出的，以micro-payment的形式对用户进行激励惩罚[13-16]。该方法简单易行，然而不能解决用户和平台之间的social dilemma问题。Zhang等[6]基于社会规范提出一种激励协议，该方法通过对用户的声誉进行更新来激励用户选择可信策略。然而该方法在更新用户的声誉时，只设置了唯一的系统声誉阈值，在这种情况下，一旦用户在某次任务感知时选择“非可信”策略，他将被系统永久淘汰，从而导致对一些潜在可信用户造成不公平的问题，引起过度惩罚。

针对感知用户的感知数据质量，将其分为可信报告（高质量）和非可信报告 （低质量）。可信报告是指感知的数据质量较高，即感知的数据在可靠性和正确性方面具有较高的置信水平；然而由于感知用户的先天自私性，感知用户希望付出最小的代价得到最大的收益，因此，从而导致感知数据的低质量，即非可信报告。本文针对感知数据的可信报告和非可信报告来预测分析感知用户的策略演化趋势。

为了预测在ex-ante情况下，移动众包系统的信任演化趋势，利用非对称博弈来分析感知用户和任务请求者之间的关系。所谓非对称博弈是指博弈双方具有不同的策略集合。例如，最后通牒博弈和独裁者博弈都是非对称博弈，这类博弈中的博弈者具有不同的策略。我们定义：在一个任务感知过程中，任务请求者和感知用户之间的交互，称为一次交易，本文用非对称的Gift-giving博弈来表示任务请求者和感知用户之间的博弈关系。如表1所示为ex-ante情况下任务请求者和感知用户之间的博弈收益矩阵。对于任务请求者bj来说，其策略集合为（选择， 不选择）；对于感知用户wi来说，其策略集合为（可信， 非可信）。任务请求者会根据用户的竞价来决定是否选用该用户为感知用户，并根据该感知用户的竞价，付给其相应的报酬pi。由表1可以看出，针对ex-ante情况，即在感知工作之前付报酬给感知用户的情况，感知用户会更倾向于选择非可信策略，这是因为pi≥λ·pi-ci；然而，如果感知用户选择非可信策略，此时，任务请求者的收益为-pi。

在ex-ante情况下，由于感知用户的先天自私性，导致用户为了眼前利益放弃长远利益。为了预测分析移动众包系统可信的演化趋势，需要找到演化稳定策略 （Evolutionary Stable Strategy， ESS）。ESS是指种群的大部分成员所采取的某种策略，这种策略的好处为其他策略所不及。本文基于移动众包系统的复杂性和生物学特征，结合演化博弈理论和Wright-Fisher模型，分析移动众包系统的可信演化趋势。

Wright-Fisher过程具有广泛的使用范围，它进行的是同步更新，即所有个体根据适应性的强弱同时产生后代，得到一个后代集合，而更新后的下一代则从这个后代集合中随机产生。因此，基于移动社会网络的生物学特征，通过结合演化博弈理论和Wright-Fisher模型建立可信演化模型。假设有n个感知用户参与某个任务的感知，其中：可信用户数量为nT，非可信用户数量为nD，且nT+nD=n。则根据表1中感知用户的收益，结合Wright-Fisher模型中不同种群适应性的计算方法，分别计算可信和非可信感知用户的适应性，计算方法分别如式（3）、（4）所示。其中：表示平均报酬，表示平均代价。

则根据该演化预测模型便可预测不同类型感知用户的演化趋势。为了找到演化稳定策略（ESS），即纳什均衡策略，需要同时满足F（x）=dxdt=0和F′（x）<0两个条件。通过计算，得到纳什均衡点为x=0，即在ex-ante的情况下，移动众包系统中感知用户的ESS为非可信策略，这也正符合用户的自私特性。然而，当用户为了自身利益而选择非可信策略时，虽然最大化了眼前的利益，但是从长远看，却影响了系统的整体收益，从而产生了free-riding问题。

2.2ex-post演化分析

针对ex-post情况，即在任务完成之后，任务请求者将报酬付给感知用户。本文设定在ex-post情况下，感知用户的收益和任务请求者的收益的计算方法与ex-ante情况相同。则ex-post情况下，感知用户和任务请求者之间的博弈关系矩阵如表2所示。

由表2可以看出，当感知用户完成任务后，任务请求者付报酬给感知用户，这样将导致任务请求者的自私特性，即为了提高自身收益，拒绝付报酬给感知用户。为了分析选择不同策略任务请求者的演化趋势，同样建立任务请求者的可信演化预测模型。首先设定，给出真实报酬的任务请求者为可信，反之为非可信。相应地，这两类任务请求者所占总体的比例分别为x′和y′；同样假设在博弈矩阵中，可信感知用户和非可信感知用户所占总体的比例分别为x和y。则式（10）所示为可信任务请求者的演化预测模型，式（11）为非可信任务请求者的演化预测模型。

则根据任务请求者的演化预测模型便可预测不同类型任务请求者的演化趋势。同样，为了找到ESS，即纳什均衡策略，需要同时满足F（x′）=dx′dt=0和F（x′）<0两个条件。则纳什均衡点为x′=0，即在ex-post的情况下，移动众包系统中任务请求者的ESS为“不付报酬”策略。针对移动社会网络中的ex-post情况，由分析可知移动众包系统容易产生false-reporting问题。

3基于social norm的激励机制

为了解决移动众包系统中的free-riding问题和false-reporting问题，本文基于social norm设计用户的声誉更新方法，从而激励感知用户及任务请求者对可信策略的选取。

3.1ex-ante情况下的激励机制

根据感知用户在每次感知任务中的表现，动态地更新用户的声誉值，即基于用户的历史表现及感知能力来决定在今后的任务感知中是否雇佣该用户作为感知用户。因此，用户为了长远的利益，将趋于选择能够提高自身声誉的策略作为其首选策略。

不同于传统的声誉更新方法，本文提出的任务请求者的声誉更新方法针对不同类型的任务设置了不同的声誉阈值。因此，本文提出的任务请求者声誉更新方法不仅可以激励惩罚任务请求者的可信行为，而且还可以避免对一些潜在可信任务请求者过度惩罚的问题。

4模拟实验分析

为了验证本文所提出的可信演化模型和声誉更新方法的有效性，设计了两组模拟实验：第一组模拟实验针对ex-ante情况，通过模拟实验分析移动众包系统中感知用户的可信演化趋势，并找到产生free-riding问题的临界点，然后验证感知用户声誉更新方法的有效性；第二组模拟实验针对ex-post情况，通过模拟实验分析移动众包系统中任务请求者的可信演化趋势，并找到产生false-reporting问题的临界点，然后验证任务请求者声誉更新算法的有效性。

本文模拟实验环境为Windows 7（x64）操作系统，Intel Core i5-3230M CPU @ 2.60GHz， 12GB内存，Matlab 7.0仿真平台。本文采用event-based模拟实验方法，具体的实验设置将在每组模拟实验中分别介绍。

4.1ex-ante情况实验验证

首先根据表1中ex-ante情况下的博弈收益矩阵，验证移动众包系统中的free-riding现象（感知用户），并验证所提感知用户声誉更新方法RMI的有效性。具体实验设置如表3所示。

为了确定移动众包系统中产生free-riding问题的边界值（感知用户），分别针对x=0.4，0.5，0.6，0.7，0.8，0.9来进行对比实验，从而验证感知用户的自私行为导致free-riding现象的产生。根据本文提出的演化预测模型，当x采取不同初始值时，其演化趋势如图3所示。其中：横坐标表示演化世代数，纵坐标表示系统内可信感知用户的比例。由该实验结果可以看出，当x≤0.6时，系统会产生free-riding现象，即感知用户为了最大化自身收益，选择非可信策略作为自身的首选策略。因此，需要建立有效的激励机制来激励感知用户对可信策略的选取。

为了验证不同系统声誉阈值θ0对实验结果的影响，分别针对θ0=6，7，8，9来进行对比实验，结果如图4所示。其中：横坐标为交易时间序列，纵坐标为系统中可信感知用户的数量。在该实验中没有选取更小的系统声誉阈值，由于0≤θ0≤10，则当θ0<6时（例如θ0=5），声誉阈值过小，即意味着感知用户只需付出较小的代价便可顺利完成任务，而获得报酬。当声誉阈值趋于0时，无论感知用户表现如何，系统都视其为可信用户，因此，基于专家经验，当θ0<6时，不能达到惩罚不可信感知用户的目的，系统声誉阈值过小，会导致感知用户更趋于选择非可信策略，从而降低系统的整体可信度。由该结果可以看出，当θ0=6时，系统中剩余的可信感知用户最多，随着θ0的增大，系统中剩余的可信感知用户数量越来越少，结果越来越差。当θ0=9时，该声誉更新方法退化为传统的声誉更新方法，则为了提高整个移动众包系统的可信性，设定θ0=6。

为了验证本文所提激励机制RMI在对感知用户可信行为激励方面的有效性，与文献[6]中基于social norm的声誉更新方法进行对比。在模拟实验中，设置初始的可信感知用户的数量为100，对比结果如图5所示。其中：横坐标表示交易的时间序列，纵坐标表示系统中可信感知用户的数量。为了简化模拟过程，固定系统内初始的可信感知用户数量，即在演化过程中，不再有新的感知用户加入。因此，随着交易的进行，可信的感知用户会相应地减少。由该实验结果可以看出随着交易的时间推移，在本文提出的声誉更新方法RMI下，系统内可信感知用户的数量逐渐收敛到80左右；而在文献[6]提出的声誉更新方法下，系统内可信感知用户的数量逐渐减少，当交易的时间序列为22时，其可信感知用户的数量减少到17。由该实验结果可以看出，本文提出的声誉更新方法RMI在感知用户行为激励方面具有更优的性能。这是因为在传统声誉更新方法下，系统只设置一个声誉阈值，从而导致一些潜在的可信感知用户被过度惩罚，退出系统，不能再参与其他任务的感知。而本文提出的声誉更新方法除了设置系统声誉阈值外，每类任务还设置了相应的声誉阈值，只要感知用户的声誉不低于系统声誉阈值，该感知用户便可以通过可信行为来提高自身声誉度，从而有机会参加其他任务的感知，避免了过度惩罚问题。

4.2ex-post情况实验验证

同样，本文根据表2中ex-post情况下的博弈收益矩阵，验证移动众包系统中的false-giving现象（任务请求者），并验证所提任务请求者声誉更新方法RMI的有效性。具体实验设置如表4所示。

为了确定移动众包系统中产生false-giving问题的边界值（任务请求者），类似于感知用户的free-riding现象验证实验，分别针对x′=0.4，0.5，0.6，0.7，0.8，0.9来进行对比实验，从而验证任务请求者的自私行为导致false-giving现象的产生。根据本文提出的演化预测模型，当x′采取不同初始值时，其演化趋势如图6所示。其中：横坐标表示演化世代数，纵坐标表示系统内可信感知用户的比例。由该实验结果可以看出，当x≤0.6时，系统会产生false-giving现象，即任务请求者为了最大化自身收益，选择非可信策略作为自身的首选策略。因此，需要建立有效的激励机制来激励任务请求者对可信策略的选取。

同样，为了验证不同系统声誉阈值0对实验结果的影响，对系统声誉阈值0进行实验对比，分别针对0=6，0=7和0=8进行实验验证，实验对比结果如图7所示。其中：横坐标为交易时间序列，纵坐标表示系统中可信感知用户的数量。由该实验结果可以看出，当0=6时，系统中的可信任务请求者数量最多，当系统声誉阈值增加到8时，其性能退化到传统的声誉更新方法。因此，为了最大化本文提出的声誉更新方法RMI的性能，在本文的实验中选取系统声誉阈值0=6。

为了验证本文所提激励机制RMI在任务请求者可信行为激励方面的有效性，同样与文献[6]中基于social norm的声誉更新方法进行对比。在模拟实验中，设置初始的任务请求者数量为50，其实验结果如图8所示。其中：横坐标表示交易的时间序列，纵坐标表示系统中可信感知用户的数量。与ex-ante情况下实验类似，固定初始固定任务请求者的数量。由该实验结果可以看出，随着交易次数的增加，在本文提出的声誉更新方法RMI下，系统内可信任务请求者的数量逐渐收敛到45左右；而在文献[6]中的声誉更新方法下，系统内可信任务请求者的数量逐渐减少到18。由该实验结果可以看出，本文提出的信誉更新方法RMI在任务请求者行为激励方面具有更优的性能。这是由于本文所提的声誉更新方法RMI不仅为系统设置了系统声誉阈值，还为不同的任务类别设置了声誉阈值，这样不仅激励了任务请求者的可信行为，还有效地避免了过度惩罚问题。

5结语

本文提出了一种基于声誉的移动众包系统的激励机制——RMI。分别针对free-riding问题和false-reporting问题，首先结合演化博弈和Wright-Fisher模型对移动众包系统的演化趋势进行预测分析，在此基础上分别针对任务请求者和感知用户，建立two-side在线激励机制。最后通过模拟实验验证了本文提出的激励机制的有效性和适应性，与文献[6]中基于social norm的声誉更新方法相比，RMI有效地提高了移动众包系统的可信性。

在未来的工作中，我们将进一步研究移动众包系统的激励惩罚机制，并考虑如何保证感知用户和任务请求者的隐私，从而保证移动众包系统的安全性和可信性。

参考文献：

[1]CHATZIMILIOUDIS G， KONSTANTINIDIS A， LAOUDIAS C， et al. Crowdsourcing with smartphones [J]. IEEE Internet Computing， 2012， 16（5）： 36-44.

[2]HE Z， CAI Z， WANG X. Modeling propagation dynamics and developing optimized countermeasures for rumor spreading in online social networks [C]// ICDCS 2015： Proceedings of the 2015 IEEE 35th International Conference on Distributed Computing Systems. Washington， DC： IEEE Computer Society， 2015： 205-214.

[3]LI J， CAI Z， YAN M， et al. Using crowdsourced data in location-based social networks to explore influence maximization [C]// INFOCOM 2016： Proceedings of the 35 Annual IEEE International Conference on Computer Communications. Piscataway， NJ： IEEE， 2016.

http：//grid.cs.gsu.edu/～yli/papers/infocom16.pdf

[4]HAN M， YAN M， CAI Z， et al. An exploration of broader influence maximization in timeliness networks with opportunistic selection [J]. Journal of Network and Computer Applications， 2016， 63： 39-49.

[5]WANG Y， CAI Z， YIN G， et al. An incentive mechanism with privacy protection in mobile crowdsourcing systems [J]. Computer Networks， 2016， 102： 157-171.

[6]ZHANG Y， VAN DER SCHAAR M. Reputation-based incentive protocols in crowdsourcing applications [C]// Proceedings of the IEEE INFOCOM 2012. Piscataway， NJ： IEEE， 2012： 2140-2148.

[7]YANG D， XUE G， FANG X， et al. Crowdsourcing to smartphones： incentive mechanism design for mobile phone sensing [C]// Mobicom 12： Proceedings of the 18th Annual International Conference on Mobile Computing and Networking. New York： ACM， 2012： 173-184.

[8]ZHANG X， YANG Z， ZHOU Z， et al. Free market of crowdsourcing： incentive mechanism design for mobile sensing [J]. IEEE Transaction on Parallel and Distributed Systems， 2014， 25（12）： 3190-3200.

[9]BABAIOFF M， IMMORLICA N， KEMPE D， et al. Online auctions and generalized secretary problems [J]. ACM SIGecom Exchanges， 2008， 7（2）： Article No. 7.

[10]BATENI M， HAJIAGHAYI M， ZADIMOGHADDAM M. Submodular secretary problem and extensions [C]// APPROX/RANDOM 10： Proceedings of the 13th International Conference on Approximation， and the 14th International Conference on Randomization， and Combinatorial Optimization： Algorithms and Techniques. Berlin： Springer-Verlag， 2010： 39-52.

[11]ZHAO D， LI X-Y， MA H. How to crowdsource tasks truthfully without sacrificing utility： online incentive mechanisms with budget constraint [C]// Proceedings of the IEEE INFOCOM 2014. Piscataway， NJ： IEEE， 2014： 1213-1221.

[12]SODAGARI S， BILN S G. On cost-sharing mechanisms in cognitive radio networks [J]. European Transactions on Telecommunications， 2011， 22（8）： 515-521.

[13]MASON W， WATTS D J. Financial incentives and the “performance of crowds” [J]. ACM SIGKDD Explorations Newsletter， 2009， 11（2）： 100-108.

http：//xueshu.baidu.com/s？wd=paperuri%3A%28ec2e3a3c1ac92da99e1892d79f79d6ad%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Fdl.acm.org%2Fcitation.cfm%3Fid%3D1809422&ie=utf-8&sc_us=14451877034144833940等

原Proceedings of ACM SIGKDD Workshop on Human Computation. New York： ACM， 2009： 77-85.

[14]DIPALANTINO D， VOJNOVIC M. Crowdsourcing and allpay auctions [C]// EC 09： Proceedings of the 10th ACM Conference on Electronic Commerce. New York： ACM， 2009： 119-128.

[15]JAIN S， CHEN Y， PARKES D C. Designing incentives for online question-and-answer forum [J]. Games and Economic Behavior， 2014， 86： 458-474.

http：//xueshu.baidu.com/s？wd=paperuri%3A%2867521c26866306d1504f5e818b614dcd%29&filter=sc_long_sign&tn=SE_xueshusource_2kduw22v&sc_vurl=http%3A%2F%2Fwww.sciencedirect.com%2Fscience%2Farticle%2Fpii%2FS0899825612001674&ie=utf-8&sc_us=2611507051408957624等

原 EC 09： Proceedings of the 10th ACM Conference on Electronic Commerce. New York： ACM， 2009： 129-138.

[16]SINGER Y， MITTAL M. Pricing mechanisms for crowdsourcing markets [C]// WWW 13： Proceedings of the 22nd International Conference on World Wide Web. New York： ACM， 2013： 1157-1166.