基于Pareto分布的众包工人欺骗行为处理方法

潘庆先 江珊 董红斌 王莹洁 潘廷伟 殷增轩

摘 要：由于众包的组织模式自由松散，致使众包工人在完成任务的过程中存在欺骗行为。如何识别工人的欺骗行为并降低其影响，从而保障众包任务的完成质量，已经成为众包领域的研究热点之一。通过对任务结果的评估与分析，针对众包工人统一型欺骗行为，提出了一种基于广义Pareto分布（GPD）的权重设置算法（WSABG）。该算法对GPD进行极大似然估计，并用二分法逼近似然函数的零点以计算出尺度参数σ和形状参数ε。算法中定义了新的权重公式，并利用众包工人完成当前任务的反馈数据赋予每位工人一个绝对影响权重，最终设计出了基于GPD的众包工人权重设置框架。所提算法可以解决任务结果数据之间差异性小且容易集中在两极的问题。以烟台大学学生评教数据为实验数据集，提出了区间转移矩阵的概念，证明了WSABG算法的有效性和优势。

关键词：众包;质量控制;广义Pareto分布;统一型欺骗;权重

中图分类号：TP393.0

文献标志码：A

Pareto distribution based processing approach of

deceptive behaviors of crowdsourcing workers

PAN Qingxian1，2， JIANG Shan2*，DONG Hongbin1， WANG Yingjie2， PAN Tingwei2，YIN Zengxuan2

1.College of Computer Science and Technology， Harbin Engineering University， Harbin Heilongjiang 150001， China;

2.College of Computer and Control Engineering， Yantai University， Yantai Shandong 264005， China

Abstract：

Due to the loose organization of crowdsourcing， crowdsourcing workers have deceptive behaviors in the process of completing tasks. How to identify the deceptive behaviors of workers and reduce their impact， thus ensuring the completion quality of crowdsourcing tasks， has become one of the research hotspots in the field of crowdsourcing. Based on the evaluation and analysis of the task results， a Weight Setting Algorithm Based on Generalized Pareto Distribution （GPD） （WSABG） was proposed for the unified type deceptive behaviors of crowdsourcing workers. In the algorithm， the maximum likelihood estimation of GPD was performed， and the dichotomy was used to approximate the zero point of the likehood function in order to calculate the scale parameterσand shape parameterε. A new weight formula was defined， and an absolute influence weight was given to each worker according to the feedback data of the crowdsourcing workers to complete the current task， and finally the GPDbased crowdsourcing worker weight setting framework was designed. The proposed algorithm can solve the problem that the difference between the task results data is small and the data are easy to be centered on the two poles. Taking the data of Yantai University students evaluation of teaching as the experimental dataset， with the concept of interval transfer matrix proposed， the effectiveness and superiority of WSABG algorithm are proved.

Key words：

crowdsourcing; quality control; generalized Pareto distribution; unified type deception; weight

0 引言

眾包（crowdsourcing）是指“一种把过去由专职员工执行的工作任务通过公开的Web平台，以自愿的形式外包给非特定的解决方案提供者群体来完成的分布式问题求解模式”[1]。众包有三个基本要素：众包参与者、众包平台、众包任务，其基本流程为：任务请求者通过众包平台发布众包任务，众包工人通过平台选择任务，完成任务之后向平台提交结果，最后平台检验结果质量并对众包工人进行激励或惩罚。由于众包面向不确定大众群体，而且众包工人具有自私性，所以导致工人在完成任务过程中容易产生欺骗行为，从而导致完成质量不高。如何识别工人的欺骗行为，并对其科学化处理，已经成为众包质量控制中亟须解决的问题。

本文工作主要包括以下几个方面：1）对存在统一欺骗型任务结果进行研究;2）基于广义Pareto分布（Generalized Pareto Distribution， GPD）为每一位众包工人设置影响权重，提出了基于GPD的权重设置算法（Weight Setting Algorithm Based on GPD， WSABG），并对任务数据进行拟合;3）提出区间转移矩阵，验证不同算法之间输出结果的差异;4）以烟台大学学生评教数据为实验数据集，验证了WSABG算法的有效性。

1 相关工作

1.1 质量控制

目前关于众包中质量控制的研究主要集中在3个方面：1）控制参与人群，主要指控制任务请求者和众包工人的信誉程度。 2）优化任务设计，众包任务的构造方式对获取高质量的结果起到了极其重要的作用。例如Gaikwad等[2]通过预先使用样本任务，利用工作者的反馈形成更佳的任务设计方案。3）评估反馈数据，主要评价数据的可靠性，Daniel等[3]提到高质量的输出数据是众包的关键驱动因素之一。

参与人群主要是指任务请求者和众包工人，Allahbakhsh等[4]提到一个良好请求者需要具备慷慨、公平的品质，公平的态度和优秀的沟通能力。而对众包工人有更严格的要求，比如：工人的基本信息，包括年龄、性别、所在位置、人格特征、责任心、行为动机等;工人的个人能力，包括专业技能、等级、凭据等;工人的工作经验，包括历史行为信息、声誉分数、可信度等。例如Eickhoff等[5]深入研究了恶意众包工人的行为模式;Khudabukhsha等[6]提出了一种声誉评估方法，通过正确率对众包工人进行等级划分。Awwad等[7]提出一种离线算法，将历史任务分组到同类集群中，并为每个集群学习工作人员特性，然后算法利用这些特性为每个传入的任务选择可靠的工人。另外，有些众包任务需要众包工人形成团队合作完成，所以工作团队的非共谋性也是研究的重点之一，例如Hossfeld等[8]提出一个良好的工作团队应该由非共谋者所组成。

关于提高众包任务的设计，一方面众包工人希望请求者对于任务的描述清晰[9]、任务自身复杂度低，且能保证工人的隐私安全[10]等。Jain等[11]提出如何帮助请求者设计有效的众包任务。施战等[12]提出为了保证众包系统的性能，必须设计出高效的任务分配机制，挑选出最合适的用户完成任务，从而保证任务的完成质量。王莹洁等[13]提出在众包系统中，如何激励用户积极地参与任务感知，使得整个系统的收益最大化，是保证众包系统性能的重要因素。所以好的任务设计还应该为众包工人提供好的激励方式。另一方面从任务本身来看，则希望加强法律约束，保障其信息安全以及合规性[14]。

在众包中，数据是指在执行任务过程中或者由于执行任务而产生的信息，即输入、输出数据，其中输入数据可以是需要翻译的文本，那么輸出数据就是众包工人翻译好的文本。近年来研究工作主要包括：数据的准确性、一致性、及时性等。准确性是估量数据正确程度的属性，Gaunt等[15]提出了一种基于深度神经网络处理聚合数据的方法，以输出准确性更高的反馈结果。一致性通常被解释为不同众包工人在响应相同输入时产生的输出之间的相似性，Huang等[16]提出使用一致性的评估结果要优于使用黄金标准数据的方式。及时性[17]多是在时空众包中进行研究，例如外卖中的送餐服务、打车软件中司机到达的时间等。

以上工作多基于众包系统中的历史信息进行研究，由于信息的庞大杂乱，难以实现质量控制。本文方法基于众包工人的当前任务数据进行研究，避免了使用历史信息这一方式，从而更加具有针对性。

1.2 Pareto分布

Pareto分布是根据瑞士经济学家Vilfredo Pareto的名字来命名的，关于Pareto分布的研究起源于1897年在罗马出版的由Vilfredo Pareto著的经济学书，该书中Pareto通过研究个人收入的统计分布，提出了经典的Pareto分布函数：

F（x）=1-cx-a（1）

其中：F（x）为收入不超过x的个体所占的比例;c为实数;a为正数，并且称a为Pareto指数。基于Vilfredo Pareto的研究，又有数种不同的Pareto分布被提出，统称Pareto分布族，其中以GPD在实际应用中最为常见。

本文中所研究的GPD是由Pickands[18]首次提出的，现已被广泛应用于各个领域，例如：Dey等[19]通过使用由自助采样产生的模拟飓风系列来量化飓风损失极端回报水平推断的不确定性，发现飓风的破坏数据遵循广义的Pareto分布。Murata等[20]提出了基于广义Pareto分布的信息检索模型。关于GPD二参数形式的研究，多是利用极大似然估计求得数据所拟合的函数参数。Castillo等[21]提出在Akaike和Bayesian信息标准下比较相同数据的几个模型，从而得到可以在GPD中使用极大似然估计的一种新方法。

2 问题描述及处理方法

2.1 欺骗型众包工人

本文选取评价类众包任务为研究对象，该类任务应用广泛，比如滴滴打车中乘客对司机的评分、淘宝评价、影评、学生评教等。为了获取高质量的评价信息，需要众包工人客观、公正地进行评价，所以欺骗型众包工人的存在将会影响评价信息的可靠性。

张志强等[22]提出欺骗类众包工人的行为主要分为两种：一种是故意随机提交任务结果的众包工人;另一种是统一型欺骗的众包工人。本文主要研究统一型欺骗行为的众包工人。以烟台大学学生评教数据为研究对象，通过对任务结果的评估与分析，发现数据存在“二八分”的现象，即具有统一型欺骗行为的众包工人所提交的数据约占总体的80%，剩余20%的数据体现出值得信赖性等特点。其中统一型任务结果的频数图如图1所示。

图1中的横坐标是指学生10项指标重复分数的最大值。比如某名学生在评价中10项指标的打分为：{8，8，8，7，8，8，6，7，8，8}，其中共有7个8分，2个7分，1个6分，则重复分数的最大值就从{7，2，1}中取最大数，本文定义此值为“统一性数”。纵坐标是指各统一性数取值的频数。从图中可以看出此数据中统一性数为9和10时，其频数非常大。经计算，这两项占了全部比重的81.2%，说明评分中的统一型欺骗行为非常严重。

定义1 总数m名众包工人中，第i名工人的符号标记为wi，全部工人组成的工人集标记为W={w1，w2，…，wm}。这些工人所做的任务都包含在任务集T={t1，t2，…，tn}中，第j项任务的符号标记为tj。工人wi所做的任务集用Ti（TiT）表示，完成任务tj的工人集用Wj（WjW）表示。

定义2 Tkij（k=1，2，…，K）是评价型任务的一组指示变量。当工人wi对任务tj的反馈结果的统一性数取值为k时，Tkij=1; 若不为k，则Tkij=0。

任务tj的反馈结果中统一性数取k时的频率UnityFrekj采用式（2）计算得到：

UnityFrekj=∑wi∈WjWTkij|Wj|（2）

2.2 GPD的极大似然估计

GPD是Pareto函数分布族中的二参数形式。评价类众包任务需要对每一项任务汇总，所以单独考虑每一项任务的分布情况，那么任务结果中的统一性数服从GPD，其分布函数如下：

G（x;σ，ε）=1-（1+εx/σ）1/ε，ε≠0

1-exp（-x/σ），ε=0 （3）

其中：σ>0为尺度参数，ε∈R为形状参数。样本值统一性数用x表示，x∈[0，1]。

为了求取参数ε和σ，设X={X1，X2，…，Xn}是一组随机变量，（σ，ε）是二维参数向量。因为众包工人之间完成任务是相互独立的，所以随机变量的联合密度函数为：

L（X1，X2，…，Xn;σ，ε）=∏ni=1g（xi;σ，ε）（4）

其中

g（x）=

1σ（1+εx/σ）-1/（ε-1），ε≠0

1σexp（-x/σ），ε=0 （5）

是式（3）的密度函数，将其代入式（4）整理得似然函数为：

lnL=-nlnσ-（1ε+1）∑ni=1（1+εXi/σ），

ε≠0

-nlnσ-1σ∑ni=1Xi，ε=0 （6）

令θ=ε/σ

ε=ε（7）

当θ≠0时，对式（7）中的参数求得一阶偏导为：

dLdθ=nθ-1+1ε∑ni=1xi1+θxi=0（8）

dLdε=-nε+1ε2∑ni=1ln（1+θxi）=0（9）

由式（9）可求得：

=1n∑ni=1ln（1+θ^xi） （10）

联立式（8）、（9）、（10），求得关于θ的似然方程為：

nθ-（n/∑ni=1ln（1+θxi）+1）∑ni=1xi1+θxi=0（11）

为求此方程的数值解，考虑采用二分法逼近其零点，首先将方程视为关于θ的函数：

h（θ）=nθ-（n/∑ni=1ln（1+θxi）+1）∑ni=1xi1+θxi（12）

下面进行零点存在定理的证明：当θ→0时，h（θ）→+∞;当θ→1/（n），h（θ） → -∞，其中X（n）是样本值中的最大值[23]。又因为函数f（θ）是连续函数，根据零点的存在性定理可知此函数存在零点。

2.3 基于GPD的众包工人权重设计框架

众包工人的统一类型欺骗行为将会导致数据之间差异小，甚至容易集中在两极的状况。研究发现任务结果数据的统一性现象符合GPD，于是可以利用此分布为每一位工人设置影响权重。图2描述了基于GPD的众包工人欺骗行为处理办法的流程。

此流程主要包括以下几个方面的工作：

1）利用极大似然估计求取各任务结果服从的GPD参数。

2）利用GPD为工人设置影响权重。本文选取的众包任务要求每个众包工人都需要完成多项众包任务，每项众包任务由多个众包工人完成，所以每一项众包任务都对应一个Pareto分布函数，得到多个影响权重后，取其平均值作为工人的绝对影响权重。

3）求得任务输出结果的加权值。本文的最终目标是降低欺骗类工人的影响权重，计算每一项任务的可靠输出值。

2.4 算法设计

Pareto法则提出，在众多现象中，80%的结果，来自20%的原因， 因此输出结果统一性高的众包工人将会被设置较低的影响权重，输出结果统一性低的众包工人将会被设置较高的影响权重。由此便可以降低工人的欺骗行为对任务汇总结果产生的不良影响。

为了更客观地设置众包工人的影响权重，从每一位工人wi的任务集TiT作为出发点，求得任务tj∈Ti结果所服从的GPD的密度函数gj，则wi关于任务tj的影响权重可以设置为：

λij=1-gj（ki）-gj（kmin）gj（kmax）-gj（kmin） （13）

其中：k是定义2中提到的统一性数，表示工人提交任务结果的重复数的最大值; ki是工人wi的统一性数; kmax表示统一性数的最大取值; kmin表示统一性数的最小取值。为了得到工人的绝对影响权重，对其任务集TiT中全部任务得出的权重取平均数：

i=∑tj∈TiTλij|Ti| （14）

算法1给出WSABG的算法过程。此算法中，2）～10）行遍历任务集求得相应的Pareto分布参数，并在4）～9）行中对每个任务中参与的工人标记了权重;11）～13）行对每个工人求取绝对影响权重。由于二分法求零点时算法运行在固定区间，可认为时间复杂度为O（1），算法第3）行的时间复杂度为O（m），其中m为工人人数;4）～9）行中求工人权重的时间复杂度为O（m），于是2）～10）行时间复杂度为O（n×m），其中n为任务数;11）～13）行时间复杂度为O（m）。因此，算法1总的时间复杂度为O（n×m）。

算法1 基于GPD的权重设置算法。

输入 众包任务集T={t1，t2，…，tn}，众包工人集W={w1，w2，…，wm}，工人wi∈Wj对任务tj∈T的评价结果tj（wi）。

输出 工人集W的权重向量。

程序前

1）

初始化Weights，Counters均为长度为m的空数组

2）

for tj∈T do

3）

求得極大似然估计的参数σ和ε

4）

for wi∈W do

5）

if wj参与并完成了此任务 then

6）

Countersi+=1

7）

Weightsi+=λij（tj（wi））

8）

end if

9）

end for

10）

end for

11）

for Weightsi∈Weights do

12）

Weightsi=Weightsi/Countersi

13）

end for

14）

return Weights

程序后

3 实验结果与分析

3.1 实验数据

实验数据取自烟台大学学生评教数据，共计269-307条，每一条内容包括一名学生对一门课程关于10项指标的评分。此数据中，将学生视为众包工人，将老师教授的课程视为众包任务， 则众包任务集中的每一个集合元素都对应一门课程。众包工人集中的每一个集合元素都对应一名学生。

3.2 拟合结果分析

图3是随机选取的4门课程的评教数据呈现出一致性的频数图。

图4是广义Pareto的密度函数在几种不同参数下的图像，由图可见当σ的值不变时，ε的值越大，函数图像的弯曲程度越高;当ε的值不变时，σ的值越大，函数图像的值越大。

图5（a）～（d）是图3中4门课程的频度折线图及其拟合后密度函数所形成的对比，表1是函数对应的相关参数。从图中以看出，此4门课程的拟合图像在形状上十分接近，所以表1中的参数值也十分接近。

为了验证拟合效果，本文采用假设检验中的方差检验法对拟合前后的数据进行分析。原假设为拟合前后数据值差异不显著，记为H0; 备择假设为拟合前后数据值差异显著，记为H1。在显著性水平α=0.05的情况下，表2给出了对此四门课程进行方差检验相关的数据值。

其中，p>α接受原假设，p<α接受备择假设。F值等于组间均方和组内均方的比值，表示随机误差作用的大小。在自由度为13的情况下，F查表值为4.667， 且当F实际值小于F查表值时，p>α;当F实际值大于F查表值时，p<α。h和p1是判断正态性假定的输出值，当h=0时，认为数据服从正态分布，h=1则认为不服从正态分布。p2是方差齐次性假定的输出值，p2>0.05时，满足方差齐次性。其中，满足正态性假定和方差齐次性假定是采用方差检验法的前提条件。从表3数据可知四门课程的检验结果皆符合原假设，说明拟合前后的数据之间并没有显著差异，拟合效果良好。

3.3 算法结果分析

处理统一型欺骗行为中常用的算法为加权平均法，后文称之为传统算法。此法是对10项指标进行加权，再从全部学生打的分数中求取平均数作为课程的最后输出结果。本文对两种算法作了对比，结果如图6所示，图中将两种算法的输出结果区间按升序平均分为50份，视为50个区间并作为横坐标。之后取各区间内取值的频数作为纵坐标。其中，左侧部分的山峰是WSABG输出结果频数取值，右侧部分的山峰是传统算法输出结果频数取值。

从图6中可以看出，传统算法的输出结果集中在第40～50区间，且图像截止在高分数区间，分布图右侧没有尾巴，说明此算法对大部分课程的评教结果都取了高分，在高分区对课程的区分程度较低。然而传统算法在第0～10区间也存在小部分课程，此类区间的课程分数很低。由此可知，由于学生敷衍或欺骗性地进行评教，对部分老师的评教结果是不公平的，因此难以达到学生评教真正的目的和意义。

WSABG所输出的结果更接近正态分布，其中大部分的课程都取了普通的分数，左侧是分数较低的课程，右侧是优秀的课程。此算法可以将课程更好地区分开，从而达到学生评教的目的， 所以本文基于Pareto分布为学生设置权重的算法取得了较好的效果，可以解决传统算法高分区间数据之间差异小，以及课程在高分区严重集中的问题。

下面考察算法评级结果的准确率。将课程等级标记为“1级”“2级”和“3级”，级别越高表示课程越优秀。等级的划分需要在分数区间内设置两个分割点，验证在不同的分隔点下，算法的准确率。图7（a）给出了WSABG的准确率在不同分割点下的具体数值，图7（b）给出了传统算法的准确率在不同分割点下的具体数值。图中的第X行第Y列的元素值表示将等级区间分成{0～（X*10）%，（X*10）%～（Y*10）%， （Y*10）%～100%}，如第4行第7列表示将等级分成{0%～40%， 40%～70%， 70%～100%}三个区间。0%～40%区间代表“1级”，40%～70%区间代表“2级”， 70%～100%区间代表“3级”。从图7中可以看出，本文的算法在多数等级区间划分下的准确率均要高于传统算法。

为了更加直观地观察两种算法的准确率对比。图8给出了描述准确率如何相对两个分割点变化而变化的三维图像。由三维图可以看出，WSABG在1～2级分割点约为0.5，2级分割点约为0.8时取最大值，而传统方法中，三维图的最大值点出现在2～3分割点约为1时，且对于大多数的分割点，WSABG分类精度高于传统方法。为了方便观察，对三维图较有代表性意义的位置进行了两次切片，切片展示成了折线图9。图9（a）表示2～3级分割点固定为0.7时，两种算法的准确率对比。图9（b）表示2～3级分割点固定为0.8时的准确率对比。可以明显地看出，WSABG的准确率普遍更高。

为了衡量两种算法之间的差异，本文提出了区间转移矩阵如A所示， 矩阵中的元素Aij代表在传统算法中属于第i区间的课程在WSABG中属于第j区间的个数。将两种算法进行归一化并对齐平均值后，按照相同的间隔将评分划分成了10个区间。从区间转移矩阵中可以看出，数值较大的元素均分布于主对角线及其附近，说明原本在传统算法中属于平均水平的课程在WSABG中也分布于这个区间或其附近。例如区间转移矩阵中的第6行，也就是傳统算法中的第六区间，共有723门课程，其中A67=181表示在传统算法的第六区间中的课程，有181门在WSABG的第七区间内。由区间转移矩阵可以看出，大部分的课程在两种算法中的等级区间跳跃不会太大，但是也存在个别异常值。

A=001000000000065010000024124100000123638810000046618218010000172460181612010753319317603311072680914914400000000000000000000

异常值主要分布在矩阵的边缘部分。例如右上边缘的课程表示在传统算法中区间等级较低，但在WSABG中区间等级较高的课程。例如元素A81=1，表示在传统算法第八区间内的一门课程，在WSABG中被分到了第一区间。也就说传统算法对于此门课程的判定是极高的等级，但是在WSABG中给出的等级却很低。本文对此类异常值的评教数据进行了调查，发现此类课程的数据均给了一致性的高评分（几乎全为满分），但是主观评价（学生自愿填写）几乎全部空白。对于此类课程，本文提出存在师生共谋的猜想，并建议学校对此类课程进一步调查。

4 结语

本文针对存在统一类型欺骗行为的数据展开研究，发现此类数据符合GPD。利用极大似然估计对此类任务结果数据进行参数估计，并使用二分法逼近参数估计值。得到数据拟合的广义Pareto密度函数之后，为每一位众包工人设置影响权值，并取各任务影响权值的平均值作为工人的绝对影响权重。利用工人的绝对影响权重为原始结果进行加权，求得众包任务反馈结果的可靠值。经过实际数据测试，验证了该算法对于解决存在统一类型欺骗行为众包工人的任务具有较好的效果。在后续工作中，将会继续考察该方法在不同任务类型下的实际效果，设计更加具有通用性的框架。

参考文献 （References）

[1]SCHEE B A V. Crowdsourcing： why the power of the crowd is driving the future of business[J]. American Journal of HealthSystem Pharmacy， 2010， 67（4）： 1565-1566.

[2]GAIKWAD S， CHHIBBER N， SEHGAL V， et al. Prototype tasks： improving crowdsourcing results through rapid， iterative task design[EB/OL].[2017-07-18]. http：//web.media.mit.edu/～gaikwad/assets/publications/daemomhcomp.pdf.

[3]DANIEL F， KUCHERBAEV P， CAPPIELLO C， et al. Quality control in crowdsourcing[J]. ACM Computing Surveys， 2018， 51（1）：1-40.

[4]ALLAHBAKHSH M， IGNJATOVIC A， BENATALLAH B， et al. Reputation management in crowdsourcing systems[C]// Proceedings of the 8th International Conference on Collaborative Computing： Networking， Applications and Worksharing. Piscataway： IEEE， 2012： 664-671.

[5]EICKHOFF C， de VRIES A. How crowdsourcable is your task[C]// Proceedings of the Workshop on Crowdsourcing for Search and Data Mining at the 4th ACM International Conference on Web Search and Data Mining. New York： ACM， 2011： 11-14.

[6]KHUDABUKHSH A R， CARBONELL J G， JANSEN P J. Detecting nonadversarial collusion in crowdsourcing[C]// Proceedings of the 2nd AAAI Conference on Human Computation and Crowdsourcing. Menlo Park， CA： AAAI Press， 2014： 104-111.

[7]AWWAD T， BENNANI N， ZIEGLER K， et al. Efficient worker selection through historybased learning in crowdsourcing[C]// Proceedings of the 2017 IEEE 41st Annual Computer Software and Applications Conference. Piscataway： IEEE， 2017： 923-928.

[8]HOSSFELD T， KEIMEL C， TIMMERER C. Crowdsourcing qualityofexperience assessments[J]. Computer， 2014， 47（9）： 98-102.

[9]GADIRAJU U， YANG J， BOZZON A. Clarity is a worthwhile quality： on the role of task clarity in microtask crowdsourcing[C]// Proceedings of the 28th ACM Conference on Hypertext and Social Media. New York： ACM， 2017： 5-14.

[10]ZHUO G. Privacypreserving and finegrained data aggregation framework for crowdsourcing[C]// Proceedings of the 2017 10th International Conference on Mobile Computing and Ubiquitous Network. Piscataway： IEEE， 2017： 1-6.

[11]JAIN A， SARMA A D， PARAMESWARAN A， et al. Understanding workers， developing effective tasks， and enhancing marketplace dynamics： a study of a large crowdsourcing marketplace[J]. Proceedings of the VLDB Endowment， 2017， 10（7）： 829-840.

[12]施戰， 辛煜， 孙玉娥，等. 基于用户可靠性的众包系统任务分配机制[J]. 计算机应用， 2017， 37（9）： 2449-2453.（SHI Z， XIN Y， SUN Y E， et al. An allocation mechanism based on the reliability of users for crowdsourcing systems [J]. Journal of Computer Applications， 2017， 37（9）： 2449-2453.）

[13]王莹洁， 蔡志鹏， 童向荣，等. 基于声誉的移动众包系统的在线激励机制[J]. 计算机应用， 2016， 36（8）： 2121-2127. （WANG Y J， CAI Z P， TONG X R， et al. Online incentive mechanism based on reputation for mobile crowdsourcing system[J]. Journal of Computer Applications， 2016， 36（8）： 2121-2127.）

[14]HANSEN D L， SCHONE P J， COREY D， et al. Quality control mechanisms for crowdsourcing： peer review， arbitration， & expertise at family search indexing[C]// Proceedings of the 2013 Conference on Computer Supported Cooperative Work. New York： ACM， 2013： 649-660.

[15]GAUNT A， BORSA D， BACHRACH Y. Training deep neural nets to aggregate crowdsourced responses[C]// Proceedings of the 32nd Conference on Uncertainty in Artificial Intelligence. Barcelona， Spain： AUAI Press， 2016： 242251.

[16]HUANG S W， FU W T. Enhancing reliability using peer consistency evaluation in human computation[C]// Proceedings of the 2013 Conference on Computer Supported Cooperative Work. New York： ACM， 2013： 639-648.

[17]WU P， NGAI E W T， WU Y. Toward a realtime and budgetaware task package allocation in spatial crowdsourcing[J]. Decision Support Systems， 2018， 110： 107-117.

[18]PICKANDS III J. Statistical inference using extreme order statistics[J]. The Annals of Statistics， 1975， 3（1）： 119-131.

[19]DEY A K， DAS K P. Modeling extreme hurricane damage using the generalized Pareto distribution[J]. American Journal of Mathematical and Management Sciences， 2016， 35（1）： 55-66.

[20]MURATA M， HIRAMATSU K， SATOH S. Information retrieval model using generalized Pareto distribution and its application to instance search[C]// Proceedings of the 40th International ACM SIGIR Conference on Research and Development in Information Retrieval. New York： ACM， 2017： 1117-1120.

[21]CASTILLO J D， SERRA I. Likelihood inference for generalized Pareto distribution[J]. Computational Statistics & Data Analysis， 2015， 83： 116-128.

[22]張志强， 逄居升， 谢晓芹， 等. 众包质量控制策略及评估算法研究[J]. 计算机学报， 2013， 36（8）： 1636-1649.（ZHANG Z Q， PANG J S， XIE X Q， et al. Research on crowdsourcing quality control strategy and evaluation algorithm[J]. Chinese Journal of Computers， 2013， 36（8）： 1636-1649.）

[23]GRIMSHAW S D. Computing maximum likelihood estimates for the generalized Pareto distribution[J]. Technometrics， 1993， 35（2）： 185-191.

This work is partially supported by the National Natural Science Foundation of China （60903098，61502140，61572418）.

PAN Qingxian，born in 1979， Ph. D. candidate，associate professor. His research interests include artificial intelligence，group intelligence perception， crowdsourcing.

JIANG Shan，born in 1994， M. S. candidate. Her research interests include crowdsourcing.

DONG Hongbin， born in 1963， Ph. D.， professor. His research interests include artificial intelligence，machine learning， multiAgent system.

WANG Yingjie，born in 1986， Ph. D.，associate professor. Her research interests include temporalspatial crowdsourcing.

PAN Tingwei，born in 1992， M. S. candidate. His research interests include crowdsourcing.

YIN Zengxuan， born in 1995， M. S. candidate. His research interests include crowdsourcing.