基于社会心理学的协作式众包测试效率研究

周艳

摘要 众包（Crowdsourcing）是将一项任务在网络上分包给许多人共同完成，传统的竞争式众包中，众包工人独立完成测试任务，往往进行大量冗余工作，未能充分发挥群体智能优势。本文旨在研究协作式众包工作机制，引导众包工人进行信息交互，协作完成众包任务，基于社会心理学的相关理论，研究协作对众包测试效率的提升。为了验证该机制的可行性，本文收集了来自协作式众包平台的实验数据，设置对照试验，分析不同众包模式下的任务完成情况，众包工人的贡献差异，实验结果表明，协作能够提升众包测试效率。

关键词 协作式众包 社会心理学 测试效率

1.引言

众包近年来得到工业界和学术界的共同重视，作为群体智能的典型应用，被社会学、心理学、经济学、计算机学、系统工程学科广泛研究。当前的众包只能在简单任务上形成群体协作，在复杂任务上无法支撑群体智能的协作，只是独立完成测试任务，由众测平台审核海量报告并选择高质量的报告作为最优方案，无法支撑众包工人之间的有效地增效性的协作，简单的说，现在面对复杂问题的众包，无法实现1+1>2。

只有针对不同的测试场景引导众包工人协作完成测试任务，才能使工人更高效地完成测试任务。社会心理学为协作式众包提供了更多理论支撑[1]。美国社会心理学家拉塔奈（B.Latane）提出社会作用理论，其证明了群体行为对个体行为具有制约作用，个体行为是个体需要与其所处的心理环境的函数的著名社会作用力公式，从社会立场角度探讨个人行为受他人和社会影响的问题，如群体合力影响的倍增效益，协作式众包测试也将提升众包测试效率。在协作式众包测试[2]中，所有Bug报告对众包工人都是可见的（即信息共享），众包工人以Wiki（多人协作的写作系统）协作编辑的方式完成测试报告以减少重复报告;众包工人不仅可以提交报告，也能对他人报告进行審核，帮助众包测试平台识别高质量报告。协作式众包测试通过提供特定协作方式，减轻对众包工人专业能力的要求，给众包工人提供多样的任务类型，使众包工人有更强的参与感和成就感;同时通过众包工人协作，使Bug报告聚合产生高质量报告，能以更快的速度交付给任务发布者高可用的软件缺陷列表。本文主要贡献：

尝试将社会心理学相关理论引入到众包测试当中去以激励众包工人去通过不断修改别人的答案，使得整体任务的结果质量提高;

设置对照试验，分析不同机制下的效率状况，不同贡献模型下的众包工人成绩影响;

针对基于社会心理学的协作式众包测试提出协作建议。

2.协作式众包机制

本文使用的协作式众包测试平台众包测试系统能够将完成整个测试任务进行过程中的信息共享与任务分配，众包工人在整个过程中，既是提交者也是审阅者，充分利用用户之间的协作以及平台推荐引导来提升报告质量。其中，用户对于推荐报告可以选择点赞、点踩，众测平台在报告整合阶段，可以参照该信息，对于报告质量做出初步评价。同时，用户亦可以选择共同编辑（Fork），对推荐报告进行补充。众包工人之间相互协作，信息共享，可以在很大程度上减少冗余测试报告，同时共同完善测试报告，帮助开发人员进行Bug重现。

3.实验

3.1实验设计

本次众包测试任务是一项复杂的移动应用测试，考察众包工人多方面的测试能力。我们选择了一款漫画阅读软件，“ComicsIsland”。众包工人需要手动对其进行测试，特别是功能测试，尽可能覆盖所有测试需求并提交测试用例和测试报告。

为了分析在协作机制与传统竞争机制环境下的测试效率，我们设置了一组对比实验：将众包工人按1：1比例方法分别设为协作测试组和独立测试组，在测试环境、测试任务及测试时间一致的情况下，协作测试组开展协作众包测试，独立测试组独立测试并提交测试用例和报告。

为了深入研究协作众包测试机制对众包工人的影响，我们在测试任务完成后对众包工人进行了一次匿名在线问卷调查以了解工人的个人真实想法，并结合众包工人的测试结果进行分析。我们发放了50份调查问卷，最后收到了38份调查反馈，并对其进行了一定的筛选，删除无效报告（如所有选项均相同），最后只留下28份有效调查报告。

3.2结果分析

3.2.1协作对众包测试结果的提升

我们对整个测试过程进行研究分析。本次众包测试时常为4小时，我们每隔半小时对两类学生在测试过程中已找到的bug总数进行了统计，目的是想了解不同机制背景下的众包工人在测试实践过程中测试表现是否会存在差别。统计详情如图1所见。

观察上图Bug数量的变化趋势，我们看到橙色折线（协作测试组找到的Bug数量）几乎是一直呈现稳定增长，而灰色折线（独立测试组发现的Bug数量）在测试开始3小时后则趋于平缓，近乎可以被看作是一条抛物线的一部分。在不考虑已发现Bug的有效性的前提下，我们很容易就可以得出众包工人通过协作方式发现缺陷问题的数明显多于独立测试情况所发现缺陷数的结论。随着时间推移，两个实验组找到bug数量的差距明显越来越大。可以看出，协作式众包工作机制能够实现很好的支撑众包工人之间的有效地增效性的协作，提高了众包测试效率与质量。

3.2.2协作对众包测试的影响

图2和图3分别为问题Q1和Q2的调查结果统计。分析上述结果，我们知道虽然只有10.71%的学生一点都不想参加到众包测试当中去，但高达64.29%的学生对众包测试有一定兴趣。也就是说，绝大多数众包工人以积极态度参与此次众包测试，此次的实验结果对于我们分析不同机制下的测试效率差异是有价值的。从众包工人对众包测试的评估结果来看，协作测试组中认为众包测试对自身测试能力的提高有帮助的人数远远多于独立测试组的人数，独立测试组的多数众包工人（62.33%）认为众包测试对自己是毫无帮助的。结合上文提到的社会心理理论，群体社会中的个体在能力更高的同伴、成人或工具的帮助下自身的认知潜力将被很大程度的挖掘出来，即能力获得提升，这与协作测试组众包工人认为众包测试是有帮助的是相通的。综上所述，众包工人间的相互协作对于每个众包工人的认知发展和知识获得至关重要。

4.结论

本文尝试将社会心理学相关理论引入到众包测试效率分析中。为了分析协作的作用，我们设置对照试验，分析不同机制下的效率状况，不同贡献模型下对众包工人影响。根据实验结果所示，基于社会心理学理论建立起来的协作机制能够实现很好的支撑众包工人之间的有效地增效性的协作，使众包工人在相互交流的过程中获取知识，促进个体高级认知能力的发展，这对现代化教育有很大的借鉴意义。