移动应用程序（APP）评价指标体系研究

2016-09-29黄炜李总苛黄建桥

图书与情报 2016年3期

黄炜李总苛黄建桥

摘要：目前，对APP的研究主要涵盖了其设计、应用、服务、实现和评价等方面，但对APP的评价研究存在着诸如评价领域单一、评价指标过少、评价内容不全面和评价体系不科学等问题。通过结合德尔菲法、层次分析法和模糊综合评价法，文章提出了一套包含有应用平台、用户体验、可视化前台、网络后台等4个一级指标，活跃度等12个二级指标和下载量等41个三级指标，权重设计上加入负分项的APP评价指标体系，并以实例验证了这一评价指标体系可为APP的设计、推广、应用与评价提供了理论参考。通过运用该评价体系对支付宝钱包等APP进行评价与比较，也发现影响一款APP质量的主要因素是软件本身的用户体验及功能。

关键词：移动互联网；APP；科学评价；指标体系；层次分析法

中图分类号： G250.252 文献标识码： A DOI：10.11968/tsyqb.1003-6938.2016062

Research on Evaluation Index System of APP

Abstract The design， application， service， implementation and evaluation of APP are mainly covered in current studies. And there are still some problems in APP evaluation research， such as insufficient research fields， small amount of evaluation index， incomplete evaluation content and unscientific evaluation system. In this paper， combined with the Expert Method， Analytic Hierarchy Process and Fuzzy Comprehensive Evaluation Method， a set of app evaluation index system is put forward that contains the first grade indicators of four aspects of application platform， user experience， visual foreground， Network background； 12 second grade indicators including active degree and son on； 41 third grade indicators including download volume and so on； weight design added with negative points， and examples are given to verify the index system can provides a theoretical reference for the app design， promotion， application and evaluation. Through the use of the evaluation system of evaluation and comparison of the Alipay Aallet APP， it is found that the main factors affecting the quality of APP is the function of the software itself and the user experience.

Key words the mobile Internet；APP；scientific evaluation；the indicator system；Analytic Hierarchy Process （AHP）

1 引言

移动APP（Application program）原意是指一种开放的第三方应用程序，现在多指应用于智能手机、MID、平板电脑、MP4、手持游戏机等智能移动终端用户的应用程序，有时也被称为移动客户端[1]。其基本原理是以软件程序的面貌作为一种沟通界面，联接本地移动设备与互联网服务器，以此来提供全面适时的定制内容，传递相应的商业咨询，满足用户的信息寻求[2]。最初APP只是作为一种第三方应用的合作形式参与到互联网商业活动中去的，随着互联网越来越开放化，它被更多的互联网商业大亨看重，一方面可以积聚各种不同类型的网络受众；另一方面借助APP平台获取流量[3]。但在现实中，APP的应用领域也存在着一定问题。据统计苹果的App Store应用总数达65万；谷歌Play商店应用程序数量达45万，整个APP市场大体的分类已经形成并趋向稳定。但自2013年起相同类型的APP应用数量暴增，同质化严重，抄袭成风，几十万款APP中，只能有几百个可以生存，因此产生了大量的“僵尸”应用。且当前我国APP开发市场处于发展阶段，由于存在一定的技术障碍，部分APP无法满足用户的整体需求和市场需要。所以评价一款APP是极有必要的，不仅能够让用户正确选择令人满意的APP，而且让开发商在此过程中发现设计、开发方面的不足，在后期做进一步修改完善，以达到最高质量标准，从而获得用户的长期支持。但由于APP是一个涵盖内容很广的概念，要对它进行科学有效的评价，必须全面考量APP的各项指标。

本文从APP提供平台、用户体验、软件本身和网络后台四个方面构建出基于移动网络下的APP评价指标体系，并依据文献研究法进一步优化完善指标体系。同时利用德尔菲法、层次分析法等分析计算出相应指标的权重值，通过与实际调研数据的对比分析，使得整个指标体系的结构更加完整，结论更加准确。

2 APP的评价研究现状

网络时代APP的应用已基本贯穿人们的日常生活，如何客观地评价一款APP就显得尤为重要。通过对文献分析可以得出，目前已有不少专家和学者注意到移动APP的高速发展现状及可观的前景，并且针对基于APP的应用种类进行了相应的评价研究，但是他们往往注重单一种类的APP评价，有的甚至只针对某一类APP产品的技术或外观等层面进行探讨。如吴潇等[4]采用复杂网络中的加权二分图模型，构建了用户和APP的访问关系模型，在模型中分析了APP渠道中各类信息的传播特性，揭示了用户访问兴趣的演变；张苏闵等[1]调研了国外主要数据库商的移动APP应用现状，从用户评价角度分析出了APP内容的深度以及APP应用的可用性等方面还有待提高；LI KYOUNG[6]在基于UTAUT模型的基础上结合旅游行业和移动信息技术的特性，新增个性创新性与感知风险两个因素，构建出移动旅游APP用户接受行为模型，进而对用户对移动旅游APP接受行为进行评价；沈左源[7]在基于AHP 的旅行社智慧APP 设计评价研究中，建立出适合衡量旅行社智慧APP 设计内容的评价指标体系，为旅行社的智慧APP设计提供了参考方案；张苏闽等[8]在国外数据库出版商移动APP 应用及用户评价分析中，从用户的角度出发设计出一套专门针对国外数据库出版商移动APP的评价体系，从而得到有助于提高用户满意度的改进方案。

3 APP评价指标体系构建

3.1 指标的确定

由于德尔菲法可以获得具有很高准确率的集体判断结果，所以本文首先通过使用德尔菲法[9]确定初步的指标，通过组织相关领域专家背对背咨询与研讨初步确定了本文使用的指标。为了使指标更有代表性，后期还采用普通用户问卷调查的方式对指标进一步的完善。问卷采用的是湖北工业大学知识管理与创新研究中心在2015年度调查发放的300份问卷，其中，回收问卷287份，有效问卷260份，回收问卷和回收的有效问卷比例分别为95.67%和86.67%。问卷发放分为网上统计和网下统计两种形式（各150份问卷），网上的问卷用户根据问卷调查说明进行填写，网下的问卷用户采取现场指导的方式进行填写。选取的问卷调查对象主要为在校学生、中青代的上班族、专业的APP开发人员。通过对问卷的统计分析，最终采用填写问卷年龄为16～40岁的群体，因为该群体平均每周使用APP达到30次以上具有高度的代表性。同时根据实际情况对不重要的指标进行删除修改，对遗漏的指标进行添加，进一步完善指标体系，得到准确完备的各项重要指标。

3.2 构建APP评价指标体系

对上述确定的指标按非常重要、重要、一般、不重要、非常不重要五个等级进行评测，最终确定了指标体系结构（见表1）。

3.3 负分指标项的确定

在选取评价指标的过程中，通过综合分析有关APP评价的文献，发现现有的APP评价类文章只考虑到对APP的推广运营商以及对用户有益的部分，有的只是描述了APP最表层的现象，没有对APP这一宽泛的概念进行深度剖析。本文基于APP推广经营商与用户的双方的角度全面考虑了APP的各项评价指标，结合自身及周围移动应用程序使用者的真

实体验，重点指出APP使用过程中存在的一些设计及

使用上的问题，在APP的综合评分中以负分项的形式展示出来。基于用户的角度，如果在APP使用过程中出现闪退的现象会严重影响用户体验。并且经调查得知，用户在使用支付类和游戏类APP时最不能接受的就是闪退现象；应用商店对每款APP进行评分和评级，同时为用户提供专门的平台对每款APP的使用效果等进行评价，因此出现了吐槽的现象，部分用户通过这种方式表达了对APP的不满；在调查过程中发现，有些APP在下载的时候是免费的，但供使用的部分功能是收费的，而且还存在乱收费的情况，收费是开发商或运营商获得收益的一种措施，但这种方式是用户极为反感和排斥的；此外，APP出现故障导致用户的使用行为不便或受限，这也是影响用户体验的重要因素。综上，可以得出负分项的各项指标为闪退、吐槽、乱收费与故障率。

5 实例验证

5.1 实验设计

为了对APP进行全面有效的评价，根据现用APP排行榜，分别选取排行靠前、稍微靠前、居中、稍微靠后、居后五种程度和不同类别的七款APP作为调查对象，它们分别是：支付宝、美团、网易、风行、微信、爱读掌阅和炉石传说。针对这七款APP的各项指标设计问卷并收集100份有效问卷，利用综合评判法得出各级指标分数。

设计调查问卷时要将所有的指标项考虑其中，以便得到准确的数据。以微信为例，收集的调查结果包括可量化的数据，如使用频率；还包括定性结果，如安装是否简便。对于可量化的数据，在综合考虑各方面因素后得出算法表，从而根据数据得到相应的分数，而定性结果则采用模糊综合评价法，结合问题答案所占的百分数得到分数。至此，所有的三级指标分数都已算出，然后结合各级指标所占权重得出最后的结果。

5.2 实验结果

上述问卷数据统计的汇总结果（见表7）。最终七款APP的统计结果（见表8）。

5.3 实验分析

根据问卷调查收集的数据，利用算法表得到以上各表所显示的结果，由此不难看出：

（1）七款APP最终的评价结果各有差别，问卷调查得出的分数处在不同的区间内，说明选取的七款实例认证APP具有一定的代表性，能在一定程度上说明文章的研究对象。

（2）支付宝钱包与美团的最终评价分数分别是23.68和22.38，两者最为接近，究其原因，支付宝钱包是国内领先的移动支付平台，内置平民理财神器余额宝，还有银行卡转账、话费充值等多种功能，是网络购物者首选的支付方式。美团是2010年成立的团购网站，为消费者发现最值得信赖的商家，让消费者享受超低折扣的优质服务，同时为商家找到最合适的消费者，给商家提供最大收益的互联网推广。对于美团网上满意的产品，消费者可以通过支付宝在线支付，然后线下去实体店消费，美团与支付宝钱包是合作关系，美团让消费者享有的消费形式与支付宝钱包相同，都是基于O2O模式的经营理念。

（3）通过数据和折线图可以看出，微信的各项正分指标值都处于高水平，如用户体验分数达到14.86，而其负分项分值低至4.77，因此其最终评价值是最高的。微信作为实例检验的对象具有明显的典型性。近几年微信发展迅速，这是因为微信支持跨通信运营商、跨操作系统平台通过网络快速发送免费语音短信、视频、图片和文字，也可以使用通过共享流媒体内容的资料和基于位置的社交插件“摇一摇”“漂流瓶”“朋友圈”“公众平台”“语音记事本”等服务插件[11]，后又推出微信红包和微信支付钱包，微信强大的功能在极大程度上满足了用户的需求，在用户群中享有很高的知名度。

（4）炉石传说是2014年正式发布的一款手机游戏，在应用平台和用户体验分值上远远低于其他APP，其原因主要是游戏市场竞争激烈，新推出的游戏很难获得用户群；其次，炉石传说在商业上取得一定成绩之后，由于开发商的保守主义懒于更新，导致游戏架构中存在各种补丁，这在很大程度上对用户客观需求造成了不好的影响，进而影响了用户体验。

6 结语

本文构建的基于移动网络下的APP评价指标体系不仅在理论知识方面有深层次的探究，而且结合具体实例进行了验证。在指标权重方面，主要采用了德尔菲法和层次分析法，运用主客观相结合的方法，使指标权重更加准确有效，进而验证了APP评价指标体系的合理性。在文章构建的指标体系中，考虑到APP评价的实际情况加入了负分项，使整个评价体系的结构和内容更加完整精确。

同时，在构建指标体系与选取实例的过程中存在一定的不足。首先，由于APP评价指标体系的构建是复杂的，要想对APP进行全面合理的评价就必须在选取考量指标时尽可能面面俱到是很难实现的；其次，由于人员有限，收集的样本数据太少，未能进行大规模的调查分析，导致指标体系的有效性与准确性有待进一步检验。

此外，尽管选取的七款APP的评价结果与预期大体一致，但目前市场上的移动应用程序种类繁多，每种类型的APP数量也极大。所以其发展受到多种因素的限制，其中影响一款APP质量的主要因素是软件本身的用户体验及功能，只有这两点做到最好才能真正令用户满意，从而形成良好的口碑。其他影响APP发展的因素还有应用商店严格的审核程序、移动工具的内存大小等，APP未来发展的方向除了满足用户需求、降低开发商经济性要求以外，还要做到限制第三方应用访问，保护用户的隐私信息，使APP移动应用自身变得更加安全从而实现可持续发展。

参考文献：

[1] 王晶，阮文彪，陆彦.浅谈移动电子商务下的APP服务[J].中国商贸，2014（23）：129-131.

[2] 杨华.电商为长三角中小外贸企业带来的商机与挑战[J].中国商贸，2014（23）：127-128.

[3] 张世明，徐和祥，钱冬明，等.云架构模式下“网络学习空间人人通”体系探析[J].华东师范大学学报（自然科学版），2014（2）：4.

[4] 吴潇，聂啸，刘晓辉，等.基于加权二分图模型的APP信息传播特性[J].吉林大学学报（工学版），2015（6）：1946-1953.

[5] 张苏闽，鄢小燕，谢黎.国外数据库出版商移动APP应用及用户评价分析[J].图书馆杂志，2012，3（6）：56-61.

[6] LI KYOUNG.基于UTAUT模型的移动旅游APP用户接受行为研究[D].厦门：厦门大学，2014.

[7] 沈左源.基于AHP的旅行社智慧APP设计评价研究[J].特区经济，2015（3）：80-83.

[8] 张苏闽，鄢小燕，谢黎.国外数据库出版商移动APP应用及用户评价分析[J].图书馆杂志，2012（6）：56-61.

[9] 李建霞，陈福蓉.国内图书馆绩效评价指标体系研究[J].图书与情报，2013（1）：65-69.

[10] 郭晓晶，何倩，张冬梅，等.综合运用主客观方法确定科技评价指标权重[J].科技管理研究，2012，32（20）：64-67.

[11] 吕磊.基于即时通信及社交网络的社交电视分析[J].电视技术，2014，38（24）：9-13.