App软件用户评论与评分星级一致性判断方法*

冉 猛 姜 瑛 向祺鑫 丁家满 汪海涛

(1.云南省计算机技术应用重点实验室 昆明 650500)(2.昆明理工大学信息工程与自动化学院 昆明 650500)

App软件用户评论与评分星级一致性判断方法*

冉 猛1,2姜 瑛1,2向祺鑫1,2丁家满1,2汪海涛1,2

(1.云南省计算机技术应用重点实验室 昆明 650500)(2.昆明理工大学信息工程与自动化学院 昆明 650500)

由于网络评论的自由性和随意性,App软件用户评论与评分星级的不一致给用户选择App软件带来了困难。提出综合分析用户评论和评分星级二者间的关系,首先通过分析App软件特征情感词对的语法关系,结合词典和网络情感词,量化用户对App软件的情感倾向程度;再计算每条评论中用户对App软件的综合评分,并与评分星级进行比较以判断用户评论与评分星级是否一致;最后通过实验验证了方法的有效性。

App软件; 用户评论; 评分星级; 一致性; 特征情感词对; 网络情感词

1 引言

随着移动智能终端的风靡,以Android系统和iOS系统为代表的App软件用户快速增加。大多数用户在选择App软件之前会查看用户评论和评分星级。然而,由于网络评论的自由性,用户评论的情感倾向程度与评分星级常常会出现不一致的情况。这给用户选择App软件带来了困难,因此判断App软件的用户评论与评分星级是否一致成为需要解决的问题。

用户评论分析在商品领域日趋成熟,而App软件作为一种新型体验型产品,有如下特点:1)App软件开发周期短,开发者可以通过用户评论了解用户需求,从而有针对性地制定开发策略[1],以提高App软件的质量;2)用户在选择App软件前无法通过广告或品牌获得该软件的质量[2]。目前,用户评论分析在App软件领域取得了一系列的研究成果。Gao等[3]通过从不同的App软件用户评论中提取主题评论,构建主题动态更新模型。AlQuwayfili等[4]将App软件评论分为可信和不可信两类评论。上述研究主要是针对用户评论的主题和可信度等对用户选择App软件有影响,但是缺少对用户评论和评分星级二者进行综合分析研究。Guzman等[5]基于贪婪聚类算法来挖掘用户评论信息中用户对App软件所持的正反态度。Harman等[6]采用实体映射和极性挖掘的方法,来判断用户评论对App软件的正反态度。上述文献将用户评论的倾向划分成正反两个等级,但是忽略了用户评论与评分星级是否一致给用户选择App软件带来影响。

因此,本文首先提取App软件用户评论中的特征情感词对;然后分析App软件特征情感词对的语法关系,并计算用户对App软件的情感倾向的综合评分;最后将综合评分划分为五个等级,以判断App软件用户评论与评分星级是否一致。

2 一致性判断方法

2.1 提取App软件特征情感词对

目前,大多数研究通过提取用户评论中的特征词和情感词来获得用户对产品特征进行的描述。本文通过对海量的用户评论数据进行分析后发现,用户在对App软件的评论中特征词、情感词和副词具有对应关系。例如,用户对“微信”App软件评论:“下载很麻烦”,其中用情感词“麻烦”修饰特征词“下载”,用副词“很”修饰情感词“麻烦”。因此,本文称为App软件特征情感词对,并对其做如下定义。

定义1:App软件特征情感词对f=(Wh,Wd,Wa)。其中,Wh代表用户评论中用户关注的App软件特征;Wa为情感词;Wd为副词。

为了对用户评论与评分星级一致性进行更好的判断,本文在文献[7]同时提取特征词、情感词的基础上对特征词、副词、情感词进行同时提取,即提取App软件特征情感词对f。此外,一条用户评论可能会涉及到多个f,其中每个f中的特征是不同的,且用户所表达的情感倾向程度也不相同。因此,本文对App软件特征情感词对集做如下定义。

定义2:App软件特征情感词对集F={f1,f2,…,fn},其中,fi为App软件特征情感词对,i=1,2,…,n。

2.2 计算情感倾向程度综合评分

目前用户的情感倾向分析主要通过基于词典[8]和句法分析[9],然后结合挖掘算法进行判断。在App软件用户评论中,网络情感词、副词的强度差异以及副词和否定词共现语序引起语义差异都会影响用户的情感倾向程度。因此,本文从情感词的极性词出发,基于f中Wh、Wd、Wa三者的语法关系,结合《知网》情感词语料词典和网络情感词,对情感倾向程度进行逐级量化计算,最后再计算每条评论的综合评分。

2.2.1 网络情感词的处理

App软件用户评论是一种典型的网络评论,大多数用户往往会使用网络情感词来表达对App软件的情感倾向。例如“这就是个SB软件”中的“SB”是名词,对当前App软件表达出强烈的反面情感。目前,《知网》词典不能识别这类词,但这些词语又能表达用户对App软件的情感倾向。因此,本文建立了网络情感词语库,收集了诸如“SB”等App软件用户评论中出现的高频度网络情感词共计137个,并对这部分情感词进行权重极性的定义,计算公式如下:

F(nr)=F(nd)*F(na)

(1)

式中,F(nr)表示用户评论中某个特征的情感倾向程度得分,F(nd)为副词的极性参数,F(na)表示网络情感词的原极性。

2.2.2 副词及副词和否定词共现情况的处理

由于App软件用户评论中的副词和否定词对情感倾向程度量化结果有着很重要的影响,因此,本文对副词和否定词进行处理。现有研究中发现,副词存在不同的强度等级,文献[10]基于《知网》词典的程度语料库,将副词分为6种类别,其中“最”和“超”两类的极性参数都是“1.6”,因此,本文将这两类进行合并为“最”类,结果如表1所示。

表1 副词分类及极性参数表

对于否定词的处理,姚天昉等[8]对否定前缀的极性处理方法是先取反,再除以2,按照该算法,“不很满意”和“很不满意”的情感倾向程度是一样的。然而,这并没有考虑否定词和副词共现时语序不同所引起的语义差异。因此,本文先根据文献[10]将否定词的极性参数设为-0.5,再将否定词和副词共现的情况分为两种,对情感倾向程度进行分别计算。

1) 副词在否定词之前,否定程度是逐渐递增的,例如“画面很不好”。因此,本文计算情感倾向程度量化的公式如下:

F(DNP)=-0.5*F(d)*F(a)

(2)

式中,F(DNP)表示副词在否定词之前的情感倾向程度得分,-0.5为否定词的极性参数,F(d)为副词的极性参数,F(a)为情感词的原极性。

2) 否定词在副词之前,这种情况是把原来的程度降低,例如:“画面不很好”和“画面相对好”,这两句表达的情感倾向程度大体相同,在语义上是能够相互推衍的[11]。因此,本文将这种情况的否定词极性参数设置为表1中“欠”类的极性参数,计算公式如下:

F(NDP)=0.6*F(d)*F(a)

(3)

式中,F(NDP)表示否定词在副词之前的情感倾向程度得分,0.6为否定词极性参数。

2.2.3 量化情感倾向程

由于用户对App软件特征评论的情感倾向程度由副词、否定词、情感词共同决定,因此,接下来将计算App软件用户评论信息中情感倾向程度的量化结果,计算公式如下:

F(or)=F(oa)*F(od)*F(on)

(4)

式中,F(oa)为情感词的原极性,F(od)为副词的极性参数,F(on)为否定词的极性参数。当副词或否定词为空时,极性参数设为1;当副词和否定词共现时,则根据式(2)和式(3)进行计算。

2.2.4 计算综合评分

用户对App软件的情感倾向程度由F中的综合评分来决定。然而,F中每个f中用户所表达的情感倾向程度是有差异的。因此,为了对用户评论与评分星级进行更准确的一致性判断,需要对F中多个f的情感倾向程度进行综合量化计算。情感倾向程度的综合评分计算公式如下:

(5)

式中,F(ri)表示用户评论中对第i个特征评论的情感倾向程度得分,F(ri)包含F(nr)、F(or)等情况,n表示F中f的个数。计算情感倾向程度综合评分流程图如图1所示。

2.3 划分综合评分等级

通过2.2节中分析,可以计算出F(O)的取值范围是[-1.6,+1.6],因为从表1中可以看出极性参数的最大值是1.6,正面、反面情感词的极性分别为+1、-1,且本文中的否定副词极性参数为-0.5。所以5星中最大取值为1.6*1=1.6;4星的最大取值为1,最小值为-1*(-0.5)=0.5,即5星的取值区间为(1,1.6],4星的取值区间为[0.5,1]。综合评分等级划分区间如表2所示。

图1 计算情感倾向程度综合评分流程图

表2 综合评分等级划分表

3 实验结果及分析

3.1 数据来源及处理

为了验证本文方法的有效性,从安卓电子市场随机抓取了7大类29个App软件的21371条用户评论信息,并据此建立了App软件用户评论库,部分信息如表3所示。

表3 App软件用户评论(部分)

由表3可以看出,虽然有的用户给App软件打的评分星级很高,但是用户评论中表达出来的情感倾向却是负面态度。因此,用户评论与评分星级确实存在不一致的情况。本文使用ICTCLAS 2016作为数据预处理的工具,并提取了App软件特征情感词对,部分数据处理结果如表4所示。

表4 数据处理结果(部分)

3.2 实验结果及分析

针对以上实验数据,运用本文方法对App软件用户评论与评分星级进行了一致性判断。为了判断方法的有效性,本文邀请了一些App软件用户对用户评论与评分星级的一致性进行了人工标注。部分判断结果如表5所示。

由实验可以得出,用户评论与评分星级一致的评论平均仅有39.25%,各类App软件的判断结果如图2所示。其中,“社交”类仅有30.82%。可见,当前的App软件用户评论中,大部分用户评论与评分星级是不一致的。

表5 一致性判断结果(部分)

图2 App软件用户评论与评分星级一致性结果

通过与人工标注进行比较,本文方法判断结果的准确率平均为79.07%,相关结果如表6所示。

表6 本文方法判断结果的准确率

由表6可以看出,“资讯”类的用户评论准确率最低,为76.56%,该类一致性判断结果如图3所示,这类App软件评分星级中2星和1星的准确率偏低,仅有57.14%和59.80%,这种现象在7类App软件中均存在。

通过分析,主要由两类原因导致:一是用户如果对App软件不满意,就会在发表评论时说一些骂人的错别字,在进行分词和情感倾向程度量化时,分词工具和算法均不能识别这些错别字,从而影响了判断结果的准确率;二是目前收集的网络情感词不够全面,导致在量化情感倾向程度时不够准确,从而影响了用户评论与评分星级一致性的准确性。

图3 “资讯”类用户评论与评分星级一致性判断结果的准确率

4 结语

本文提出了用户评论的一致性判断方法。该方法通过分析App软件特征情感词对的语法关系,结合词典和网络情感词,量化用户对App软件的情感倾向程度,以计算每条评论中用户对App软件的综合评分,并与用户评分星级中的五个等级进行比较,从而判断用户评论与评分星级是否一致。实验证明了该方法的有效性,为了进一步提高方法的准确性,下一步将在App软件特征情感词对提取、网络情感词的收集等方面进行深入研究。

[1] Lin Hao, Li X, Tan Y, et al. The economic role of rating behavior in third-party application market[C]//International Conference on Information Systems,2011:26.

[2] 刘洋,廖貅武,刘莹.在线评论对应用软件及平台定价策略的影响[J].系统工程学报,2014,29(4):560-570.

LIU Yang, LIAO Xiuwu, LIU Ying. The impact of online comment on software and platform’s pricing strategies[J]. Journal of Systems Engineering,2014,29(4):560-570.

[3] Gao C, Xu H, Hu J, et al. AR-Tracker: Track the Dynamics of Mobile Apps via User Review Mining[C]//Service-Oriented System Engineering(SOSE), 2015 IEEE Symposium on. IEEE,2015:284-290.

[4] AlQuwayfili N, AlRomi N, AlZakari N, et al. Towards classifying applications in mobile phone markets: The case of religious apps[C]//Current Trends in Information Technology(CTIT), 2013 International Conference on. IEEE,2013:177-180.

[5] Guzman E, Maalej W. How do users like this feature? a fine grained sentiment analysis of app reviews[C]//Requirements Engineering Conference(RE), 2014 IEEE 22nd International. IEEE,2014:153-162.

[6] Harman M, Jia Y, Zhang Y. App store mining and analysis: MSR for app stores[C]//Proceedings of the 9th IEEE Working Conference on Mining Software Repositories. IEEE Press,2012:108-111.

[7] 扈中凯,郑小林,吴亚峰,等.基于用户评论挖掘的产品推荐算法[J].浙江大学学报:工学版,2013,47(8):1475-1485. HU Zhongkai, ZHENG Xiaolin, WU Yafeng, et al. Product recommendation algorithm based on users’ comments mining[J]. Journal of Zhejiang University(Engineering Science),2013,47(8):1475-1485.

[8] 姚天昉,娄德成.汉语语句主题语义倾向分析方法的研究[J].中文信息学报,2007,21(5):73-79. YAO Tianfang, LOU Decheng. Research on semantic orientation analysis for topics in Chinese sentences[J]. Journal of Chinese Information Procession,2007,21(5):73-79.

[9] 冯时,付永陈,阳锋,等.基于依存句法的博文情感倾向分析研究[J].计算机研究与发展,2012,49(11):2395-2406. FENG Shi, FU Yongchen, YANG Fen, et al. Blog Sentiment Orientation Analysis Based on Dependency Parsing[J]. Journal of Computer Research and Development,2012,49(11):2395-2406.

[10] 林钦和.基于情感计算的商品评价分析系统设计与实现[D].上海:复旦大学,2013. LIN Qinhe. Design and Implementation of the Product Comments Analysis System Based on Affective Computing[D]. Shanghai: Fudan University,2013.

[11] 尹洪波.否定词与副词共现的句法语义研究[D].北京:中国社会科学院研究生院,2008. YIN Hongbo. Research on Syntax and Semantics for Co-occurring of Negatives and Adverbs[D]. Beijing: Graduate School of Chinese Academy of Social Sciences,2008.

Consistency Judgment Method Between User’s Comment and User’s Mark for App Software

RAN Meng1,2JIANG Ying1,2XIANG Qixin1,2DING Jiaman1,2WANG Haitao1,2

(1. Yunnan Key Lab of Computer Technology Application, Kunming 650500)(2. Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500)

Due to the freedom and randomness of the network comments, the inconsistence between the user’s comment and user’s mark of App software makes it difficult to choose App software. This paper presents a method by analyzing the relationships among user’s comment and user’s mark. Firstly, through analyzing the grammar relationships in App software’s feature-sentiment-word-pairs, the user’s emotional tendency about App software is quantified combining with the dictionary and the network sentiment words. After calculating the user’s comprehensive score of App software, the consistency of App software user’s comment is judged by comparing this score and the user’s mark. Finally, experimental results show that the method is effective.

App software, user’s comment, user’s mark, consistency, feature-sentiment-word-pairs, network sentiment word Class Number TP311

2016年10月3日,

2016年11月26日

国家自然科学基金(编号:60703116,61063006,61462049);云南省应用基础研究计划项目(编号:2013FZ020)资助。

冉猛,男,硕士研究生,研究方向:软件工程、大数据分析。姜瑛,女,博士,教授,研究方向:软件工程、大数据分析等。向祺鑫,男,硕士研究生,研究方向:软件工程、软件质量保证与测试。丁家满,男,硕士,副教授,研究方向:软件工程、云计算。汪海涛,女,硕士,高级工程师,研究方向:软件工程。

TP311

10.3969/j.issn.1672-9722.2017.04.021