APP下载

基于评论情感分析的用户评分修正方法

2020-07-02孙礼辉

大理大学学报 2020年6期
关键词:特征词区分度分词

孙礼辉

(安徽商贸职业技术学院经济贸易系,安徽芜湖 241002)

随着电子商务的爆发式发展,网络商品种类和数量快速暴增。这导致用户在众多商品中难以准确选择到自己感兴趣的商品,因而产生了“信息过载”的问题。推荐系统则是目前解决信息过载问题的重要手段,其中协同过滤推荐是目前主流的推荐算法。用户评分是协同过滤推荐算法中的一个重要变量。而受消费习惯、平台规则等因素的影响,目前电商网站的用户评分经常不能反映用户的真实想法,这使得协同过滤推荐的精确度大打折扣,影响了电商网站的用户体验。修正用户评分,使评分能更加客观地反映用户的真实想法,这是提高推荐准确度的重要途径。

用户在网购产品后,一般会给产品评分并写上评论。相比评分而言,评论内容更能反映用户的真实想法。本文尝试对用户评论内容进行情感分析,使评论内容量化,进而对用户原始评分进行修正,得出更能反映用户真实想法的评分,为后续进行协同过滤推荐奠定基础。

1 相关研究

产品评论挖掘是近年来推荐算法的一个热点研究方向。Goldberg 等〔1〕使用人工方式从评论中提取特征信息,但这需要花费大量的人工。Ganu 等〔2〕提出了一种基于支持向量机的文本分类器,对评论进行分类并计算出评分,但该方法同样也需要大量人工进行分类。王伟军等〔3〕引入语言学的话语标记理论,构建商品评论话语标记语库,设计出评分体系,并借助层次分析法得出各指标权重,最后提出了评分修正方法。但该方法在指标选取上存在不够精确的问题。扈中凯等〔4〕基于用户评论挖掘产品特征,建立用户兴趣偏好模型,结合用户历史评分改善推荐准确率。但该方法直接使用原始评分,没有对评分进行修正。

针对目前推荐算法中评分修正相关研究相对缺乏的情况,本文试图提出一种基于评论情感分析的用户评分修正方法,以丰富相关研究。

2 评分问题分析

评分既是用户购物决策的重要参考因素,同时也是推荐系统的重要变量。而目前国内几大主要电子商务网站的用户评分数据较为集中且均为整数值,这种评分数据区分度不高,可靠性不高,不利于推荐系统的推荐。以京东商城为例,商品评分规则是1~5 分,而绝大多数商品评分集中在5 分,区分度不高。同时,因为多种原因,评分并不能真实反映用户真实想法。第一,因为只有1~5 分整数的选项,没有精确到小数点后其他选项,用户只能选择接近用户想法的整数,导致评分不够精确,不能反映用户真实想法;第二,因为商家各种好评返现的诱导,即使对商品或服务不满意,部分用户也会为了获得返现而打5 分,这没有真正反映出用户真实想法。第三,因为用户习惯性好评、从众心理、避免骚扰等原因而打5 分,也使得评分不能真实反映用户想法。由于上述多种原因,电商网站用户评分并不是非常可靠的。因而,直接采用原始用户评分的协同过滤推荐算法精确度是无法保证的,需要对原始用户评分进行重新修正,以提高推荐系统的精确度。

3 基于评论情感分析的用户评分修正方法

3.1 算法框架与用户评分相对应的是用户评论。相比用户评分而言,用户评论更加客观地真实反映了用户想法。因此,借助对用户评论的情感分析,对用户评分进行修正,可以提高评分的区分度和可信度,进而为提高推荐系统的推荐精度提供条件。

基于评论情感分析的用户评分修正方法框架如图1所示。

图1 基于评论情感分析的用户评分修正方法

3.2 数据预处理对抓取的评论数据进行清洗过滤,去除默认评论、广告评论、特征词较少或没有的评论,以及大量由标点符号或表情组成的评论等无效评论数据,然后使用分词系统进行分词。目前,常用的分词系统有ICTCLAS、THULAC、PKUSeg、FudanNLP等。本文使用目前使用较广泛的ICTCLAS汉语分词系统,对评论数据进行分词。

3.3 提取产品特征词和情感词在分词的基础上提取评论中的产品特征词和情感词。提取特征词和情感词的主要方法有LDA(latent dirichlet allocation)、机器学习、PMI(point mutual information)等方法。本文采用扈中凯等〔4〕提出的词性路径模板方法来提取产品特征词p 和情感词f,并组成特征情感词对,以d=(p,f)表示。

3.4 情感分析在提取产品特征词和情感词的基础上,需要对评论的情感进行量化分析。具体步骤如下:

步骤1:建立特征偏好向量。采用王红霞等〔5〕提出的建立特征偏好向量的方法,借助TF-IDF(term frequency-inverse document frequency)算法建立用户偏好,进而建立评论特征偏好向量。

对任一条评论c,其中出现的特征词记为p1,p2,…,pn,相应的评论特征偏好向量记为

其中,i=1,2,…,n,j=1,2,…,n,Pu,j为用户u 的特征词pi的TF-IDF值。

步骤2:情感词量化。在任一评论c 中,特征词pi所对应的情感词记为fi。本文采用目前使用较广泛的台湾大学NTUSD 简体中文情感词典来量化情感词。积极情感词赋值为5 分,中性情感词赋值为3 分,消极情感词赋值为1 分。基于上述标准将评论c中情感词f1,f2,…,fn进行量化,对应分值记为m(f1),m(f2),…,m(fn),并组成向量Mc={m(f1),m(f2),…,m(fn)}。

步骤3:计算评论的情感倾向。在评论特征偏好向量和情感词量化的基础上,计算出每一条评论的情感倾向。以Sc表示用户评论c 所表达的情感倾向,Sc计算公式为:

Sc数值区间范围为1~5。

3.5 修正评分综合考虑用户原始评分和评论的情感倾向,在原始评分和评论情感倾向分值的基础上取平均值,得出评分的修正值。

以Rc表示评论c 的原始评分,以R′c表示修正后的评分,则得出:

修正后的评分数值区间范围仍为1~5,但与原始评分不同,修正评分含小数点。从而使评分分布更离散,区分度更高。同时,修正评分也体现了评论的情感倾向,更客观地反映了用户的真实想法。

4 实验分析

4.1 实验数据通过爬虫程序在京东网站抓取笔记本电脑类目的评论数据,包括用户名、评论、评分、评价时间等。数据涵盖了联想、华为、惠普、戴尔等笔记本电脑品牌,评论时间从2018 年11 月到2019 年11 月,共计15 万条评论数据。对这些数据进行清洗,去除默认评论、广告评论、特征词较少或没有的评论,以及大量由标点符号或表情组成的评论等无效评论数据。处理后得到8 971 个用户对263 款笔记本电脑的9 881 条评论数据。统计分析显示,92.5%的用户都是5 分评价,评价相对比较集中,区分度不够。

4.2 实验结果分析利用上述算法对评分进行修正。修正后的评分为介于1~5 之间的数值,多为非整数,分布相比原始评分较离散,有较高的区分度,能更真实地体现出用户想法。以占比最高的5分评分为例,修正后的评分在3~5 分之间,分布如图2 所示。

部分评论数据修正前后对比如表1 所示。表1所示数据显示,修正后的评分相比原始评分而言,能更准确地体现出用户的真实想法。

图2 修正评分分布图

表1 部分评论数据修正对比

上述实验结果显示,修正后的评分分布较离散,区分度较高,比原始评分计算更精确,具有较高的可信度,更适合作为推荐系统的计算参数。

5 结束语

本文针对当前电商网站用户评分系统存在的不足,基于评论内容情感分析,将评论情感量化,在此基础上对原始评分进行修正,使修正后的评分更准确地反映用户的真实想法,以使在此基础上进行协同过滤推荐的推荐结果更加精准。本文在特征词和情感词提取方法上还存在不足,需要在效率和精确度等方面进行优化;另外,修正评分计算公式还不够精确,有待继续优化,以使评分修正更加精准。后续研究将在这些方面进行改进。

猜你喜欢

特征词区分度分词
基于Simhash改进的文本去重算法
基于类信息的TF-IDF权重分析与改进①
分词在英语教学中的妙用
一种面向财务文本分类的TF-IDF改进算法
结巴分词在词云中的应用
结巴分词在词云中的应用
图形推理测量指标相关性考察*
浅观一道题的“区分度”
利用垂直平分线的定义巧解题
无机化学推断题与框图题解法