基于模糊综合评价的美团评论数据情感分析
2020-07-26闫贺白璐璐张晓如张再跃
闫贺 白璐璐 张晓如 张再跃
摘 要:美團平台上店铺的评分是一个综合性评分,并不能从多个角度说明店铺情况,客户根据综合评分很难选择到符合自己需求的店铺。现有评价模型在商品属性选择和权重上依靠有经验的管理者给出,存在很大的主观性。针对这些问题,提出了基于模糊综合评价的情感分析模型。该模型首先采用关键词提取与模糊矩阵相结合方法,对评论的语料进行关键词提取,然后根据关键词权重设置模糊矩阵,最后将评论情感分析结果放在模糊矩阵中,构建出基于模糊矩阵的综合情感评价模型。在美团评论数据集上进行实验,结果是综合评价分与美团平台的综合性评分只相差0.02%,说明该模型结果非常准确。模型给出了店铺除综合评分以外的其它关键词得分,全面分析了店铺的口味、环境、价格等因素评分,为顾客选择提供了多角度指导。所得出的评分也给商家提供了很好的指导意见,以帮助商家调整经营模式和策略。
关键词:情感分析; 模糊矩阵;情感倾向;美团平台
DOI:10. 11907/rjdk. 192234 开放科学(资源服务)标识码(OSID):
中图分类号:TP301文献标识码:A 文章编号:1672-7800(2020)007-0019-05
Emotional Analysis of Meituan Review Data
Based on Fuzzy Comprehensive Evaluation
YAN He1, BAI Lu-lu2, ZHANG Xiao-ru1, ZHANG Zai-yue1
(1. School of Computer Science, Jiangsu University of Science and Technology, Zhenjiang 212003, China;
2. School of Computer Science and Information Security, Guilin University of Electronic Technology, Guilin 541004, China)
Abstract:The ratings of the stores on the Meituan platform are comprehensive, and it is impossible to explain the situation of the stores from multiple angles. It is difficult for customers to select a store that meets their needs according to the comprehensive score. The commodity attributes and weights of the evaluation model are given by experienced managing statt. This evaluation model is very subjective. Aiming at these problems, this paper proposes a sentiment analysis model based on fuzzy comprehensive evaluation. First, the model adopts the method of combining keyword extraction and fuzzy matrix, extracts the keywords from the corpus of comments, and then sets the fuzzy matrix according to the weight of the keywords. Finally, the results of the comment sentiment analysis are placed in the fuzzy matrix to construct fuzzy comprehensive emotion evaluation model based on fuzzy matrix. The comprehensive evaluation results obtained by the experiment on the Meituan review dataset differed only 0.02% from the comprehensive score of the Meituan platform, indicating that the results obtained by the model are extremely accurate. The model gives the scores of other keywords in addition to the comprehensive scores of the stores, comprehensively analyzes the scores of the stores taste, environment, price and other factors, providing customers with a multi-angle selection guide; the resulting scores also provide good guidance to merchants to help them adjust their business models and strategies.
Key Words: sentiment analysis; fuzzy matrix; sentiment orientation; Meituan platform
0 引言
人们在美团选购商品时往往会参考美团提供的店铺和商品评价系统。市场调查结果显示,约有81%的用户会在购买商品之前观看商品的相关评论,其中80%的顾客会认为这些评论影响到自己的购买行为,由此可见,对商品进行较为详细和深入的多角度情感分析,是满足用户和市场需求的重要环节,同时商家也可根据客户评论,对自己的经营模式和策略作出相应调整,更好地满足客户需求,在激烈的市场角逐中赢得商机。随着经济的发展,人们的商品质量观已从仅考虑商品内在与个性质量,发展到越来越注重商品的外观质量、社会质量、经济质量和市场质量等综合因素[1]。正是因为这种观念的转变,对商品评估提出了新的要求,多角度全面深入评价成为趋势。
封丽[2]利用情感词典结合情感分析的方法对微博文本的舆论内容进行情感分析,从而比较迅速、实时表现出随着时间变化的舆情状况;李耀林[3]通过一系列的情感分析算法,处理了笔记本电脑的评论信息,得到用户对笔记本电脑的情感倾向,从而判断不同电脑产品的受欢迎程度;Zhao等[4]使用表情符号的情感分析,开发了一款基于表情流的微博情感实时检测系统;杨静[5]对于商品评价环节存在的问题,引入了模糊数学综合评价方法,该方法表现出较好的易懂性和公平性。
本文结合情感分析和模糊综合评价方法,对美团的评论数据进行分析研究,从顾客关心的多个因素给出评价。该模型首先对获取的评论数据进行清洗,然后提取评论数据关键字,计算评论因素集合和因素集权重,最后通过对评论的情感分析构建模糊综合评价矩阵,通过模糊综合评价矩阵获得一个综合评价结果,获得每个因素对应的评价得分。
1 相关概念
本文提出的基于模糊矩阵的情感分析模型不仅涉及到因素集、评语集、权重集、分数集等基本概念,还涉及到数据清洗规则。模糊综合评价方法最原始的雏形是模糊集合,该集合由美国的控制论专家L.A.Zadch教授于1965年提出 [6]。模糊综合评价法是以模糊数学、模糊线性变换原理和最大隶属度原则为基础,考虑所需评价事物的各个评价指标因素对事物做出的综合评价。
1.1 因素集与评语集
因素集通常是对商品属性、特征的描述。在模糊综合评价模型中,针对商品的因素用[U]表示。[U={key1,key2,][?,keyn}],其中[keyn]表示第[n]个评价因素。评语集是每个评价因素的评语集合,用[V={v1,v2,?,vn}]表示,其中[vn]表示对商品特征[keyn]的评语。
以苹果评价为例,其属性或特征有品相、大小、甜度等几个指标,其因素集可表示为 {品相,大小,甜度}。假定用户对每个属性(因素)的评价结果分为好、中等、差3个级别,那么 {好、中等、差}可视为该苹果的一个评语集。
1.2 权重向量
权重指模糊综合评价因素集中每个因素的权重,每個因素权重的选取直接影响评价结果的准确性,通常由调查对象根据各自的知识、经验以及偏好因素直接给出其认为合适的数值作为模型的权重。这种做法虽然简单明了,但是有一个明显的缺点,就是存在很大的主观性[7-9]。
本文提出的模型权重是由大量数据计算分析得到的,拥有数学理论基础,很大程度上规避了人为赋权带来的缺点。令[n]个评价因素的权重向量为[A]
式(1)中,[an]表示因素集中第[n]个元素对应的权重值。
1.3 模糊评价模型
模糊评价模型,是一种运用模糊数学原理分析和评价具有“模糊性”系统的方法。这种方法在处理各种难以用精确数学方法描述的复杂系统问题时表现出独特的优越性,在评价方面应用很广泛。
模糊评价模型结构如图1所示。首先根据顾客的评论构建评价指标体系,得出因素集模块;然后由相关有经验的管理者结合评论给出权重矩阵模块;最后通过二者计算的结果确定评价矩阵[5]。
图1所展示的模糊评价模型存在两点不足:①其因素集是依据其各自情况选定和调整的,不能很好地反映顾客在评论中真正关注的商品属性;②权重矩阵是管理者依据自身经验给出,存在很大主观性。这是当前评价模型的共性问题。
2 模糊综合情感评价模型
目前评论分析大多停留在情感分析阶段,根据得到的大量情感分析结果,对所评论的主题作出主观判断[10-12]。随着生活质量的提高,人们对于事物的评价不再停留在一个维度上,一个综合的评价结果才能说明一个事物好坏。鉴于此,本文结合模糊矩阵,提出模糊综合情感评价模型。
2.1 数据清洗
对数据进行过滤,去掉一些重复和不必要的数据[13]即为数据清洗。对综合评价来说,一组高质量的数据直接影响到结果的准确性。为得到可靠的数据需对获取的数据进行清洗[14]。清洗规则如下:
(1)删除评论数据为空的数据。空数据对于评论分析没有任何意义,但是在最后的综合性分析中会影响最终的综合性评价结果。为了保证最终结果的准确性,要对空数据进行删除。
(2)删除虚假数据。在美团评论系统中,越是评分高的店铺被推荐的概率越大。所以,某些商户为了利益最大化,存在虚假刷单的不诚信行为。在众多评论数据中就存在一些虚假和冗余的数据。只有删除虚假数据才能保证评分结果的公平性。
删除虚假数据的方法:1遍历所有的评论数据,删除评论相同的数据;2设置一定的时间间隔,删除同一时间间隔内同一用户的多条评论数据。
2.2 关键字概率与权重计算
模糊综合情感评价模型因素集是从10几万条评论中提取的高频率关键字集合。假设每条评论语句提取[n]个关键字,一共有[K]条评论数据,令[A]表示所有评论可以提取出的关键字总和[15],即:
将获取的所有关键字进行整理,重复的关键字进行合并,则可以得到关键字[KEY]的集合。[KEY={key1,key2,][?,keyn}],其中[keyn]表示第[n]个关键字,[KEY]集合中第[q]([qn])个关键字出现的概率[P(keyq)]计算公式如下:
式(3)中,[N(keyq)]表示第[q]个关键字的出现次数。本文提出的模型选取概率比较大,将能够体现因素集特征的关键字作为评价指标。
式(4)就是将[n]个评价因素的概率进行归一化处理,由此得到[n]个评价因素的权重向量为[A]。
2.3 评论语句的情感倾向分析
模糊评价矩阵的构建离不开评论语句的情感分析,情感倾向分析是利用一定的方法判断一个评论的情感倾向。使用情感词典对评论语句中的语气词、程度副词等打分,得出评论语句的情感倾向值[16-18],步骤如下:①找到每条评论的情感词,按照情感词正负打分,正面情感评分加一,负面情感评分减一;②定位情感词位置,搜索附近的程度副词:不同类程度副词为权重乘以情感词基础得分;遇到否定词反转词,计算个数,奇数取基础分的相反数,偶数不变;③对每条评论计算正、负情感得分:若正得分减去负得分大于零则为正向情感;若正得分减去负得分为零则为中等;若正得分减去负得分小于零则为负面情感。
2.4 模型构建
模糊综合情感评价模型如下:
其中,[U]表示因素集,[V]表示评语集,[C]表示评价结果统计矩阵,[A]表示权重向量,[B]表示综合评价结果矩阵。
计算得出因素集[U]。评价过程是将每条评论与因素集中的关键字进行匹配。如果匹配成功则记录对应评论语句的情感值,根据情感值大小得到相应的评语从而得到评语集[V]。对获得的评语结果个数进行统计,得到评价结果统计矩阵[C]。
式(5)中,[cmn]表示评价为[vn],关键字为[keym]的评论语句个数。
对于单个因素[Ui][(i=1,?,m)]进行评判,得[V]上的[F]集[{ri1,ri1,?,rim}],所以它是从[U]到[V]的一个映射。
映射[f]可以确定一个[F]的关系[R∈μm×n],则模糊评价矩阵[R]可表示为:
式(8)中,[rij]由公式(9)计算得出:
综合评价结果[B]由权重向量[A]与模糊矩阵[R]相乘得到:
式(10)中,[bn]代表第[n]个评语的值。
由上述公式求得模型包含的关键变量,从而构建出基于模糊矩阵的模糊综合情感评价模型。
2.4 数据处理流程
针对模糊综合评价模型不足本文做了改进。对美团海量评论数据进行关键字提取,选取评论中出现最多的关键字作为商品属性,构建真实反映顾客对商品关注点的因素集;权重矩阵完全按照概率统计得到的数据进行赋值,对评论中关注点最高的属性赋予最大值,所有赋值经过归一化处理。
模型构建流程如图2所示。
首先对在美团上爬取到的数据按照数据清洗规则进行清洗,然后对清洗过的评论数据进行关键字提取和情感倾向分析,用关键字提取结果计算出模糊矩阵权重,情感倾向分析结果用来构建模糊评价矩阵,最后计算出模糊综合评价结果。
3 实验与结果分析
3.1 实验数据与环境
在Win10系统下,使用Mysql数据库,采用Python爬虫框架[19-20],对美团上的餐饮评论数据进行爬取。本实验爬取某连锁餐饮品牌的评论数据,一共有111 493条。评分是用户按照自己的意愿给出的分数,满分是50分。实验根据两个数据清洗规则对数据进行预处理,首先将空白评论的数据删除,然后删除虚假数据。经过清洗后,剩余数据一共有105 000条。
3.2 实验过程
使用NLPIR-ICTCLAS汉语分词系统输入评论数据,根据式(2)、式(3)得到最大概率的13个关键词,即因素集U={味道,口味,环境,服务,态度,位置,排队,时间,价格,套餐,老板,觉得,口感},再根据式(4)对评价指标的概率值进行归一化处理,得到各个评价指标重要程度的描述,即得到式(1)的权重向量[A]。各个评价因素的权重如表1所示。
从表1可以看出,权重比较大的是“味道”和“口味”两个因素,说明大多数的顾客对菜品的口味比较注重。作为一个商家来说,着重关注自己菜品的味道可提高顾客的满意度。
情感倾向分析使用百度AI的情感分析方法[20-22],negative_prob表示感情消极概率,positive_prob表示感情积极概率。根据输入输出规范,得出每条评论的情感得分,如表2所示。
由情感得分表得出评论情感倾向的概率,将评价结果分为“很积极” “积极” “态度温和” “消极” “很消极”5个级别,即评语集V={很积极,积极,态度温和,消极,很消极}。整理情感分析结果,得到评论情感倾向的数目统计表,由表3构建式(5)的矩阵[C],再根据公式(9)得出模糊矩阵[R]。
最后由式(10)得出综合评价结果[B]
3.3 结果分析
將“积极”与“很积极”两个结果之和表示为趋向正向的结果,则趋向正向的结果值为0.84%。根据获取的美团数据,得到店铺趋向正向的平均评分为41分,总分为50分,换算成比例趋向正向结果的值为0.82%。模糊综合评价结果与美团数据的结果仅仅相差0.02%,说明通过模糊综合评价法得到的结果与美团平台的评分结果高度一致,验证了模型的可靠性。模糊综合评价体系不仅得出了总体的评价结果,而且从“口味”“位置”“价格”等多个角度对商品进行评价,得出的结果为顾客提供了更精准的选择指导。同时商家也可从模型的详细评分中得到启发,改善经营模式,在激烈的市场竞争中抢夺先机。
4 结语
针对现有评价模型的不足之处,本文提出基于模糊矩阵的情感分析模型,并给出模型的形式化描述。模型在美团海量评论数据中进行关键词提取,确定的因素集很好地反映出顾客的真实关注点,应用概率统计的知识构建权重矩阵,避免了人为赋值造成的主观影响。
在美团评论数据集上的实验证明了模型的有效性。根据模型的分析结果,不仅能得出顾客对商家的综合性评价结果,还能得到店铺口味、价格等不同属性的评分,满足不同顾客对同属性评分的需求,一定程度上帮助顾客更精准地选择合适的商家,也为商家调整经营模式,改变经营策略提供了数据参考。
参考文献:
[1] 李卫忠. 商品质量的综合评价体系及方法研究[J]. 价值工程,2006(9):67-70.
[2] 封丽. 面向微博短文本的情感分析和特征抽取[J]. 农业图书情报学刊,2018(9):56-60.
[3] 李耀林. 面向评价对象的商品评论情感倾向性分析研究[D]. 杭州:浙江工商大学,2013.
[4] ZHAO J,DONG L,WU J, et al. Moodlens: an emoticon-based sentiment analysis system for chinese tweets[C]. knowledge discovery and data mining, 2012: 1528-1531.
[5] 杨静. 电子商务网站商品模糊评价模型的构建[J]. 现代情报,2013,33(4):31-33.
[6] 王雪,时伟,胡瑞庚,柏进财. 基于模糊矩阵的钢结构质量量化评价方法的研究[J]. 青岛理工大学学报,2018,39(5):24-29.
[7] 孙礼娜,刘先蓓. 基于熵值法赋权的县域开放水平模糊综合评价[J]. 辽宁工业大学学报(自然科学版),2019,39(4):273-276.
[8] 王双,李志平,辛倩,等. 模糊综合评价法的整体安全评估[J]. 现代电子技术,2019,42(11):82-86.
[9] 许谦. 确定模糊评价综合因素权重的一个方法[J]. 大学数学,2005(1):99-103.
[10] 冀乃彬. 基于美团点评拼团项目的前端优化实践[D]. 南京:南京大学,2018.
[11] 李蕙蕙,张韵,邹慧,等. 基于美团大数据的武汉地区火锅餐饮经济分析[J]. 技术与市场,2017,24(10):214-216.
[12] 丁俊飞. 基于竞争情报的O2O模式企业竞争力评价体系研究[D]. 合肥:安徽大学,2017.
[13] 陈晓玲,褚汉,许钧儒. 基于情感分析的商品评价模型构建研究[J]. 铜陵学院学报,2018(6):10-12.
[14] BIRAJ DAHAL,SATHISH A P KUMAR, LI Z L. Topic modeling and sentiment analysis of global climate change tweets[J]. Social Network Analysis and Mining,2019,9(1):157-168.
[15] LIU D J, ZHOU W G, HE S J. Risk Assessment for urban gas transmission and distribution system using fuzzy comprehensive evaluation method[J]. Journal of Pipeline Systems Engineering and Practice,2018,9(1):914-919.
[16] 张洪玲, 张琦. SaaS软件质量分层模糊综合评价方法研究[J]. 软件导刊,2015(3):1-3.
[17] YANG Y,SONG Y. Research on the performance assessment of teaching cloud platform based on fuzzy comprehensive evaluation[J]. Journal of Physics: Conference Series,2019,1213(4):1081-1112.
[18] MARIN A,MOMTAZ J,RUBAIYA K,et al. Risk assessment based on fuzzy synthetic evaluation method [J]. The Science of the total environment,2019(658):520-531.
[19] HOGENBOOM A,BAL D,FRASINCAR F,et al. Exploiting emoticons in sentiment analysis[C]. ACM symposium on applied computing, 2013: 703-710.
[20] 盧竹兵,李玉州. 基于网络评论情感信任分析的推荐策略[J]. 计算机科学,2019,46(6):75-79.
(责任编辑:杜能钢)