基于在线评论的顾客满意度评估方法

尤天慧, 陶玲玲, 袁 媛

(东北大学 工商管理学院,辽宁 沈阳 110169)

0 引言

无论是生产型企业还是服务型企业,提升顾客满意度都是企业经营工作的重中之重,因此,有关顾客满意度评估方法的研究一直备受关注[1]。在传统评估方法中,主要是通过问卷调查、调研或访谈等方式获取评估顾客满意度的信息[2]。但是这些方式耗费时间、人力和物力投入大,且数据易过时[3]。近年来,随着互联网和电子商务的快速发展,越来越多的电商网站允许消费者针对产品或服务的使用体验发表在线评论,这些在线评论信息具有样本数据量大、易获取、真实性高、成本低和动态更新等特点[4,5]。因此,在线评论已成为评估顾客满意度的重要信息来源。

目前,针对基于在线评论进行顾客满意度评估和影响因素识别的研究已经引起了有关学者的关注。如,ZHAO等基于在线评论的技术属性利用多元回归分析法预测整体顾客满意度[6]。刘岩等基于在线评论利用TF-IDF算法和多元回归分析法对酒店总体顾客满意度进行评估[7]。冯坤等基于在线评论利用随机占优准则和PROMETHEE-II方法对生鲜电商的顾客满意度进行评估[8]。LIU等基于在线评论利用多元回归法分析影响国内外酒店顾客满意度的关键因素[9]。GUO等利用LDA从在线评论中提取19个顾客满意度维度,并利用逐步回归法分析各维度对整体顾客满意度影响的差异[10]。WANG等利用SnowNLP对在线评论进行积极或消极情感倾向识别,并基于回归分析法识别影响顾客满意度的属性[11]。SEZGEN等分别将积极和消极在线评论看作消费者满意和不满意的评论,利用潜在语义法分析影响消费者满意和不满意的满意度驱动因素[12]。XU等基于在线评论利用潜在语义法分析影响顾客满意和不满意的因素[13]。虽然已有基于在线评论进行顾客满意度评估和影响因素识别的研究已经取得了较丰富的成果,但仍有局限性。一是目前基于在线评论的顾客满意度评估大多假设评估属性相互独立,较少考虑评估属性之间可能存在相关性的情形。例如,酒店的顾客满意度的评估属性价格和服务质量可能存在相关性,通常服务质量高的酒店,其价格也会高。二是已有研究较少针对顾客满意度和评估属性之间动态关系进行分析,而通过动态关系分析可以更直观地了解各评估属性对顾客满意度影响的动态变化,并以此辅助企业进行有针对性的产品或服务改进以提升顾客满意度。基于此,本文提出一种基于在线评论的顾客满意度评估方法,并通过构建向量自回归模型分析顾客满意度与评估属性之间的动态关系。

1 问题描述

本文研究基于在线评论的顾客满意度评估方法,并分析顾客满意度与评估属性之间的动态关系,为便于研究和分析,对本文涉及到的相关数学符号描述如下:

D={D1,D2,…,D|D|}:关于产品或服务的在线评论的集合,其中Dk表示第k条在线评论,|D|表示在线评论的条数,k=1,2,…,|D|。

C={c1,c2,…,cm}:从在线评论中提取的顾客满意度评估属性的集合,其中cj表示第j个评估属性,m表示评估属性的数量,j=1,2,…,m。

本文要解决的问题是:依据产品或服务各时期的在线评论信息,如何评估各时期的顾客满意度,并对顾客满意度和评估属性之间的动态关系进行分析。

2 顾客满意度评估方法及其与评估属性动态关系分析

2.1 顾客满意度评估属性提取及情感分析

在线评论通常是以非结构化文本的形式出现的,不能直接用于分析。基于在线评论进行顾客满意度的评估,首先要从在线评论中挖掘有用的信息,包括顾客满意度的评估属性提取及其情感分析。

2.1.1 基于LDA提取顾客满意度评估属性

LDA作为一种无监督机器学习技术已被广泛应用于从在线评论中识别隐藏的主题信息[14]。LDA的主要思想是在每条评论中以一定概率选定某个主题,然后依据该主题以一定概率确定可能属于这个主题的词语,最后根据得到的主题分布和词语分布推断出在线评论的主要主题。利用LDA从在线评论中提取顾客满意度评估属性的具体过程如下。

利用爬虫软件从相关网站上获取在线评论D,然后进行预处理,包括词性标注,删除停用词、否定词和程度副词。统计每个词出现的频次,由预处理后的|D|条评论得到“评论-词”矩阵。依据“评论-词”矩阵训练LDA模型,可得到“评论-主题”矩阵、“主题-词”矩阵和主题列表。在此基础上,通过人工合并相似的主题,并为每个主题分配一个标签。基于GUO等[10]和BI等[14]研究的思想,可将确定的主题标签集合视为顾客满意度评估属性集合。令cj={fj1,fj2,…,fjHj}表示从在线评论中提取的评估属性cj所包含的属性词集合,其中fjh表示评估属性cj的第h个属性词,Hj表示评估属性cj的属性词数量,j=1,2,…,m,h=1,2,…,Hj。

2.1.2 基于IOVO-SVM的情感倾向识别

通常,一条在线评论中可能包含关于不同评估属性的多个句子,也可能不包含所有的评估属性。因此,为了识别关于各评估属性的情感倾向,需要先确定在线评论中关于各评估属性的所有句子的集合。令Dj={Dj1,Dj2,…,DjIj}表示D中关于第j个评估属性的句子的集合,其中Dji表示关于第j个评估属性的第i条句子,Ij表示D中关于第j个评估属性的句子条数,i=1,2,…,Ij,Ij≤|D|。具体地,首先依据标点符号将D中各条在线评论分句。然后,依据cj提取分句后D中包含fjh的所有句子得到Dj。特别地,若某条评论中有多个关于同一个评估属性的句子,则需要把它们合并成一个句子。

2.1.3 确定各时期评估属性的情感得分

(1)

(2)

(3)

其中,t=1,2,…,l,j=1,2,…,m。

令Rtj为第t时期得到的评估属性cj的情感得分,本文分别赋予积极、中立和消极的情感倾向的情感分为1分、0分和-1分。考虑到在同一时期内关于不同评估属性的评论条数可能不同,关于某评估属性的评论条数越多,说明其越被重视。因此,本文采用相对值法计算第t时期评估属性的情感得分Rtj,计算公式为

(4)

2.2 顾客满意度评估方法

2.2.1 确定评估属性的权重

本文基于离差最大化方法确定各评估属性的权重。该方法依据各评估属性的情感得分在各时期的离散程度对属性客观赋权。若某一评估属性在各时期的情感得分差异较大,则说明该属性在顾客满意度评估中将起重要作用,故应该赋予较大权重;反之,赋予较小权重[16]。基于离差最大化方法确定评估属性权重的最优化模型为

(5)

通过求解最优化模型(5),可得:

(6)

(7)

2.2.2 各时期顾客满意度的评估

考虑到提取的评估属性之间可能存在线性关系,马氏距离是一种可消除属性之间线性关系的距离测度方法。因此,本文利用基于马氏距离的TOPSIS方法[17]计算不同时期的顾客满意度。首先,对各时期关于各评估属性的情感得分矩阵[Rtj]l×m进行规范化,得到规范化矩阵[rtj]l×m,其中rtj的计算公式为

(8)

(9)

(10)

进而,计算在第t时期在线评论中各属性的情感得分向量rt=(rt1,rt2,…,rtm)分别到f+和f-的马氏距离,即

(11)

(12)

最后,令Ft为第t时期产品或服务的顾客满意度评估值,则Ft可由下式得到:

(13)

2.3 顾客满意度与评估属性动态关系分析

向量自回归模型(简称VAR)主要应用在具有一定关系的时间序列系统,可以用于分析变量之间的动态关系[18]。本文将l个时期的各评估属性的情感得分和顾客满意度评估值作为变量,构建VAR模型分析顾客满意度与各评估属性的动态关系。具体构建过程如下:

(1)在各组变量的数据平稳的前提下,对数据进行VAR模型估计,并利用格兰杰因果关系检验(Granger Test of Causality)变量之间是否存在因果关系。

(2)利用脉冲响应分析和方差分解分析各评估属性在受到冲击时对顾客满意度影响的变化情况以及各评估属性对顾客满意度的影响程度。

本文构建的VAR模型可表示为:

(14)

其中,Yt表示顾客满意度评估值的时期列向量;Cjt为各评估属性情感得分时期列向量;θ0为截距项,θe和φe是滞后e期参数矩阵;μt是服从正态分布的随机误差项。

3 实例分析

为了说明本文给出方法的使用过程和可行性,下面基于去哪儿网(Qunar.com)上一家三星级酒店维也纳国际酒店北京广安门店(Vienna International Hotel,简称VIH)的在线评论为例,运用本文提出的方法对其进行顾客满意度评估,并分析顾客满意度与各评估属性的动态关系。下面给出主要计算过程和结果。

3.1 VIH酒店顾客满意度评估

首先,从去哪儿网上利用八爪鱼采集器(http://www.bazhuayu.com/)收集酒店VIH在2015年1月到2019年7月的在线评论共1850条。以一个月为一个时间周期,共分55个时期。获取的VIH酒店在55个时期内的在线评论数量如表1所示。

表1 VIH酒店在各时期内的在线评论的数量

其次,使用Python语言实现基于LDA的评估属性的提取,依据BI等[14]的研究,LDA的各参数设置为:α=0.1,η=0.01,主题数量设置为15,迭代次数设置为2000。通过人工合并相似的主题得到11个评估属性,分别为价格(c1)、位置(c2)、停车场(c3)、服务(c4)、网络(c5)、设施(c6)、食物(c7)、房间(c8)、清洁度(c9)、性价比(c10)和入住和退房(c11)。

再次,利用IOVO-SVM识别各时期针对各评估属性的每条在线评论的情感倾向,进而依据情感倾向识别结果和式(1)-式(3),统计各时期内各评估属性的在线评论为积极、中立和消极情感倾向的频次。依据式(4)可计算得到各时期内各评估属性的情感得分,进一步地,依据各时期评估属性的情感得分和式(7)可确定c1-c11评估属性的权重分别为0.045,0.144,0.024,0.137,0.020,0.192,0.039,0.140,0.092,0.149,0.018。

最后,依据各时期内各评估属性的情感得分、各评估属性的权重和式(8)-式(13)可确定各时期内VIH酒店的顾客满意度评估值,1到55期的评估值分别为:0.133,0.166,0.290,0.158,0.411,0.168,0.149,0.181,0.217,0.244,0.084,0.120,0.055,0.128,0.024,0.055,0.050,0.026,0.031,0.025,0.020,0.038,0.020,0.022,0.030,0.140,0.043,0.152,0.072,0.019,0.099,0.036,0.037,0.061,0.025,0.027,0.055,0.054,0.639,0.080,0.039,0.046,0.023,0.020,0.021,0.042,0.054,0.129,0.063,0.071,0.035,0.110,0.151,0.034,0.024。

3.2 顾客满意度与评估属性动态关系分析

通过构建VAR模型,利用EViews 7.0软件对VIH酒店在2015年1月到2019年7月期间的顾客满意度和各评估属性之间的动态关系进行分析。为保证回归结果可靠性,避免出现“伪回归”,有必要先对顾客满意度变量和各评估属性变量的时间序列数据分别进行平稳性检验[19]。本文基于EViews 7.0软件对各变量利用ADF检验(ADF-Fisher Chi-square)平稳性,结果显示在55个时期内顾客满意度变量和各评估属性变量的时间序列数据均是平稳的。因此,55个时期的顾客满意度评估值和各评估属性的情感得分的时间序列数据可建立VAR模型。具体步骤如下:

首先,基于赤池信息准则(AIC)和施瓦兹准则(SC)确定估计的VAR模型最佳滞后期,可得当滞后期为3时,AIC准则和SC准则均具有最小值。故最佳滞后期为3。

然后,检验两个变量之间是否存在格兰杰因果关系,即各变量是否均为内生变量。利用EViews 7.0软件得到各评估属性变量和顾客满意度变量的P值(F统计的概率)均小于0.05,即在5%的显著性水平下均为内生变量。

接着,通过AR根图表结果显示构建的VAR模型是稳定的。进而,利用脉冲响应分析顾客满意度与各评估属性之间相互作用的短期的动态关系。脉冲响应函数的主要作用是测量一个变量受到冲击对另一个变量产生的影响。分析结果如图1所示。图中Ft表示顾客满意度评估值,C1-C11分别表示评估属性c1-c11。

需要说明的是,图1中变化的单位是一个标准差。从图1可发现,分别给11个评估属性一个单位冲击,在短期内顾客满意度均会产生不同程度的正向影响,但长期影响会趋于稳定,即针对酒店的11个评估属性进行改进在短期均可提高顾客满意度。具体地,当给价格(c1)一个单位冲击时,其对于顾客满意度提升在短期内具有正向影响且在第3期影响最大,长期保持稳定;当分别给设施(c6)、食物(c7)、房间(c8)、清洁度(c9)一个单位冲击后,对顾客满意度产生的影响持续时间相对其他评估属性稍短,但均可产生正向影响。

(a)C1对Ft的脉冲响应 (b)C2对Fp的脉冲响应 (c)C3对Fp的脉冲响应

(d)C4对Fp的脉冲响应 (e)C5对Fp的脉冲响应 (f)C6对Fp的脉冲响应

(g)C7对Fp的脉冲响应 (h)C8对Fp的脉冲响应 (i)C9对Fp的脉冲响应

(j)C10对Fp的脉冲响应 (k)C11对Fp的脉冲响应

进一步地,利用方差分解分析各评估属性对顾客满意度的影响程度。方差分解可量化每一个评估属性变量的冲击对顾客满意度变化的贡献,分析结果表明:价格(c1)对顾客满意度变化的贡献率最初为最大值80%,之后逐渐降低,到第10期左右降为20%,并维持该贡献率不变;停车场(c3)、食物(c7)、房间(c8)、清洁度(c9)和性价比(c10)的贡献率随着时间的推移在逐渐增加,长期均趋于平稳,贡献率分别为10%,10%,20%,18%和10%;而其他评估属性的贡献率均低于10%。

综合脉冲响应分析和方差分解分析结果可知,相对于其他评估属性,VIH酒店的价格在受到冲击后,对顾客满意度产生影响的时间最快,且对提高顾客满意度的贡献率也最大。房间在受到冲击后对提高顾客满意度的贡献率和产生影响时间稍慢于价格。其次为清洁度、性价比、位置、停车场和食物。其他4个评估属性对顾客满意度贡献率较小。因此,该酒店若想提高顾客满意度,可以重点关注价格。其次可着重从房间、清洁度和性价比进行改进。

下面通过将本文提出方法与冯坤等[8]提出的方法进行对比分析。基于冯坤等[8]提出的方法对VIH酒店的顾客满意度测评得到各评估属性的顾客满意度的重要度由大到小排序为:c1,c11,c8,c7,c5,c9,c10,c4,c2,c3,c6。

与本文提出方法的结果对比可知,本文与冯坤等[8]的研究计算得到的结果均显示价格对顾客满意度的影响最大,房间的影响大于清洁度,清洁度的影响大于性价比,设施的影响最小。而冯坤等[8]的研究得到的结果与本文得到的结果也有差异,原因可能在于,在顾客满意度分析阶段,冯坤等[8]基于情感分析结果构建各属性的随机占优矩阵,进而利用PROMETHEE-II方法计算评估属性的重要度排序值来确定排序结果。本文利用基于马氏距离的TOPSIS方法计算不同时期的顾客满意度,该方法可消除评估属性之间的线性相关性。此外,本文基于脉冲响应分析图和方差分解图综合确定评估属性对顾客满意度影响的变化情况及影响程度,可以直观的展示评估属性与顾客满意度的动态关系,即可以了解随着时间的变化,各评估属性对顾客满意度产生影响的变化。

4 结论

本文提出了一种基于在线评论的顾客满意度评估方法,并分析了顾客满意度与各评估属性的动态关系。首先,利用LDA从在线评论中提取顾客满意度评估属性,并基于IOVO-SVM对针对每个评估属性的各条评论进行情感分析,依据情感分析结果确定各时期各评估属性的情感得分。然后,利用离差最大化方法确定各评估属性的权重,进而利用基于马氏距离的TOPSIS方法计算不同时期的顾客满意度评估值。进一步地,基于不同时期的顾客满意度评估值及各评估属性的情感得分,通过构建VAR模型对顾客满意度与各评估属性的动态关系进行分析。本文提出的方法与已有相关方法的不同之处是,一方面本文基于在线评论考虑了评估属性之间的相关性给出了一种顾客满意度评估方法,使评估结果更能反映实际情形;另一方面,本文对顾客满意度与各评估属性的动态关系进行了分析,可以使企业更直观的了解各评估属性对顾客满意度的影响情况,以辅助企业进行有针对性的产品或服务改进以提高顾客满意度。