基于产品评论数据的KANO 模型分析方法研究
2020-10-15余军合施培妤
徐 斌,余军合,沙 鹤,施培妤,吴 宇
(宁波大学机械工程与力学学院,浙江宁波 315211)
一、引言
互联网时代,越来越多的用户喜欢在互联网上发布对产品或服务的在线评论[1],这些在线评论中包含了客户对各种产品特性的评价信息,表征出客户特定的偏好、观点和情感等,通过挖掘在线评论中客户对产品特性的偏好和满意度能够为产品改进提供决策支持[2]。大量产品在线评论信息以文本形式存在,需要解决几个方面的问题:如何抽取每条评论信息表述的产品特征,评判客户情感(如正面或者负面评价),不同产品特征对客户满意度的影响程度,已经有相关文献对在线产品评论数据分析方法展开了研究。
情感分析(Sentiment Analysis,SA)能够用来评判客户评论的正面性和负面性,是常用的产品评论信息分析技术之一。目前情感分析方法可分为两大类:基于情感词典的方法和基于机器学习的方法。基于情感词典的方法是利用情感词典、领域词典等人工编写的词典来获取文本的情感极性,构建一个能准确评价情感强度的词典是其核心工作[3]。杨小平等(2017)[4]将三个基础情感词典合并,并用Word2vec 进行训练来自动构建情感词典。尤众喜等(2019)[5]发现在针对不同的情感词典,分词器在语料-词典匹配度、词典低频词比例以及中性语料占比方面表现出不同程度的差异。基于机器学习的方法重点在于提取合适的标签来表征文本。通过人工标注文本的情感类别并将文本向量化表示,然后利用机器学习的方法对情感分类器进行训练,最终获得文本的情感极性[6]。Chen 等(2017)[7]为了解决特定主题下的情感分类问题提出了结合位置注意力机制与循环神经网络的组合方式。Baziotis 等(2017)[8]将注意力机制融入到深度LSTM 模型中并在SemEval-2017 情感分类任务中获得了不错的效果。Kumar 等(2018)[9]将双层注意力机制加入到BiLSTM 模型中,分别提高了文本词语级和句子级的特征提取效果。
Kano 等指出顾客对产品的不同特征有不同的态度,不同的特征对顾客满意度的影响程度也不同,并提出了根据产品特征对顾客满意度的影响进行分类的基于问卷调查的KANO 模型。唐娜(2016)[10]在图书馆数字参考咨询服务质量的评价中引入了KANO 模型。Violante 和Vezzetti(2017)[11]将产品功能划分为KANO 类别,为设计师设计新产品提供有价值的信息。Liu 等(2019)[12]通过KANO 模型将社交媒体中提及的产品功能进行划分。Bigorra 等(2019)[13]提出了一种将文本数据中提取的方面自动分类为KANO 类别的方法。赵宇翔等(2019)[14]利用KANO 模型将公众科学平台游戏化要素进行划分并提出了对策建议。李梦楠和周秀会(2019)[15]通过KANO 模型将高校图书馆微信公众号的服务内容分类并提出满意度最大化的管理策略。
KANO 模型分类研究目前大多数采用调查问卷的形式,本文尝试从产品在线评论数据中挖掘客户需求,并进行KANO 模型产品特征类别划分,为设计者提供产品改进策略。本文首先通过LDA 模型对评论文本进行聚类分析获得主题词,通过筛选主题词来明确评论文本中包含的产品特征;然后对评论文本进行特征分类和情感分析;最后基于情感结果和产品特征占比及重要度构建了产品特征KANO分类模型,基于KANO 分析结果提出了产品特征改进意见,并结合实例进行实证。
二、基于BERT 语言模型的产品评论分析
词向量模型作为自然语言处理NLP 的基本工具,能够把真实世界抽象存在的文字转换成数学空间的词向量表达,在向量空间完成各种文本信息处理和各种文本处理任务。词向量模型从word2vec 到ELMo 再到BERT(Bidirectional EncoderRepresentation from Transformers),被认为是自然语言处理领域的突破。Devlin 等(2018)[16]在2018 年提出的BERT 语言模型,在自然语言领域的11 项任务中取得了突破,包括文本分类、情感分析、问答系统等典型应用。
BERT 把自然语言处理任务分成两个部分:预训练产生词向量和针对下游具体NLP 任务对模型的微调整。BERT 通过在海量语料基础上采用自监督学习方法为单词学习一个好的特征表示,在下游特定的NLP 任务中可以直接使用BERT 模型的特征向量表示作为任务的词向量特征,BERT 提供了一个供其它任务迁移学习的模型。很多文献都采用Google 开源的BERT 模型作为预训练词向量进行相关研究,本文提出如图1 所示的基于BERT 语言模型的产品评论数据分析框架,分析每条产品评论的产品特征和情感特征。
图1 基于BERT 模型的评论数据分析框架
(一)基于LDA 模型的产品特征词获取
获取特征词的一种常用方法是通过词频统计选取高频词作为特征词,这种方式选取出来的特征词虽然一定程度上能代表产品特征,但却会遗漏一些重要的低频词,并不能很好的代表产品评论中涉及到的产品特征。
LDA 模型是一种利用三层贝叶斯网络识别文本中主题信息的无监督的机器学习方法。该模型能将文档划分成不同的主题类,并提取每类主题下的主题词,主题词是对主题类的内部结构的反映,可以显示出主题类涉及到的方面。通过K-means 算法明确聚类数然后利用LDA 模型选择最优类进行聚类并提取主题类中的主题词,从主题词中筛选出与产品特征相关的特征词,这些特征词能够表示评论文本中主要涉及到的产品特征。
(二)产品评论特征分类和情感分析
BERT 模型在预训练阶段创新性的提出了“Masked LM(MLM)”和“Next Sentence Prediction(NSP)”两个任务来增强模型的语义表达能力。文本的特征分类和情感分析都是BERT 模型中典型的下游任务,是句子级别的分类任务。BERT 模型输出第一个[CLS]隐含了句子的分类特征,只需要增加一层权重w 后采用softmax 函数就能实现句子级别的分类任务。通过选择一定数量的带有特征标签或情感标签的样本数据,利用BERT 模型进行分类器分类训练从而能够实现对产品评论的特征分类和情感分析。
三、基于KANO 模型的产品特征分类方法
Kano 等指出用户对不同的产品特征有不同偏好,不同特征对用户满意度的影响也不同,在对产品评论进行特征分类和情感分类的基础上,能够通过统计信息表征KANO 模型中产品必备特征、期望特征和魅力特征等信息。从每款产品的产品评论中提取,其中表示第p 款产品的第i 个产品特征分别表示第p 款产品评论中第i 个产品特征的正向情感评论比例和负向情感评论比例,表示第p 款产品的第i 个产品特征的评论数量。
基于产品评论数据实现KANO 模型产品特征分类取决于产品特征占比(PCFi)、产品特征重要度(PCDi)以及产品特征情感值(Ei)。
产品特征占比(PCFi):第i 个产品特征被评论次数占总产品评论数的相对比例,可以通过计算产品特征i 在每款产品的评论中所占比例的均值来计算,如公式(1)所示:
其中,m 指共有m 款产品,Rp是第p 款产品的产品评论总数。产品特征占比可以用来表征产品特征在系列产品中的通用性。
产品特征重要度(PCDi):产品评论中第i 个产品特征在各款产品评论中占主要地位的比重。PCDi接近1 说明该产品特征在所有产品的评论中都占据主要地位,而PCDi接近0 则意味着该产品特征在所有产品的评论中都只是偶尔被提及。PCDi的计算如公式(2)所示:
以KANO 类别定义为基础,根据上述指标和产品评论数据将产品特征分为必备特征(M)、期望特征(O)和魅力特征(A),如图2 所示。
必备特征(M):产品提供该特征,不会提高用户满意度;不提供该特征,则会引起用户的强烈不满,大幅度降低用户满意度。从客户产品评论的角度来看,产品必备特征会被大多数用户提到(即PCFi值较高),重要度也高(即PCDi值较高);同时,作为必备特征,正向情感值要远大于负向情感值(即,因为必备特征一般是产品所具有的通用功能,如果是非常负面的评价,产品必定会被淘汰。
期望特征(O):产品提供该特征能使用户满意,该特征的性能越好用户满意度越高;不提供该特征或该特征性能很差则会大幅度降低用户满意度。相比于必备特征,期望特征受关注度较低,一些用户在评论时并不会提及这些特征(即PCFi值较低),然而这些特征也是产品的重要特征,在产品组评论中占有主要地位(即PCDi值较高)。这些特征只能达到一部分用户的期望,因此,在评论集中期望特征的正向情感值和负向情感接近值
魅力特征(A):产品提供该特征,则会大幅度提高用户满意度;不提供该特征,则不会影响用户满意度。这些特征的实际效果比用户预期的更好,否则用户在评论中不会提及它们(即PCFi值较低),而且并非是所有的产品品牌都能够实现这些特征,所以这些特征在评论组中并不占有主要地位(即PCDi值较低)。在情感方面,这些特征的正向情感值要远远大于负向情感值(即,)。
图2 基于KANO 模型的产品特征分类
图2 中PCFi阈值表示在整个产品评论组中产品特征被广泛提及的比例。PCFi阈值表示在整个产品评论组中产品特征占主要地位的比例。这些阈值取决于所关注的目标产品、市场特征等因素。
四、实验及结果分析
(一)特征词提取
利用网络爬虫技术从“京东商城(www.jd.com)”上获取空调类别下销量排名前60 位的各品牌产品评论数据,共获悉30 431 条原始数据,通过初步数据处理后得可用数据29 438 条。对这些评论数据进行词频统计,分别截取词频和占总词频和前60%、70%、80%和90%的词语,从中提取出特征词并统计这些特征词能覆盖多少评论文本,结果如表1 所示。
表1 词频统计结果
在用LDA 模型提取主题词前先用K-means 算法计算评论文本的簇内误差平方和系数Distortions和轮廓系数Silhouette 来确定最优聚类数k,其中Distortions 系数越小越好,Silhouette 系数越大越好,结果如图3、图4 所示。
图3 簇内误差平方和系数Distortions
图4 轮廓系数Silhouette
从图3、图4 中可以看出,综合考虑簇内误差平方和系数Distortions 和轮廓系数Silhouette 最优聚类数为9 最为合理。选取最优聚类数和相邻的聚类数进行LDA 主题聚类并从主题词中提取特征词,结果如表2 所示。
表2 LDA 统计结果
其中30 表示从前30 个主题词中选取特征词,占比表示所选的特征词覆盖的评论文本数量占总评论文本数量的比例。
从表2 中可以看出,LDA 按最优聚类数9 类得到的主题词中提取特征词的效果最好,相邻的8 类和10 类聚类结果得到的特征词的效果与最优聚类结果较为接近,而6 类和7 类聚类得到的特征词的效果与最优聚类结果差距稍大。从LDA 主题词中选取的特征词覆盖的评论文本的数量比从高频词中选取的特征词覆盖的评论文本数量多,从LDA 主题词中选取的特征词更能代表评论文本所涉及到的产品特征。选取最优结果LDA-9 前150 个主题词中选取的特征词可分为9 类,结果如表3 所示。
表3 产品特征词
从表3 中可知,产品评论数据中主要涉及到9类产品特征,通过产品特征及其表述词能够对产品评论数据进行标注从而实现产品特征的分类。从评论文本中选出包含产品特征的20 072 条评论数据,将其分为每份各10 036 的A、B 两份数据。由于一些评论往往会包含多个产品特征,在对评论数据进行标注前需要将包含多个产品特征的评论分句成只包含单个产品特征的单句。A 数据分句后共获得17 708 条单句,B 数据分句后共获得17 224 条单句。
(二)Kano 分析
本文使用Google 提供的BERT-Base 模型作为BERT 的预训练模型,该模型共有12 层网络结构,隐藏层为768 维,采用12 头模式,共110 M 个参数,最大序列长度为512。
A 数据进行特征标注后按照8∶2 的比例随机分成训练集(Train)和验证集(Dev)进行产品特征分类训练。进行情感分类训练时为了避免正负样本不均衡导致的样本过拟合问题(即预测偏向样本较多类别),需选取相同数量的正负样本,由于负样本只有5 621 条,所有选取正负样本各5 600 条作为情感分析的样本集。
样本集训练结果如表4 所示,其中精准率(Precision)指分类正确的正样本数与判定为正样本的样本数之比,召回率(Recall)指分类正确的正样本数与真正的正样本数之比。由于精准率和精准率是相互干扰,故使用F1 值(Macro-F1)进行综合评价。
表4 BERT 模型分类结果
利用训练好的BERT 模型对B 数据进行产品特征分类和情感类别预测,从而获得产品评论中九类产品特征的正负情感分布情况,如图5 所示。基于60 款产品的评论数据计算产品特征的PCFi值和PCDi值,再结合产品特征的情感分布从而获得产品特征的KANO 类别分布,如图6 所示。
图5 产品特征情感分布
图6 产品特征KANO 类别分布
结果表明,九类产品特征中制冷、质量、外观和声音属于空调产品的必备特征,这些特征在评论集中占有大量比例,在评论组中也占据主要地位,而且正向情感值远远大于负向情感值;制热、价格和吹风系统属于空调产品的期望特征,这些特征在评论集中占据较小的比例,但在评论组中却占据主要地位,并且正向情感值与负向情感值接近;节能和智能控制则属于空调产品的魅力特征,这些特征在评论集中占有的比例较小,在评论组中也不占据主要地位,但正向情感值却远远大于负向情感值。
实验中使用的60 款产品数据中包含A 品牌的产品13 款,B 品牌的产品11 款,C 品牌的产品8 款。重复上述方法对A、B、C 三品牌的空调产品特征进行KANO 分类,结果如图7、图8、图9 所示。
图7 A、B、C 三品牌产品特征情感分布图
图8 产品组和A 品牌的产品特征KANO 类别分布
图9 A、B、C 三品牌的产品特征KANO 类别分布
图8 显示了产品组和A 品牌的产品特征的KANO 分类,A 品牌空调的产品特征除价格和吹风系统外都与产品组的产品特征KANO 类别一致。A品牌产品特征的吹风系统被划分为无法辨别的类别,吹风系统的PCFi值和PCDi值都较高,但正负情感差值,未达到必备特征的情感差值要求,却也超出了期望特征的界限,有从期望特征转化为必备特征的趋势,是该品牌的一个优势特征;A 品牌中价格特征属于魅力特征,而产品组中价格特征属于期望特征,这显示A 品牌产品的价格在行业中并不具有优势,通过查看评论可知A 品牌在促销活动期间价格降价较多,从而成为了吸引用户的魅力特征。
图9 展示了A、B、C 三个品牌产品特征的KANO分类,三个品牌的产品特征在必备特征上与产品组的分类是一致的,C 品牌产品特征的KANO 分类与产品组的KANO 分类一致,A、B 两个品牌在期望特征和魅力特征上的KANO 分类与产品组存在差别。A 品牌产品特征中的吹风系统被划分为无法辨别类,价格被划分为魅力特征类;B 品牌产品特征中智能控制被划分为期望特征,而在产品组中却是魅力特征,该品牌的智能控制特征不是新颖的特征,该特征早已被用户所知,并且给用户带来了较好的体验(即正负情感<0.1),B 品牌空调的智能控制特征领先于同行业,是B 品牌的优势特征。
用户对产品的不同特征有不同的需求,产品的不同特征提高用户满意度的能力也不同。在对产品进行改进时,把用户提出的所有需要改进的地方都进行改进对企业来说成本太大并不现实,优先改进最能影响用户满意度的产品特征不仅能为企业节约成本还能提高产品竞争力,提高企业的市场占有率。
根据KANO 模型分析的结果和产品特征的重要度,确定了产品特征改进的优先顺序:
(1)KANO 模型确定为必备特征且重要度越低的产品特征优先进行改进;
(2)在必备特征达到用户满意度的前提下,KANO 模型确定为期望特征且重要度越低的产品特征优先进行改进;
(3)在必备特征和期望特征都达到用户满意度的前提下,KANO 模型确定为魅力特征且重要度越低的产品特征优先进行改进。
产品特征重要度其值的高低需要在竞争市场中进行比较才更具有实际意义,所以,产品特征是否需要改进需要参考竞争企业的情况。以C 品牌空调产品为例,将其与产品组数据进行比较,其中优势度=(C 品牌产品特征重要度%-产品组产品特征重要度%)/产品组产品特征重要度%。根据以上原则可以得到以下产品改进信息。如表5 所示。
表5 产品特征改进信息
五、结束语
本文针对产品特征分类的复杂性和多样性,对面向产品评论数据的产品特征KANO 分析方法进行了研究,提出了一种基于BERT 模型的产品评论分析方法,在对评论数据进行特征和情感分类的基础上,实现了基于KANO 模型的产品特征分析方法。在实验基础上,通过分析品牌组和各品牌的产品特征KANO 类别之间的差异,对各品牌的产品特征是否需要改进提出一些合理的建议。本文也存在一些不足之处,只针对空调领域的产品特征KANO分类进行了实验,提出的KANO 分类方法是否适用于其他领域的产品评论数据需进一步验证。KANO模型有五个分类,本文只针对其中三个类型进行了研究,余下的反向特征和无差别特征还有待进一步研究。