基于客服对话的产品和服务质量分析

张家菊，林慧苹

基于客服对话的产品和服务质量分析

张家菊，林慧苹*

（北京大学 软件与微电子学院，北京，102600）（∗通信作者电子邮箱linhp@ss.pku.edu.cn）

现有的产品和服务质量分析常通过问卷调查或利用商品评论，但存在问卷收集难度大、商品评论中存在无效数据等问题。客服对话作为顾客与商家之间沟通的桥梁，包含了丰富的顾客意见，覆盖了从产品到服务的多个方面，然而现在利用客服对话分析产品和服务质量的研究还较少。提出了一种基于客服对话的产品和服务质量分析方法，首先结合产品特征和服务蓝图，确定产品和服务质量的评价要素，并结合重要性‒满意度分析（IPA）法定义评价要素的重要性和满意度指标；然后对客服对话进行主题提取和情感分析，定量分析产品和服务的重要性和满意度。以某消毒除菌产品淘宝旗舰店的真实客服对话为例应用了该方法，建立了18个评价要素，并基于90余万条真实的历史客服对话对评价要素的重要性和满意度进行了量化，从而分析旗舰店产品和服务的质量。最后通过对专业客服的问卷调研，验证了所提方法的有效性。

客服对话；质量分析；重要性；满意度；主题提取；情感分析

0 引言

随着企业竞争的日趋激烈，商家只有不断提升自身产品和服务的质量，才能够获得顾客的青睐。因此，如何发现产品和服务中存在的问题，成为研究学者和商家共同关注的问题。

目前，人们常常通过向顾客发放调查问卷，从而获得顾客对产品和服务的意见或建议。随着自然语言处理技术的蓬勃发展，人们也不断尝试从商品评论文本中抽取用户需求［1］、产品特征［2］以分析用户对产品的偏好程度，或者来改进产品设计［3］。然而，采用问卷调研或者利用商品评论数据分析，存在一定的局限性：

1）问卷发放和收集难度大，难以全面收集问题。

2）商品评论中有关产品质量的评价较多，而涉及服务质量的评价较少，且相对集中于售后问题。

3）研究表明，受各种评论激励策略的影响，商品评论中存在无效数据或虚假数据，容易对分析结果产生干扰［4］。

电商客服是顾客与店铺沟通的桥梁，顾客在网购任何环节遇到问题，都会与客服沟通。因此，客服对话中包含了丰富的、有关产品和服务的“第一手”信息。与商品评论数据相比，客服对话数据具有如下的特点：

1）对话内容覆盖范围广。客服对话贯穿网络购物流程的所有环节，包含售前、售中、售后等各个阶段。无论是对产品价格的疑惑，对产品的咨询或不满，还是对物流运输速度的吐槽，都会在客服对话中有所提及。

2）蕴含丰富的顾客情绪。顾客在与客服沟通时往往非常直率，言语中包含大量的情感词、语气词，能够反映出顾客对产品和服务的态度。

3）数据真实性高。与商品评论常常受评论激励策略影响不同，客服对话往往更能反映顾客对产品或服务的真实态度。

因此，基于客服对话数据分析产品和服务质量，是对基于问卷和基于商品评论进行分析的有益补充，具有积极意义。

目前，利用客服对话分析产品和服务质量的研究仍较少，研究面临两个挑战：一是缺少相适应的评价体系；二是客服对话呈现为问答方式，且具有口语化严重、用词多样性高、文本长度较短等特点，经实验发现传统的隐含狄利克雷分布（Latent Dirichlet Allocation， LDA）等方法不适用于客服对话的主题提取。

本文利用主题提取技术和情感分析技术对客服对话进行挖掘，提出一种定量分析产品和服务质量的方法。首先，结合产品特征分析和服务特征分析，确定了面向产品特征和服务特征的评价要素，结合重要性‒满意度分析（Importance‑ Performance Analysis， IPA）理论定义了各评价要素重要性指标和满意度指标；然后，采用基于CorEx模型的半监督主题提取方法和基于DialogueRNN模型的情感分析方法对客服对话进行挖掘，对重要性和满意度指标进行量化；最后以某消毒除菌产品淘宝旗舰店一年的真实客服对话数据为例，对其产品和服务质量进行定量分析，并通过专家问卷调研，验证了本文方法的有效性。

1 相关工作

1.1　产品和服务质量分析

服务质量分析以服务质量SERVQUAL模型［5］应用最为广泛，从设施、可靠性、响应性、保障性、情感投入等五个方面评价服务质量。在此基础上，研究学者又进一步提出了扩展的服务绩效（SERVPERF）模型［6］。这些模型通常以调查问卷量表的形式进行分析研究。

在评价指标的度量方面，加权方法、层次分析法（Analytic Hierarchy Process， AHP）等都是常用的方法。例如，贺可太等［7］针对云制造服务提出了一套从需求者利益和风险两个方面建立的分级服务考核指标，并采用加权的方式进行量化。

对于产品质量的分析，除了问卷调研，研究学者们还基于产品评论数据集开展了广泛的研究。例如，Qi等［1］和Chen等［8］都从在线评论中挖掘客户对产品特征的意见，并和质量模型KNAO相结合，来优化产品策略。Kauffmann等［2］从产品评论中抽取出产品特征以及用户对这些特征的情感态度，对产品特征打分，结合产品星级、情感评分、价格等其他指标综合排名，帮助销售经理和消费者进行决策。

大多数研究多关注产品或者服务单方面的质量。由于客服对话既包含产品咨询信息，又包括对产品提供全过程服务的反馈，为同时分析两者提供了可能。然而，现有的SERVQUAL、SERVPERF等模型中的评价维度不完全适用于客服对话分析。此外，针对产品和服务，也需要建立一套相对一致的指标体系。Martilla等［9］提出的重要性‒满意度分析（IPA）法在识别了识别评价要素后，从重要程度（Importance）和满意度（Performance）两个方面来衡量评价要素。该方法自提出以来，已经在餐饮业［10］、旅游业［11］、民航业［12］、金融业［13］等不同领域得到了广泛的应用和验证。因此，分别为产品和服务质量确定评价要素，采用重要性和满意度指标，是同时分析产品和服务质量的一种可行途径。

1.2　主题提取技术

在主题提取技术方面，经典的主题模型有潜在语义分析（Latent Semantic Analysis， LSA）模型［14］、概率潜在语义分析（Probabilistic Latent Semantic Analysis， PLSA）模型［15］和LDA模型［16］，其中，LDA模型应用广泛。除经典LDA模型外，研究学者不断提出适用于不同场景的LDA改进模型。例如，在短文本主题建模的场景下，Yan等［17］提出了词对主题模型（Biterm Topic Model， BTM），使用词对特征代替LDA模型中原有的单个词特征。除了经典无监督模型，为了引导主题朝着预期的方向生成，研究学者们提出了多种半监督主题模型。例如Andrzejewski等［18-19］提出了两种半监督主题模型。

Gallagher等［20］进一步提出了基于CorEx锚定词的半监督主题模型，允许用户预先定义一组或多组词汇，并将词汇锚定到一个或多个预定义的主题，从而引导主题朝着锚定词的方向去生成。由于效果好，CorEx主题模型得到了广泛应用，其中，锚定词的生成是其应用效果的关键。

1.3　情感分析技术

在情感分析技术方面，常用的方法有基于情感词典与规则的方法、基于机器学习的方法和基于深度学习的方法；其中，基于深度学习的方法在近年来得到了广泛应用。例如，Hameed等［21］将双向长短期记忆（Bi‑directional Long Short‑Term Memory， BiLSTM）模型用于电影评论的情感极性分类，Yuan等［22］使用TextCNN模型对财经文本的情感极性进行分类，Biswas等［23］使用BERT（Bidirectional Encoder Representations from Transformers）模型识别StackOverflow上发帖人的情感，de Sousa等［24］将BERT模型应用到股票新闻的情感倾向性识别任务上，均获得较好效果。

特别地，2019年Majumder等［25］提出了一个专门针对对话场景的情感分析模型——DialogueRNN模型。该模型核心思想是：说话者在某一时刻的情感不仅与当前的发言内容有关，还受到之前的发言内容和之前的情感状态的影响。实验结果表明，DialogueRNN模型在对话情感分析方面取得了较为理想的效果。

2 本文方法

本文结合IPA理论、文本挖掘技术和情感分析技术，提出了一种利用客服对话数据定量评价产品和服务质量的方法。该方法分为评价体系建立和产品与服务定量分析两个阶段，分析流程如图1所示。

图1　产品和服务质量分析流程

2.1　评价体系建立

这一阶段的主要任务是确定产品和服务的质量评价要素和评价指标。

1）评价要素：经过与领域专家讨论，产品质量的评价要素通常与其功能特征、制造特征和销售特征相关。

a）功能特征：包括产品的功能、使用方法等与产品功能密切相关的评价要素。

b）制造特征：包括产品的生产日期、保质期等产品在制造过程中被赋予的要素。

c）销售特征：包括产品的定价、优惠活动、销售规格等产品在销售过程中被赋予的要素。

服务质量的评价要素是指商家提供服务过程中涉及的因素，例如，商家发货速度、快递运输速度等。本文面向服务过程，以Shostack［26］的研究为基础，建立电商服务蓝图，如图2所示，根据售前、售中、售后三个阶段的服务接触点来确定服务质量的评价要素：

a）售前阶段：包括浏览商品时对商品问题的咨询以及将商品加入购物车、提交订单并支付订单等一系列下单操作。因此，售前的服务质量评价要素为：对顾客咨询的响应速度以及下单操作的快捷程度。

b）售中阶段：包括商家拣货发货以及物流公司快递运输这两个环节。因此，本阶段评价要素为：商家发货的及时性与发货的正确性、物流运输速度、终端配送服务水平以及商品签收时的完好性。

c）售后阶段：包括用户发起售后申请。因此，本阶段评价要素为：对用户售后申请的响应性以及补偿性。

图2　电商服务蓝图

2）评价指标。评价指标包括重要性指标和满意度指标。通过主题提取模型可以获得每段对话的主题，进而根据顾客提及各产品服务要素的频率，可以定量计算出要素的重要性得分。

其中：n表示要素k在全部对话语料中被提及的次数；表示对话语料库中的总对话数量。

进一步地，以顾客的情感态度来表征满意度。具体做法是：通过情感分析方法获得每段对话的顾客情感，根据顾客提及各产品服务要素时的情绪，定量计算评价要素的满意度得分。

2.2　产品和服务定量分析

在定量分析阶段，利用主题提取和情感分析技术对客服对话进行挖掘，计算重要性指标和满意度指标。

1）客服对话主题提取。

经过对比分析，本文采用基于CorEx模型的半监督主题提取客服对话主题词。由于锚定词集设定直接影响主题词提取效果，因此本文结合产品和服务要素定义，提出一种锚定词预设与扩展方法，如图3所示。

a）锚定词预设。依据产品和服务评价素以及各个要素的含义说明，人工地为每个要素给出1～5个关键词，构成该主题的预设锚定词集。

b）锚定词扩展。基于真实的客服对话数据对预设锚定词集进行扩充，使其能够更好地反映客服语料特征。首先对客服语料进行分词与词性标注，筛选出词性为名词、动词或形容词、并且词频高于阈值的词汇，构成候选锚定词集。接着，计算候选锚定词集中的词汇与预设锚定词的相似度，挑选出相似度高于阈值的候选词汇，将其加入扩展锚定词集。

c）主题提取。基于扩展的锚定词集和CorEx半监督主题提取模型［20］从客服对话中提取出与产品和服务评价要素相一致的主题。

图3　基于扩展锚定词集的客服对话主题提取流程

2）客服对话情感分析。

客服对话上下文交互紧密，且对话语句较短，部分语句表意不明，上下文词汇缺省问题严重，为此，本文采用适用于对话场景情感分析的DialogueRNN模型来计算对话的情感。

3 实例应用与分析

本文基于某经营消毒除菌产品的淘宝旗舰店所提供的真实客服对话开展应用研究。该旗舰店的产品主要包括消毒液、衣物除菌洗涤剂和除菌洗手液等。

3.1　数据收集和预处理

本文收集了自2018年1月1日至2018年12月31日、为期一年的历史客服对话数据，共包含25 734段对话，913 265条数据。其中，客服和顾客一次完整的对话记录视为一段对话，每条发言记录计为一条数据。

在分析评价之前，首先对数据进行了必要的预处理，包括数据脱敏、过滤无意义的过短对话、对话分词、去停用词等。

3.2　评价要素确定

表1　某旗舰店的产品和服务质量评价要素定义

3.3　主题提取

采用主题一致性作为评价指标，三种模型的实验结果如图4所示。实验表明：当主题数量大于15时，CorEx半监督模型的主题一致性高于其他两个模型，比BTM高约0.11，比LDA模型高约0.15。实际应用中，主题的数量与产品服务评价要素的数量一致，往往多于15（在本例中为18），因此CorEx模型是三者之中效果最优的。

图4　不同主题模型的实验结果对比

进一步地，统计客服对话中与各评价要素相关的对话数量，结果如表2所示。

3.4　情感分析

为了验证DialogueRNN模型的效果，以经典的BERT模型、BiLSTM模型和TextCNN模型作为基准，基于旗舰店真实对话数据设计对比实验。模型参数设置如下：迭代次数epoch设置为30，batch_size设置为128，dropout_rate设置为0.05，Adam优化器的学习率设置为0.001。

采用精确率（Precision）、召回率（Recall）和F1值（F1-measure）值作为评价指标，四种模型的实验结果如表3所示。由表3可知：与BiLSTM模型、TextCNN模型和BERT模型相比，DialogueRNN模型在面向客服对话的情感分析任务中表现最优。

使用基于DialogueRNN模型的客服对话情感分析方法获得每个对话语句的满意度得分。以k产品气味为例，表4中展示了部分计算结果。满意度得分越接近于1，说明顾客情绪越差；越接近于0，说明顾客情绪越好。

表2　各评价要素的对话数量

表3　不同情感分析模型的实验结果对比

表4　对话满意度得分计算结果示例

3.5　产品和服务质量分析

根据2.1节中的式（1）、（2），计算出各产品和服务评价要素的重要性得分和满意度得分，结果如表5所示。

由实验结果可知：

1）第一象限（右上）内，“产品价格”这个要素的值和值都非常大，这表明顾客对“产品价格”非常重视，且对当前的“产品价格”感到非常不满意。结合主题提取方法所提取出的真实对话样例，分析出顾客对“产品价格”感到不满的主要原因是：刚买完就降价导致心理不平衡、经常购买的老顾客却没有得到专属优惠、嫌弃产品价格太高等。

2）第二象限（左上）内，存在“产品气味”“生产日期”“产品颜色”三个要素。表明关注这三个要素的顾客人数不多，但是非常不满意。结合主题模型提取出的对话样例分析发现，顾客对“产品气味”的不满主要是由于气味太重、气味刺鼻、气味太冲等。顾客对“生产日期”的不满主要体现在：生产日期太过久远、在瓶身上找不到生产日期标识等。顾客对“产品颜色”的不满主要体现在：消毒产品自带的颜色容易污染白色衣物。

3）第三象限（左下）内，存在“产品包装”“产品功效”“保质期”“产品规格”四个要素，属于顾客提及较少且较为满意的部分，商家无须刻意关注。

4）第四象限（右下）内，存在“产品用法”一个评价要素。结合具体语料发现，顾客提及“产品用法”时，主要与客服探讨的是用法用量及适用环境，最后都会以感谢结尾，极少出现不满情绪，商家只需继续保持该优势即可。

表5　各评价要素的重要性得分和满意度的计算结果

图5　产品质量的IPA象限图

1）第一象限（右上）内，存在“货品完好性”“运输时效性”“发货正确性”三个服务质量评价要素，表明A店铺这三项服务的水平急需改进。结合具体语料分析发现，顾客对“货物完好性”感到不满的主要原因是：在快递运输过程中，经常发生包装破损、瓶子碎裂、液体漏出等问题。顾客对“发货正确性”感到不满的主要原因是：货物发错、发少、与实际订单不一致以及没有附送赠品等问题。顾客对“运输时效性”感到不满的主要原因是：物流运输速度慢、物流信息更新不及时等。

2）在第二象限（左上）内，存在“配送服务水平”“系统稳定性”两个要素。结合语料分析，顾客对“配送服务水平”感到不满的主要原因是：配送员的服务态度恶劣。顾客对“系统稳定性”感到不满的主要原因是：某些操作按钮点击后无响应。由于该要素出现频数极低，可能是由于顾客自身网络环境差导致的，属于极个别现象，暂时无须关注。

3）在第三象限（左下）内，存在“咨询响应性”、“发货及时性”、“补偿性”三个要素，属于顾客提及较少且较为满意的部分，因此，无需刻意关注。

4）在第四象限（右下）内，存在“退换货响应性”一个要素。售后服务质量较高，对顾客退换货申请的处理较好。

图6　服务质量的IPA象限图

3.6　方法验证

我们通过问卷调研的方式来检验分析结果是否有效。如果问卷发放给顾客，因评论顾客和问卷顾客的不同对检验会带来影响，而专业客服对于顾客意见有着相对客观、整体的认识，因此，邀请旗舰店46名专业客服填写调查问卷，基于她们的工作经验对本文提出的18个评价要素的重要性和满意度给出评价。问卷设计为各评价要素重要性和满意度的1～10分的矩阵量表。问卷结果收集回来后，对矩阵量表进行统计分析，并等比例映射到同一坐标系中，如图7、8所示。

图7　本文方法与问卷调研得到的重要性对比

分析表明，本文方法计算得到的重要性和满意度指标与专家的经验看法基本保持一致，这表明本文提出的基于客服对话的产品服务分析方法是有效的。

“产品气味”满意度的情感计算结果比问卷结果略好。与客服专家深入讨论后发现，顾客在提及气味时，往往是在抱怨气味刺鼻，因此客服给出了较差的情绪。而在算法中，在做主题提取时，区分了抱怨气味刺鼻的对话和咨询产品香型的对话，顾客在咨询产品香型时的情绪是较为中性的，综合之后顾客对气味的整体情绪得分比问卷结果略好。

图8　本文方法与问卷调研得到的满意度对比

4 结语

本文基于客服对话，借助主题提取技术和情感分析技术，设计了一种产品和服务质量的定量分析方法，并在某企业真实场景下进行了应用验证。结果表明，客服对话与评论相比，情绪表达更强烈。顾客遇到问题时，一般会找客服沟通；偶尔特别满意时，也会向客服倾诉。因此，客服对话分析，比较适合于发现存在的问题，以及顾客特别满意的方面，是对其他的方法，例如基于用户评论的质量分析方法的有益补充。

[1] QI J Y， ZHANG Z P， JEON S， et al. Mining customer requirements from online reviews： a product improvement perspective［J］. Information and Management， 2016，53（8）： 951-963.

[2] KAUFFMANN E， PERAL J， GIL D， et al. Managing marketing decision‑making with sentiment analysis： an evaluation of the main product features using text data mining［J］. Sustainability， 2019， 11（15）： No.4235.

[3] WANG Y， MO D Y， TSENG M M. Mapping customer needs to design parameters in the front end of product design by applying deep learning［J］. CIRP Annals — Manufacturing Technology， 2018， 67（1）： 145-148.

[4] 李璐旸，秦兵，刘挺. 虚假评论检测研究综述［J］. 计算机学报， 2018， 41（4）： 946-968.（LI L Y， QIN B， LIU T. Survey on fake review detection research［J］. Chinese Journal of Computers， 2018， 41（4）： 946-968.）

[5] PARASURAMAN A， ZEITHAML V A， BERRY L L. A conceptual model of service quality and its implications for future research［J］. Journal of Marketing， 1985， 49（4）：41-50

[6] CORNIN J J， Jr.， TAYLOR S A. Measuring service quality： a reexamination and extension［J］. Journal of Marketing， 1992， 56（3）：55-68.

[7] 贺可太，朱道云. 云制造服务质量评价［J］. 计算机集成制造系统， 2018， 24（1）：53-62.（HE K T， ZHU D Y. Quality evaluation of cloud manufacturing service［J］. Computer Integrated Manufacturing Systems， 2018， 24（1）：53-62.）

[8] CHEN D D， ZHANG D W， LIU A. Intelligent Kano classification of product features based on customer reviews［J］. CIRP Annals — Manufacturing Technology， 2019， 68（1）：149-152.

[9] MARTILLA J A， JAMES J C. Importance‑performance analysis［J］. Journal of Marketing， 1977， 41（1）： 77-79.

[10] IRMA， RIDWAN M， KASIM K. Implementation of Importance Performance Analysis （IPA） towards the quality of duck products in a begos restaurant［J］. Hasanuddin Journal of Animal Science， 2020， 2（1）： 34-42.

[11] LI S， XIAO Q. Classification and improvement strategy for design features of mobile tourist guide application： a Kano‑IPA approach［J］. Mobile Information Systems， 2020， 2020： No.8816130.

[12] 孔祥芬，陈鹏. 改进的Kano模型和IPA模型的综合应用探索——以民航航班延误服务为例［J］. 工业工程， 2017， 20（3）：9-14.（KONG X F， CHEN P. Comprehensive application of improved Kano model and IPA model — taking the civil aviation flight delay service as an example［J］. Industrial Engineering Journal， 2017， 20（3）： 9-14.）

[13] MAZZA BASYA M， UTAMI B S A. Analisis SWOT dengan model Importance Performance Analysis （IPA） pada layanan fintech bank Syariah di Indonesia［J］. el‑Qist： Journal of Islamic Economics and Business， 2020， 10（2）： 179-191.

[14] LANDAUER T K， FOLTZ P W， LAHAM D. An introduction to latent semantic analysis［J］. Discourse Processes， 1998， 25（2/3）： 259-284.

[15] HOFMANN T. Unsupervised learning by probabilistic latent semantic analysis［J］. Machine Learning， 2001， 42（1/2）： 177-196.

[16] BLEI D M， NG A Y， JORDAN M I. Latent Dirichlet allocation［J］. Journal of Machine Learning Research， 2003， 3： 993-1022.

[17] YAN X H， GUO J F， LAN Y Y， et al. A biterm topic model for short texts［C］// Proceedings of the 22nd International Conference on World Wide Web. New York： ACM， 2013：1445-1456.

[18] ANDRZEJEWSKI D， ZHU X J， CRAVEN M. Incorporating domain knowledge into topic modeling via Dirichlet forest priors［C］// Proceedings of the 26th International Conference on Machine Learning. New York： ACM， 2009： 25-32.

[19] ANDRZEJEWSKI D， ZHU X J. Latent Dirichlet allocation with topic‑in‑set knowledge［C］// Proceedings of the NAACL HLT 2009 Workshop on Semi‑Supervised Learning for Natural Language Processing. Stroudsburg， PA： Association for Computational Linguistics， 2009： 43-48.

[20] GALLAGHER R J， REING K， KALE D， et al. Anchored correlation explanation： topic modeling with minimal domain knowledge［J］. Transactions of the Association for Computational Linguistics， 2017， 5： 529-542.

[21] HAMEED Z， GARCÍA‑ZAPIRAIN B. Sentiment classification using a single‑layered BiLSTM model［J］. IEEE Access， 2020， 8： 73992-74001.

[22] YUAN X P， LI Y W， XUE Z， et al. Financial sentiment analysis based on pre‑training and TextCNN［C］// Proceedings of the 2020 Chinese Intelligent Systems Conference， LNEE 706. Singapore： Springer， 2021： 48-56.

[23] BISWAS E， KARABULUT M E， POLLOCK L， et al. Achieving reliable sentiment analysis in the software engineering domain using BERT［C］// Proceedings of the 2020 IEEE International Conference on Software Maintenance and Evolution. Piscataway： IEEE， 2020： 162-173.

[24] DE SOUSA M G， SAKIYAMA K， RODRIGUES L D S， et al. BERT for stock market sentiment analysis［C］// Proceedings of the IEEE 31st International Conference on Tools with Artificial Intelligence. Piscataway： IEEE， 2019： 1589-1593.

[25] MAJUMDER N， PORIA S， HAZARIKA D， et al. DialogueRNN： an attentive RNN for emotion detection in conversations［C］// Proceedings of the 33rd AAAI Conference on Artificial Intelligence. Palo Alto， CA： AAAI Press， 2019： 6818-6825.

[26] LYNN SHOSTACK G. How to design a service［J］. European Journal of Marketing， 1982， 16（1）：49-63.

Product and service quality analysis based on customer service dialogues

ZHANG Jiaju， LIN Huiping*

（，，102600，）

Existing product and service quality analysis is often based on questionnaire survey or product reviews， but there are problems such as difficulty in questionnaire collection and invalid data in product reviews. As a bridge between customers and businesses， the customer service dialogue contains rich customer opinions from product to service perspective， however， there are still few studies using customer service dialogues to analyze product and service quality. A product and service quality analysis method based on customer service dialogues was proposed， which firstly combined the product features and service blueprint to determine product and service quality evaluation factors， and used the Important‑Performance Analysis （IPA） method to define the importance and performance index of evaluation factors. Then， quantitative analysis of the importance and satisfaction of products and services was performed by using the dialogue topic extraction and sentiment analysis. The method was applied on the real customer service dialogues of a Taobao flagship store which sells disinfection and sterilization products， and 18 evaluation factors were established， whose importance and performance were quantified based on more than 900 thousand real historical customer service dialogues， thereby analyzing the quality of products and services of the flagship store. Finally， a questionnaire on the professional customer service employees was carried out to verify the effectiveness of the proposed method.

customer service dialogue; quality analysis; importance; performance; topic extraction; sentiment analysis

This work is partially supported by National Key Research and Development Program of China （2018YFB1702900）.

ZHANG Jiaju， born in 1996， M. S. candidate. Her research interests include data mining， service quality analysis， natural language processing

LIN Huiping， born in 1974， Ph. D.， associate professor. Her research interests include data mining， intelligent manufacturing.

1001-9081（2022）11-3527-07

10.11772/j.issn.1001-9081.2022010073

2022⁃01⁃20；

2022⁃04⁃15；

2022⁃04⁃21。

国家重点研发计划项目（2018YFB1702900）。

TP311

A

张家菊（1996—），女，吉林榆树人，硕士研究生，主要研究方向：数据挖掘、服务质量分析、自然语言处理；林慧苹（1974—），女，福建仙游人，副教授，博士，CCF会员，主要研究方向：数据挖掘、智能制造。