增值业务投诉的智能分析和预警方法探究
2021-11-17陈辉胡宏陈萍
陈 辉 胡 宏 陈 萍
江苏号百信息服务有限公司
0 引言
当前，通信运营商业务已从高速发展转向高质量发展，由于前期部分业务发展的不规范性，运营商增值业务面临的投诉问题开始凸显。如何降低投诉，提升服务满意度成为亟需解决的问题。
1 文本留言投诉分析的现状和目的
由于增值业务的多样性和繁杂性，传统方法难以快速及时、准确、宏观地针对用户的文本留言投诉得出分析结果和指导性结论，且耗费大量人力。
通过进行智能分析和预警方法的探究，设计了一种高效智能的用于用户投诉文本留言数据处理的分析方法和系统，能有效弥补传统方法的不足。通过将投诉数据的标准化和数字化，根据管控要求进行多维度分析和预警，进行系统化和可视化实现，并辅以自然语言分析方法进行热点问归类，可实现自动快捷输出结论的功能。以上智能分析和预警方法形成的系统，可以有效地为业务发展提供用户满意度的数据支撑，保障增值业务的高质量发展。
2 关键方法举措
根据投诉类数据（本文也成为用户抱怨类数据）的特点，智能分析和预警系统主要分为5个模块，分别为关键信息提取和业务字典建立模块、多数据源的综合匹配模块、多维分析维度和预警模块、自然语言分析方法处理热点问题描述的归类模块、系统化和可视化模块。
2.1 关键信息提取和业务字典建立模块
目前，增值业务数量巨大，根据粗略统计，历史细分产品有5000种以上，而目前在用产品也有2000种左右。在系统中，产品记录的是标准名称，而实际在用户的投诉中，话务员记录的业务名称往往为产品简称。在进行匹配时，若使用产品标准名称去受理内容中匹配，往往无法完成匹配。因此，一张业务简称、标准名称的对应表需要建立。另外，由于投诉的工单中只有产品信息，未将产品归类到相关细分部门，在进行投诉溯源时，也存在着需要人工手动归集产品到部门的问题。
因此，在处理投诉数据前，需要进行产品字典表的制作，产品字典表至少包含的字段为产品简称、产品全称、产品SP、产品归类、产品归属部门等等。基础字典的建立，将为接下来的分析打下重要的基础。
2.2 多数据源的综合匹配模块
为了更加理解用户对于产品的不满和抱怨，需要收集各个维度的用户满意度数据。根据上级公司考核要求，并结合当前实际情况，将用户的满意度投诉数据分为了以下几个维度：
（1）退订数据：用户对于业务的退订情况，主要包含退订号码、退订业务等信息。
（2）退费数据：用户对于业务的申请退费情况，主要包含退费号码、退费金额、退费业务等。
（3）投诉数据：用户对于某个业务的投诉信息，主要包含用户号码、受理内容、处理内容等。
三个维度的数据各不相同，它们各自代表着用户不同的投诉意愿，但同时它们都是用户表达不满的一种表现。因此三个维度既要相互融合也需要相对独立地去处理。
2.3 多维分析维度和预警模块
2.3.1 多维度分析
在完成多数据源的匹配后，将会得到一张以产品简称或产品名称为主键的多维统计的宽表。在宽表的基础上，可以进行多维统计分析。如表1所示。
表1 PTN与其他技术对比
表1 产品投诉抱怨情况多维统计分析表格
（1）常规分析维度
一般常用的统计维度为产品综合抱怨、单维度抱怨排行，产品归类综合抱怨、单维度抱怨排行和部门综合抱怨、单维度抱怨排行，如图1所示。这些维度是最基本的维度，也是最实用的维度，通过以上分析，可以快速定位抱怨重点产品、归类、被抱怨产品最多的部门，针对性缓解和消除排名靠前的用户抱怨。
图1 产品总体抱怨量排行统计图
（2）联合分析维度
本文在设立分析维度时，还创新性地引入了万人抱怨比的概念。不同的业务有着不同的质态，只根据抱怨量来进行排名并不完全科学。举例说明，A产品，总用户100万，月抱怨总量为1000次，B产品，总用户10万，月抱怨总量为500次。从简单维度上来看，A产品的抱怨量大于B产品，但从每万人抱怨比的角度看，A的产品健康程度比B产品更好。因此，联合其他维度的数据，通过合理计算，可以得到更加客观的分析结果。
（3）专题分析维度
对于重点业务，引入专题分析模块。比如C产品为公司支柱性业务，在进行多维度分析时，C产品应该重点专题分析。结合C产品的固有数据，可以将C产品抱怨的情况更加立体地展示出来，如图2所示。也可以对代理商发展业务的抱怨量进行排名，从其他角度了解代理商发展业务的规范程度。
图2 产品退订数量与在网时长的关系图
2.3.2 预警逻辑建立
抱怨量分析的最终目的是了解用户的抱怨方向，从而降低总体投诉量，达到高质量发展的目的，重要的一环是要告诉公司管理监管层，哪些产品值得关注，因此，需要设立预警逻辑模块，一方面设立规则筛选重点关注产品，另外一方面进行主动提醒。筛选重点关注产品的规则也分为两种：
（1）横向阈值规则
顾名思义，横向阈值规则是从宏观层面，将所有产品的综合抱怨量、单维度抱怨量、联合分析维度（例万人抱怨比）分别进行排序，每个维度取前N个产品，将其定义为重点关注产品。其中的重合产品，则更要重点关注。
（2）自比较阈值规则
自比较维度是对产品本身自己的阈值维度。以表2为例，E产品虽绝对数量少，但其月增加数量较多，有更加恶化的趋势，因此，同样也需要列入重点关注产品。
表2 产品自比较维度趋势表
在完成预警规则的制定后，会得到重点关注抱怨产品列表，产品列表将以月报、日报形式发送给管理监管层，辅以决策。
2.4 自然语言分析方法处理热点问题描述的归类模块
针对过往工单的记录，投诉类型可分为36个类别，对已有工单的受理内容进行了分类，作为样本数据。考虑到样本的数据量充足，且相似度算法的准确率足够耗时也较少，在实际对投诉进行分类处理时采用了TF-IDF算法模型。
首先明确几个概念，一个文本由许多与该文本有关的句子组成，每句话又可以切分成多个单词。TF-IDF算法是一种基于统计方法的相似度算法，它的主要思想是，如果某个单词在某类文档中出现的次数很多，而在其它文档中很少出现，则认为当这个词出现在一个新文本中时，可据此对新文本进行良好地分类。
TF-IDF由两个关键指标TF和IDF组成。
TF表示词频，即单词在文本中出现的频率，它针对的是单一文本，对应的往往是一个代表某意图种类的文件。通常为了防止这个指标偏向于长文本，会对它进行归一化处理，如公式（1）所示：
IDF表示逆文档频率，与包含该词语的文本的数目占总文本集合的数目有关，这里的总文本则是不同种类的文件集合，如公式（2）所示：
如果一个词语，在某一特定文件中出现的频率很高，具有高的TF值，且该词语在所有文件集合中出现的频率很低，即有很高的IDF值，也认为该词很有可能是该类文本中具有代表性的关键词。为了量化衡量指标，将这两个指标融合，用TF-IDF作为衡量单词权重的指标，如公式（3）所示：
通过TF-IDF算法，当有一个新文本出现时，完全可以对该文本进行切词，然后分析文本中每个单词在总文本语料集合中的TF-IDF权重，来计算新文本与已知类别语料的相似度，从而迅速判断出新文本属于哪个类别。
例如，受理内容为：
“1、问题描述：IM号:o2IH4jq4WB20xTaqg0RPcjO1JrUc，用户来电表示对5月产生的动感彩铃3.68元费用不认可，称之前就已经取消，称此业务是在本人不知情的情况下开通的，有越级工信部倾向，并且要求在明天之前必须处理好，请核实，谢谢”。
先对这句话进行切词处理，得到一个包含多个单词的集合：
“['问 题 '， '描 述 '， 'IM'， '号 '，'o2IH4jq4WB20xTaqg0RPcjO1JrUc'， '用户'， '来电'， '表示'，'月'， '产生'， '动感'， '彩铃'， '3.68'， '元'， '费用'， '认可'，'称'， '之前'， '已经'， '取消'， '称此'， '业务'， '不知情'，'情况'， '开通'， '越级'， '工信部'， '倾向'， '要求'， '明天'， '之前'， '必须'， '处理'， '请'， '核实'， '谢谢']”
将这个集合中每个单词与已有的语料库做TF-IDF相似度计算，得出每个单词与这36个类别中文本的TF-IDF相似度权重值，用算法筛选出其中权重值最高的单词，则认为这个单词可以作为这个新录入投诉的关键词，可以据此进行分类。
对于以上受理内容，它与“省内SP及自有业务资费争议”一类中语料文本的相似度最高，达到0.672875，所以算法自动为它打上“省内SP及自有业务资费争议”的标签，这与实际投诉分类完全一致。
用TF-IDF算法模型对2000条投诉数据进行了测试，实测准确率指标accuracy和F1-score均达到95%，模型可用性良好。
2.5 系统化和可视化模块
在完成所有工作后，需要一个系统去承载本文所述的工作步骤，并且需要一个可视化图表界面来进行直观展示。图3为使用Django框架搭建的投诉分析web系统。
图3 投诉分析web系统登录界面
系统主要分为登录页、可视化展示页（预警提醒页）、文件上传页、字典维护页、统计分析展示页、结果下载页等等。
通过web系统的搭建，可以实现手动/自动上传数据、自动分析、自动预警、手动/半自动维护业务字典、结果下载等功能，方便投诉监管人员的使用，简化人工计算操作工作。
3 结束语
通讯运营商增值业务面临较大的投诉压力，迅速、有效、大幅度地降低用户的抱怨迫在眉睫。本文创新性地提出了一种用户抱怨数据处理方法，并进行了系统地建设和验证。通过接近一年的努力，在投诉分析预警系统的辅助下和管理监管层的大力整治下，取得了令人满意的成绩。相较于年初，目前综合抱怨量下降了81%，达到了预期目标，优质业务继续高速发展，抱怨多的业务经过调整后质态健康化。同时，投诉分析预警系统解放了进行手动抱怨量分析人力，更加客观、快速、及时，为增值业务高质量发展转型之路添加了一份坚实的助力。
