智能客服系统测评分析

顾丽燕 望俊成 高 腾 胡舣缘

（1. 中国科学技术信息研究所，北京 100038；2. 武汉大学，湖北武汉 430072；3.中国人民大学，北京 100872）

0 引言

客服系统从电话咨询到即时通讯咨询，再到具有人工智能的自然语言处理的问答系统，经历了漫长的发展过程。基于语言智能处理技术的智能客服解决了服务需求增加和客户来源分散降低了传统客服对客户服务需求的响应速度和处理效率的问题，突破了客服发展的瓶颈[1]，推动服务方式的转型，进一步优化客户体验。作为自动问答的一个新兴发展方向，智能客服系统是一种面向行业的基于大规模知识处理的自动问答系统，涉及知识管理、自然语言理解、逻辑推理等技术，可为企业与海量用户之间的沟通提供一种有效的技术手段[2]。除此之外，智能客服系统能够有效减少人工成本、增强用户体验[4]，为用户提供更加便捷、舒适的服务[3]。还能为企业与海量用户之间的沟通建立一种基于自然语言的快捷有效的技术手段和提供精益化管理所需的统计分析信息[5]。智能客服系统提供的智能客服机器人可以对客户简单服务需求进行自动应答，实现拟人化人机对话体验，分流人工话务、减轻客服压力[6]，提高回复率从而提升客户满意度，正越来越受到企业的关注。

为了积极响应相关的国家科技创新政策，由中国科学技术信息研究所建设的“国家科技管理信息系统公共服务平台”于2015年9月正式上线服务。作为国家科研项目的对外窗口和服务平台，该系统需要应对科研人员的各类问题，但随着项目的增多以及政策的快速更新，人工客服很难应对各种问题，所以为该平台搭建智能问答系统是有效的解决途径之一。

据移动信息化研究中心发布的《2017年中国云客服市场研究报告》所提及的国内主流的智能客服系统，综合考虑其知名度、企业规模、客户数量、提供智能客服机器人在线体验等信息，从中挑选出云问科技和网易七鱼，再从网络上搜索相关的智能客服系统，通过对比相应的客服机器人的智能化程度，又选取V5 客服和AiKF爱客服。这4 个智能客服系统具有一定的代表性和典型性，在国内智能客服市场上发挥着示范作用，这些智能客服系统的发展也推动了我国智能服务行业的发展。

本文将对这4 个典型的智能客服系统进行比较分析，选取一些测试题进行问答测试，并对选取的指标进行评价。

1 典型智能客服系统概况

云问科技、网易七鱼、V5 客服和AiKF爱客服基本概况如表1所示。

从概况对比中可以看出，智能客服是在近几年才上线的，正是应人工智能的发展而兴起的。从智能客服系统的所属公司名称中可以看出，公司所在地主要集中在一些经济发达的城市，说明这些经济发达地区更早地关注和研发智能客服系统。这4 个智能客服系统定位的侧重点各有不同，各自的优势也很突出，都努力致力于为用户提供更智能的客户服务。服务的客户群体主要涉及互联网金融、教育培训、媒体、电商、政府及公共事业、企业服务等领域，说明越来越多的行业开始选择智能客服系统来帮助其为用户提供更好的服务。

2 接入渠道与界面

在使用智能客服系统之前需要进行接入渠道的部署，可以通过微博、微信、网站、APP等渠道使智能客服系统能够更全面地接收和管理各平台上的用户反馈，在用户与智能客服系统之间建立了一种联系。云问科技、网易七鱼、V5 客服、AiKF爱客服4 个智能客服系统的接入渠道如表2所示。

表1 四大智能客服系统概况

表2主要罗列了一些比较常用的接入渠道。除此之外，还有几个比较有特色的渠道。比如，云问科技还支持支付宝和钉钉这两种方式，网易七鱼还设有自定义消息窗口的接入渠道，V5 客服还支持支付宝、QQ和易信等平台的接入。从表2可以看出，各家的覆盖渠道之间有些差距，其中只有AiKF爱客服在渠道接入方面覆盖得比较全，网易七鱼和V5 客服相对而言接入渠道的选择少一点，但使用率最高的几个渠道都已包含在内。

界面是人机交互的媒介，是人和系统互动过程中的一个支持层面[7]。问答界面的友好程度以及功能的齐全程度会直接影响到用户对智能客服机器人的使用感受，所以一个好的界面设计可以提高用户的行为效率以及提升用户使用体验[8]。云问科技、网易七鱼、V5 客服和AiKF爱客服4个智能客服系统的界面情况如表3所示。

从用户体验的角度来说，表3所罗列的界面功能都有各自的价值，比如，用户在输入问题的过程中，如果客服机器人可以根据现有提问的关键词从系统知识库中找到相关度较高的几个问题供用户选择，这样可以提高问答的准确率。从界面对比后可以看出，V5 客服和AiKF爱客服的界面功能相对齐全，如果各个智能客服系统可以进一步完善问答界面的功能以及友好性，这样可以让用户获得更好的体验，也可以为智能客服系统吸引更多的用户。

表2 智能客服系统接入渠道

3 问答测试

智能客服机器人在回答用户的提问之前，首先要分析问题，并对问题进行归类，再进行下一步的理解[9]。根据生活中常见的问题类型对智能客服机器人进行提问，具体的问题类型如表4所示。

每个人都有不同的语言习惯和思维方式，所以对同一问题的表达不尽相同。下面列举的3 个测试问句，虽然是同一种意思，但可以用不同的方式表达[11]。

测试问句1：你们公司的位置在哪？

测试问句2：我想去你们公司，该怎么走？

测试问句3：你们公司的地址是什么？

有些句子虽然在句型结构上相似，但在语义上有细微的差别。下面列举的两个测试问句，虽然句型相似，但语义不同。

测试问句1：你在干嘛？

测试问句2：你会干嘛？

用户有时在提问时，会省略在之前的对话中已经提到过的内容。这正是交互式问答的特点，问句的提出基于上文已给出的信息[12]。下面的第二个测试问句省略了具体的提问意图，需要客服机器人根据上下文的语境自动识别用户的意图。

表3 智能客服机器人界面对比

表4 常见的问题类型[10]

测试问句1：北京明天天气如何？

测试问句2：后天呢？

问答测试表明，智能客服机器人处理交互式问答的能力不强，在语义理解方面还有待提高，如果能够在这些方面取得技术上的进步，那么就可以提高智能客服机器人的智能化水平，为用户带来更好的问答体验。此外，V5 客服、云问科技和AiKF爱客服主要采用直接回答的方式，可以减少用户与AiKF客服机器人之间的交互次数，而网易七鱼主要采用推荐回答的方式，在用户提出问题后，返回相关度最高的几个问题让用户做出进一步的选择，这样虽然可以提高问答的准确度，但也会影响用户的体验感受。所以，智能客服系统在能够确保问题识别准确率的情况下，采用直接回答的方式更可取，反之可以采用推荐回答的方式来提高应答的准确率。

4 指标评价

目前，关于智能客服机器人应答情况的评价指标的研究还比较少，缺乏一套完整的评价指标体系。曾有学者从用户、运营和技术[13]3 个维度建立了智能客服机器人的评价体系。通过这3 个维度对智能客服机器人进行评价相对来讲比较宽泛。因此，在此研究的基础上，本文从用户满意度、运营状况、智能水平和技术的先进性4 个维度对智能客服机器人进行评价。从用户满意度来说，用户希望提出的问题可以尽可能多地得到解决，而且在人机交互的过程中用户的满意度也影响着用户的体验，所以这一方面的核心评价指标是用户提出的问题的解决率以及用户对答案的满意度。从运营状况来说，客服机器人能够解答的问题越多，所需要的人工客服的成本越低，整体的运营效果越好，因此客服机器人的召回率也是一项很重要的评价指标。从智能水平来说，智能客服机器人在回答用户提问之前，只有准确识别用户的提问意图，才能提高问答的准确度，而且为了提高用户的体验效果，情绪识别的准确度也是需要考虑的指标。从技术的先进性来说，用户希望在最短的时间内获得最精准、最直接的答案，所以应答的简洁程度、响应时间间隔以及交互次数也是整个评价指标体系中不可或缺的指标（表5）。用这些评价指标分别对这4 个典型的智能客服机器人进行评价，如表6所示。根据表6中的数据，分别对智能客服机器人的各项评价指标进行打分，具体分值如表7所示。

表5 评价指标体系及相关内容

上述的指标评价表明，每个智能客服机器人各有优劣势。其中，云问客服机器人在响应时间间隔上有明显优势；网易七鱼在应答简洁率上占优势，但其他几个方面相对而言弱一些；V5 客服的响应速度和应答简洁程度有待提高，其他几个方面相对而言都不错；AiKF爱客服在各个方面的优势都比较明显。从以上的体验和打分来看，V5 客服和爱客服的智能客服机器人的总体优势较为突出。所以，可以通过提高智能客服机器人的智能化程度来提高用户的问答体验，为用户提供更好的服务。

5 结语与建议

我国智能客服系统是近几年才逐渐兴起的，本文主要对目前市场上比较有代表性的4 个智能客服系统进行了测评分析。从接入渠道的覆盖面可以看出，智能客服系统的接入渠道向更加多元化的方向发展，更方便用户与企业建立联系，从而为不同来源的用户解决实际的问答需求；从界面对比可以看出，智能客服机器人的问答界面功能还有待完善，完备的界面功能可以为用户带来更好的问答体验。从智能客服机器人的问答测试可以看出，客服机器人比较擅长的是一问一答的方式，在交互性问答上相对较弱，对于一些相似性问题的识别能力以及对语义的理解能力还有待提高。目前，智能客服系统尚不完善，对于今后的发展提出以下两点建议。

一是在接入渠道方面，一些主流的接入渠道可以满足大多数用户的需求，而扩大接入渠道的覆盖面可以更加全面、系统地收集和处理各个渠道的用户问题，但同时也会增加成本，所以可根据实际情况来选择客服系统接入渠道的覆盖面。

二是可以通过完善问答界面的功能、保持智能客服机器人的优势以及不断完善相关的人工智能技术将智能客服机器人的劣势转化为优势，从而提升智能客服系统的竞争力，推动智能客服行业的向前发展。

表6 各个评价指标的数值

表7 各个评价指标的得分