自动语音识别技术在中国电信多媒体客服系统中的应用

2018-09-03俞科峰

移动通信 2018年8期

关键词：关键字客服语音

俞科峰

（中国电信股份有限公司广州研究院，广东广州 510630）

1 引言

移动互联时代，自动语音识别技术作为人工智能中的一项先进技术被应用于各个服务行业，包括秘书服务、手机助手（如苹果的Siri、三星的Bixby等）、智能音箱（如谷歌、阿里、小米）等。

而对于运营商而言，自动语音技术仅单纯应用于IVR层面，将传统的按键导航转为扁平化的语音交互。本文通过中国电信智慧客服系统利用自动语音识别技术贯穿服务全流程的实现，来探讨自动语音识别技术在客户服务的深化应用。

2 自动语音识别技术应用的总体概述

自动语音识别技术作为服务导航交互，提供智能应答的交互场景，引导客户自助解决查询、障碍等问题。在人工服务中，根据客户的实时反馈信息给客服代表快速提供处理方案、业务知识点、话术提示、客户情绪提示等，提升服务效能，注重客户感知。图1为自动语音识别技术的服务使能示意图。

（1）互联网渠道。实现机器人智能应答，通过自然语言理解技术与客户进行文字交流，解答客户疑问与自助处理引导。进入IM人工坐席，机器人为IM坐席实时分析客户诉求，推送知识点、业务平台链接，提升处理服务效率。

（2）智能语音导航。通过语音识别、自然语言理解与客户进行语音交互，为客户提供业务信息查询、简单的业务受理。进入语音人工服务过程中，实时对客户语音进行诉求识别，给客服代表提供快速业务知识、业务办理入口、话术等支持。

（3）新概念的提出。在语音交互、文字交互过程中，引入客户情绪识别，更好地了解客户情绪波动，及时安抚，提升客户感知。在话务小结过程中，融合文本挖掘技术，将简单话务分析转为多维分析，更立体地反馈业务问题、服务问题，进而优化业务流程，推升自动语音识别技术的支撑精度，提高自动质检正确率。

3 自动语音识别技术在客户服务全过程的应用

3.1 自动语音识别功能的建设

中国电信的自动语音识别技术能力搭建设计了4大模块：语音识别（ASR，Automatic Speech Recognition）、自然语言理解（NLU，Natural Language Understanding）、语音合成播报（TTS，Text to Speech）、情绪识别模型（ERM，Emotion Recognition Model）。自动语音识别技术应用分为2部分：一是语音交互提供服务能力，二是纯文本交互提供服务能力。

图1 自动语音识别技术的服务使能示意图

（1）语音交互服务能力

图2为自动语音识别技术语音交互业务框架示意图。

自动语音识别技术在服务行业中普遍只应用在语音导航，通过客户说取代传统按键，让IVR导航菜单扁平化，使自助服务更便捷。

自动语音识别技术现阶段仅简单应用于导航，但在服务过程中，语言交互、客户情绪往往是复杂的场景，智能语音导航的局限性就很明显。如何深化应用自动语音识别技术，中国电信客服门户引入自然语言理解（NLU）与客户情绪识别（ERM），让交互语言更贴近自然，同时通过情绪识别了解客户情绪变化，及时介入安抚，目的在于降低自助服务门槛，关注客户情绪需求从而提高服务效率，提升客户体验感知。

语音交互服务的进程为：

1）客户呼入客服热线，IVR系统与语音识别（ASR）建立通路，IVR系统将获取的客户语音传导到ASR，ASR通过端点规则将客户语音进行语句划分，通过情感阈值规则对客户的语速、语气轻重赋值。

2）ASR将语句传到NLU进行语义解析，ASR将语句传到语义情绪识别模型进行关键字匹配，ASR将情感阈值传送到语音情绪识别模型进行阈值匹配。

3）NLU对传递的语句进行关键字转译，通过业务模型匹配获取服务节点并反馈传导到IVR系统。

4）语音情绪识别、语义情绪识别综合分析客户情绪并将结果返回IVR系统。IVR系统根据反馈的情绪状态匹配情绪服务策略进行服务响应。

5）若客户情绪优先级较高，根据情绪服务策略执行转人工或进行语音安抚。客户情绪优先级低，则根据服务映射进行服务话术播报或自助服务转接。

（2）纯文本交互服务能力

图3为自动语音识别技术纯文本交互框架示意图。

在IM客户服务中，机器人应答是服务行业普遍应用的自助应答服务手段，通过对客户语句进行分析，提取业务节点自助服务链接，减轻人工服务压力。

在纯文本服务中同样也会遇到语音交互遇到的局限，自动语音技术未能在复杂的服务场景中提供优质体验，因此在纯文本服务中也需要引入客户情绪识别（ERM）。

纯文本的服务流程如下：

1）IM系统将获取的客户语句传输到NLU。

图2 自动语音识别技术语音交互业务框架示意图

图3 自动语音识别技术纯文本交互框架示意图

2）NLU将传递的语句进行解析，提取业务关键字，匹配业务服务策略获取服务信息，同时根据语义情绪识别模型获取客户情绪状态。

3）NLU将服务信息及客户情绪状态返回IM系统，IM机器人匹配情绪服务策略与业务服务策略执行相应信息的推送。

4）若客户情绪优先级较高，根据情感模型服务策略执行转人工或进行情绪安抚。情绪优先级较低，则根据服务映射推送自助服务话术或业务办理链接。

（3）语音语义人工质检

语音语义质检功能是为了完善NLU、EMR、服务策略映射而建立的一套人工辅助优化功能，通过管理界面展示每条自动语音识别记录，通过对记录进行测听、对错误理解的信息进行标注、对服务映射错误的更新以不断完善自然语言库、服务策略库等资料库。

1）录音筛选。通过对自动语音识别平台服务数据进行整理，对重点服务清单进行分析，并针对性进行语音语义训练及交互流程优化。重点清单一般为：

◆超长交互时长：录音中，首次获取服务节点时长＞15 s，判断该录音为超长时长异常话单；

◆超多交互次数：录音中，交互总次数/获取服务节点总次数＞3次，判断该录音为超多交互次数异常话单；

◆错误识别（拒识）：录音中，错误识别（拒识）次数＞3次，则标识该录音为错误识别异常话单；

◆转人工：对该录音转人工标识为“是”的清单做出标识。

2）分段测听。若属于语音交互服务，以服务节点为分段标识展示录音每一段交互信息，运营人员通过后台可对录音进行分段测听。

3）信息展现。录音分段测听的同时，测听界面展示该录音段对应的语音转文本信息以及业务关键词信息。若为纯文本交互，展示每段交互的语句及关键词提取信息。

4）测听标注。若该条录音出现语音识别偏差，对录音进行语音标注；若测听过程中对语义理解错误，则对关键词转译进行标注；若对情绪识别关键词出现偏差，则对情绪识别关键字进行标注；通过相关的标注后续进行计算机自学习及人工辅助语义训练提升NLU、ERM识别准确率。

5）任务修正。在整体语义理解质检中，若发现识别正确而服务策略映射异常或错误而未能达到客户所需服务，则进行策略任务修正，完善服务模型覆盖范围及提升服务响应准确率。

3.2 自动语音识别技术在语音服务中的应用

（1）自动语音识别技术应用于导航

现阶段服务行业中自动语音识别技术主要应用于导航，通过语音识别技术（ASR）、自然语言理解技术（NLU）、语音合成技术（TTS），在导航中实现自然语言交互，通过扁平化IVR菜单来降低自助服务的门槛，提升客户的导航感知。图4为智能语音导航流程交互图。

客户进入IVR系统后，IVR系统首先通过客户轨迹、客户标签预判客户诉求，针对性地引导客户使用自助服务，如大面积障碍、欠费等情况，可快速引导客户使用自助报障或自助充值解决。

客户诉求预判后，根据客户的诉求进入智能语音导航开始语音交互：

1）IVR系统将采集到的客户语音传送到ASR进行语音识别，根据端点规则进行语句划分，将划分的语句传送到NLU；

2）NLU根据业务模型、语义情绪识别模型提取语句关键字，并返回业务节点与情绪状态信息到IVR系统；

3）IVR系统将返回的业务节点信息匹配服务策略模型，将客户情绪状态匹配情感策略模型并开始执行相应的服务策略。

（2）自动语音识别技术应用于人工服务支撑

自动语音识别技术不单能对语音导航提供支撑，在客户进入人工服务后，也能提供有效的服务辅助支撑。中国电信客服门户搭建智能客服助理，通过利用自动语音识别技术，在服务过程中实时识别客户的服务诉求，通过服务策略模型、情绪识别模型，在业务易错点、业务知识、服务禁语等方面给予客服代表实时有效的服务支撑，同时根据客户的情绪变化及时进行提示，提升客户的体验感知。

1）业务服务能力支撑：ASR采集客户实时语音信息传送NLU，NLU提取业务关键字并进行服务策略匹配，系统根据服务策略给客服代表提供：

◆信息下发或信息推送模板：客服系统根据NLU反馈的业务关键字匹配服务策略模型，并针对客户咨询的业务问题提供下发短信内容、微信推送内容等，进行整合提供一键下发操作，便捷完成服务。

◆推送关联知识点和标注易错点：客服系统根据NLU反馈的业务关键字匹配所服务的业务易错点和知识库关联的信息，在系统明显位置展示，支撑客服代表快速、准确地解答客户疑问。

◆推送业务入口：客服门户根据NLU反馈的关键字匹配需要受理的业务，并将对应的业务办理入口推送到门户界面，客服代表可通过链接快速进入业务专区为客户办理业务。

图4 智能语音导航流程交互图

2）客户情绪变化提醒：在客户服务流程中，把握客户复杂的情绪是提升服务感知的关键点，基于语音服务的情绪识别模型包含2部分：语音情绪识别与语义情绪识别。

图5为客户情感识别模型示意图：

图5 客户情感识别模型示意图

◆语音情绪识别。根据客户的语气轻重、语速的快慢的阈值，对客户情绪进行判别，标识为愉悦、一般、不满、愤怒。

◆语义情绪识别。根据客户的语句的关键词，如脏话、投诉等关键字判断客户的不满情绪，标识为一般、不满、愤怒。

根据情绪服务策略模型识别客户的情绪状态，实时提醒介入安抚：

◆通过门户界面明显位置及时提醒客服代表客户的情绪波动，及时介入安抚客户情绪。

◆班长台预警：如果客户情绪持续波动，及时班长台预警，同时针对客户愤怒情绪服务策略，适当策略性补偿安抚客户情绪，减少投诉风险。

3.3 自动语音识别技术在纯文本服务中的应用

（1）智能客服机器人

在IM服务中，自动语音识别技术普遍应用于智能客服机器人，利用NLU能力解析客户诉求，匹配相应的服务资源，推送服务话术或推送自助服务链接。图6为纯文本交互应答流程交互图。

客户通过互联网渠道进入IM系统，IM客服机器人首先读取业务号码并诊断服务轨迹与使用状态，预判客户可能的服务诉求，在自助报障、充值等问题提供快捷链接进行自助服务引导。

预判诉求如未能解决客户疑问则进入人机交互模式，客户键入相关问题，客服机器人将文本发送至NLU进行业务关键字解析。通过业务模型匹配业务信息并反馈到客服机器人进行服务策略模型匹配。NLU同步将关键字发送到语义情绪识别模型进行匹配，返回客户情绪状态到客服机器人。

通过情绪模型获取客户的情绪状态优先级，若客户情绪优先级高，则马上转入IM坐席或通过语言安抚及时处理客户情绪；若客户情绪优先级低，则推送业务话术或业务办理链接。

（2）IM坐席的服务支撑

图6 纯文本交互应答流程交互图

自动语音识别技术也能应用于IM坐席的服务支撑。客户进入IM坐席服务时，IM客户系统采集客户实时应答语句传送到NLU，NLU进行关键字解析并匹配业务模型，同时关键字匹配语义情绪识别模型，并将匹配信息实时传送回IM客服系统，IM客服系统根据结果信息匹配服务策略，在界面提供知识点、易错点提示，客户情绪状态提示，应答话术等内容服务支撑。

1）业务服务能力支撑。客户文本传送到NLU，NLU对文本进行关键字提取与解析，发送到业务模型匹配业务信息，NLU将匹配的业务信息返回IM客服系统进行业务服务策略匹配。

◆推送话术。匹配客户诉求为业务咨询类，IM系统将业务服务的话术、知识库链接在系统界面展示，支撑IM坐席快速解答客户疑问。

◆推送自助服务链接。匹配客户诉求为办理类业务，推送业务平台链接使IM坐席快速为客户办理。

2）情绪识别提醒。NLU将关键字信息传送给语义情绪识别模型，并将客户情绪状态返回IM客服系统，IM客服系统匹配情绪策略，及时提醒IM坐席关注客户的情绪变化。若客户情绪持续波动，则在班长台预警，让运营人员及时介入处理客户问题，从而降低投诉风险。

3.4 自动语音识别技术在服务后端的支撑

（1）自动质检技术

在人工服务结束后，质检系统分别对语音人工服务、IM人工服务进行自动质检。

1）语音人工服务质检

在语音交互结束后，ASR将存档录音进行分拣与提炼，拆分客户与业务服务端声源分别发送到NLU进行转译文本，NLU转译文本后通过匹配质检模型进行关键字识别，执行系统自动质检评分。

2）IM人工服务质检

在IM服务结束后，NLU将存档的交互记录通过质检模型进行关键字识别，执行系统自动质检评分。

3）自动质检的局限性

目前的自动质检基于NLU匹配质检模型关键字判断服务差错，但在服务过程中，场景复杂的，很多客户因素无法通过简单的关键字综合地评分，在自动质检移动初期，使用预质检与人工复检相结合，不断优化修正自动质检模型。图7为系统自动质检人工复检示意图。

如何通过自动语音识别技术的自我学习提升自动质检能力，减少人工介入，中国电信在自动质检技术迭代中引入文本挖掘技术辅助完善质检模型。

图7 系统自动质检人工复检示意图

（2）NLU与文本挖掘技术的融合

通过NLU技术将客户的语音服务信息转译为文本，与IM系统的客户交互文本存放到基础库中，通过基于NLU技术的文本挖掘技术对基础库存放的文本数据进行信息挖掘。图8为基于文本挖掘的多维度钻取信息价值示意图。

NLU首先通过基础业务模型进行关键字提取，通过“大数据模型”不断地进行自学习，而后通过“文本分析”不断地进行NLU深度挖掘，提取更多维度的业务关键字，从而将业务关键字维度从二维变为三维、三维变为四维，逐步贴近客户诉求的维度。

建立了多维度分析模型后，通过对基础库的文本“大数据”进行信息挖掘，并建立多维数据分析报表，给予运营人员有效的支撑，优化业务处理流程、完善智能场景专区建设、提升质检模型维度从而提高质检精度等，同时通过文本挖掘技术在一定程度挖掘商机，提升业务销售成功率。

（3）商机挖掘

通过对文本“大数据”库进行文本挖掘，根据不同业务的服务痛点，匹配文本库中关键信息，有效筛选目标客户，通过门户系统提示进行针对性营销。图9为逐层钻取式挖掘提取营销目标客户示例图。

通过业务关键字首层开始对文本进行挖掘，直到挖掘客户需求的底层，结合客户的服务轨迹、使用产品的情况，最后判断客户是否是营销目标客户。

如客户咨询语音套餐升级业务，文本挖掘到客户有需要升级语音套餐，系统通过识别客户是电信用户，查询客户现有200分钟的套餐，每月额外超出200分钟通话，判断客户升级500分钟的语音套餐更为合适。同时客户有咨询套餐升级的诉求，通过服务模型分析，判断客户为升级营销目标客户，并记录到服务营销系统，当客户致电客服热线，客服代表可以通过提示信息快速进行营销。