广州电信客户服务数智化升级工程
2022-10-22马晓亮梁裕林赖化宇
[马晓亮 梁裕林 赖化宇]
1 广州电信客户服务数智化升级背景
1.1 传统ASR 引擎转写准确率偏低
中国电信股份有限公司广州分公司肇始于1883 年创立的广州电报局,是全国三大国际出入口、互联网三大出入口之一,在全国通信网有着非常重要的地位。中国电信广州分公司拥有高带宽、全覆盖、安全可靠、技术先进、服务种类齐全的优质通信网络,光端口规模超710 万,光网覆盖率达到99.9%;5G 基站规模超2 万个。2021 年,广州经营收入近130亿元,移动和宽带用户规模均超300万。
中国电信股份有限公司广州分公司在客户服务智能化转型的过程中,发现传统ASR 引擎转写成功率低,关键词提取效率低,成为后续客服数智化改造的瓶颈。针对在细分行业和不同方言(粤语)场景下,通用ASR(自动语音识别)引擎转写正确率仅为87.7%和78.9%(粤语),影响后续应用的问题。针对现有的关键词提取及摘要生成技术,需要大量的高质量标注数据作为训练样本。人工标注对人员专业性要求较为严格,人力成本过高的问题。针对客服坐席主要依靠人工获取客户关联信息,定位客户诉求根因,确定解决方案,填写处理信息,导致处理效率低、错误率高的问题。
1.2 客户服务人工成本持续上升
人工成本上升以及客户对服务的期望值提高,原有人工为主的客服作业流程及系统平台存在成本高,自动化效率低,定责和数据分析能力弱等诸多缺点。推动客户服务数智化改造,降低客服运营成本,提升客户服务水平势在必行。
针对细分行业和方言环境,通用的ASR 转写技术准确率低,致使转写文本的关键词提取精度达不到应用的要求,如马晗在《语音识别研究综述》中提出“在实际一些复杂语音环境下,如声源远场等情景,低信噪比、房间混响、回声干扰以及多声源信号干扰等因素,使得语音识别任务面临很大挑战”[1]。兼之在垂直行业获取关键词的常规方法准确率较低,使之后的工程应用难度加大[2]。现行的人工智能深度学习方法通常训练样本量大,且学习时间长[3],例如关键词提取技术在应用到具体领域时,若想取得实际应用效果,需要大量标注及微调工作[4],如马晗在《语音识别研究综述》中提出“精度高效果好的神经网络模型往往需要大量的计算资源且规模巨大”,且客服事件经常是偶发的,需要加入新样本重新训练,难以满足客服座席的沟通快速响应、知识库补充及根因的快速搜索分析等实际需求。上述问题都是客服数智化改造的关键难点。广州电信组织研发了细分行业和方言场景ASR 转写纠错及关键词提取技术,并打造了全新的数智化客服系统。
2 项目管理过程及理念
2.1 项目管理是对资源的统筹规划管理
作为广州分公司管理层,组建一支高效的项目团队,离不开有着共同目标的团队成员和开放的交流合作氛围,同时绩效和激励的合理设置也是推动项目团队不断取得佳绩的必备条件[5]。为了进一步做好项目管理人才队伍建设,本项目制定并推行了《中国电信广州分公司重大项目管理及激励制度》以及《项目管理人才管理办法》,筛选与企业价值观匹配的人才、积极开展项目管理培训赋能、以及鼓励人才应用项目管理的理念与方法开展业务划小承包,实现企业项目化管理[6]。为了充分利用外部合作伙伴资源,本项目优化了“三重一大”、采购上会等内部流程,提供了一整套确保合作伙伴公正引入的管理体系,并围绕项目效益评估,对项目整个生命周期实施管理及监控,如图1所示。
图1 项目开发流程图
2.2 定标准、强量化,优化传统管理理念
在项目进度管理中,软件项目管理作为核心内容的作用是非常重要和关键的[7]。一是妥善管理项目需求。制定需求补充收集与管理计划,对遗漏的部门进行补充调研,对收集的需求进行归类、查重、纠偏、重要性和工作量分析、优先级排序等分析,撰写《用户需求书》并尽快组织评审,确定需求变更流程,避免需求变更失控。二是落实项目实施策划。按照WBS 分解、项目估算、进度安排、项目分工、绘制网络图、绘制甘特图、制定辅助计划、形成总体计划、进行计划评审等科学流程重新进行项目策划[8]。尤其要注意分解、估算、进度安排、分工、网络图、甘特图之间的逻辑关系,需要一环紧扣一环,最终达成整体均衡。三是建立项目跟踪与控制机制。提前制定项目跟踪计划,对需求实现情况、进度、费用、工作量、风险、关键资源、采购等事项进行密切跟踪,及时发现问题并做出调整,必要时重新制定项目计划[9]。四是及时预防和控制项目风险。制定风险控制计划,定期识别和分析项目风险,进行风险排序,对发生概率和危害性较大的风险制定预防措施和处置预案,避免各类风险造成项目延期[10]。
在执行软件项目管理时,要从项目不同阶段和各项工作时间入手,所做的安排要体现出科学性。在一般情况下,软件项目进度管理所涉及的内容有多项,具体来说包括工作任务的确定和分解,还要对工作量做出评估,对工作进度做出安排和计划,并计划进度实施有效的控制。为了对软件项目工作的目标进行细化分解,必须要确定和分解工作任务,把工作分解结构的方式应用于其中,使软件项目被分解成为几个子系统,还可以分解成多个模块,在此基础上予详细划分,所构成的工作内容结构层次已经实现了逐级细化。
针对实施过程中在发现项目出现进度延迟后,作为项目总负责人,PMO 会及时与对应负责人进行沟通,查找问题根源并进行补救控制。同时,一定时间内了解项目组成员工作完成情况以及需要解决的问题,根据需要分解进度目标,做到日事日毕,严格按照项目进度计划时间点实施,尽量减少进度延迟偏差出现的次数。按阶段总结项目情况,评估本阶段项目实现状况是否与计划要求一致,协调处理遇到的困难问题,对项目进度进行检查和跟踪分析,随着项目开发的不断深入,找到提高工作效率、加快项目进度的方法。
此外,由于本项目相关技术指标的实施将直接对最终应用效益产生直接影响,本项目始终坚持“三检制”的贯彻落实,对WBS 分解后的每一个子任务实施单元自检、交接检、专职检,真实且及时地填写各项质检记录[11],切实地做到了有记录、有再现性、有追溯性。在全面的控制各项施工过程中,重点控制工序质量,坚持质量标准,切实做到严格检查,恪尽职守。各职位人员立足本职,积极贯彻以“以预防为主”的方针,加强事前质量管理,尽可能避免或减少事后出现质量问题的批评与处罚。[12]
为降低开发风险,本项目采用了敏捷开发模式,即极速迭代方式递进开发,每一次版本迭代都包括:需求-计划-设计开发-测试-交付五个阶段[13]。使WBS 分解后的各个单元都经过测试,具备可视、可集成和可运行使用的特征,从而更好地适应快速变动环境,最大化地提高客户满意度。
3 客户服务数智化升级工程成效
本工程在ASR 转写及关键词提取两项关键技术的基础上,研发了智能派单、智能助手、智能质检、智能定责、消息精准推送等技术,工程实现上推动了客服数智化水平提升。其中,智能派单可根据话务内容作出正确的派单判断,已实现代替88%的人工派单量;智能坐席助手可实现话务员通话过程中的知识跟随和自动填单,截至目前,每坐席日均处理单量已由22 单提升至27 单,人均效能提升了23%,客户重复投诉率由7.5%下降至6%;智能质检可将客户与人工坐席的实时通话内容输入自我归纳模型,获取质检结果、坐席服务质量以及客户投诉风险预警,目前已实现100%实时智能质检;智能定责已实现使用经过处理的关键词生成序列,输入到贝叶斯模型预测工单对应的责任单位,从而完成工单智能定责。
3.1 基于细分行业及方言场景的SID-ASR 转写纠错技术模块
在通用ASR 语音识别引擎下,不仅针对细分行业存在大量且常见的领域专有名词转写不准情况[14],而且针对不同区域方言也容易出现转写错误,致使转写文本后,下一步关键词提取所需文本精确度达不到要求。对此,本项目发明文本摘要提取技术和增强型的MLM 预测词分类模型,构建细分行业纠错词表;发明方言自动识别方法和融合预设策略的方言消歧模型,构建方言纠错词表。利用两个词表对通用ASR 引擎转写的文本进行快速精准纠错,为下一步关键词提取创造工程应用基础。
3.2 S&DS 关键词提取技术模块
针对现有关键词提取技术,需要高质量人工标注,对人员专业性要求严格,人力成本高的问题[15]。本项目发明了三项创新技术,分别为同义词匹配技术、融合预设策略和增强型MLM 算法的T5 模型、基于双注意力深度神经网络提取关键词技术,实现了关键词自动提取,并在对话训练文本中获得基础关键词表。通过比对实时对话文本提取的关键词和基础关键词表,得到工程应用的关键词,实现关键词提取全自动化,且准确率高。
由于客服事件具有偶发性,人工定期更新标注难以满足快速响应、快速分析的客服坐席需求,项目组通过进一步优化技术,将对应不上的关键词,重新输入S&DS 关键词提取模型,并进行小样本修正训练,快速优化关键词表,实现了基础关键词表自动更新。
3.3 工程成效
ASR 转写准确率显著提升:针对普通话和粤语数据集进行测试,将腾讯、清华、阿里三个通用ASR 作为基线,插入错误率、替换错误率以及字准确率,均得到了显著优化,在普通话数据集上字准确率平均提升了11.18%,在粤语数据集上字准确率平均提升了11.95%。
关键词提取准确率显著提升:运用114 来电用户原始语音转写作为数据集,对比了本文和其他研究实验中的数据集,发现本文模型的结果在准确率、召回率和F 值上均有显著提升。其中准确率达到86.16%,较通用模型平均提升41%;召回率98.47%,较通用模型平均提升51%;F值91.91%,较通用模型平均提升43%。
项目经济效益显著:目前,本项目成果被中国电信、中国平安、广发银行、广州银行、阿里云、美的等世界500 强企业、广东省及各地市政府部门应用,产生了显著的经济效益。项目实施三年来,已为中国电信创造直接经济收入9.6 亿元,包括广东12345 项目总收入7.5 亿元、云呼总收入6 175 万元等;拉动间接业务收入超18 亿元。
4 总结
本项目始终秉承公司战略、组织架构、人员技能、管理工具相互融合、互相支撑的项目管理思维,以“项目效益的评估必须贯穿项目整个生命周期”为基本要求,通过明确各项工作具体责任人,落实责权利和谐统一的人员责任制,确保项目质量、安全、环境、工期、成本等一系列管理目标的达成。本项目在实施的过程中,通过对项目进行合理详尽的WBS 分解,并以此为依据开展项目管理工作。
“制造有用的软件产品”是软件项目的根本,软件项目与其他工程项目相比,有很多独有特点。在管理论中,十分重视管理者在相关领域中的专业知识,在不同的阶段利用相应的资源、采用适当的管理方法来适应产品的要求。软件开发项目管理体系也同样如此,需要更多的软件开发专业人士去学习项目管理理论,参与到项目管理之中。对于用户和开发者而言,这是一种变革。高效的管理将为用户节约成本,为开发企业增加利润。管理的水平高低终将成为衡量企业核心竞争力的重要标准。