基于客服呼叫平台和WebRTC的实时视频接入与排队技术

丁常坤，夏 兵，王江淮，程 磊

（科大国创云网科技有限公司客服PBU，合肥 230088）

0 引言

从最早的基于声能与电能相互转换并用话音电流来传输信息的电话通信，到如今基于网络与软件来实现的视频通话，可以说远程信息传输的手段是所有人都会密切关注的事情，而在现今社会，视频通话所占比重更是越来越大。越来越多的企业在与客户建立沟通桥梁时选择了视频通话的方式。基于此，在视频通话服务相关领域，如何保证一个视频通话能够迅速且有序地建立、实时且流畅的维持就成了重点。

科大国创软件股份有限公司是致力于云计算、大数据、物联网和人工智能等领域的研发及应用，打造软硬件一体化智能产品的高科技上市企业。立足行业需求、解决行业重点问题，在实时视频的接入与排队问题方面，科大国创软件股份有限公司投入了多名专业技术人员，着眼实际、聚焦关键，为相关企业提供一个良好的解决方案，提升客户的使用体验，帮助相关企业打造好一个稳定可靠的视频通话服务。

实时视频接入与排队技术能够为企业提供许多便利之处，尤其后疫情时代对客户的要求越来越高，构建电话、文字、视频三种媒体于一体的融媒体客服，丰富媒体服务形式，拓展服务渠道和服务影响面，协同互转、能力共享，整体提升客服交互能力，推进融媒体客服生态良性建设。

实时视频接入与排队技术能够基于互联网，通过PC 或手机之间实时传送人的语音和图像，这种便利的技术手段，自然也是众多行业关注的一个重点。从最早发展起来的PC‑to‑PC 形式，到逐渐成为市场热点的Phone‑to‑Phone 形式，融媒体客服通话的迅速普及是在持续发生着的。对视频通话热点趋势的关注，也使得众多企业持续着这方面的软件开发。

科大国创软件股份有限公司以中国科技大学为技术依托，以擅长的基于网络的软件技术、数据库技术、云计算技术、移动互联技术、系统集成技术、智能控制技术、网络终端产品的研究与开发技术，立足于实际，以提供良好、完整的融媒体客服通话服务能力为目标，重点解决融媒体客服通话的实时接入与排队问题，在已取得一定成果的现阶段，继续深耕与研究，为相关企业提供一个优秀的产品与服务。

伴随着后疫情时代线上服务的崛起，融媒体客服蓬勃发展，风险投资成本也给该产业的繁荣注入了动力。目前融媒体客服还处于发展初期阶段，未来一段时间内，基于客服呼叫平台和WebRTC 的实时视频接入与排队技术将在融媒体应用中发挥作用，融合视频客服、电话客服、文字客服等客服接入方式，实现三种方式无缝切换，提升渠道协同交互能力。

1 相关技术简介

1.1 客服呼叫平台简介

客服呼叫平台是一个电话软交换平台，具有很强的可伸缩性，支持跨平台、扩展性良好、配置灵活，包含了SIP 服务器、STUN 服务器、视频转发服务等。可以作为呼叫中心（排队机）、交换机、多媒体网关以及多媒体服务器等使用。

客服呼叫平台由一个稳定的核心以及外围模块组成，外围模块根据它的功能和用途的不同又分为EndPoint、Codec、Application 等不同的类别。内部使用线程模型来处理高并发的请求，每个连接都在单独的线程中进行处理，不同的线程通过Mutex互斥访问共享资源，通过消息和异步事件等方式进行通信。

1.2 WebRTC简介

WebRRTC 指的是网页实时通信（web real‑time communication），可以让用户在基于浏览器的基础上实现实时通信。WebRTC无须在浏览器上安装，不需要任何插件，通过在浏览器调用JavaScript接口，双方建立连接后，在浏览器上实现网页端的数据交互，完成通信［1］。WebRTC 通过接口创立的信道并不像WebSocket一样，双方建立实时通信是通过信令的交互，建立浏览器之间（peer‑to‑peer）的信道，通过信道我们可以发送任何的数据，比如文件、文本、视频等不同类型的数据，不需要经过服务器。

整体的架构分为应用层和核心层。应用层主要提供的是相关业务逻辑的API，核心层提供应用层需要的核心API。

（1）第一层为C++ API，其中最主要的是PeerConnection，这个接口需要重点学习和掌握。

（2）第二层为Session层，为上下文管理层，应用里的音频和视频及非音视频的数据处理逻辑都可以在这层进行。

（3）第三层为引擎和传输层，包括音频引擎和视频引擎，以及音视频的传输，这也是整个架构中最重要的一层。

（4）第四层与硬件相关，包括音视频的采集和网络的IO。

2 建设方案

历年来科大国创以市场为导向，开展基于客服呼叫平台和WebRTC 的实时视频接入与排队技术研究，在科大国创的基础技术和产品之上进行架构设计，构建语音、文字、视频三种媒体于一体的融媒体客服，丰富媒体服务形式，拓展服务渠道和服务影响面，协同互转、能力共享，整体提升客服交互能力。总体架构主要由FreeSwitch 服务、坐席服务、用户服务、监控服务、报表服务、以及AI机器人服务构成。

（1）FreeSwitch服务。FreeSwitch是一个跨平台的、伸缩性极好的、免费的、多协议的电话软交换平台，FreeSwitch 服务的主要作用是用于用户呼叫排队、分发，以及技能队列、分机号等管理，作为排队机和信令服务器功能，呼叫时按照指定的排队策略分配坐席代表［2］。

（2）坐席服务。提供给坐席工作台服务的能力，主要包括文字、图片、表情消息、语音流、语音通话、视频通话等通信服务，以及提供通信网络检测、桌面共享、白板、抓拍视频图像等功能。

（3）用户服务。提供给用户融媒体通信的能力，主要包括文字问答、转人工、文字消息、语音通话、视频通话等通信服务，以及提供满意度评价、网络检测等功能。

（4）监控服务。提供实时监控、现场监控、大屏监控、特殊会话监控的能力，主要包括客服状态监控、客服负载监控、访客排队监控、会话数监控、访客来源监控、会话超时预警、满意度预警等功能，监控系统运行情况、服务质量情况。

（5）统计分析服务。提供融媒体通信相关的统计分析能力，主要包括当前会话、历史会话、质检统计、消息收发量、视频接入量、机器人使用量等统计分析功能。

（6）AI 机器人服务。提供自动应答机器人的能力，可接入APP、QQ、微信等多种载体终端，全面覆盖用户日常使用媒介，让用户随时可用、随处可用；AI 机器人服务通过先进智能的人机对话引擎，精准理解用户真实意图，并给出准确且专业的应答，可回复用户文字、语音、图片、视频等多种形式，真正成为用户的贴心助手。

（7）穿透服务。提供解决复杂公网环境无法穿透问题的方案，Coturn 集成了stun+turn 协议，实现NAT 检测，穿透就需要通过stun 协议，NAT 检测无法进行穿越时就需要通过turn 服务进行流媒体的转发了，而Coturn 就是将两者协议进行整合并进行择优优化。

（8）流媒体服务。提供转码、组内通讯、录制等流媒体服务的能力，主要包括群组通信、媒体流的转码/录制/广播/路由、高级媒体处理相关的机器视觉/视频索引/增强现实/语音分析。

图1 总体架构

3 实现原理

3.1 核心思路

实时音视频实现多种接入方式，系统的应用范围广泛，提供多渠道接入，分模块建设，系统复用性高，减少系统间的耦合性，引入容器技术，采用微服务架构，可做到灵活性高，可方便扩展。

客户端和坐席端分别向FreeSwitch 进行注册，客户端发起呼叫请求到FreeSwitch，Free‑Switch 执行内部排队策略，寻找空闲坐席代表，将呼叫的请求分发到指定的坐席代表。坐席代表在接收到客户端的音视频会话的请求后，双方通过FreeSwitch 进行SDP 信息交换。在完成媒体协商和网络协商后，双方开始建立会话，音视频会话由媒体服务器进行传输。

实时音视频的工作流程如图2所示。

图2 音视频通话工作流程

（1）客户端与座席端跟FreeSwitch 建立连接，并向FreeSwitch注册。

（2）客户端发起呼叫请求到FreeSwitch，FreeSwitch 执行内部排队策略，寻找空闲坐席代表，将呼叫的请求分发到指定的坐席代表。

（3）客户端打开本地音频设备，创建Peer‑Connection。

（4）客户端将媒体数据加入到本地流中，然后客户端再将本地流添加到PeerConnection中。

（5）客户端生成本地offer（SDP−媒体信息）协议。

（6）客户端设置本地描述description。

（7）客户端将offer（SDP−媒体信息）发送至FreeSwitch，再由FreeSwitch转发至远端B。

（8）座席端同样进行步骤（2）～（5）操作后，接收客户端发送过来的SDP 信息，进行媒体交换，做出应答，将座席端的SDP 信息发送至FreeSwitch，由FreeSwitch转发至客户端。

（9）步骤（6）、（7）主要完成了客户端、座席端（SDP）媒体信息交换，根据SDP信息双方创建相对应的音视频通道。

（10）开启candidate（网络信息）数据收集（客户端、座席端：IP 地址信息交换（本地IP 地址、公网IP地址））。

（11）客户端收集本地的candidate（网络信息），将candidate通过FreeSwitch发送至座席端，座席端保存客户端的candidate（网络信息）。

（12）座席端收到客户端的candidate（网络信息），做出应答，将座席端的candidate 信息通过信令服务器发送至客户端。

（13）在完成媒体协商和网络协商后，双方开始建立会话，音视频会话由媒体服务器进行传输。

3.2 核心技术

（1）多媒体统一接入。两个客户端如需进行通话，需先与FreeSwitch 建立连接，客户端与FreeSwitch 建立连接的方式是通过WebSocket 发送信令，将客户端的信息注册到FreeSwitch 中去，FreeSwitch 在这充当的是信令服务器，客户端与FreeSwitch 交互发送的都是SIP 信息，实现APP、网页、微信、QQ、微博等不同渠道不同用户的统一接入［3］。

（2）多媒体统一排队。FreeSwitch 的排队流程简单来说就是通过FreeSwitch 将客户拨打进的呼叫通过内部指定的排队策略分配到指定的坐席代表所在的终端［4］。FreeSwitch 排队的策略有ring‑all（选择所有坐席）、long‑idel‑agent（选择空闲时间最长的坐席）、round‑down（轮）、top‑down（按固定的顺序选择）、agent‑with‑least‑talk‑time（总选择通话时间最短的坐席）、agent‑with‑fewest‑calls（总选择接话次数最少的坐席）、sequentially‑by‑agent‑order（根据梯队和顺序选择）、random（随机选择）。

（3）多媒体通信。基于FreeSwitch 的信令信息交互、媒体协商，以及基于Coturn 的网络协商，通过WebRtc 进行客户端和服务端之间P2P方式的融媒体客服通信［5］。

4 应用场景

随着实时视频接入与排队技术的发展逐渐成熟，各个领域都在开展融媒体客服方向的创新实践，融媒体客服应用的范围极为广泛，在政企服务、视频会议、在线教育、社交娱乐、在线医疗等行业均有较多的应用场景。例如在企业应用方面有如下相关的应用场景：

（1）终端故障可视化指导场景。针对一线运维人员工作中遇到的业务专业问题和技术难点问题，通过语音沟通、视频沟通、屏幕展示、图文沟通等交互，进行终端故障可视化指导、排查，简化客户服务流程、缩短业务处理时间，疑难问题可由客服坐席远程协助指导完成操作，提升客户服务效率，提高客户体验。

（2）营销应用场景。通过在线进行如智能组网产品的视频演示讲解，让客户充分了解产品的内容以及产品的价值，并促进客户与营销人员对于客户详细需求的沟通，提升客服产品认知度。同时针对目前很多营业厅才能办理的业务，通过在线视频认证等功能，引导客户在线办理，提高业务的在线办理率，促进企业网增收。

（3）复杂投诉处理场景。针对投诉咨询单在线受理，在受理过程中语音播报信息为主，对于复杂信息或沟通不畅可文本信息发送，同时同屏核对确认信息，让客户清晰了解工单的详细信息，确保客户诉求信息准确可靠。让客户真实体验到服务过程以及服务过程中呈现的信息，真实可见，提升客户服务感知，提高客户问题一次性解决率。

5 结语

综上所述，传统的线上语音服务存在着复杂信息沟通不畅、客户感知差等多种问题，尤其后疫情时代线上服务的要求越来越高，驱动企业加强融媒体客服服务的手段。通过前文的介绍，本文提供了基于WebRTC 与FreeSwitch 技术的实时视频接入和排队方案，保证了视频通话可以稳定地接入，客户通话按照既定策略进入排队机，有序地被客服人员接听，使得企业的服务效率和用户的使用体验都获得明显提升。融媒体客服作为创新的客户服务方式，是在线渠道的方便快捷和视频面对面沟通的服务场景的有机融合，具备了文字沟通、在线语音服务沟通和视频沟通的多媒体服务模式，实现三种方式无缝切换，提升渠道协同交互能力，提升客户服务体验，提升坐席工作效率，推进融媒体客服生态良性建设。