基于人脸识别技术的智慧营业厅系统研究与应用

刘慧娟　赵东明

摘要：本文提出一种面向智慧营业厅的客户人脸识别技术方法，基于高清摄像头和人工智能视频处理程序，结合机器视觉视频处理框架实现客户到厅的身份自动识别，利用CNN深度神经网络不断优化识别模型，通过比对进厅用户与当日基站用户的人脸特征向量集合，快速识别用户身份，给予针对性的画像、标签，轻渠道精准营销推荐和潜在服务意图挖掘，增强了客户感知。客户人脸识别模型完全以亚洲人脸特征为基础，以移动用户图像为数据源，模型准确率高且适配性强，显著提升了营业效率。

关键词：人脸识别;智慧营业厅;卷积神经网络;精准推荐

中图分类号：TP391.1 文献标识码：A 文章编号：1007-9416（2019）02-0089-02

1 背景

商场、店铺等实体厅店，都有在客户到厅后“无感式”识别客户的需求，使用场景包括：运营商营业厅店、商场安保、客户差异化服务、针对性营销等[1]。传统模式是依赖店员个人经验，熟悉和记忆老客户，效率低，客户感知差，客户身份无法高效率的识别和提取进行诉求分析，失去很多潜在的商机。随着人工智能的技术成熟，目前越来越多的厅店采用基于人脸识别的系统，进行客户身份识别[2]。需要先通过前期的会员采集客户照片，维护会员的人脸图片库，在会员到厅时通过人脸识别比对技术，确定到厅客户身份和相关营销信息。

为解决目前中国移动营业厅客户体验欠佳、智能程度不高的问题，本文基于自研的深度学习人脸检索引擎，提出了面向厅店的人脸识别技术方法，支持多路摄像头灵活调度，实时捕获视频流中出现的客户人脸，并进行特征转化，与海量移动用户人脸库进行比对，快速识别客户身份，关联用户偏好、画像、营销、服务等信息，给予主动服务和营销。并辅以智慧语音、业务推荐，帮助营业厅实现业务智能化，提升用户体验，提高厅店营销效率，减轻营业压力。

2 面向廳店的人脸识别基础架构

以提升中国移动营业厅的客户体验和运营管理水平为目标，本文研发了中国移动智慧营业厅系统，具有人脸识别、语音识别和智能业务推荐等功能。

考虑到目前手机覆盖率已超过100%，平均每人拥有1台以上手机，本方案的执行前提是客户携带手机到厅店，以客户到中国移动营业厅的场景为例，进行方案的详细论述。

2.1 通过手机对客户进行定位

本方案主要依靠基站的信令定位能力，客户进入厅店，并且保持手机开启，客户手机与基站交互的信令数据被采集到。移动基站持续将本基站内客户信令的数据传递到大数据平台，大数据平台持续对基站传来的信令进行处理，例如，RAAT1009基站地理位置为天津市新兴路和华龙道交口，附近有三个基站，那么定义为基站A，基站B，基站C，三个基站都持续传递本基站的信令数据，那么大数据平台就可以生成新兴路营业厅附近三个基站的客户列表。每一个客户都会和不止一个基站进行交互，当和多个基站交互时，基站信令进行三点定位就可以得到客户的具体位置信息，位置信息可以精确到10平方米范围内。

2.2 建立人脸目标图库

根据定位结果确定店铺附近人群，形成人脸基础图库。以基于信令定位为例，关联信令所处基站的三点定位，结合店铺的地理位置，确定店铺的覆盖区域，计算实时处于该店铺附近的人群列表，形成到厅客户的人脸基础图库，此人脸图库就是客户进行人脸检索和身份识别的目标库。

2.3 用户特征库匹配

匹配运营商的手机用户特征库，获取店铺附近人群的人脸特殊向量和相关营销信息，形成待匹配的客户特征库。每分钟进行数据更新，确保本厅店内的到店客户特征均得到准确录入。厅店的营销信息基于大数据微营销平台，并且有本厅店的个性化营销活动方案，对到厅客户进行即时推荐。推荐方案考虑客户感兴趣程度，潜在的业务需求，客户消费能力，客户业务偏好，对所有适宜的营销案进行排序，推荐top3的营销活动。

3 人脸识别应用流程

3.1 人脸模型训练

本文基于谷歌FaceNet框架自主训练模型，核心是一个科学计算框架Torch，把采集到的人脸图像放入神经网络中，用谷歌的FaceNet模型进行特征抽取，能够基于超球表面的测量结果进行人脸聚类，产生的128维度人脸嵌入（每张脸的128个测量值称为一个嵌入），可以对人脸进行匹配分类，从而完成人脸识别。为了达到针对亚洲人脸的准确模型，本系统共使用了100万用户人脸图片和身份证图片，深度学习模型训练后，在天津移动客户人脸数据库上正样本率达到98.8%，识别精度很高。人脸识别模型的流程如图1所示。

3.2 客户识别和商品推荐

处理识别到的人脸，获取其特征向量，并与待匹配的客户特征库进行人脸比对，识别出客户身份，关联企业级大数据平台，快速获取客户身份及全景画像，同时也精准识别客户性别、年龄、驻留时长等信息，通过深度数据分析实现客户最感兴趣商品的精准推荐，提升选购、交易、离店的购物效率。

客户的推荐商品确定后，通过智能短信方式，进行主动推荐。人脸识别和商品推荐的流程如图2所示。当家庭空间大且有安防需求的用户进厅后，在智慧家居区域驻留很久，则主动将“和目”摄像安防产品的中国移动掌上营业厅地址通过短信发送给客户，客户登录掌上营业厅，完成订购和支付，并自行选择是当前店面提取还是电商邮寄，快速完成购物，提升客户到厅的购物体验。

4 互联网化服务的应用与实践

天津移动人脸识别系统目前已处于成熟商用阶段， 在客户服务上，系统利用人脸识别技术重塑了流程机制，基于客户身份快速挖掘服务诉求，平均单次客户服务的响应时长从原来的138秒降低到117秒。通过人脸识别技术的智慧业务推荐系统，极大地提升了到厅客户感知，总体客户满意度提升7.5%。基于人工智能技术赋予的快速识别-精准推荐能力，天津移动厅店业务办理平均时长降低到228秒，相比系统应用前降低了82秒，极大的节约了客户时间，提升了客户到厅后的业务办理效率。

5 結语

本文致力于推动中国移动的传统营业厅服务模式向基于AI的新模式转变，围绕“快捷、智能、简约、高效”的思路，全面推进人工智能化转型，打造了人脸识别系统。其实现了客户到厅后的一站式智能体验，无需自主刷脸，而只需进厅摄像头广角采集全景图像，就可以实现人脸抓取，人脸对齐，特征向量转换和人脸识别。自主研发了人脸模型，并完全自主服务器部署和模型优化，模型正负样本准确率均超过98%，实现了到厅客户身份精准地“无感式”识别。

参考文献

[1] 梁波，郭亮.客户体验型智能营业厅创意与实践[J].中国电力企业管理，2017（14）：74-75.

[2] 黄瑛，王建坤.新零售时代运营商实体营业厅智慧运营模式探索[J].通信企业管理，2017（6）：34-37.

Research and Application of Intelligent Business Hall

System Based on Face Recognition Technology

LIU Hui-juan1，ZHAO Dong-ming2

（1.Tianjin Broadcasting TV and Film Institute，Tianjin  300112;

2.China Mobile Communications Group Tianjin Co.， Ltd.， Tianjin  300020）

Abstract：This paper presents a method of customer face recognition technology for intelligent business hall. Based on high-definition camera and artificial intelligence video processing program， combined with Machine Vision video processing framework， automatic identification of customer arriving at the hall is realized. Convolutional neural network is used to optimize the recognition model continuously. By comparing the set of face feature vectors between the user entering the hall and the user of the base station on the same day， Fast identification of user identity， targeted portraits and labels， light channels of accurate marketing recommendation and potential service intention mining， enhance customer perception. The customer face recognition model is based entirely on Asian face features and uses CMCC user images as data sources. The model has high accuracy and adaptability， which significantly improves business efficiency.

Key words：face recognition;intelligent business hall;convolutional neural network; accurate recommendation