电信运营商大数据应用实践探析

战培志 关芳芳

1 江苏省邮电规划设计院有限责任公司；2 南京工程学院

0 引言

自2011年以来，大数据（big data）得到各界广泛的关注，世界上各个主要国家都在大力推动大数据相关产业发展，以抢占新一轮科技革命的制高点。我国政府近年来也出台了一系列政策来扶持大数据产业的发展，同时，国内越来越多行业的企业也参与到了大数据技术的研发与应用中。

电信运营商作为国内最早运用大数据技术的行业之一，其大数据运用具体情况如何，存在哪些问题，未来发展方向如何？本文对此进行了探析，为电信运营商和通信行业管理部门在该领域未来的建设与管理工作提供参考与借鉴。

1 国内电信运营商大数据应用发展历程

国内电信运营商大数据分析与应用开展的较早。早在21世纪初期，已有国内运营商的省级公司已开始汇聚全省业务数据开展经营分析等应用，这可以看作是国内电信运营商大数据应用的滥觞。至2010年，已有相当多的电信运营商省级公司开始使用数据挖掘技术进行精准营销。在这一阶段，运营商数据分析处理技术主要使用的基于关系型数据库的数据仓库技术，包括MPP数据库等技术，数据挖掘工具主要使用的SAS、SPSS Clementine等，应用主要是内部的经营分析，精准营销为主。该阶段总的来说因为大数据的概念影响不广，电信运营商大数据应用还处于萌芽概念。

2010年以后，国内三大电信运营商都已开始使用Hadoop等新一代的大数据技术分析处理海量数据，大数据应用也逐步从内部开始转向外部：2010年，中国移动开始在集团层面做Hadoop的研究与规划；2010年中国移动通信研究院基于Hadoop开发了“大云”（BigCloud）系统；2015年开始做全网大数据应用建设，2017年完成一期建设工程。中国电信在2010-2011年左右，一些发达的省公司如广东、江苏已开始试点一些大数据应用，初始应用包括使用Hbase等工具支撑用户计费详单查询等；2013年中国电信相当一部分省公司都已开展了大数据应用，内容包括使用Hive等工具改造经分系统，提升经营分析效率，尝试对DPI数据进行存储与分析，开展对内对外应用等；2014年中国电信集团开始在信息化滚动规划中要求各个省公司都开展大数据建设内容的规划，这标志着中国电信大数据建设应用已开始全网推进。中国联通对大数据的探索源自于2010 年中国联通数据大集中策略的提出，2012 年底，中国联通也已经成功将大数据和Hadoop 技术引入到移动通信用户上网记录集中查询与分析支撑系统，同年成立了集团层面的数据中心，2013年进行了集团层面大数据平台建设，2016年已经有较强的数据采集、海量数据处理能力、平台开放经验，数据规模达150PB，节点总数达到4400节点。目前，运营商大数据运营能力已逐渐成熟，已开始进入稳定发展期。

2 典型应用领域与场景

国内电信运营商大数据对内部一些典型的建设与应用领域与场景如下所示：

（1）大数据基础架构集中化建设：以提升面向

大数据的汇聚能力、IT处理能力为目标，进行集中化的数据中心建设。典型如中国联通按照M+1+N的规划布局，在全国建设了十二个国家级的数据中心，31个省级数据中心，300多个本地网的数据中心。

（2）经营分析决策系统建设应用：该应用为传统应用，主要引入新一代大数据技术如Hive， Spark等提升传统经营分析决策系统数据分析的效率，通过这些技术的使用，建设面向商业运营，跨各业务/网元的大数据经营分析决策平台，构建企业级分析决策智能中心。如某省移动公司流量运营分析系统，采用Hadoop集群与My SQL混搭技术架构，2013年时即已上线超过100台PC服务器，每天处理原始文件大小8T，生成200G数据入My SQL集群，用于支撑流量分析报表，包括终端监控分析、业务产品监控和价值分析、网络监控和分析、内容监控和分析、流量现状和发展分析、流量套餐监控和价值分析、客户监控和分析、客户偏好分析，辅助流量业务策略制定等。其他一些典型应用还有某省电信的资源价值与能力实时分析系统，基于HIVE全面支撑实现网络投资划小核算单元的目标，实现资源价值的直观展现和资源能力所对应价值的深入挖掘分析等。

（3）客户精准营销与维系应用：以提升用户体验、完善产品设计、提高客户保有率、增强营销效率与效果等为目标，通过专题数据分析、数据挖掘等手段，开展基于客户洞察的精准市场营销。该类应用涉及的场景、方法与技术手段较多，典型案例如移动某省公司采用hadoop批处理平台+Storm实时流计算平台+ORACLE数据库建设的流量经营系统，该系统通过用户行为大数据分析形成用户标签库，建立了客户促进模型、流失预警模型、流量偏好模型、流量提升模型等一系列数据挖掘模型，可以对12580 IVR类、漫游类、URL跟踪类等多种场景开展用户实时营销。

（4）网络服务质量优化与控制应用：包括针对网络的Policy View/PCRF（Policy and Charging Rules Function，策略与计费规则功能），提供实时智能化管道运营能力或提升网络NPM、SQM管理能力等。典型应用如某省移动基于大数据的网络资源管理和优化应用等。

（5）客户满意度评估应用：改变传统通过问卷进行客户满意度调查的方式，通过对运营商网络数据、触点服务类、CRM、行为标签等海量客观数据分析，准实时持续评估“全量”、“个体级”用户满意度及变化趋势，及时发现沉默用户服务隐患。典型应用如江苏省邮电规划设计院和江苏电信合作使用Hive和随机森林挖掘模型建立的客户满意度评估应用平台等。

对外部的一些应用领域与场景主要有：

（1）征信/风险防控应用：利用运营商掌握的用户身份数据、通信行为等数据，建立用户征信风控模型，为银行、小贷企业提供征信服务等。中国电信、中国联通、中国移动都有相关的产品与服务。中国联通提供的征信/风险防控应用产品包括用户综合信用评分、身份认证、社交关系认证、开户情况、通信消费情况和漫游情况、 异常行为预警等功能，通过该系统，将小额金融贷款公司或银行提供的客户信息（如姓名、电话号码、身份证号等），与系统内数据资源信息比对，即可查询该客户的信用等信息。中国电信的系统除上述功能外还提供风险变化探针（贷后对贷款申请人的消费能力、还款能力等及时跟进分析、提前进行风险预警）， 风险个体追踪（风险个体信息、位置等进行追查）等功能。

（2）对外精准营销服务：涉及广告、商业选址

服务、行业研究分析等，典型应用场景与案例如下。

行业研究报告咨询服务：为企业、行业、媒体提供品牌分析、产品分析、消费者分析、营销效果分析的行业报告。如中国电信的终端大数据魔方产品，利用掌握的用户终端数据信息，从终端市场份额、终端发展趋势及市场竞争度等因素洞察终端市场变化；根据客户手机使用行为及用户偏好行为，洞察手机市场用户偏好，准确定位产品功能及特性，预测市场容量，为手机厂商提供行业分析报告、支撑终端设计及生产。中国联通除向移动终端行业提供相关服务外，还向汽车行业、服装行业及烟草行业等多个领域提供类似数据服务。

商业店铺选址与户外广告精准投放服务：店铺选址涉及所有需要建设实体渠道的行业，如银行、连锁餐饮与超市等。以运营商的移动网及固网为核心，通过电信运营商自有定位能力及从包括DPI，BOSS等接口获取的用户数据，可以构建客流量、客流消费能力、客流偏好等多个维度的评估模型，协助企业高效、准确的进行商业选址。典型产品案例如中国电信的青鸾-商业选址产品。户外广告精准投放服务与商业店铺选址类似，通过客流数据分析为用户提供广告投放选择支持服务，如联通在上海已试点过类似产品。

个体标签类服务产品：运营商通过对开放信息动态数据、DPI（Deep Packet Inspection，深度报文检测）及用户基本信息、通信消费等数据进行分析，可建立用户个体标签库。该标签可用于RTB（Real Time Bidding，实时竞价）广告、外呼等精准营销，如中国电信已建设DMP平台，通过Key/Value/Service三层架构，实现对RTB广告服务商提供高并发、低延时的标签类数据服务。

智慧城市类应用：智慧城市类应用包括智慧交通、智慧旅游、城市规划等，主要面向政府客户。中国电信、中国移动、中国联通都有一系列相关产品，包括：为旅游管理部门提供旅游景点实时人数、来源地分析等，助力旅游宏观管理；对重大活动提供人流预警，避免踩踏事件发生；对交通客流分析，优化交通等。

其他对外服务与应用：其他一些对外服务与应用还包括大数据基础设施提供等，包括数据中心基础设施提供、高性能分布式计算硬件与软件服务的提供等。如中国电信对外服务的大数据云平台就包含命名为“碧玺”的资源托管服务产品和命名为“貔貅”的处理分析服务产品等；中国移动也有类似的命名为“大云”的企业大数据中心解决方案。

3 国内电信运营商大数据建设应用存在的问题

国内电信运营商大数据建设应用虽然如上所述已取得了很大的进步，但目前仍存在一系列问题有待解决：

（1）人才问题： 建设大数据需要企业拥有大数据技术运用能力、业务理解能力、数据洞察能力的综合型人才（数据科学家），建立专业分工的高效团队。虽然经过几年的培养，电信运营商已积累了一批该类人才，但总体缺口仍较缺大，未来仍需加大大数据人才培训与引进力度。

（2）产业链问题：国内电信运营商大数据系统很多由外部供应商建设，产业链环节较多，需求传导较慢，难以适应大数据所需的快速迭代开发需求，成本与速度上与互联网企业相比处于劣势，因此建设机制需优化。

（3）数据问题：部分国内电信运营商大数据应用存在重、散、慢、差的问题。部分内部数据在多个系统中重复采集、重复存储；系统林立，数出多门，口径不一、系统数据关联、共享，数据整合困难；数据时效性差，使用者无法及时获取所需数据；数据质量差，数据不完整，不一致等。

（4）部门协同问题：大数据建设与业务应用存在脱节问题。目前大数据建设多由运营商省级公司或集团公司集中建设，而使用部门则很多为地市、区县公司与支局。建设部门与使用部门沟通不畅往往导致建设的大数据系统与一线实际需求存在脱节问题，如某运营商省公司建设的客户流失预警系统，每月定期会使用随机森林模型识别出可能流失客户清单并派单给地市公司进行外呼维系，派单只有用户号码，并未进一步分析可能流失原因，地市公司无法据此制定针对性的外呼策略，且每月派单量远超地市外呼维系能力，最终是地市公司从不使用该系统数据，导致系统未发挥应有功能，建设投资浪费。

（5）大数据安全问题：大数据安全与用户隐私保护近年来得到越来越多的关注，国家已制定一系列相关法律用于保护用户隐私。如何控制好运营商大数据采集与应用的法律风险也是一个较大的挑战。

4 未来发展展望

在战略层面，国内运营商已将大数据应用与建设作为未来重要的战略方向之一。中国移动在“十三五”战略规划中把大数据建设和运营作为十大战略举措中的IT能力提升工程的重点建设内容之一；中国电信制定的中国电信战略转型3.0和企业核心能力清单中，基于云和大数据的共享平台被视作未来七大核心能力之一；中国联通也把大数据纳入集团的重要战略性业务，在原有大数据中心和智慧足迹公司等基础上，规划成立大数据公司等。因此，在未来相当长的一段时期内，大数据建设与应用仍会是电信运营商重点开展的工作之一。

在具体的大数据应用建设管理与操作方面，对内，电信运营商需进一步优化组织、人员结构、管理流程、协作机制、风险管控，解决前文所述的目前国内电信运营商大数据建设应用中存在的问题。此外，还需根据深度学习等人工智能技术的发展，进一步引入新技术，优化大数据平台与架构，并创造新的大数据对内应用等。在对外应用方面，一方面电信运营商需进一步加强在市场上有竞争优势的大数据基础设施产品（数据存储服务、传输网络环境等）的推广力度，并通过大数据基础设施服务的提供，与客户建立更加牢固的联系及开展更高层次的市场合作；另一方面，需抓住国家政府智慧城市、大数据、“互联网+”等相关政策的关注重点，充分发挥自身的数据资源优势，在相关细分领域建设出具有特色和竞争力的大数据产品与品牌。