大数据在运营商中的应用

姚黎强

（上海信产管理咨询有限公司，上海 200083）

1 大数据的定义

近年来，大数据的概念持续升温，大数据成为一个“网红级”的存在，对大数据的探索也上升到更高的水平。今年Gartner的技术成熟度曲线上，大数据已跨过裂谷期，步入成熟应用阶段。关于大数据的理解，至少分为3个层次，数据、技术和思维，越往上，价值越大。

图1 大数据定义图

大数据首先是数据，这个数据是海量的、实时的、多源的、异构的、高速增长的。大数据是一种新的技术，这也决定了大数据已不是传统IT技术所能处理的，处理大数据必须要有一种创新的技术。这种技术包括弹性分布式的数据存储技术、scale-out的并行计算技术、分布式数据库管理技术、分布式的编程架构，以及数据清洗、数据挖掘等，这些都不同于传统的数据处理。大数据内涵并不只有数据和技术本身，数据和技术应该是为增强人的洞察和决策能力服务的，我们要用大数据，大数据才有意义，所以我们谈大数据，根本上是在谈一种新的思维和决策方式，是一种新的智慧。我们可以从数据里获得信息，从信息中得到知识，从对知识的理解中获得智慧，现在我们有了海量的数据，从数据得到智慧，这就是大数据的终极意义。

2 电信运营商大数据应用场景

大数据时代到来，企业面临的竞争环境发生了巨大变化。企业拥有的知识、情报和其他数据资产的数量及其应用效率已成为企业能否取得市场竞争优势的重要因素之一。为此，国内电信运营商大数据作为其在移动互联网时代企业转型的战略性工作，开始了大数据系统的建设与应用，以充分挖掘企业的数据资产价值，创造新的利润点。电信运营商大数据应用场景有以下三方面。

（1）潜在离网用户维挽场景：通过大数据的用户管理，对潜在的离网用户进行数据分析。通过大数据实现用户管理、营销策划、营销实施和闭环反馈的拉通。当海量用户数据来了之后，用大数据平台对所有用户进行分类、识别和管理。用户识别之后，根据用户大数据分析结果触发营销策略。对用户在内部进行渠道选择，匹配相应的资源套餐，通过用户的选择来进行效果的反馈。

（2）综合网管分析平台—基站关联分析场景：根据离网用户的位置轨迹、用户的业务行为、基站地图以及基站网络质量KPI获得数据源，然后进行大数据的建模分析，判断离网用户是否与其常出没的基站存在关联，进而输出质差基站列表、基站供需平衡度、经常出没已识别质差以及基站的未离网用户列表，最后确定可服务的商用场景。

（3） 数据变现场景：户外数字媒体/非数字媒体价值评估场景现阶段，户外媒体行业缺乏受众测量方法。户外数字媒体/非数字媒体价值评估场景——需求分析、相关数据分析，结合广告屏分析得出结果输出。

3 电信运营商的数据资源及优势

3.1 电信运营商的数据资源

在投身大数据的众多玩家中，电信运营商无疑是最为特殊的。庞大的网络规模和用户基础，提供了最全面的大数据样本。用户在通话、短信、上网等过程中，产生了大量记录，运营商由于其业务特点，积累了很多特有的数据，包括人们的身份信息、实时位置信息、上网行为信息等。可以说，运营商记录了人们现代生活的“指纹”，如何对这些数据资源进行挖掘和分析，发挥数据的潜在价值，是当前业界人士普遍关注的问题。如表1所示，运营商的数据主要来源于以下三个方面。

3.2 电信运营商大数据应用的优势

数据规模大、类型丰富，数据覆盖深度和广度不断拓展，电信大数据在数据规模、数据精准性和多样性方面，具有突出的价值优势，而且随着物联网的不断发展，万物互联带来电信大数据覆盖深度和广度的不断拓展。

数据基础设施发展迅速，数据存储和传输能力优势明显，一是在数据存储方面，运营商“遍布全国、深入市县、重点覆盖”的数据中心建设布局，为电信大数据奠定了良好的存储服务基础。

数据应用价值广泛，能有效促进经济发展、改善公共服务，电信网络是信息化社会的基础支撑，承载大量国民经济活动。电信大数据与各行各业的融合应用可直接支撑我国社会和国民经济发展的方方面面。

“电信级”标准与规范能力奠定数据安全保障基础，电信业从诞生之日起，就是基于严谨的电信级标准框架协议而构建的，例如802.1的交换/信令控制标准、802.1ah的数据平面技术标准等。

表1 运营商数据来源表

4 电信运营商大数据应用的案例

根据大数据体系平台架构规划，某运营商集团大数据经营支撑主要包括三大平台：集团大数据经营管理平台、集团大数据能力产品与应用及运营平台、集团企业级大数据平台数据采集系统，并且在大数据资源池中新建了PaaS平台区，大数据体系平台架构规划如图2所示。

图2 某运营商大数据体系平台规划架构

大数据能力产品与应用及运营平台在大数据体系架构中负责为集团大数据对外经营提供大数据服务能力和大数据应用。对外经营和对内应用所需的主要数据由大数据汇聚平台提供，大数据能力产品与应用平台整合面向业务发展所需的标签数据、清单数据、用户行为数据、IT数据等，提供统一能力开放接口、数据产品服务能力封装、基础资源管理等能力，支持面向客户和大数据产品提供大数据产品应用等；大数据PaaS平台主要为业务合作伙伴提供分布式计算能力和数据存储能力。

4.1 总体功能架构

4.1.1 数据仓储和分析基础能力

（1）数据采集与汇总：从数据源系统采集数据，形成面向对外数据经营产品多维度数据汇总和宽表。

(2）数据分析服务接口：支持针对不同的业务需求提供快速的数据检索和高效的数据处理，提供基础的数据分析能力接口，并保障数据安全。

（3）具备网络爬虫和规则库维护功能。

（4）按大数据经营管理要求，提供数据规则管控接口，满足大数据经营管控要求。

4.1.2 大数据能力组件封装

基于大数据基础数据分析能力，针对不同业务产品，封装形成数据产品服务能力组件，如标签类产品服务组件、AD-IP实时认证产品服务组件、关键词分析产品组件等。数据服务能力统一开放。在数据服务能力组件与数据产品的基础上，提供高并发、实时的对外数据服务，并对服务过程进行统一管理，包括对外接口、服务监控、安全管理等提供计费清单数据和接口。

4.1.3 基础设施资源管理与能力提供

（1）计算/存储等平台基础设施的统一管理。

（2）基于平台实现资源的统一审批，实现资源的配置、开通、调度、监控。

（3）基础设施服务能力封装，支持向数据分析应用灵活提供批量、实时、交互等多种计算框架服务能力。

（4）实现对平台上所有任务和进程进行统一的调度和管理，对平台资源进行统一的分配和管理，并根据能力服务提供费用计算支持。

（5）沙箱测试环境：为数据分析模型、大数据产品和应用开发、测试，合作伙伴产品开发、测试提供沙箱环境。

4.1.4 平台管控与系统管理

（1）平台监控：通过内部接口将相应数据能力产品与应用平台中资源使用情况、业务运营情况、业务详单、API和数据应用的调用日志等信息上传，以便对运营情况进行监控和管理。

（2）系统管理： 系统用户管理、 权限管理、日志管理、配置管理、安全管理等系统管理功能支撑。

4.2 数据接入方案

图3 运营商大数据接入方案图

大数据能力产品与应用平台根据大数据应用需求，从大数据汇聚平台获取相关原始数据，加工处理形成基础数据仓储层，并面向数据产品和应用形成数据模型与应用层。大数据能力产品与应用及运营平台数据接入方案如图3所示。集团企业级大数据平台数据采集系统通过FTP方式将汇聚后的数据发送到大数据能力产品与应用及运营平台的FTP服务集群，发送包括数据文件和对应的校验文件，并发送报告数据到大数据能力平台消息总线。大数据能力产品与应用及运营平台收到数据后，生成数据资产接收结果和数据质量信息，大数据能力产品与应用及运营平台开放数据资产管理子系统查询。

4.3 组网部署方案

目前大数据能力产品与应用平台通过大数据资源池承载。大数据资源池包括统一的基础网络、统一的计算资源池。核心交换机为所有设备提供统一的网络总出口，在汇聚层面将资源池按照区域进行划分，通过三层接入核心网络；设备均以物理机方式部署。

5 小结

运营商利用自身海量的数据资源优势，探索基于大数据的新产品与应用，是电信运营商推动产业升级、提升企业核心竞争力、应对激烈市场竞争的重要手段。综合全球来看，虽然大数据的建设与应用取得了很大进展。但在电信运营领域，大数据依然是信息网络的前沿，机器学习、实时数据即服务、算法市场是大数据的发展热点。另外金融、政务、交通、旅游等一直是电信大数据应用的热点行业领域，从发展趋势看，这些领域的电信大数据应用价值仍具有广阔的拓展空间，未来的应用场景会更加丰富。大数据运营平台作为运营商对外部提供大数据业务的基础平台，需要进行不断地架构优化，功能优化，能力提升来满足各种业务需求。