运营商大数据平台建设思路

周龙，谭群芳，项晖

（湖南省邮电规划设计院有限公司，长沙 410001）

运营商大数据平台建设思路

周龙，谭群芳，项晖

（湖南省邮电规划设计院有限公司，长沙 410001）

本文结合大数据时代电信运营商互联网化转型的背景，从大数据促进企业智慧运营以及实现数据资产变现的需求出发，分析了运营商大数据平台建设业务目标和技术目标，提出了运营商企业级大数据平台的总体架构、数据架构及应用架构。

流量经营；支撑系统；大数据

1 背景及业务驱动力

随着移动互联网飞速发展，催生“大数据时代”的到来。各种智能移动设备的迅速普及，带来海量数据的爆炸式增长。运营商作为数据管道，本身拥有众多的数据资源，既包括后端网络运行数据，也包括前端用户特征数据等，这些数据准确、全面的反映了网络和用户的行为特征，成为发展大数据的先天性优势。国内各大运营商在近期转型战略中都提出使数据资产化和价值化成为企业的核心竞争力。

中国电信企业转型升级战略（转型3.0）提出对企业内外部数据资源进行深度挖掘、价值呈现，通过注入大数据应用、集约支撑服务等要素，建设用户导向的一体化智能运营体系，实现运营智慧化。

中国移动技术愿景2020希望提供数据资产运营，开启认知计算新时代。作为知识服务提供商，数据资产运营商，提供无所不知、实时精确的知识服务及数据资产运营服务。

中国联通CUBE-Net2.0倡导建立统一的大数据平台，实现对用户数据和网络数据的集中管理，在此基础上根据需要逐步挖掘和应用数据资源，并进一步实现数据资源和数据能力的开放。

在大数据时代背景下，现有的运营商数据域系统很难实现数据资产化和价值化的运营的目标，如平台横向扩展能力不强，数据整合与开放能力不足，数据统一采集与模型管理能力欠缺，数据应用烟囱式建设，缺乏大数据分析挖掘能力等问题已无法应对海量数据的引入和创新型应用的发展。

根据战略转型需求，运营商企业级大数据平台的建设必须逐渐转向以客户和消费者为中心的运营体系，引入新技术，实现企业级网络、业务、管理数据整合，数据和应用的深度解耦，完善数据安全体系，推进模式的创新，实现数据资产的管理和变现。

2 运营商大数据平台建设目标分析

2.1 业务目标

企业级大数据平台安全连接企业内外部各种数据，满足各种数据应用场景和业务需求，并最终实现以下业务目标。

2.1.1 融合数据—提供全面融合的数据资产

汇聚业务、管理、网络和互联网等数据，通过大数据平台解析处理，最终形成以客户为中心和以企业为中心的两类全景化数据资产视图，具备还原客户和企业业务场景的能力。

2.1.2 及时数据—提供及时可用的数据资产

通过不断增强企业数据中心实时采集、实时计算和实时共享能力，不断压缩实际业务发生时间和数据可用之间的时间窗口；同时重点聚焦专题看数、领导视窗、集团上报和实时营销涉及数据的实时能力的提升。

2.1.3 有效数据—提供统一优质的数据资产

形成涵盖整合层、汇总层和应用层的模型统一、指标统一、维度统一的高质量的数据资产能力。

2.1.4 灵活数据—提供便捷多样的数据应用支撑

充分平衡数据的标准化要求和个性化需求，企业数据中心将在量化层面统一标准的基础上，通过自助标签、自助指标、自助取数、自助分析、自助挖掘的方式，满足各业务部门数据定性的多元化需求。

2.1.5 可视数据—提供可感知的数据可视化能力

通过集中客户视图、数据展现界面移动互联网化等举措，实现企业数据中心价值呈现。

2.2 技术目标

企业级大数据平台实现企业数据的集约化汇聚和架构处理，形统一汇聚、统一整合、统一汇总和统一计算能力，重点实现以下的技术目标。

2.2.1 通过合理的架构设计与技术选型，打造“互联网化”的平台基础能力

（1) 海量数据处理能力，对于海量、快速增长数据（如详单数据、信令数据、网络数据）处理能力。

（2) 实时处理能力，实时/准实时数据处理能力，支撑实时营销等业务场景，具备交互式运营智能。

（3) 大范围数据存储能力，横向网络类数据的有效融合，保证数据模型的完整性；纵向历史数据的存储，满足长周期深度趋势分析的业务需求。

（4) 大数据探索分析能力：分布式处理机制，实现路径分析、社交网络分析等基于大数据的探索分析，快速试错和交互式数据探索分析能力，跨平台的融合分析能力。

（5) 数据深度挖掘分析能力：快速响应数据挖掘和专题分析的业务需求；形成数据挖掘分析体系，挖掘分析结果有效的沉淀和固化，面向一线业务的支撑能力。

（6) 系统扩展能力：系统水平扩展能力，降低系统的整体建设成本。

2.2.2 通过能力标准化封装与开放,实现“数据与应用深度解耦”的数据生态体系

（1）适应数据爆炸和产品快速迭代的要求。

(2）实现底层平台/数据资产和上层应用能力之间的深度解耦。

(3）通过能力开放门户展现底层的平台和数据能力。

(4）通过能力中心连接底层能力和上层应用。

(5）实现以”极速、低成本、高质量”要求来响应海量的内外部客户的个性化数据应用需求。

(6）建立面向“大数据平台+应用开发商+数据供应商+数据消费者”的互利共赢的数据生态圈。

2.2.3 通过与数据管理平台紧密配合,实现“生产与管控适度分离”的数据质量与安全保障体系

(1）加强跨层级的端到端的数据质量管理，实现全流程全业务的数据调度，完善数据监控和稽核。

(2）加强数据运营管控，做好数据源异动预警，增强数据处理的流程监控，及时发布结果数据，全面提升企业数据质量。

(3）加强对前后端用户访问权限的控制与管理，对敏感数据的访问控制和访问轨迹进行跟踪，保障数据安全。

3 运营商大数据平台建设思路

3.1 平台总体架构

企业级大数据平台总体架构如图1所示，主要分为数据处理中心、数据管理平台、数据应用超市3部分，其中数据处理中心包括数据采集、数据处理、数据服务、数据应用4个模块。

图1 大数据平台总体架构图

数据采集与处理：以实时或离线采集的方式汇聚BSS/OSS/网络侧等不同来源的数据，对采集到的数据进行清洗、数据校验转换、根据数据管理中的规则分层分类进行处理，将数据加工成价值的产品对外共享。

数据服务：以数据价值为核心，通过数据的能力封装，采用开发API、数据分发、文件接口、消息服务、即席查询等技术手段，构建能力开放服务，对内部各类应用、业务系统提供数据及技术能力的共享服务，对外部应用、第三方合作伙伴提供数据及技术能力的开发服务，最大化发挥数据价值，支撑企业内部经营决策分析并实现数据价值变现。

数据应用：是构建在数据服务上的具体数据访问应用，如运营分析、财务分析、网优分析、清单查询、位置服务、行业报告等。

数据应用超市：提供企业级统一的访问数据应用的入口，包括对内部和外部的各种应用，便于应用的集中化管理。

数据管理平台：以元数据为驱动，建立面向企业级数据中心的完整数据治理体系。从组织架构、系统功能等方面增强数据宏观管控，并实现包括数据标准、元数据、数据质量、数据安全等全方位精细化管理。

3.2 平台数据架构

企业级大数据平台数据架构如图2所示，主要分为应用层、汇总层、中间层、整合层、接口层等5部分。

应用层：通过表、视图、文件、消息等方式为各级各层用户提供应用支持。

汇总层：存储根据管理和客户视角形成的企业统计、营销、汇总数据。分为指标、标签、应用宽表。

中间层：按应用主题整合数据，模型间松耦合设计，分为基础宽表、属性、维表。

整合层：将来源于接口采集的数据经过统一清洗、编码转换、整合后形成。

接口层：存储的是从源系统采集的数据，数据模型与外围系统基本保持一致。

3.3 平台应用架构

企业级大数据平台应用架构如图3所示，通过构建数据能力生成与开放体系，形成开放、协同、完善的大数据生态环境和生态圈，提升数据服务能力共享，价值创造和变现能力，助力运营商实现数据服务一点共享、价值变现、降本增效的目标。

图2 大数据平台数据架构图

图3 大数据平台应用架构图

统一接入：统一内外部用户的接入控制和运营管理，包括接入的方式、认证、识别、权限、流量控制。

统一服务：标准化服务能力和运营流程，通过运营商能力开放平台将大数据域的核心能力按标准化的产品进行开放。

统一管控：实现大数据平台集中的、标准的安全管控，对接口进行封装和提供、业务应用的调用进行统一安全管控。

3.4 平台分阶段建设思路

3.4.1 近期建设内容

平台架构：建立基于Hadoop的企业级ETL平台，具备多源异构数据采集能力。完成分层模型（接口层-整合层-中间层-汇总层）设计与实施。建设分布式文件系统、内存数据库、关系型数据库等多种存储框架和MR、Spark、Storm、分布式内存等多种批处理、准实时和实时处理的计算框架。实现主数据管理、数据质量管理、指标库、调度监控的系统能力。

数据模型：完成M、B、O等域及网络侧核心数据采集汇聚；基于人口属性、电信业务、行为偏好、征信和位置等数据，形成客户标签库。提升大数据挖掘和建模能力对精准营销等的支撑。

应用建设：大数据征信能力建设与应用，基于大数据的客户精准营销与智能客服，基于全网多维数据的网络效益评估，基于网络大数据的广告欺诈等骚扰电话识别、客户体验分析等。

团队建设：建设与大数据资产运营相适应的组织架构，制定数据模型建设流程与规范，制定数据资产开放流程与规范。

3.4.2 中远期建设内容

平台架构：建设实时处理平台，引入Kafka+流式计算框架和实时消息处理机制，具备实时采集能力；采用Flume技术实现日志采集，采用Nutch技术实现分布式爬虫。完善和优化分层架构，具备实时数据处理模型分层框架。引入分布式缓存，提升流计算性能。完善主数据管理、数据质量管理、指标库、调度监控的系统能力。提供灵活的API，具备服务开放能力；提供定制的门户，具备应用开放能力；提供数据沙箱，具备数据开放能力。

数据模型：基本完成内部数据采集汇聚，同时根据应用需要引入政府公共机构、社交媒体、电商等数据，完善客户标签库，形成立体化精准客户画像能力。大数据精准营销支撑实现全覆盖。

应用建设：建立以客户感知为核心的全周期、全流程、全渠道的客户体验闭环管理。全面构建客户价值提升和维系挽留模型，实现大数据精准实时营销支撑全覆盖。开发大数据变现产品。

团队建设：加强专业化人才队伍建设，制定大数据产品运营流程和规范。

4 结论

为了适应互联网时代的数据化市场经营、企业管理、精细运营和企业数据价值变现的需要，通过搭建数据融合集约、能力开放共享、应用多样的企业级数据平台，实现运营商企业数据资产以集约、标准、高效、高质、安全的方式进行汇聚、加工、共享和应用。

[1] 刘洁. 基于大数据的电信运营商业务精确运营平台的构建[J].电信科学, 2013(3).

[2] 陈淑梅. 移动运营商的大数据发展策略研究[J]. 信息通信,2014(6).

[3] 陈娜. 基于Hadoop的电信BSS大数据平台建设研究[J]. 电信科学, 2013(3).

[4] 吴朱华. 云计算核心技术剖析[M]. 北京：人民邮电出版社，2011.

[5] 李长连，王颖楠，周大勇. 电信业务支撑系统云化策略与方案研究[J]. 邮电设计技术，2012(7):25-30.

[6] 淘宝分布式服务框架[EB/OL]. [2014-3-11]. http://alibaba.github.io/dubbo-doc-static/Home-zh.htm

AbstractCombine the background of the strategic transformation of the telecom operators ,this paper analyzes the operational objectives and technical objectives of the operators' big data platform, which is based on the demand to promote the enterprise's intelligent operation and realize the realization of the data assets.The paper also propose the overall architecture of the data platform, data architecture and application architecture.

Keywordsflow management; support system; big data

Discussing thought of big data platform's construction for telecom operators

ZHOU Long, TAN Qun-fang, XIANG Hui
(Hunan planing and designing institute of post and telecommunications Co., Ltd., Changsha 410001, China)

TP301

A

1008-5599（2017）10-0068-05

2017-04-11