大数据在电信运营商中的应用研究

1 引言

随着计算机技术和互联网的飞速发展，催生了大数据时代的到来，大数据已经进入了我们的生活，正在改变着我们的生活。大数据已遍布在世界的每一个角落，正在渐渐渗入各个行业，我们每个人都将与之息息相关。

我们正处在一个数据主宰一切的时代，大数据不但是资产也是一种工具，它可以反映用户过去的行为轨迹，也可以预测用户将来的行为倾向。对于企业来说，大数据技术的发展是一个机遇，合理的运用大数据将有助于企业洞察外部市场，适时做出外部市场与内部的调整，提高决策速度和精准度，也可以将数据进行变现转化为企业价值。

移动互联网的发展以及智能终端的普及，使电信运营商的大数据呈现爆炸式的增长。截至2018年底，三大运营商用户规模突破15亿，每天产生海量的业务数据，数据具有多样性、实时性、安全性和准确性的特点，数据质量较高。

本文通过分析电信运营商的大数据资产，研究该如何掌握和运用这些数据资源，在提升运营商自身运维和运营能力的同时，将数据资产进行变现，寻找新的利润增长点，从大数据中获得收益。

2 运营商的大数据资源分析

电信运营商大数据经过多年的积累，拥有诸如财务、业务量等结构化数据，也有图片、文本、音频、视频等非结构化数据。从运营商大数据来源看，有来自自身网络产生的通信业务类、网络信令类、资源类、告警类、设备性能类、互联网内容类、日志类等数据，也有从营销渠道获得的公众客户、政企客户和家庭客户的用户数据、订购数据、营销数据、客服数据、终端数据等。用户从开户、充值到通话、短信、上网等使用通信服务的行为均产生了大量的数据，这些大数据被采集、关联、合成处理后存储在电信运营商的IT系统中。电信运营商建设的可用于采集数据的系统主要包括以下几类：

（1）业务支撑系统

业务支撑系统主要是实现对电信业务、电信资费、电信营销的管理，以及对客户的管理和服务。业务支撑系统主要包括：业务运营支撑系统、客户关系管理系统、业务支撑网运营管理系统、集团客户业务综合运营平台、客服系统等。业务支撑系统产生并采集的数据包括用户数据、订购关系数据、话单数据、渠道数据、产品数据、营销数据、客服数据、终端数据等。

（2）网管支撑系统

网管支撑系统主要是实现运营商业务网络开通管理、网络资源调度、网络数据配置、网络与业务监控、故障处理、网络质量分析、网络优化等。网管支撑系统主要包括：专业网管系统（话务网管、数据网管、传输网管）、综合资源管理系统、电子运维系统、无线网优平台、故障管理系统、综合分析系统、全业务支撑系统、信令监测系统、自动拨测系统等。网管支撑系统产生并采集的数据包括运营商网络的资源数据、性能数据、告警数据、MR数据、工单数据、信令数据等。

（3）管理信息系统

管理信息系统是面向企业管理的支撑系统，包括财务管理、人力资源、供应链管理、办公自动化、信息共享、管理决策支持、企业风险管理等。管理信息系统主要包括：统一信息平台、企业资源管理系统、合同管理系统、预算管理系统、电子采购系统、资产管理系统、预算管理系统等。管理信息系统产生并采集的数据包括人力资源数据、资产数据、财务数据、合同数据、预算数据、银行交互数据、投资数据等。

（4）DPI及日志留存系统

电信运营商DPI系统主要包括4G统一DPI系统和互联网统一DPI系统，DPI系统主要是通过DPI设备对4G网络及互联网链路上的流量进行采集和识别，对上网数据包进行深度检测，可以实现流量分析、日志合成、非法VoIP检测等。日志留存系统包括上网日志留存系统、WLAN日志留存系统等，日志留存系统主要是对通过4G网络、家庭宽带、WLAN网络等登录互联网的上网日志信息进行采集记录。DPI及日志留存系统采集的数据主要包括位置数据、上网数据、开关机数据、流量数据、寻呼数据、漫游数据等。

（5）增值业务平台

电信运营商增值业务平台是在基本业务（话音业务）的基础上，针对不同的用户群和市场需求开通的可供用户选择使用的业务。增值业务平台包括：12580综合信息服务平台、139邮箱业务平台、MM平台、和飞信业务平台、手机报业务平台、终端管理平台、手机导航业务平台、手机视频业务平台、手机阅读平台等。增值业务平台产生的数据主要包括用户数据、订购数据、登录数据、点击数据、使用数据、数字内容数据等。

电信运营商大数据资产统计情况如表1所示。

3 运营商大数据平台建设方案

目前各行各业都在开展大数据管理，互联网公司大数据已全面发力，开始涉足电信大数据传统领域。京东通过大数据涉猎城市规划，阿里巴巴通过大数据抢滩智慧城市，腾讯通过大数据布局政务行业，百度通过大数据涉足交通规划，滴滴出行通过大数据探索园区规划等等。

运营商该构建怎样的大数据平台，应用好大数据一方面提升企业自身的运维和运营能力，一方面拓展垂直行业的应用，寻找新的利润增长点，从大数据中获得最大收益？下文将给出运营商大数据平台的建设方案。

电信运营商建设的大数据平台可采用如图1所示的五层架构：数据采集、计算中心、开放框架、门户和运维管理。

表1 电信运营商大数据资产表

图1 大数据平台架构图

3.1 数据采集

数据采集层用于实现大数据平台统一的任务调度和数据采集，数据采集层是大数据平台的基础，统一采集承担整个集中化大数据平台的各类源数据的采集，以及跨中心之间，跨平台与租户之间，跨异构集群之间的多样类型的数据转换，统一数据入口、统一接口数据的存储与分发，同时保障数据入口安全、外部用户使用数据资产的管理等职责。

针对不同类型的数据源，采用不同的数据采集技术，分析及建议如下：

对于离线的文件数据、合成的XDR数据等可采用FTP方式进行采集，FTP技术可支持断点续传、异构网络之间的文件传送特性，具有操作简单、安全性高、使用方便等优点；对于日志数据可采用Flume技术进行采集，Flume是一个提供高可用、高可靠，可分布式处理海量日志采集、聚合和传输的系统，具有效率高、扩展性强的特性；对于DPI实时信令数据可采用DPDK技术、kafka流处理技术等进行采集，DPDK是用于快速数据包处理的函数库与驱动集合，可以极大提高数据处理性能和吞吐量；Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据，可用于互联网DPI系统数据采集；对于文本搜索和WEB网页爬虫可采用Nutch技术，Nutch是一个开源的搜索引擎，可提供搜索引擎所需的全部工具。

3.2 计算中心

计算中心层主要是对数据采集层提供的原始数据进行抽取、转换和加载处理，以及对数据进行关联整合，形成标准化、模型化的数据，用于支撑上层应用开发。计算中心层是大数据平台的核心，建议采用Hadoop和MPP等技术对非结构化和结构化数据进行分布式计算和存储。

计算中心层承担着对数据进行关联、模型化和标签化处理的任务，生成针对企业自身运营、网络维护、网络优化以及面向政府、金融、教育、交通、零售、旅游等不同垂直行业应用的数据集，通过计算中心层对各类数据集定义标签，建立标签库和模型库，引入宽带信令、互联网内容信令、外部数据等内容，借助大数据化思维方式，对客户标签进行优化和扩展，更好地为市场、客服、政企等部门提供数据支撑，补充对外应用标签，拓展外部合作领域的支撑。数据集的标签可按以下分类：

数据集分类：基本类（职业类）、互联网类、位置类、业务类、行业类、网络感知类、渠道类、营销活动类、服务类、终端类、消费价值类等。

计算中心层对数据进行分类存储，方便上层应用的调取和提供数据共享，计算中心层产生的数据直接关系到上层应用的开发和运营商数据价值的体现。

3.3 开放框架

开放框架层主要根据不同的数据集进行应用开发，通过门户对内外部使用客户提供丰富的数据服务、工具服务和应用服务等。

开放框架层是大数据平台价值体现的关键环节，电信运营商尽量摆脱通道的命运，不建议将数据资源直接开放给行业用户或互联网公司，为了数据价值的最大化，建议采用微服务开发的方式将数据进行包装，与其他领域开展跨行业的合作或者直接开发应用面向终端用户。微服务具备设计和编排的能力，设计包括资源、软件、配置数据、内容策略、分析策略和安全策略等，并基于这些对象构建完整的、规范化的“元数据”；编排主要为根据设计输出的模型，构建完整的网络服务，包括资源实例化、内容调度、分析策略的设置、安全策略的设置等过程。

对企业内部应用，开发面向精准营销、网络维护、网络优化、方案制作、资源管理、客户服务等方面的微服务，用于提升网络质量、降低运营运维成本、提高工作效率和增强客户体验。

对垂直行业客户开发面向交通、教育、旅游、民生、公检法、商贸、金融等方面的微服务，供第三方购买；包括：智慧气象、智慧旅游、和信用积分、行业内容解析、智慧公安、金融风控等银行、政府、旅游行业类微服务，以“多租户”的方式向相关厂商开放。

或者通过引入其他领域数据，对终端用户开发征信、零售、广告推荐、智慧家庭、支付、位置服务、多媒体等方面的微服务，提高企业收入的同时也可以增强客户粘性，提升企业竞争力。

3.4 门户

门户是企业员工、政企客户和终端用户访问大数据平台的统一入口，具有用户权限管理、日志管理和应用接入管理等功能。大数据平台通过门户对外提供大数据微服务和大数据应用，门户是大数据平台与用户的接口，直接影响大数据平台对外服务的使用效果和用户体验。门户要根据不同的用户群体对服务应用进行分类布局，对外服务提供统一标准的接口，方便用户服务调取。运营商还可以根据需要在门户上体现大数据微服务及应用的使用原则、使用方法、资费标准等内容，便于用户对大数据平台的了解。

门户需要具备管理全可视，系统将所有的流程通过可视化方式呈现出来。

3.5 运维管理

运维管理层是实现大数据平台的统一运维管理，提供数据治理的工具。运营商可通过运维管理层制定数据标准，保障数据质量和安全，同时监控大数据平台数据资源使用情况和告警管理；通过运维管理层制定国家政策法规允许范围内的数据开放权限，明确数据开放规则，保障数据开放合法合规，对数据进行加密和去隐私化处理，实现数据开放风险管控。建议引入AI技术来提升运维和运营的智能化。

4 结束语

电信运营商的大数据资源具有规模大、质量高、覆盖广、种类多、场景全的特点，运营商要利用好这些优势，积极应对激烈的市场竞争，开发优质的数据类服务，应用全行业铺开，百花齐放。同时要缩短项目决策和建设流程，实现应用快速上线，在大数据不断迎来政策利好的背景下，切实把握好大数据产业发展机遇，第一时间争夺客户群体，抢占大数据市场。