面向电信网络运营价值挖掘的大数据技术研究与应用

2015-03-16中国电信股份有限公司淮安分公司刘瑞张柏林王成猛

江苏通信 2015年5期

中国电信股份有限公司淮安分公司刘瑞张柏林王成猛

中国电信股份有限公司淮安分公司刘瑞张柏林王成猛

从大数据的概念与特征入手，探讨基于大数据技术的电信网络运营价值的深度挖掘。首先提出移动互联网时代电信运营商所面临的数据挑战；其次从智能管道、流量话单可视化运营、DPI分析等方面提出运用大数据技术和工具平台进行电信网络运营价值的挖掘策略，同时输出相关场景案例成果；最终明确电信运营商在大数据时代的挑战和机遇。

电信网络运营；价值挖掘；大数据技术

1 引言

大数据(big data,mega data)，或称巨量资料，指需要新处理模式才能具有更强的决策力、洞察力和流程优化能力的海量、高增长率和多样化的信息资产[1]。在维克托·迈尔-舍恩伯格及肯尼斯·库克耶编写的《大数据时代》中大数据指不用随机分析法（抽样调查）这样的捷径，而采用所有数据进行分析处理。大数据具有4V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（价值）[2]。当前大数据技术应用的成功案例有：Facebook通过数据对人际关系的深度挖掘来构建开放服务体系；GOOGLE通过数据预测的强大力量对受众深度挖掘，理解受众需求。

电信运营商在大数据存储方面拥有丰富、立体、饱满的天然优势，国外电信运营商在大数据挖掘应用方面已开展了诸如基于移动互联网用户感知、优化网络管理、精确指导前端营销、与第三方数据合作等多方面实践；而国内电信运营商由于传统观念、战略导向、管理体制等多方面因素制约，当前大数据技术在网络运营价值的深度挖掘方面并未发挥真正效益。对此，笔者认为有必要进行相关论述，以期促进电信网络运营价值的大数据挖掘发展。

2 移动互联网时代运营商面临的大数据挑战

2.1 大数据时代已经来临，不进则退

新摩尔定理认为网络环境下每18个月产生的数据量等于有史以来数据量之和，大数据时代已经来临。这是一个最好的时代，也可能是一个最坏的时代；好在如果能够顺应并运用这个时代，就可以如虎添翼；坏在如果错过这个时代将被无情淘汰。

对于电信运营商而言，当前竞争环境愈发恶劣，大数据技术已经成为创新和运营的核心竞争力。流量井喷，DPI和信令监测，产生的大量事件在存储和用户通信行为分析的实时处理性能带来挑战；运营商一体化集中运营和透明管控，催生巨大的经营分析数据仓库，对大数据处理的存储、性能、开放带来挑战；ICT融合，核心网络、运营支撑和VAS业务数据的融合催生海量User Profile并集，对大数据的关联分析计算效能带来挑战[3]。

2.2 思想重视不足，缺乏顶层设计

2015年初，中国电信江苏公司提出网络运维向运营战略转型，即从单纯的指标维护向基于用户感知的大数据挖掘方向转型，这一转型无疑具有极大意义，但相对于大数据时代的快速发展，这一口号的提出仍显相对滞后。

当前电信运营商已有的大数据实践仅局限于个别部门或者在局部业务上的浅尝，从整个运营商层面，缺乏对大数据战略的统一规划。

2.3 缺乏对大数据平台的统一部署

目前电信运营商内部部门已开展了大数据项目规划，并进行实践试点，但只是限于独立专业的数据分析，并未形成

跨专业的统一大数据平台，如从核心侧到无线侧的端到端系统等[4]。

3 基于大数据技术的电信网络运营价值挖掘策略建议

3.1 准确定位大数据技术对于电信网络运营价值挖掘的作用

大数据对于电信网络运营商的价值主要体现在“五位双层”，即对外层次的开放数据盈利；对内层次的提升客户感知、精确指导市场营销、支撑领导经营决策、提升网络运营效率。

对外层次的开放数据盈利是指基于电信网络的大数据天然优势进行用户行为挖掘，将部分数据资产对商业联盟（如携程网、快捷酒店、旅游景区等）开放，进行合作盈利，创新后向经营的商业模式。移动互联网时代没有单打独斗的胜者，这一点尤为重要。

对内层次主要包括基于个性化用户行为感知的大数据挖掘以提升客户感知；基于DPI、CDR话单数据挖掘以洞察客户市场行为，精确指导市场营销；基于大数据的网络资源管理IT化，降低人工现场行为，提升网络运营效率；基于大数据智能管道以提供领导决策参考。

3.2 深度解析流量话单，让网络运营可视

如下图1，通过融合BSS、OSS、MSS平台数据源，形成基于流量话单的管道开展运营的基础分析能力，构建电信运营需要的基础分析体系。

图1 流量话单大数据分析关键字段

通过平台整合，最终实现基于流量话单的网络运营统一价值可视化体现：

（1）业务内容分析：对管道内的流量能够分辨到具体的业务，如QQ，BT等；

（2）用户行为洞察：对流量的使用者可区分，用户在何时，何地使用的流量；

（3）内容偏好分析：对流量承载的内容可分析，能够分辨用户浏览网页的内容、微博内容等；

（4）终端使用分析：能分辨具体使用流量的终端信息，提供终端型号、品牌等；

（5）位置营销可视：能分辨用户使用业务的具体网络位置和实际地理位置；

（6）网络运营可视：结合网络设备数据，提供网络布点优化、客户体验、业务质量等信息。

如下图2，目前中国电信江苏公司网优平台已经能够实现以上功能，更好地支撑了网络运营价值的可视化挖掘。

图2 中国电信江苏公司流量话单大数据挖掘平台

3.3 搭建DPI大数据监控平台，实现端到端感知立体评价体系，支撑经营决策

从用户感知入手实现端到端多维感知关联分析，构建关键KQI和KPI关联模型，建立用户端到端感知评价体系，实现用户业务感知的准确评价和管理，为前后端运营提供决策参考数据。

图3 DPI系统架构

如上图3为DPI系统架构，DPI识别技术大致流程分为四大阶段：协议解析识别阶段（采集全网流量数据—＞对数据进行协议解析、识别—＞实时传输协议识别后的流量数据到分析机—＞实时传输协议识别后的流量数据到分析系统中）；IP流分析阶段（与采集机实时通信—＞对流量数据进行二次解析—＞生成ip流原始数据）；IP流分拣阶段（与存储服务器实时通信—＞实时处理IP流原始数据—＞根据集团规范输出字段格式—＞可灵活配置的APP应有规则库）；记录文件形成阶段（存储日志文件—＞提供查询接口）。

以用户HTTP行为为例，终端用户使用浏览业务的基本过程为：

图4 互联网业务监控

图5 业务多维度分析

图6 TOP SP访问量挖掘

图7 基于DPI大数据分析的用户APP应用档案模型

图8 线侧五大类数据源

图9 用户终端尺寸与业务类型匹配模型

（1）用户点击访问某个网页；

（2）操作系统进行DNS查询，查询完成后，发起TCP建立请求；

（3）终端操作系统与服务器建立完成TCP三次握手后，终端发送第一个Get请求报文；

图10 用户终端档次与主流业务匹配模型

（4）服务器响应Get请求报文，向终端下发第一个页面的数据，第一个页面的下载会包含多个数据报文的下发，第一个报文的格式可能是压缩的。

针对以上HTTP行为，基于统一网元库的DPI分析成果展示如下图：

（1）互联网业务监控：基于集团规定的10大标准网站，建立标准网站的主要感知指标的时延分析体系，并根据网站特点制定获得基准指标值域，并细化到5分钟准实时粒度，

对网站指标的劣化提出预警。

（2）业务多维度分析：基于定制的的SP网站，建立各网站按时间维度、地市/基站维度、域名/服务器IP地址维度的钻取分析，层层分解要感知指标，对可能的网络异常点进行精细化分析。

（3）TOP网站访问量统计：掌控用户HTTP访问轨迹，可将数据源对外开放，支撑商家联盟和后向运营。

通过DPI大数据监控，最终建立用户应用档案模型，包括：应用的全网渗透率、流量使用和资源消耗，认识应用的价值和对网络冲击影响；不同时段使用习惯，可用于分时段流量包的设计；挖掘强相关应用，关注客户兴趣点，便于关怀服务推送等方面的价值数据。

4 中国电信淮安分公司无线网络大数据挖掘场景成果分享（部分）

如图8，淮安分公司基于“三层五大类”数据源平台进行无线侧大数据挖掘，为网络运营提供决策参考。

基于统一网元库的用户终端——APP应用——场景分布三维大数据分析，得出如下阶段性结论：

图11 淮安分公司春节无线网大数据挖掘成果展示

（1）智能终端是客户使用的第一门户，其业务适配度直接影响客户体验，屏幕尺寸对业务应用有潜在的影响，随着屏幕的增大，侧面反映出用户在特质和应用偏好方面的不同：IM类（5寸屏幕以上用户使用开始减少）；网页浏览（5寸屏幕以上用户更偏向）；电子商务（大屏用户更喜欢使用）；地图导航（应用度与屏幕大小有直接联系）。

（2）不同档位的终端在主流业务使用上表现出不同的特征，说明终端等级对业务应用有很大影响，对客户终端维护和终端营销有重要参考价值。

基于网优平台话单、GIS功能模块与统一网元库DPI功能模块进行平台融合大数据挖掘，实现2015年春节期间的移动互联网运营价值挖掘，有效地支撑了市场营销决策：