大数据时代下的流量经营系统建设

文/吴敏

1 项目概述

1.1 项目背景

随着移动通信技术的不断演进，中国移动已从话音经营时代进入流量经营时代，大数据时代下运营商确立了以智能管道（物理网络）和聚合平台（商业网络）为基础，以扩大流量规模、提升流量层次、丰富流量内涵为经营方向，以释放流量价值为目的的一系列理念、策略和行动的集合。流量经营的最终目的是顺应移动互联网的发展，转变运营商的收入结构，达到利润最大化。为了避免“被管道化”，流量运营分析系统当之无愧地成为了运营商大数据时代的炼金术。

中国移动在2012年流量经营工作上的主要方向上提出：要把握移动互联网时代特征，努力加强流量经营。提出了五点要求：

（1）要提供好用易用的管道，不断提高核心网质量；

（2）要将终端补贴重点向中低端智能手机倾斜；

（3）要做好手机上网客户培训和主动关怀工作；

（4）要提升手机上网使用感知；

（5）要加强流量的精细化经营。

如何通过业务支撑系统更好的助力互联网时代的电信运营商的流量经营，实现加强流量经营的工作要求是本项目课题主要研究的方向。

1.2 项目建设方向

1.2.1 把握流量特点

存在问题：用户上网行为千差万别，特征差异大，有待深度掌握。

工作方向：建设流量经营分析支撑系统，精准把握用户互联网行为特点，实现移动互联网领域的精准营销，提升流量经营工作效果和效率。

1.2.2 落实四网协同

存在问题：流量结构不合理，2G承载过高，访问感知差。

工作方向：加强TD网络建设，加大TD智能终端、MIFI的营销力度，加快WLAN热点补盲，有效分流2G网络压力。

1.2.3 释放流量价值

存在问题：套餐内外差价大，用户需求受到抑制。

工作方向：做好流量定价策略，丰富流量套餐资费，通过GPRS叠加包、闲时流量优惠包等资费手段，释放用户流量需求。

1.2.4 扩大流量规模

存在问题：普及率和人均流量有待进一步提升。

工作方向：降低用户上网门槛，创造便利上网条件，培养用户流量使用习惯，扩大流量用户规模。

2 流量经营系统的建设思路

建设流量运营平台，支撑解决流量供给、提升流量价值、个性化流量营销等流量经营工作建设流量运营平台，支撑解决流量供给、提升流量价值、个性化流量营销等流量经营工作上海公司紧跟流量运营四大工作方向，核心解决流量供给、提升流量价值、个性化流量营销三方面问题，建设省级流量运营平台，整合用户级流量信息数据，强化平台与各网络条线资源的融合互通，实现全能力流量运营工作。

目标一：提升引流能力，用更低的成本获得更多的有效流量，获得更多的客户接触机会。

目标二：提升流量转化成收入的能力，提升向客户成功推销产品的概率。

2.1 流量经营系统建设的思考

面对海量的和非结构化的互联网流量信息数据，我们该如何“烹饪”它？

面对高实时性要求的应用功能，我们该如何“满足”它？

网络侧数据和计费侧数据都接入了，怎么“呵护我们的系统生命线”？

对于互联网流量信息中含有大量的敏感信息数据，在项目实施中，如何保证信息安全无差错？

系统功能的方向，最全面的？最需要的？

系统能力的互通，需要？不需要？

2.2 关键技术的实现：海量非结构化互联网流量信息数据精准处理

上海日均网络流量达4万G(2012年数据)，日均流量信息接口数据为1T。随着移动互联网的发展，此数据量还会逐步增长，预计到2013年底，日均流量信息接口数据量至少在1.5T以上。互联网信息数据中包含了大量的非结构化信息数据：如内容文本数据、XML和HTML网页数据等。面对海量的和非结构化的互联网流量信息数据，引入多项创新技术进行精准处理。

2.2.1 引入新技术-“分布式处理”

搭建Hadoop分布式环境：利用低成本的PC服务器和存储，构建Hadoop分布式环境。

使用MapReduce模型进行编程：基于MapReduce 编程模型，开发数据处理程序。最终消化掉互联网的海量数据。

2.2.2 精进老技术-“数据仓库”

数据的处理必须依赖数据仓库，因此必须充分运用。

压缩大数据量表，提供访问速度：对大数据量表，进行压缩处理，以提高该表的访问速度。

分区表和多维集群的应用：按照业务创建分区表，更加均匀分布大数量表；按照常用维度，创建多维集群应用层表，提供查询性能。

2.2.3 流量报文数据处理利器-“协议分析”

原始流量信息数据解析：利用“协议分析”技术，深度检查和解析互联网数据报文，从中获取原始的流量信息数据：例如“应用协议”信息、URL信息、UA信息。最终为后续流量的分析运营，提供海量、精准信息。

2.2.4 “爬虫、分词”-非结构化内容文本数据处理

爬虫技术：通过URL自动的抓取互联网上信息数据，包括用户访问的原始内容文本数据。

分词技术：将获取的内容文本，进行合理、正确的切割，使文本计算机化，为后续内容分析和挖掘提供输入。

2.3 流量数据的智能处理和实时联动

2.3.1 智能感、智能知分析功能

智能感：主要包含应用分析、终端分析、内容分析以及位置分析。精确定位终端用户需求，全面分析终端用户上网偏好，通过对数据的深度分析和结果固化、沉淀，掌握客户习惯偏好、行为等信息，识别个性化需求。

智能知：支持实时营销、快速挖掘用户的行为偏好，并及时将数据传输到营销平台，为用户进行快速准确的营销提供及时的数据。

2.3.2 实时营销平台功能

实时营销引入了多种大数据接口，能处理传统数据库和应用无法分析的数据：从C3智能感知平台的大数据流；从小区短信输出的A口信令数据、互联互通信令数据；IVR的12580按键数据。

（1）实时营销使用的是NoSql技术的数据内存数据库，能应对大量的事物频繁的更新等实时性较高的操作

（2）结合了经分的常规数据，对用户做更细致的分群，过滤，提高营销的效率

（3）多渠道统一管控，设置优先策略，各营销之间的并行关系，依赖关系等配置

2.4 数据完整性维护保障

（1）消除单点故障保障方式，通过多进程部署，增加管理进程控制，在进程异常时保证数据不丢失。

1）增加管理模块实时监控各个进程的活动状态、控制数据流、收集进程状态。

2）所有模块与管理模块定时心跳。

3）当进程异常，管理模块主动检测，将数据分流到其他进程。

（2）文件方式保障方式，在系统异常或主动运维时，可以以保存文件的方式，保障数据完整性。

系统异常情况如下：

1）增加管理模块实时监控各个进程的活动状态、控制数据流、收集进程状态。

2）所有模块与管理模块定时心跳。

3）当进程异常，管理模块主动检测，将流数据先保存成文件，再由其他进程补充处理文件。

（3）互联网全量分析应用平台采用“DFI+DPI”两种技术相结合分析数据业务。

监测会话连接或数据流的状态等流量行为初步分析判断数据应用并监测应用层协议特征、业务流和控制流关联，协议行为判断具体数据应用。新增近50款应用：如http 下载、http 浏览、微信、微博、BT、迅雷、PPStream、QQ、飞信、魔兽、PPLive、Skype…等。

2.5 实时精确AP推荐功能的实现

通过算法进行基站和热点匹配，预先配置区域规则。通过基站实时捕获用户GPRS上网行为，实时匹配目标用户属性字段，实时推送目标用户到营销管理平台。

实时捕获、实时匹配、实时推送基于实时消息接口：与网络侧的处理模块衔接，采用MQ消息接口；与营销管理平台处理模块的衔接采用WebService接口；内部处理模块衔接采用Socket接口。

对于用户GPRS上网行为的实时捕获，与网络侧协同，则直接复用了网络侧实时捕获GPRS上网的能力，并实现实时对接到流量运营平台。

采用内存实时匹配。业务应用场景实时性要求高，且基本都是小批量用户匹配。因此无法采用传统的手段，即在数据库中匹配、判断用户属性字段，而采用在内存中完成了这些处理，以保证处理的实时性。

2.6 人员、设备、数据，信息安全三维保证

信息安全永远的高压线。复杂的项目实施和大量的敏感信息，使得信息安全有很多隐患。流量数据敏感信息较多，如用户账号信息、用户位置信息、终端信息、访问内容信息、使用应用信息。同时，项目实施过程复杂，项目实施人员多、厂商非PSO的人员参与多、实施工期长、涉及多个服务器环境。项目实施又绕不开数据，如何保障信息安全？

首先，从项目实施环境上物理分离。项目实施环境：分别搭建正式环境、测试环境、开发环境，三境分离。其中正式环境存放正式数据，测试环境的数据由正式环境分发生成，开发环境的数据由测试环境抽样生成。

其次，从项目人员角色上明确权限。明确项目实施人员的角色，严格区分测试人员、开发人员。测试人员有人数限定。开发人员只能访问开发环境，测试人员只能访问测试环境。

第三，数据加密、历史数据加强保障。测试环境中的敏感信息数据，事先准备好加密程序或者算法，在数据分发时，进行统一加密；测试环境的数据周期只能存在历史数据，比如上个月或上个星期的。

2.7 功能架构设计聚焦关键业务需求

如果建设全体系的监控指标、全方位的分析维度、全流程的系统功能？面对着系统提供的各式各样的全面的系统功能，不仅增加了使用上的不便，也让很多功能出现了局部重复，并失去了针对性。为了支撑系统大而全的应用功能，系统处理的数据量往往增大了很多，这将直接增加系统运行负荷，影响系统性能。建设大而全的系统，系统的建设周期会加长。这将可能会影响系统支撑业务发展的时效性。

流量运营，目前尚处于刚起步阶段，因此无法实现最全面的功能。且系统随着业务的发展不断有新需求，业务一直在发展，探索阶段无法做最全面的系统。指标是无穷尽的，换个单位，也许就变成另外一个指标了。因此需要聚焦业务人员最为关心的指标，然后努力实现它们。维度只是分析的角度，并非所有的角度都是正确的，因此需要聚焦业务人员最为需要的分析视角。系统功能是为业务发展服务的。而业务发展是有时间要求的。我们需要尽可能快的完成业务人员最为需要的系统功能支撑，这样才是对业务最有效的支撑。

综上，我们确定了系统的定位：不是纯分析型系统，必须是支撑业务发展的系统。

装备“长矛”-营销能力互通：实现流量运营平台和营销管理平台对接，可以直接将流量运营平台的分析成果，如用户群、热门内容和应用等，直接作为营销资源，用于营销。例如：新入网用户推荐功能，就是在流量运营平台监控新入网用户的终端型号和流量情况，捕捉适合推荐流量套餐的用户后，推送至营销平台进行营销推荐。

装备“盾牌”-服务能力互通：对于流量运营平台中生成的、可用于服务维系支撑的分析结果和资源，形成管理功能，在系统具备与外围服务维系类系统能力互通后，即可使用。例如：终端配置指导功能，就是定期分析GPRS上网失败和彩信发送失败的清单数据，获取失败用户终端型号。在与OTA平台对接后，自动化向用户推送终端彩信上网配置信息。

3 流量运营平台的应用

开展基于流量运营平台开展自动化换机用户营销活动，实时发现用户换机行为，通过服务新机用户的关怀行动挖掘二次营销机会。

根据终端换机应用模型，平台根据不同的用户情况进行分析，推送不同的换机服务营销场景。可以查询每款机型每天用户数的变动情况，为设置具体的终端换机营销场景提供支撑；

（1）可以根据操作系统、屏幕、双卡等参数设置场景，进行灵活配置；

（2）可通过“终端换机场景管理”新增所需的换机场景，从而实时抓取符合条件的换机用户；

（3）可查看已设置的换机场景及具体配置信息；

（4）可直接点击“营销”按钮，实现营销方案的配置和生成，针对换机用户发起实时营销。

将有换机行为的，在活动中有套餐升级的用户与未升级用户进行对比，观察其流量变化。

（5）从数据中可以看出，有套餐升级的用户5月提升量明显高于未升级的用户，提升比例大于未升级用户的2倍以上。

（6）5元升10元的用户提升比例最高，达205%；10元升20元相对较低，提升比例为88%。

（7）5元升20元的用户人均流量低于10元升20元的用户，但提升比例高于10元升20元用户。

（8）观察换机用户在换机前后，套餐升级前后的流量变化，以期找出最合适的换机营销时间。

4 项目总结及展望

作为运营商流量经营时代的主要分析平台，上海移动流量运营分析系统自2012年建设以来，逐步实现了流量偏好分析、沉默与低使用量客户促进、流量促进提升、网络协同分析、终端运营应用、高价值用户流失预警、新业务营销、运营效果评估这八大类流量分析模型，以及四大类关键时刻场景运营、八类属地化深度分析报表，并在实际生产中取得了较好应用效果，有力的支撑了大数据时代的流量经营战略落地。

此外，对于互联网流量信息数据的研究结果，如用户偏好模型、终端信息库、应用特征库、内容分词分类等，我们该如何“共享”？这也是项目组不断思考的，对于共性化结果，建议建立共享信息库；个性化结果，建立交流平台。对于共性化的的研究结果，建立共享信息库：如终端信息库：终端信息，全国通用；应用特征库：互联网应用特征，无地域差别。对于个性化的的研究结果，则可建立交流平台，便于借鉴好的算法、模型，交流研究经验。如用户偏好模型：通过交流平台借鉴思路、算法，交流建模经验；内容分词分类：通过交流平台借鉴分类体系，交流内容分类标签经验。

高速的4G时代下，流量运营也将不断的支撑新业务新技术的发展，结合营销和服务不断为用户提供更便利的服务感知，顺应移动互联网的发展，向扩大流量规模、提升流量层次、丰富流量内涵为经营方向发展，助力转变运营商的收入结构，实现和用户的双赢。