基于电信大数据的即时环境应用能力开放平台

郑　明　中国联通研究院平台与产品实验室研究员王　蓉　中国联通研究院平台与产品实验室产品开发实验室组长，高级工程师杨　瑞　中国联通研究院平台与产品实验室研究员



基于电信大数据的即时环境应用能力开放平台

郑明中国联通研究院平台与产品实验室研究员
王蓉中国联通研究院平台与产品实验室产品开发实验室组长，高级工程师
杨瑞中国联通研究院平台与产品实验室研究员

摘要：提出一种基于电信大数据的即时环境应用能力开放平台，并研究平台框架及实现机制。该平台充分挖掘电信运营商的数据价值，并为第三方应用提供业务便利，有利于电信运营商大数据生态环境的构建。

关键词：大数据；即时环境；开放平台

1　引言

移动互联网时代各类应用层出不穷，各细分市场竞争趋于同质化。应用若能在用户需求产生或发生变化时，即时对用户提供对应的服务，将极大提升用户体验，增强市场竞争力。电信运营商拥有丰富、真实、准确的用户数据，包含实时信息如移动用户上网流量记录，以及历史信息如用户基础身份信息、用户标签信息等。基于电信运营商的大数据，分析用户的即时状态，并将相关分析结果开放给应用开发者，将成为运营商大数据开放的重要应用形式，本文称之为基于电信大数据的即时环境应用能力开放平台。

2　应用场景

为更直观地描述即时环境应用能力开放平台，本文先以一个特定的应用场景为例进行介绍。该应用场景下，某个第三方应用需要即时获知进入某地理区域内的具备某特性的用户信息，以便向这些用户推送有针对性的业务营销信息。如图1所示，通过基于电信大数据的即时环境应用能力开放平台实现该需求的关键环节，具体如下：

（1）第三方应用向开放平台订购服务，服务指明应向其通知具备某类特征标签的用户进入某个区域内的事件。

（2）开放平台根据第三方应用所订购的服务，设置事件触发器。

（3）符合预设条件的移动用户移动到预设区域，并产生移动上网流量。

（4）电信大数据平台从实时采集的移动用户上网流量记录中提取用户位置信息，并根据用户历史上网记录分析用户特征，并通过标签形式进行标注。电信大数据平台将所提取的用户位置信息及标签信息实时写入能力开放服务中。

（5）能力开放服务通过事件触发器实时检测用户信息的写入。

（6）当能力开放服务检测到符合触发条件的写入时，则向第三方应用进行通知，通知内容包含该符合条件的用户的手机号码。

（7）第三方应用向该用户推送具有针对性的业务营销信息。

图1　即时环境应用能力开放应用场景示例

3　平台框架

基于电信大数据的即时环境应用能力开放平台框架如图2所示，框架中各部件描述如下：

（1）第三方应用

即订购服务的需求方，是订购规则的制定者，数据处理结果的使用者。

（2）业务订购系统

第三方应用订购的受理系统，根据客户订购内容生成订购规则。

（3）任务调度引擎

解析订购规则，并根据规则向能力开放服务、电信大数据平台分配数据处理任务，完成以上系统相关业务处理逻辑的自动化配置。

（4）能力开放服务

能力开放平台的核心部件，包括以下部件内容：

●分布式内存数据库：存储读取、写入频率极高的热点数据，是能力开放服务的核心数据存储部件。

●嵌入式脚本：作为分布式内存数据库的扩展脚本，实现脚本与内存数据库函数的双向调用，以扩展内存数据库功能。

图2　即时环境应用能力开放平台框架

●接口服务：定义外部数据、分析结果数据的交换接口标准，提供开放接口服务，完成各类接口的封装，并实现与其他部件交互的能力适配。具体包括以下接口内容：

——数据批量导入接口：用于外部数据的批量导入。

——查询接口：用于第三方应用查询分析结果。

——Pub/Sub：用于第三方应用数据的实时输入，以及分析结果的实时通知。

（5）电信大数据平台

用户数据基础平台，提供分布式的持久化存储能力与流处理能力，包括HDFS/HBase、Spark、数据分析挖掘平台等部件。

4　平台数据需求

4.1用户属性数据

电信大数据平台实时采集移动用户上网流量记录并进行挖掘分析，向能力开放服务提供各类用户属性数据，具体如下：

（1）用户标识

提供用户的手机号码，或其他经过匿名处理的用户标识码。

（2）用户位置

可直接提供用户的地理坐标数据，或提供用户接入移动通信系统的地区区域码（LACID）、小区识别码（CELLID），以及系统全局范围内的以上编码与基站地理坐标数据的映射关系。

（3）用户上下文

用户上下文信息包括用户终端、近期使用的应用和近期搜索词等数据。

（4）用户画像

用户画像可通过标签形式进行描述，也可按其他自定义数据格式进行描述。

此外，第三方应用也可向开放平台提供用户属性补充数据。

4.2目标描述数据

第三方应用向开放平台提供订购目标的描述数据，以满足其订购业务的需求，具体如下：

（1）目标用户描述

提供对订购目标用户群体的描述信息，包括对目标用户的属性要求，如画像要求、终端类别要求、近期搜索词要求等；也可包括目标用户的用户标识集合，即要求开放平台仅分析、处理该集合范围内的用户数据。

（2）目标区域描述

提供对订购目标区域的描述信息，即对订阅区域的地理位置要求，如行政区域要求、地理坐标要求，要求开放平台仅分析、处理该目标区域范围内的用户数据。

（3）目标时间描述

提供对订购目标时间的描述信息，要求开放平台仅在该目标时间范围内进行用户数据的分析。

5　业务处理流程

5.1业务订购与任务分配

如图3所示，业务订购与任务分配是客户完成即时环境应用能力业务订购，开放平台完成订购任务解析分配的流程，具体包括以下流程：

图3　业务订购与任务分配流程

（1）第三方应用通过业务订购系统订购业务。

（2）业务订购系统生成订购规则描述文件，并提交任务调度引擎处理。

（3）任务调度引擎解析订购规则：

●向电信大数据平台传入任务配置。

●向分布式内存数据库提交执行任务所需的脚本文件。

5.2任务执行

任务执行是指能力开放服务、电信大数据平台完成任务配置后，启动数据处理分析以及结果应用。针对不同的业务场景，任务执行可根据单体用户数据的计算复杂性、单次分析数据量，分为流式任务执行模式与批量任务执行模式。

（1）流式任务执行模式

流式任务执行模式，由嵌入式脚本完成数据分析工作，并实时开放处理结果。适用于单体用户数据的计算复杂性弱、单次分析数据量小的应用场景。如图4所示，流式任务执行模式的处理流程具体如下：

●第三方应用通过开放接口服务

输入外部数据，开放接口服务根据外部数据的类别将数据存储于大数据平台或分布式内存数据库。例如，将限定目标用户范围的数据存储于电信大数据平台，将用户属性的描述信息存储于大数据平台。

●大数据平台将单体用户或少量用户的数据提交给内存数据库。

●内存数据库调用嵌入式脚本进行数据分析，并保存用户数据。

●内存数据库将分析结果提交给开放接口服务，并由开放服务接口将分析结果开放给第三方应用。

●根据应用场景的需求，将分析结果持久化保存于电信大数据平台。

（2）批量任务执行模式

批量任务执行模式，由大数据平台完成数据

分析工作并开放处理结果，分布式内存数据库仅

提供快速数据查找、写入功能。适用于单体用户数据的计算复杂性强、单次分析数据量大的应用场景。如图5所示，批量任务执行模式的处理流程具体如下：

●第三方应用通过开放接口服务输入外部数据（与流式任务执行模式的外部数据输入要求一致）。

●电信大数据平台批量提交用户数据查询请求。

图4　流式任务执行流程

图5　批量任务执行流程

●内存数据库将用户数据批量返回给电信大数据平台，电信大数据平台进行数据分析。

●电信大数据平台将分析结果提交给开放接口服务，并由开放服务接口将分析结果开放给第三方应用。

●将电信大数据平台中最新的用户数据写入内存数据库中保存。

6　结束语

基于电信大数据的即时环境应用能力开放充分挖掘了运营商的数据价值，并为第三方应用提供业务便利，不仅可以作为一种收费业务模式实现大数据变现，更促进了运营商大数据生态环境的构建。

参考文献

［1］李政，李继兵，丁伟.基于大数据的电信运营商业务模式研究［J］.移动通信，2013（05）.

［2］王珊，肖艳芹，刘大为，等.内存数据库关键技术研究［J］.计算机应用，2007（10）.

［3］陈娜，张金娟，刘智琼，等.基于Hadoop平台的电信大数据入库及查询性能优化研究［J］.移动通信，2014（07）.

Openplatform with real-time environment application ability basedontelecommunication big data

ZHENGMing，WANGRong，YANGRui

Abstract:This paper presents an open platform of real- time environment application based on telecom big data，and researches on its framework and implementation mechanisms. This open platform fully extracts the value of mobile network operators’business data， and provides convenience for the third-party application. It is conducive to the ecosystem of telecom big data.

Keywords:big data； real-time environment； open platform

收稿日期：（2016-03-20）