大数据时代的移动通信数据经营支撑体系

2021-07-02张妮

通信电源技术 2021年5期

张妮

（华信咨询设计研究院有限公司，浙江杭州 310052）

1 大数据技术通用方法

大数据技术就是对海量数据的处理，在分析、汇总以及深度挖掘关联度的过程中获取具有价值的信息内容，从而支持对应行业规划的制定。在大数据技术体系内，要借助数据统计和数据挖掘等手段，凭借建模思想有效提升数据应用的效果。目前，大数据通用分类法主要分为以下几点。

1.1 Hadoop处理法

利用分布式计算平台，在落实PC Server集群部署工作内容后就能搭建分布式计算框架和存储结构，从而有效结合不同应用场景落实相应工作，维持综合运算分析的实效性。其中，云化ETL是较为有效的数据信息管控流程，结合图1所示的Hadoop流程和ETL规则就能提高数据抽取和转换的效率。

图1 Hadoop流程示意图

1.2 Spark处理法

Spark是近几年应用新兴的分布式计算平台体系，能结合内存情况完成计算框架的处理，并且能大大提升应用效能，一般会应用在迭代计算场景中，为其他算法应用降低难度。

1.3 MPP数据库

在技术应用过程中，从用户的角度出发建立服务器应用系统，基于PC Server集群部署分析模式，有效建立不同的技术用户应用场景，利用数据库中数据关联度提高节点的访问效率，充分扩充内存资源。

利用不同的数据处理模式就能搭建更加完整的数据信息管控平台，为数据应用管理提供良好的支持，保证综合节点互联应用效果最优化[1]。

2 大数据时代移动通信数据经营支撑体系的设计

在大数据技术支持下的移动通信数据经营支撑体系要整合具体的信息资源，确保技术应用方案的合理性和规范性，并有效提高分析系统功能的应用水平，实现经济效益和社会效益的和谐统一。

2.1 整体功能框架

为了维持数据流量运营分析系统运行的综合效果，就要结合功能应用要求完成对应层级结构的处理，基于VGOP功能建立扩展应用模块，将业务监控和运营支撑等功能融合到常规化管理模式中，最大程度上提高系统综合管理的水平。结构示意图见图2。

图2 结构示意图

2.1.1 基础层

基础层是整个数据流量运营分析系统的底层结构，完成最原始的工作内容，保证各类基础管理和监控要点都能落实到位，并且主管流量关键信息的维护处理。其中，用户管理和日志管理以最基本的周期记录为要点，满足日常信息和数据的录入要求。

2.1.2 解析层

解析层利用智能处理技术分析用户行为，从而开展相应的事件响应处理。值得一提的是，智能用户行为分析功能能建立面向所有用户安装应用、终端信息以及内容信息等关联数据的分析。而对应的智能用户事件响应处理就是为在全面分析后为客户提供更加精准的信息推送，保证内容数据和软件推荐等服务内容都能满足适配性要求[2]。

2.1.3 分析层

分析层主要是利用深度分析和主题分析两个基础分析过程，有效扩展网元自动化监控模块，保证多系统流量对比监控工作更加有效且完整，最大程度上保证深度分析管理的综合效果。

2.1.4 运维层

运维层是整个系统的最高层级结构，也是多项重点应用模型的管理层级。其中，运营支撑模块就是利用场景配置管理以及实时性静态用户群匹配处理，并且配合营销执行方案和结果评估的闭环支撑体系，实现经济效益的最大化。

2.2 深度监控模块功能

主要是建立具有实时性监控的应用体系，能汇集不同的数据源，从而有效完成信息管理，具体信息涉及用户的上网访问信息和使用终端行为内容等，尤其是对客户订购套餐的实际使用情况等数据进行集中汇总，结合客户的行为内容挖掘基本属性和扩展属性，从而为后续结果固化处理和应营销活动计划的开展提供保障[3]。

2.2.1 业务指标监控功能

业务指标监控功能主要是监督客户的移动数据流量信息，并且对异动情况予以实时性告警处理。一般会实时性分析使用用户数、流量数据、漫游流量以及套餐内外流量等，将业务类型和套餐类型作为维度，按照小时、日及月为基础周期节点，全面配置业务具体指标和告警阈值，从而提升分析实效性。

2.2.2 用户通信圈的实时性监控分析

主要是对用户近阶段好友通新情况进行集中汇总，有效分析业务订购情况，一般将周期设定为月。在分析输出结果中，主要涉及主号码、对端号码的来话次数、对端号码的去话次数、对端号码的短信接收次数、对短号码短信发送次数、对端号码经常访问内容联动情况、对短号码的换机情况以及对端号码的业务订购情况。

2.2.3 设置搜索关键字跟踪分析

设置搜索关键字跟踪分析主要是对已经设定的渠道进行分析，着重关注用户搜索的关键字，并且依据关键字搜索次数进行集中分析和数据排名，指定推送相关信息，一般其生成的周期设定为月[4]。

2.3 用户关联场景模块

在互联网技术不断发展的时代背景下，智能终端的普及率也在不断提高，为了全面提升电信运营商的市场竞争力，就要在全面升级服务平台的同时，针对数据经营支撑体系予以多元管理。针对面临的被管道化风险，要补偿管道价值，利用运营商优势架构更加合理完善的控制方案[5]。相较于互联网平台，电信服务商在获取用户行为数据方面具有一定的便利性，因此要借助大数据技术进行数据的深度挖掘，满足精准产品推荐工作的同时保证能建立基于规则管理要求内的营销服务内容，确保营销场景处理的最优化。

首先，结合规则营销要求准确评估符合具体营销内容的用户，并且搭建有效的平台体系，及时建立无缝衔接体系，维持营销方案的合理性和规范性。其次，建立实时性匹配的静态用户群管理体系，确保能结合不同场景分析方案自动了解用户的属性内容，建立动态规划和静态用户执行营销活动方案。最后，在不同营销场景分析过程中要具备评估执行优先级的作用，审核者确认优先级内容后，保证活动执行的匹配度满足综合管理标准，并且尽量实现统一管理。

例如，结合流量分析平台获取的信息数据内容向用户推荐喜好度较高的App，保证特定营销推广的及时性，也为自由App使用效率优化提供保障，为用户流量管理和营销执行处理工作的顺利落实奠定基础。其中，用户使用总时间超过多少后制定营销方案或者是用户使用流量超过多少后制定营销方案是关键，要保证场景配置功能的及时性和规范性，就要提升配置的合理性[6]。业务自动配置效果示意如图3所示。

图3 业务自动配置效果示意图

3 大数据时代移动通信数据经营支撑体系的实现

在全面分析对应技术内容和设计要点后，就要结合技术应用要求规范落实具体方案，本文采取的是对开源Spark平台模式予以深度优化，配合Hadoop生态组件，建立优化整合的体系基础方案，建立运算评估和存储功能贴合用户实际需求的大数据计算平台[7]。

3.1 结构

在集成Spark计算引擎的基础上，支持R语言完成大数据深度挖掘。并且，配置解析器、优化器以及执行器，利用高级语法等基础技术内容完成信息的分析。与此同时，整体经营支撑体系会对差异化数据予以针对性处理，保证开发部署和执行效率都能满足应用要求，且系统资源的合理性权限开发工作符合应用标准。

Manager模块实现安装、部署、配置以及监控访问控制等基础功能，并且能对异常信息予以告警分析。Sqoop模块建立关联数据ETL工具处理模式。Flume模块完成日志数据信息收集处理，并且筛查日志关键字。Spark MLlib配合Spark分布式内存计算框架就能建立数据挖掘结构，并支持R统计语言。Hive模块支持Inceptor交互式数据仓库的应用要求。HBase模块能建立实时性分布式数据库，支持多维应用系统运行要求。Zookeeper模块满足分布式动作服务应用要求，匹配HDFS分布式文件系统。此外还会搭配BI/报表系统、数据库以及Storm流式计算框架等工具系统，有效建立完整的数据经营支撑体系[8]。

3.2 平台数据流

一般而言，在利用经营支撑体系进行数据获取的过程中，基础性的数据流主要分为经分仓库数据、WLAN数据、Gn口数据以及话务网管数据等，结合配置模式和运行指标体系就能建立完整的数据控制机制。与此同时，匹配Spark平台未完成数据采集和分析，并且按照处理层运行SQL、展示层分析底层数据的方式对数据予以分发和对接。除此之外，利用分布式计算搭建云平台处理海量数据的同时，还能结合用户行为分析模式完成精准营销，最大程度上提高数据处理和分析的时效性。其中，管理层是对元数据予以管理，并且满足接入平台管理和调度任务管理要求。处理层则是进行数据抽取、数据转换以及数据装载。服务层则利用接入平台服务和元数据服务等服务模块最大程度上提升用户行为信息分析的准确性[9,10]。