网络大数据系统运营体系研究

张文彬 陈文 张立彬

摘  要：随着无线网络从2/3G到4/5G的演进和日益复杂，以及移动网络用户数的快速增长和用户业务的多样化，无线网络数据也随之不断增大到海量，无线网络建设、维护、优化及指标分析也面临着新的挑战。基于“核心+前置”架构建设的网络大数据系统，开展网络大数据采集、运营体系研究和运营能力建设，形成上下统筹、协同运营的一体化运营体系，助力开展网络大数据分析和各种应用支撑。

关键词：网络大数据;建维优一体化;大数据平台;指标分析;应用支撑

中图分类号：TP393      文献标识码：A文章编号：2096-4706（2021）22-0071-05

Abstract： With the evolution of wireless network from 2/3G to 4/5G and its increasing complexity， as well as the rapid growth of mobile network users and the diversification of user services， wireless network data is also increasing to a large amount， wireless network construction， maintenance， optimization and index analysis are also facing new challenges. The network big data system constructed based on the “core + front” architecture will carry out network big data collection， operation system research and operation capacity construction， forming an integrated operation system with overall planning from top to bottom and collaborative operation， and facilitating network big data analysis and various application support.

Keywords： network big data; integration of construction， maintenance and excellence; big data platform; index analysis; application support

0  引  言

随着网络大数据运营的逐渐深入，集团大数据平台已采集无线MR、CDR，移动DPI，固网DPI等多类网络数据。同时伴随接入省份的增多，数据体量不断增大，关联计算资源消耗大，数据实时性难以保证，带宽也面临严峻考验。所以运营体系架构下沉到各省，组建31省运营团队。数据和应用分离，使得网络大数据系统具有高度的灵活性，能够快速地定制所需要的数据及表现形式，提高数据分析和应用支撑效率。

无线网络大数据系统建维优一体化项目是在集团层面建设全国统一的建、维、优一体化的专家系统，实现集团集中建设、全国分级使用的网络大数据集中化，提升资源的合理配置，减少重复建设造成的投资浪费，同时助力开展网络大数据指标分析，支撑各种应用，将会产生很大的经济效益。无线网络大数据建维优一体化项目建成的建、維、优一体化的专家系统，完成了通信行程卡、基站节能、无线精准投资规划、高速高铁监控、校园场景监控、质差区域优化、质差用户分析等应用的支撑。

网络大数据系统运营体系研究

1  网络大数据系统总体架构

无线网络大数据建维优一体化系统实行集中一体化部署方案，基于“核心+前置”，前置预处理采用集团统一规划、统一设计、分省部署建设方案。总体框架如图1所示。

无线网络大数据建维优一体化系统总体架构如图2所示，由前置管理节点和前置处理节点两部分构成。

前置管理节点包括统一任务调度、配置中心、运营管理和系统管理四部分能力。统一任务调度通过统一计算引擎实现网络数据前置预处理的预处理业务算法下发和分层任务调度;配置中心对应用参数配置、数据质量稽核规则和数据生命周期规则进行配置和管理;运营管理通过消息接收能力实现集群资源、主机服务和数据质量的监控;系统管理提供统一安装部署能力，对程序版本进行管理，并对用户功能访问、数据权限进行配置管理。

前置处理节点包括前置任务管理、数据预处理、数据采集、数据稽核、运营管理和系统管理能力。前置任务管理对任务进行实例化，并对任务进行协同调度执行，执行结果可通过任务监控查看;数据采集和预处理将原始数据入库HDFS文件系统，通过任务调度对原始数据进行清洗过滤、关联回填、增加定位信息等;运营管理定时采集系统运行的各项指标信息，并将平台运行情况上报给前置管理节点;系统管理接收前置管理节点的指令信息，在前置节点中实施安装部署、版本管理和权限管控。

平台架构特点如下：

（1）基于采集汇集的分层架构协同统一，采用分层协同调度管理，前置预处理由集团统一管控，部署和运维，具有逻辑集中调度前置预处理处理能力。

（2）数据直接在前置处理节点处理，构建“边缘计算+分布式存储”的前置预处理架构，减少数据上传带宽消耗。

（3）数据交互量大，数据处理复杂，上下游交互复杂，需要有稳健可行的上下游交互规则。

（4）具有职责分工明晰的前置预处理流程，涉及集团与省公司等多方负责人员，便于运维管控工作。

（5）全流程监控保障前置数据采集，横向具备关键采集环节梳理及监控，纵向能够穿越业务层和主机层监控，建立端到数据质量管控体系和全流程的运营体系。

2  网络大数据系统技术架构

基于网络大数据系统平台建设原则和总体框架设计要求，平台采用基于分布式技术的组件构建，技术架构如图3所示。

无线网络大数据建维优一体化系统技术架构采用“逻辑统一、物理分散”的架构设计，包括前置管理节点和前置处理节点两部分。前置管理节点采用分布式架构设计，将算法文件下发到31省前置预处理平台，在各预处理平台进行任务实例化和分层协同调度，实现数据处理、分析和查询等能力。前置预处理平台使用Hadoop开源生态组件，通过前置任务执行调度批量计算能力和实时计算能力。满足统一计算引擎实现各种计算能力SQL封装。

关键技术如下：

（1）元数据管理：基于元数据管理，支撑标准化数据访问、互操作，分层协同任务调度。

（2）分层协同任务调度：即前置管理节点下发算法文件到31个省前置处理节点，前置处理节点将算法任务实例化后，将计算指令调度到具体的计算节点进行计算。

（3）统一计算引擎：前置管理节点将算法下推到前置处理节点，实现总部统一管理算法，省份分别调度计算。

（4）网络传输：通过数据压缩、断点续传等技术，提供高效、可靠的数据传输服务。建立命令和数据双通道，避免阻塞，充分利用带宽。

（5）全网监控服务：实现前置管理节点和前置处理节点的物理节点和计算任务的监控。

（6）权限管理：负责全网的功能权限、数据权限、角色权限、区域权限等的管理。

3  网络大数据系统组织架构

集团和各省设立网络大数据系统专职运营团队，规范化运作，全面提升数据处理和共享能力，为数字化转型提供高质量大数据支撑服务。网络大数据系统已经接入4G、5G及统一DPI等网络数据，形成了无线网络数据接入、处理、共享能力，除支撑建维优一体化应用需求外，逐步为集团及各省分公司提供數据和能力共享服务。

网络大数据系统组织架构特点主要有：

（1）设立集团和各省专职运营团队，建立端到端运营支撑，规范运营基本动作。

（2）完善可维可测工具，实现系统基础运维自动化、前台化，提升系统运维效率。

（3）落实运行维护机制，保障系统软硬件运行稳定，全量数据稳定接入、高效处理，持续提升数据质量。

（4）优化用户支持模式，及时响应、处理集团、省分各业务需求单位的数据共享需求和技术咨询。

4  网络大数据系统集群监控平台

网络大数据系统集群监控平台是基于Hadoop的一个大型的、分布式的数据存储和处理的基础设施，平台架构如图4所示。Ambari服务器（server）、代理（agent）和基础设施组件提供了对集群中主机的操作控制以及集群访问的管理控制。Ambari Web显示已经安装的服务的摘要、图形和告警等信息。使用Ambari Web可以创建和管理集群，执行基本的操作任务，例如启动和停止服务、添加主机和服务到集群，并更新服务配置。Ambari服务器从整个集群中收集数据。每个主机都有一个Ambari代理（agent），允许Ambari服务器控制每个主机。Ambari Web是一个客户端的JavaScript应用程序，它调用Ambari REST API（可从Ambari Server访问）去访问集群信息并执行集群操作。浏览器和服务器之间的通信使用REST API异步进行。

如图5所示，通过网络大数据系统集群监控平台可视化界面展示数据情况，以及自动化稽核流程和标准化工作流程等，组织协同31省完成网络大数据系统数据质量稽核工作。数据质量核查工作分别从以下三个方面完成。完成4/5G、VoLTE、物联网、固网HTTPGET/AAA、移动DPI接入的原始数据质量监控;完成网络数据处理系统各类型、各环节数据异常监控、自动告警并进行汇总呈现、状态跟踪;完成各主要环节数据多维度统计分析，对数据发生异常的原因进行精准定位，指导维护人员快速解决问题。

5  网络大数据系统数据应用支撑

网络大数据系统核心赋能，为集团大数据应用建设提供数据支撑。网络大数据建维优一体化项目建成的建、维、优一体化的专家系统，完成了通信行程卡、基站节能、无线精准投资规划、高速高铁监控、校园场景监控、质差区域优化、质差用户分析等应用的支撑。

5.1  通信行程卡

自2020年初疫情暴发以来，通信大数据行程卡系统对疫情防控工作发挥了极其重要的作用。为了“通信行程卡”能覆盖所到所有的用户，通过网络大数据处理系统整合2/3G的OIDD信令，VoLTE信令数据，4G信令数据以及5G网络的相关信令数据，确保了每个用户的行程轨迹能够不被遗漏。

中国电信面对全网3.62亿的移动网用户数和海量的信令数据，为了让“通信行程卡”能准确呈现出用户的行程轨迹，在数据治理上进行了大量的研究和投入，组织全网协同，对数据质量进行提升。自通信大数据行程卡正式面向公众提供位置查询服务以来，中国电信的行程轨迹数据累计调用达到26.9亿人次、日均311万人次，尤其2021年8月份疫情在全国多点爆发，访问量突增，8月份日均调用次数达2 438万次，为国家疫情防控工作做出了巨大的贡献。

5.2  基站节能

基于网络大数据系统基础数据统一打造的基站智慧节能系统现已于15省部署推广，4G基站节能，平均节能效率达10.7%，5G基站节能，平均节能效率达20.2%。节能小区发现率由传统静态节能的10%提升至40%，有效扩大节能小区规模，充分挖掘节能潜力，减少基站运维成本。

6  结  论

文章基于“核心+前置”架构建设的网络大数据系统，开展了网络大数据采集、运营体系研究和运营能力建设，形成上下统筹、协同运营的一体化运营体系，实现了集团集中建设、全国分级使用的网络大数据集中化，提升资源配置合理性，减少了重复建设造成的投资浪费，同时助力开展网络大数据指标分析，支撑各种应用，将会产生很大的经济效益。本文所论述的无线网络大数据建维优一体化项目建成的建、维、优一体化的专家系统，完成了通信行程卡、无线精准投资规划、高速高铁监控、校园场景监控、质差区域优化、质差用户分析等应用的支撑，具有非常好的发展前景。

参考文献：

[1] 纪冲，刘岩.基于半监督深度学习法的网络大数据集成挖掘 [J].计算机仿真，2021，38（7）：313-316.

[2] 段玉琴.大数据时代继续教育平台建设研究和实践 [J].继续教育研究，2021（8）：5-7.

[3] 盘善海，裴华.高安全等级网络安全防护体系研究与设计 [J].通信技术，2021，54（7）：1715-1720.

[4] 李鹏举.大数据背景下计算机信息安全体系研究 [J].数字技术与应用，2021，39（6）：183-185.

[5] 陈亚科.基于大数据时代下的计算机网络安全研究 [J].网络安全技术与应用，2021（5）：159-161.

[6] 夏利玲.基于大数据时代计算机网络安全技术应用与研究 [J].网络安全技术与应用，2021（4）：161-162.

作者简介：张文彬（1985—），男，汉族，工程师，大数据项目经理，毕业于北京邮电大学，工学学士，研究方向：通信网络规划、建设、维护、优化，大数据运营;陈文（1974—），女，汉族，工程师，大数据项目经理，毕业于北京大学，工学学士，研究方向：通信网络规划、建设、维护、优化，大数据运营;张立彬（1986—），男，汉族，工程师，大数据项目经理，毕业于吉林大学，工学硕士，研究方向：通信网络规划、建设、维护、优化，大数据运营。