运营商大数据技术应用研究

蔡娟

摘要：伴随着大数据时代的到来，数据已然成为企业乃至国家的战略性资产。针对大数据技术开展研究，既顺应了时代的潮流，也是各大运营商的社会责任。大数据在现实生活中的运用，是运营商在发展业务、推广市场的基础，更能体现企业的综合实力。如何将海量的数据进行快速且有效的处理，是当前运营商面临的关键问题。文章主要介绍了大数据技术的现状，通过对大数据技术优势与不足的分析，为运营商在大数据技术方面的应用提供参考建议。

关键词：运营商；大数据技术；数据处理；网络优化

中图分类号：TP311.13  文献标志码：A

0 引言

隨着互联网的快速发展，大数据已经成为运营商发展新业务的一大挑战。越来越多的行业逐渐被大数据渗透，如医疗行业的线上问诊、教育行业的线上课堂、旅游行业的云服务等，运营商可以利用大数据开展研究分析。一般来说，在传统的数据软件中，数据大小、复杂性往往无法计算，运营商用合理的成本，在可接受的时间内处理数据集。伴随着网络快速发展，大数据技术在互联网中应运而生。

1 大数据技术的优势与不足

1.1 大数据技术的优势特征

大数据技术在互联网领域的广泛使用，大大提高了企业的效率。移动运营商在大数据技术应用上的优势更加明显，具体表现在以下方面：

（1）庞大的用户数量。随着通信技术的发展，消费群体的需求也越来越大。截至目前，三大运营商的用户使用网络业务的数量已达13亿户。（2）大数据技术的时效性比传统技术更易突显。随着5G时代的到来，人们的日常生活与移动互联网结合起来。运营商最先拥有用户的行为数据，实时数据的更新保证了时效性。（3）大数据技术是运营商转型的新机遇。为了应对OTT竞争，运营商需要向数字化服务提供商转型。（4）提高了生产力。Syncsort在一项调查中发现，超过半数的受访者在进行数据分析工作的时候，往往会选择运用Hadoop或Spark等工具，以此来提高生产效率。分析师使用最新的大数据分析工具去分析数据，往往使得数据处理更加有效，从而提高个人的生产力。此外，这些分析所获得的见解，往往会使组织能够提高公司内部的整体生产力，并最终提高公司的效率［1］。

1.2 运营商在大数据技术应用方面所面临的挑战

（1）由于数据的来源广而杂，聚集数据较为烦琐。数据的形式多种多样，但是系统只能支持单一的处理方式，不能处理各种类型的数据，因此不能满足互联网的多样化。（2）商业模式尚未成熟，用户的基数过大，对这些数据的处理还存在一些难度。（3）投入与产出不相匹配。对大数据的热烈吹捧，使大数据超过了它本身的商业价值。运营商在时间方面往往存在一定的形式主义，一些专题为了追求创新，往往忽视了投入产出之比的分析，结果耗费大量人力物力的大数据项目的收入非常低。此外，由于对大数据技术的应用和理解仍处于初级阶段，运营商要将丰富的原始数据转化为生产力还有很大的困难，在数据获取和标准化方面将面临巨大的工作量。（4）运营仍存在一些风险。用户的隐私问题关系到他们自身利益，预言家梅尔分析了6种常见的解决方案，如数据适度和增强的隐私保护，但由于各种原因，对于大数据概念的冲突等，尚未有令人满意的方案。由此可见，运营商处理大数据的安全策略是非常重要的问题［2］。

2 大数据处理技术

2.1 Hadoop技术

Hadoop技术是一种分布式系统基础设施，主要处理大量数据的存储和分析计算。Hadoop技术具有以下优势特征。（1）可靠性高：可维护多份数据。当计算的元素或存储出现错误的时候，它不会把数据丢失。（2）高扩展性：Hadoop技术在进行数据处理的时候，会在集群间分发数据，它能够将数据轻松地扩展到数千个节点。（3）效率：它会采用并行工作，当采用并行工作的时候，数据任务的处理速度会有所增长。（4）高容错性：当任务失败的时候，Hadoop可以将任务进行重新分配。伴随着技术的成熟，基于Hadoop技术，及时查询数据处理技术也逐渐开始发展。Hadoop主要适用于大规模的网络数据采集、处理、存储以及交换，支持PB级存储容量。

2.2 MPP技术

MPP技术是指将任务并行的数据，进行分散，将数据分别分散到多个服务器和节点上，在节点上进行计算之后，将各个节点上的结果全部汇总到一起，最后得到一个最终结果。MPP技术适用于大数据处理，以及多维度数据的自助分析等。MPP技术适合结构化数据深度的分析、数据的复杂查询，它不需要进行定制以及专门开发。但是相比较Hadoop而言，MPP技术可以降低成本。MPP比较适用于海量数据的分析和存储。通过数据压缩等技术，最小化大数据场景的磁盘，以提高数据的查询效率［3］。

2.3 流计算技术

对流数据进行的实时计算，应用于各种场景。淘宝等大型网站会实时产生大量的流媒体数据，包括搜索内容、浏览记录等数据。利用流计算技术进行实时分析，可以比较容易了解网站的流量变化，甚至通过分析浏览轨迹，向用户推荐个性化内容。然而，流计算仅适用于处理一些连续到达的流数据，对数据处理的实时性要求很高。

综上，当前主要使用的大数据技术结构如表1所示。

3 基于大数据技术运营商的应用实践

用户在进行网络业务时，感知到的体验信息和运营商的实时运营信息都属于大数据。运营商应当拿起大数据这个有力武器，让企业的发展决策、市场拓展、技术提升、网络建设都更加科学化，实现大数据对于自身发展的全面支撑。

3.1 移动互联网业务的感知评估方法

移动互联网服务是典型的“20/80效应”，覆盖了大多数用户。研究表明，多数的流量是用户在使用应用程序的时候产生的，比如网络浏览、视频以及通信等。然而，虽然业务的类型不同，但是它们都出现了较为明显的拖尾效应，前面多种方法可以覆盖大多数情况。在此基础上，运营商主要通过分析用户在网络浏览、视频和通信过程中感知到的影响因素来分析移动互联网服务的整体情况。

3.1.1 网页浏览类

DNS（Domain Name System）延时：不易于被用户感知到。

TCP（Transmission Control Protocol）延时：用户往往不易感知到。

页面访问的成功率：用户在进行页面访问时，往往能够比较容易感觉到，但是，用户愿意等待页面打开的时间是有限的，当网页访问的等待时间太长的时候，即便页面能够访问，在有效的时间以外的时候，用户可能会提前将页面进行关闭。

首包延时：用户可以在网页的页面上看到响应，用户很容易感知。

页面打开延时：从访问页面开始，一直到页面打开这段等待的时间，用户往往最容易感知到。

3.1.2 视频类

播放延迟：用户可以很容易地感觉到播放延迟，因为播放的延迟往往会与下载的速率和播放的软件的緩冲区大小有关。而处于终端的客户端在使用的过程中往往更容易检测出来，这与下载的速率有很大的关系。

视频卡顿：视频卡顿与视频下载的速率、播放视频的软件的缓冲大小以及节目源流速率有关。

下载速度：往往较为容易监测，下载的速率在很大程度上能够反映视频播放的感知情况。

3.1.3 即时通信类

消息发送和接收延迟：用户很容易感知，但即时消息应用程序的准时性决定了用户对消息发送和接受延迟不敏感。

消息上传、下载速率：用户不易感知到消息的上传、下载速率。原因是属于即时通信类的应用在使用过程中主要以小流量应用为主，而在这种情况下，对于消息的上传、下载速率不是非常敏感。

消息的发送、接收成功率：消息是否能够成功发送或者接收，用户会在第一时间内感知到，这体现了用户的核心诉求［4］。

3.2 移动互联网业务感知指标采集以及建模分析

为了获取网页浏览类、视频类以及即时通信类的关键质量指标，在SGW侧部署的深度包检测与监控系统中，捕捉用户在使用互联网业务时，所产生的数据的关键质量指标，及时地掌握用户体验，建立用户业务感知到的评估模型。同时，进行数据的收集，获取到用户端到端的关键质量指标，通过对用户的端到端关键质量指标进行回归分析，验证用户业务感知的综合评价模型，从而能够获得较为稳定客观的感知评价模型。

App测量点一般部署在用户终端上，可以收集用户真正感知到的关键质量指标，但由于数量有限，往往属于样本数量较少；网络侧经常部署深度包检测和监控点，它们可以收集用户使用所有服务时的关键质量指标，并将两者结合起来构建用户业务感知的综合评价模型。

3.3 移动互联网业务感知评估实施以及效果的有效性评估

根据全网服务感知到的综合评价模型，可以随时随地地进行计算和分析，掌握全网用户的感知情况。针对部分用户感知较差的区域和时段，运用技术进行端到端关联和逐层分析，找出导致用户在使用移动互联网业务时所感知不良的原因，从而有针对性地开展移动互联网业务的整改工作。

根据移动互联网业务的网络拓扑结构和业务流程，对用户使用移动互联网业务时的关键质量指标进行映射，分步分解运行于网络设备指标、无线网络关键性能指标、信令监测计算，生成关键质量指标/关键性能指标（KPI）和关键性能指标（KPI）承载网络，核心网络管理关键性能指标（KPI）和深度包检查系统生成的计算/关键性能指的是关键质量指标标准［5］。

将用户数据的关键质量指标映射到网络运营指标的关键性能指标中去，以达到监测和优化移动网络业务的网络运营指标，从而提高互联网服务意识。移动互联网商业的感知指标在进行应用评估的时候，通常是从用户感知到的指标采样、提取、建模到关键质量指标再到关键性能指标的分析，利用大数据平台中的数据，基于大数据平台的大量数据进行存储和分析，从而证明大数据技术平台对各种数据应用的支撑能力。

4 结语

大数据技术进行商业化是运营商开发额外收入的新举措，对运营商的战略转型起到了举足轻重的作用。在大数据时代，运营商需要加快数据服务转型，在遵守我国的法律法规的前提下，寻求商业模式创新和业务创新，提升客户感知，推动互联网不断向前发展。传统的数据规划以及服务优化往往得不到解决，大数据技术的应用为运营商提供了新的方式，通过信息服务的输出来降低成本，能够为运营商带来利益。然而目前大数据技术还未达到成熟的水平，大数据技术的可靠性和规范性仍有待加强，以大数据为基础进行商业模式的发展还有待进一步进行探索。运营商利用大数据优势整合整个行业的移动互联网数据或者提供特供性质的数据服务都是有待探究的新方向。

参考文献

［1］廖锋，成静静.大数据技术及在电信运营商IT支撑系统的应用研究［J］.数据通信，2016（2）：32-35，42.

［2］刘力铭，孟昉.大数据背景下的移动运营商内容精细化推送技术应用研究［J］.纳税，2017（35）：131-132，134.

［3］宋安平.运营商大数据分析应用及技术展望［J］.通讯世界，2017（17）：82.

［4］覃文.运营商大数据对外跨业合作技术研究及应用［J］.广西通信技术，2015（3）：17-21.

［5］宫云平，向勇，严宇.运营商网络运营大数据应用实践研究［J］.移动通信，2016（4）：87-91.

（编辑 李春燕）

Research on application of big data technology for operators

Cai  Juan

（Guangzhou Vocational and Technical University of Science and Technology， Guangzhou 510005， China）

Abstract：  With the advent of the era of big data， data has become a strategic asset of enterprises and even countries. Research on big data technology is not only in line with the trend of the times， but also the social responsibility of major operators. The application of big data in real life is the basis for operators to promote the market when developing their business， and it can better reflect the comprehensive strength of the enterprise. How to process massive data quickly and efficiently is a key issue facing operators today. This paper mainly introduces the status quo of big data technology， and provides new reference and suggestions for operators in the application of big data technology by analyzing the advantages and disadvantages of big data technology.

Key words： operator; big data technology; data processing; network optimization