大数据技术及在电信运营商IT 支撑系统的应用研究

2019-02-13赵新星

数字通信世界 2019年12期

赵新星

（江西省邮电规划设计院有限公司，南昌 330000）

被认作为“未来的新石油”的大数据，其中潜藏着巨大、可挖掘的信息价值，成为各国家新一轮战略争夺点，也成为社会业界关注的新兴焦点。英特尔中国研究院首席工程师吴甘沙说，“大数据是当前社会生命活动主要承担者”。就国内电信运营商而言，大数据时代大潮势不可挡，既有信息服务优势在浪潮下遭受冲刷，管理运营支撑力不足、终端掌控力不够、物业创新力滞后等问题逐渐显现。这就要求电信运营商与时俱进，紧跟时代浪潮，利用自身体系比较优势，深挖数据、整合信息，将大数据技术充分运用于IT 支撑系统构建、优化与完善，强化核心竞争力，进而实现稳定、可持续发展。

1 大数据技术基本特征

“大数据”其本质为一个数据集合。从此数据集合角度分析，无法运用传统数据库工具，对其进行抓取、管理与处理，究其缘由，关键在于其4V—体量（Volumes）、类别（Variety）、速度（Velocity）、真实（Veracity）基本特征。

一是数据体量大，就大数据而言，在实际应用中，其体量已达PB、EB 量级；二是数据类型多，数据来源广泛，种类、格式日益多样化，冲破既定结构化数据范畴，半结构化、非结构化数据囊括其中；三是数据处理快，基于数据超大体量，在数据存储、传输、增长、更新等方面依旧能实现实时处理，大数据信息运用极其高效；四是数据真度高，企业内容、交易、应用与社交等新数据源逐渐兴起，传统数据源主导格局被破除，就需要保证数据真实有效来确保企业信息安全[1]。

2 大数据技术主要内容

2.1 大数据处理技术

对海量数据有效处理，是大数据运用中至关重要的一个课题。静态数据批量处理、图表数据综合处理、在线数据实时处理，是目前大数据主要处理形式。针对大数据处理，相应处理系统也各自演化，各持特色，大体而言，呈现出三大趋势，一为降成本、提能效，数据引擎专用化；二为扩领域、塑生态，数据处理平台多样化；三为加速度、走批量，数据计算实时化。

2.2 大数据分析技术

要深入挖掘大数据潜在信息价值，针对地分析与计算不可或缺。大数据分析，基于深度学习、知识计算，再以可视化关键性技术呈现分析结果。其中，深度学习，将架构学习对象层次化并进行梯度表达，把抽象问题具象化，加深理解并有效解决；知识计算，从海量数据中进行价值化抽取，构建查询、计算知识库，进行高端分析；可视化技术，将数据信息转化为动态图形，实现交互式展示，助力理解与合理决策。

3 大数据在电信运营商IT 支撑系统的应用分析

3.1 数据产生

终端技术智能化、用户群体规模化、网络业务多样化，导致讯息数据海量化，给电信运营商IT 支撑系统带来极其严峻的挑战。就整个IT 支撑系统而言，其数据主要来自面向维护的设备层、面向管理的运维层、面向市场的用户层三大方面，主要由GPRS的Gn、Gi、Gb 接口，交换网的A 接口、Abis 口等传输。这就要求电信运营商基于常规的网络运营数据、用户基本信息，构建更为真实、更为全面的用户网上行为信息库[2]。

3.2 数据获取

在IT 支撑系统中，数据获取分为采集、预处理、传输三个步骤，其中，数据采集，主要通过DPI 数据采集器，依据指定周期、IP 地址，采集网络数据包，进行拆包处理，提取有价值信息；数据预处理，主要针对含噪、冗余、差异化的异构多源数据，以数据清洗、集成、冗余消除等方式，提质量，降传输、存储压力，确保分析结果准确；数据传输，数据经IP 骨干网到数据中心，完成存储。面对海量数据信息，大数据处理、分析技术将行之有效。

3.3 数据存取

讯息数据海量化、业务结构复杂化，传统数据库无法线性扩容，也难以满足非结构化处理要求，电信运营商存储、访问压力陡增，这要求基础存储空间更高性能、更大容量，更快吞吐。充分利用大数据技术，有效实现数据库线性扩容，从容应对存储需求，另外，也能满足非结构化数据处理要求，进而提升IT 支撑系统整体性能。

3.4 数据分析

数据分析，可应对非结构化数据，作用在于发掘数据价值。电信运营商依托IT 支撑系统优势，革新运营模式，创新出大数据分析服务，从而提升品牌影响力。基于大数据分析技术，完善数据发掘、统计分析、数据可视等整体流程，将数据封装为服务，转型为信息服务供应商，实施企业战略，精细运营、精准营销，强管理、增体验，提高市场占有率。

3.5 数据应用

一方面，构建企业内部统一数据运算分析平台，可提供企业级数据访问功能，直接控制数据实例，既能灵活扩展、配置，又降低投资风险；另一方面，基于大数据统一分析云平台，有效融入Map Reduce 架构与数据库存储，从而对半结构化、甚至非结构化数据进行高效化处理分析，基于此，客户能以数据驱动业务，实现成本控制、利润增长[3]。