基于Hadoop技术的电信大数据分析平台的设计分析

2017-06-15莫加亮

网络安全技术与应用 2017年6期

◆莫加亮

◆莫加亮

（广东省电信规划设计院有限公司广东 510630）

21世纪以来，随着计算机网络技术的快速发展，网络云计算技术也更加日益成熟，其中大数据更是渗透到现代社会的各个领域，给我们的生产生活带来了极大的便利。目前，由于我国网络通信技术的不断发展，每天的网络终端都会产生庞大的网络数据，数据处理压力十分巨大，这就为网络云计算技术提供了很好的发展平台。对此，本文将以网络大数据为出发点，具体分析和探讨基于Hadoop技术的电信大数据分析平台的相关设计。

Hadoop技术；网络大数据；设计分析

0 前言

随着信息技术的迅猛发展，人们的生活方式和消费模式发生了巨大的变化，这些都大大依赖于移动网络的发展。移动网络技术最明显的优势就是能够将海量的信息资源整合在一起，然后经过数据分析再将信息资源传递给广大网络用户，因此对于网络数据的分析是了解和掌握用户的网络消费特点的重要依据。由于目前移动网络用户数量的激增，使网络终端的数据收集和分析的压力十分巨大，再加上当前大量的商品厂家加入到商品信息网络终端上来，例如现在的美团、饿了吗等网络平台，就更加给网络数据信息的收集和分析带来巨大的技术挑战。面对这些大数据问题，计算机云技术为其提供了一个很好地处理平台，它能够及时有效的对网络大数据进行深度的分析和处理，其中，Hadoop是相关子项目的集合，Hadoop Common、HDFS和MapReduce是其核心，补充性服务由其他子项目提供，技术栈如图1所示。作为一个典型的大数据处理技术，Hadoop已经被广泛的应用到电信大数据分析处理当中，并且取得了很好地应用效果。由于移动通信的不断饱和，基于Hadoop 技术的电信大数据将会有很大的发展空间[1]。

图1 Hadoop技术栈

1 基于Hadoop技术的电信大数据分析的主要研究内容

所谓的Hadoop技术就是一个分布式系统的基础框架，主要是用来对网络大数据进行分布式分析和处理，将此种数据处理技术应用于电信大数据处理分析当中，大大提高了数据处理效率，其主要研究内容具体包括以下几个方面：

（1）为了更好地对网络流量数据进行收集和分析，Hadoop技术在原有的计算机系统上设计了一个离线流量分析系统。该系统可以对流量数据进行随时随地的监控和分析处理，这大大提高了数据处理效率。

在该系统下，Hadoop技术又分离出一个流量日志分析系统来对交通数据进行准确处理，简称FLASH。该处理系统有许多的技术优势和特征，具体包括以下三点：第一，该系统在结构化或半结构化的数据分析上具有很大的处理优势；第二，该系统中的闪存能够对流量数据进行准确的记录和存储，因此它可以为交通监控系统收集镜像包；第三，对于数据的模块分析和处理，相关网络开发人员研究了一个对语言进行系统分析和处理的分布式应用程序，以此来简化数据分析流程。

（2）为了更高效的对网络大数据进行系统的管理和监控，基于Hadoop技术之上，相关研究人员又设计了一个云计算监控系统，其主要目的就是管理电信网络终端的大数据信息资料[2]。

对于网络用户的所有信息资料能否做到安全且严格的保存和处理一直都是用户在使用电信网络时所担心的一个问题。针对此种现象，技术人员设计了一个集群监控系统zoomanager，通过这种信息保护系统，能够对云计算大数据系统做有效细致的管理和监控，另外在一定程度上它也可以对有关数据进行优化，即它可以通过特定的数据算法来收集有关数据内容并根据不同的数据标准将其进行分类处理，这样就会很容易发现数据处理中的问题，便于及时做出纠正。

（3）在处理电信大数据的过程中，为了更好地简化Flash和Hadoop集群，相关网络技术人员设计出了一种以MapReduce为网络平台基础的云计算信息平台，主要是利用它来预估CPU的使用效率以及在进行数据收集过程中构造数据资源的消耗模型。

（4）在整个互联网网络系统中，包含许多小的网络系统，对于电信运营商来说，所有的电信网络使用者的所有信息资料就组成了一个庞大的电信网络系统，对此，网络技术人员设计了一个专门为电信网络使用者所服务的用户服务器网络图，其中网络物理结构是其构建的基础。

2 基于Hadoop技术的电信大数据分析的主要特点

2.1拥有互联网海量数据处理构架

在Hadoop技术基础之上，相关设计人员针对大规模的网络数据存储专门设计了一个网络云计算平台，其中对于网络数据的处理主要包含数据的采集、存储、处理以及交通安全检测，且这几个流程依次进行，最终完成对网络数据的全方位处理[3]。云计算技术的运用使得数据安全检测效率得到大大提升，数据处理质量也明显提高。

2.2拥有分布式故障检测的数据采集机制

在电信大数据处理过程中，数据的采集是第一个环节，因此必须要保证数据的真实性才能确保之后的数据处理工作的顺利开展。针对数据采集中所出现的困难，技术工作者建立了一个分布式故障检测机制，该机制包含节点检测以及处理算法检测等检测方式。该机制有效避免了许多网络数据的模糊性，实现了对数据收集的动态检测，确保了数据的准确性和真实性。

2.3拥有能够进行动态存储分配的算法

对电信大数据进行不同的数据存储算法会产生不同的存储效果，因此，技术人员提出了动态存储分配算法，该算法主要是在节点性能评价的基础上对数据进行有效存储，在此过程中需要使用一些节点参数来存储数据，并根据节点性能的不同来对数据进行不同的分布式存储，实际应用表明，这确实提高了数据存储效率。

2.4拥有以异构云环境为基层的动态推理算法

在大数据处理的所有流程当中，处于中心环节的是数据的处理和分析，它的好坏直接影响电信大数据的整体性能，因此必须要将数据的处理分析提升到一个更精确地位置。目前，在计算机网络中，云计算集群虽处于构建阶段，但其硬件水平却在不断提升且速度较快，然而这容易导致节点性能的差异性[4]。针对此种情况，相关设计人员提出了以异构云环境为基础的动态推理算法。