大数据分析在移动通信网络优化中的应用分析
2020-01-01宁静
宁 静
(武警陕西省总队参谋部,陕西 西安 710054)
0 引言
近年来,移动通信技术的开发与应用极大地推动了武警部队移动通信网络建设的进度,为复杂环境下移动通信功能的保障提供了强有力的支持。大数据技术作为新兴的信息化技术类型,除了可以丰富武警部队移动通信网络应用的功能以外,还为移动通信网络的持续优化提供了科学的技术指导。然而,由于当前大数据分析技术尚处于应用探索阶段,与武警部队移动通信网络优化的结合并不全面也不深入,需要通过进一步的应用研究来深化该技术在武警部队移动通信网络优化中的应用。
1 大数据分析技术
大数据分析技术是在一系列技术的支持下,实现数据信息的挖掘、分析与利用。在当前环境不确定性持续增加的背景下,大数据分析技术的产生和应用为相关主体准确把握问题节点和问题症结,制定和采取有效的问题解决策略提供了良好的基础支持。综合来看,大数据分析技术的核心技术内容主要有以下四个方面:
(1)数据采集技术。数据采集技术是对海量结构化和非结构化的数据进行收集的技术类型。目前,数据采集技术的应用主要在于数据库数据的采集、网络数据的采集和文件数据的采集等方面。其中,数据库数据采集是通过Sqoop、ETL、MySQL、Oracle等数据库进行数据的抓取;网络数据采集是通过Web爬虫或者网站的公共API,从网页中获取一些非结构化或者半结构化的数据,并将这些数据的结构统一为本地数据结构;文件采集是通过实时文件采集与处理技术flume、基于ELK的日志采集、增量采集等进行数据的获取。
(2)数据预处理。数据预处理指的是在开展大数据分析之前,先对通过各种途径收集到的原始数据进行清洗、集成、转换、离散和规约等处理,使各种类型的数据达到大数据分析所要求的最低规范和标准。其中,数据清洗是指对原始数据中存在缺失、错乱等问题的数据进行填充或者消除,提高数据的质量;数据集成是将来自多个方向的数据进行合并处理,消除重复性、重叠性的数据;数据转换是将来源不同的数据进行属性转换,使数据保持类型、结构等方面的统一、规范;数据规约是通过寻找依赖于发现目标的数据来缩减数据的规模,从而实现在保持数据原貌的前提下,最大限度地精简数据的规模,提升数据分析的效率。
(3)数据存储技术。数据存储是指以数据库的形式存储采集到的数据,在数据存储中,数据库是存储载体。目前,大数据存储的技术路线主要有三种:采用MPP架构的新型数据库集群、基于Hadoop的技术扩展和封装、大数据一体机。其中,采用MPP架构的新型数据库集群主要采用SharedNothing架构,通过列存储、粗粒度索引等技术,结合MPP架构的分布式计算模式,构建起具有高性能和高扩展性的特点;基于Hadoop的技术扩展和封装是由Hadoop衍生出来的技术类型,其主要用于传统关系型数据库较难处理的情况;大数据一体机是由集成的软件组成,具有性能稳定、扩展性强的特点。
(4)数据分析与挖掘。数据分析与挖掘是利用可视化分析技术、数据挖掘算法、数据预测分析技术等,对原本无序的数据进行提取、提炼和分析。作为大数据技术应用的两个方面,数据分析与数据挖掘存在一定的衔接性、关联性,但两者也存在明显的区别:数据分析是以输入的数据为基础,通过一系列约束性条件,对数据进行分析处理,分析结果与数据和约束性条件相关,具有明显的客观性;数据挖掘是对数据信息价值的发现与获取,虽然数据信息的价值来源于数据本身,但挖掘的标准和方向则较大程度上受人的管控,具有明显的主观性。简而言之,数据分析是对数据信息的客观性分析,而数据挖掘是基于人主观性的数据价值需求而进行的数据处理与利用。
2 大数据技术在移动通信网络优化中具体应用
随着武警部队通信网络需求的持续增加,借助大数据技术对现有移动通信网络进行持续性的优化,已然成为武警部队通信网络建设中的重点研究方向和探索目标。就目前移动通信网络优化实践情况来看,大数据技术的应用方向主要有以下几方面:
(1)在网络优化目标确定方面的应用。移动通信网络架构的层次性和复杂性,决定了网络优化需要有明确的目标和方向指引。为了优化移动通信网络,需要在实际应用大数据处理技术及其优势的所有阶段明确了解策略。在移动通信网络优化过程中,技术人员会先借助大数据技术对移动通信网络进行整体测试,在对比测试数据结果的基础上进行路测,进而掌握移动通信网络的信号质量、电平、覆盖状况等信息,从而明确网络优化的节点。同时,在网络优化过程中,技术人员可以通过大数据分析技术对提出的多种网络通信方案进行优化模拟,通过对比模拟结果来确定最佳的网络通信方案,从而保障优化后的移动通信网络在安全性、稳定性、兼容性等方面均优于原有的方案。
(2)在网络信息存储方面的应用。拥有高强度的保密性是武警部队移动通信网络需要具备的基础性条件。并且,移动通信网络数据分析与决策功能发挥的前提条件是网络中要存储有足够多的数据。大数据分析技术除了具有数据分析功能以外,还具有强大的数据存储技术优势,通过数据库等存储载体,既可以存储海量的多类型数据信息,也可以对数据库中的数据信息进行加密处理,从而实现移动通信网络满足部队移动通信网络数据信息存储的功能需求。同时,大数据技术还广泛应用于移动通信网络的存储数据的更新方面,即大数据技术能够按照相应的约束性条件,根据用户网络使用过程中产生的新数据,对原有存储于数据库中的数据进行分析、替代,从而保持数据库中信息的时效性。
(3)在网络潜在优化需求挖掘方面的应用。目前,武警部队对移动通信网络优化需求的掌握主要是基于问题和功能导向,即部队在开展相关工作中产生某项通信网络功能需求或者发现某一网络通信问题时,开展相应的通信网络优化工作,这种优化模式较为被动,容易造成网络长期存在潜在风险。在大数据分析技术中的数据挖掘技术的支持下,技术人员除了能够发现明显的网络优化需求信息以外,还可以通过数据的深层次价值挖掘发现网络运行中存在的风险因素甚至风险节点,从而使事后的网络优化活动提前到了事前,使网络整体的安全性系数明显提升。
3 大数据技术在移动通信网络优化应用方面需要注意的问题
虽然当前大数据技术应用研究的主体和内容比较丰富,但受职能范围等因素的影响,武警部队在利用大数据技术优化移动通信网络方面与其他主体之间存在一定的不同,这使得大数据技术的研究与应用需要考虑一些特殊性的问题。结合当前的实践来看,大数据技术应用应当注意以下问题:
(1)拓宽数据来源。武警部队大数据分析中的数据信息资源主要来源于本单位移动通信网络运行中产生的数据。虽然这种以单位为主体的数据来源方式能够满足部队单位内部移动通信网络优化的需求,但在面对一些跨兵种、跨区域移动通信需求方面存在明显的薄弱性。因此,武警部队在大数据分析技术应用方面,应当尽可能地拓展数据信息的来源,获得更多关于部队整体移动通信网络建设与运行的数据信息,以此保证大数据分析技术应用的科学性和可靠性。
(2)强化数据安全保障。网络的开放性使得武警部队的移动通信网络运行环境具有明显的复杂性和不确定性。为确保网络中存储、运行的数据信息的安全,武警部队在使用大数据技术过程中,要在规范移动通信网络资源使用行为的同时,注重数据安全保密技术的开发与使用,切实解决大数据技术应用过程中的数据安全性问题,使移动网络安全得到持续性的保障。
4 结束语
优化移动通信网络作为武警部队信息化建设中的重点项目内容,在优化部队资源利用效率和效果方面发挥着重要的作用。在利用大数据技术优化移动通信网络的过程中,除了要关注技术应用的功能优势外,还要注意大数据分析技术应用中可能存在的数据来源单一、数据安全保障性薄弱等问题,通过有效的管理与技术措施来优化解决技术应用中的问题,切实保证网络优化的效果。