APP下载

军事大数据可视化问题研究

2019-02-13肖占军董东喜

数字通信世界 2019年3期
关键词:数据仓库海量数据挖掘

肖占军,鞠 龙,董东喜

(31700部队,辽阳 111000)

数据属于一种重要的资产,随着时代的发展数据的作用也越加突出,特别是大数据技术的出现带动了海量数据存储技术的进步。在未来发展过程中,能够对军事行动产生巨大影响的就是数据信息,数据的主导决策与分析处理、储存能力是战场中获得胜利的重要因素。军事数据复杂繁琐,需要对战场中的数据信息进行快速处理,在海量信息中最终发现可靠目标,而可视化技术能够简化整个分析过程,让结果更加容易理解。

1 大数据与可视化技术分析

大数据与数据仓库技术主要就是对各种已经存在的数据进行采集、加工转化的过程,重视信息的提取与挖掘知识等过程,随着技术的变化,大数据仓库逐渐通过结构化的数据库来管理数据存储工作[1]。以云计算和物联网为基础的大数据技术则是一种能够解决海量信息存储与处理分析的新型技术。可视化技术则为人类认识世界和感知世界提供了有效渠道,能够为人们分析数据规律提供可靠的工具。

2 军事的数据可视化架构

2.1 系统架构

在处理海量军事数据信息的过程中,可视化技术、数据挖掘技术、大数据技术、数据库管理技术、统计分析系统等为军事数据的挖掘、知识分析、发现、访问和存储提供了可靠的操作平台。军事数据的可视化分析架构主要包括四部分内容,首先是云储存部分,其中包括分布式文件、虚拟化系统、操作系统、存储系统、计算机系统等内容[2]。其次是数据层,其中包括数据库、关系类型的数据存储仓库以及列族数据库、图数据库和文档数据库等部分组成,能够提供访问能力与持久性的数据储存功能。再次是预处理层,其中包括异构数据仓库的转换抽取、数据挖掘处理、概略数据转换抽取和语义转换抽取等,能够在数据挖掘过程中对其中的数据信息进行预处理工作。最后是数据分析层,其中包括数据仓库分析、数据挖掘、可视化分析和语义分析等内容,能够提供多样化的数据分析挖掘服务。

2.2 混合持久化存储架构

关系型数据库随着时代的发展从已经不是唯一的选择,数据库领域中逐渐走向混合持久的发展时代,也就是利用多样的数据库处理方法,使用各种数据存储模型。军事信息系统内,关系数据库是多样化数据统计、查询、存储的基础支撑,但是随着数据类型的多样化发展,比如日志数据、目标轨迹以及传感器等数据的出现,关系数据库中的访问和存储功能已经达到应用的极限,因此在另一方面也突出了NOSQL数据库存储扩展性与访问性能等方面的优势。而混合方式也将成为未来解决数据存储持久化问题的主要模式。

未来能够满足目前作战系统中的历史数据存储、侦查传感器数据和系统应用等方面的要求历史数据资源储存、混合数据仓库以及在线操作库等三级数据存储模式也相继诞生。在线操作库主要是以关系型数据库系统为基础建立起来的,能够有效存储各种数据信息,比如侦查数据、作战指挥数据和各种基础军事信息等内容,除此之外还能够存储用户、目录以及元数据等信息,为作战过程中的管理与指挥提供实时在线数据参考。混合数据仓库主要是结合不同的需求建立起来的数据主题,其中包含以NOSQL为基础的大数据仓库和以关系数据库为基础的数据集市等技术。以关系数据库为基础的数据集市能够面向所有的主题内容,比如对比分析实力变化等内容,大数据仓库中包含推荐系统和以图数据库为基础的储存位置信息等数据,其中以列族数据库为基础,可以实现海量军事数据的有效存储,比如日志数据以及实时变化轨迹数据存储等。历史数据库,主要就是能够对操作库中的历史资源数据进行实时在线存储,其中包括历史数据储存,能够通过键值数据库来进行储存工作。

在混合存储架构中,和传统的工具集相比,数据转换抽取工具的功能需要在非关系型数据存储与关系型数据存储之间的转换中进行进一步的扩展。除此之外,面对不同的数据挖掘分析工作,数据预处理技术也将变得更加复杂,其中包含属性转换、特征筛选、降维、合并等内容。

2.3 数据可视化分析架构

军事数据的可视化分析主要是将最终的分析结果通过一种视觉效果呈现出来,同时促进用户之间的信息交互等。尤其重视用户利用系统进行数据理解、互动操作与对话等。用户交互除了能够有效解决数据过载与可视化空间的矛盾问题外,还能提高用户对于数据分析的参与性。可视化分析系统也不仅是向用户传递已经完成的信息,而是为用户提供研究探索数据的平台和工具。海量军事数据的可视化分析架构中包括数据仓库统计、数据挖掘、可视化分析、语义分析以及数据预处理等模块。

数据的预处理其实就是对当下的历史数据的人际交互转换抽取,包括语义信息的转换抽取,能够从历史数据和元数据中挑选出语义信息,并将其传输到语义库当中。其次是概略数据的转换抽取,从历史数据中挑选出相应的概略数据,随后传输到概略数据库内。再次是样本数据的转换抽取,从历史数据库内抽取模式数据和样本数据,并将其传送到挖掘数据库内。语义分析其实就是语义信息的关联分析、信息搜寻以及知识图谱等内容。可视化分析包括复杂多元高维、网络和层次以及时变等数据的可视化分析。

时变数据就是拥有时间属性,同时能够随着时间的变化而发生改变的数据,比如气象信息以及目标轨迹的运动变化等。网络与层次数据就是一种描述数据关系到方法,网络数据指的是一种多样、复杂的关系,而层次数据则是指一种单一的关系。复杂多元高维数据中的所有数据都拥有两个或是两个以上的相关属性或独立的数据。数据仓库的统计分析其实就是对各种主题的军事信息进行统计分析,同时将最终结果通过一种可视化视角呈现出来,集成到信息门户进行应用。

3 结束语

综上所述,随着科学技术的发展,目前在海量军事资源的处理、挖掘过程中可选择的技术条件也逐渐增加,为了预防技术的单一性,未来的集成走向也必将转化成一种技术混合架构,同时用户参与分析与处理的作用也将逐渐提高,可视化技术和大数据技术的应用,为海量军事数据现实问题的解决提供了可靠的技术支撑。

猜你喜欢

数据仓库海量数据挖掘
一种傅里叶域海量数据高速谱聚类方法
探讨人工智能与数据挖掘发展趋势
基于数据仓库的数据倾斜解决方案研究
数据挖掘技术在打击倒卖OBU逃费中的应用浅析
海量快递垃圾正在“围城”——“绿色快递”势在必行
基于数据仓库的住房城乡建设信息系统整合研究
探析电力系统调度中数据仓库技术的应用
一个图形所蕴含的“海量”巧题
基于数据仓库的数据分析探索与实践
一种海量卫星导航轨迹点地图匹配方法