对我军大数据元数据构建问题的思考

蒋猛 禹明刚 王智学

习主席指出:“我国大数据采集和应用刚刚起步,要加强研究,加大投入,力争走在世界前列”[1].大力推进军事领域大数据相关问题研究,是贯彻落实习主席关于军事创新系列重要指示的具体举措.“夫未战而庙算胜者,得算多也”,大数据作为一种新型作战资源已成为战斗力生成的核心要素[2−3],大数据建设的质量将成为衡量军队建设发展的重要指征,大数据运用的效益将成为衡量军事实力和作战能力的重要指标[4−5].抓紧进行军队大数据建设、强制推广军队大数据运用将强力推动我军建设发展和联合作战能力快速提升[6−7].元数据兼具工具性数据和数据性工具双重特征,元数据建设是我军大数据建设的核心内容,也是我军要实现由传统数据向大数据转进的关键步骤.

我军已经在某个领域开展了大数据建设,部分领域也已进行了先期研究.经过建设实践和实际运用,目前已经制定颁发了一些元数据标准规范[8−10],并据此展开了元数据建设.经过深入研究,我军元数据在建设中主要面临两方面的难点:一是元数据建设的方法和内容仍然争论较大、难以统一,有待进一步研究.二是元数据与日常工作、业务运用联系紧密,标准规范过于强调传统技术,业务工作规律体现不足,仍需进一步调整完善.元数据在原有的对数据进行规范、管理、定位等技术性功能外,进一步成为将军事专业规律、领域特点、军种特色转化和融入数据的重要前提和工具.元数据能否真正体现军事专业规律、领域特点、军种特色等要求,将成为衡量元数据建设成败的关键指标.这两个问题是军队大数据在起步阶段就要着力解决的基础性问题.

本文从分析元数据在我军大数据建设中的重要意义出发,提出我军大数据元数据建设的基本思路,以问题为牵引创新提出我军大数据元数据建设的对策方法,以期为我军大数据元数据建设提供有益参考.

1 元数据在我军大数据建设中的意义

我军大数据建设事关我军战略转型,事关我军在大数据时代的战略竞争,元数据建设是大数据建设战略性、基础性、方向性问题,具体可从3个视角来分析:

1)从功能角度看,元数据是横跨连接军事与技术两大领域的桥梁.元数据是随着数据库理论而出现的一个概念,主要是对基础数据进行技术性的规范.随着大数据理念的兴起和大数据技术的运用,元数据这一概念内涵外延发生了深刻的变化,并将随着数据挖掘技术的进步而不断调整.从目前的发展趋势看,元数据中技术性成分在降低,专业性成分在提升.元数据除原有的对数据进行规范、管理、定位等技术性功能外,将进一步成为军事专业规律、领域特点、军种特色转化和融入数据的重要前提和工具.可以说元数据建设就是按照军事领域内在规律对数据进行技术化处理的过程,元数据能否真正体现军事专业规律、领域特点、军种特色等要求,将成为衡量元数据建设成败的关键指标,将成为一支军队对数据信息运用水平的衡量指标.

2)从运用角度看,元数据是沟通协调数据建设与运用两大目标的渠道.数据建设强调规模大、种类全,尽量做到实时收集、全面收集,数据运用强调数量精、价值高,尽量做到便于挖掘、及时运用.目前,我军某些领域、某些专业每天将会采集、产生多达GB乃至TB级的数据,由于缺乏元数据的规范、指导和制约,这些数据未能有效及时地被挖掘工具利用,导致热数据变为冷数据,实时数据变为延期数据,数据建设仍然停留在传统存储的层面,规模上达到了“大数据”,但理念和运用上却未达到“大数据”[11].传统数据建设和运用中,在数据组织、数据存储、计算资源分配等方面的冲突已经凸显.元数据兼具数据和工具双重特征,对挖掘工具而言,元数据是首先要调用的数据;对基础数据而言,元数据是管理规范的工具.元数据的这种双重特性,在数据建设和运用两大目标之间起到了缓冲、调节的作用,可以使挖掘工具通过元数据对基础数据进行高效抽取,可以使基础数据通过元数据被各类挖掘工具有效利用,从而节省体系计算资源,实现体系高效运转.如何构建要素清晰、结构合理的元数据将成为我军大数据体系设计、体系建设、体系运用的首要问题.

3)从建设角度看,元数据是统筹用好存量与建好增量两大任务的基础.前期,我军进行了多年信息化建设艰辛探索,取得了很大成绩.但由于缺乏顶层设计和集中统管,在一定程度上形成了各领域、各部门、各军兵种自建自用的状态.在数据建设上有一些积累和基础,但数据质量参差不齐、数据标准规范不一,难以实现融合共享.客观地分析,我军尚未真正形成涵盖各战区、各军兵种、各领域的统一数据体系,尤其在新型作战力量和新兴领域等方面还有体系性空白,现有的数据资源由于标准不一、质量不一,难以直接服务于我军大数据建设.

立足我军数据体系、数据规模和数据质量现状,立足我军由传统数据向大数据时代转进的历史阶段特征,我军大数据建设的一项重要任务就是要在数据建设方面统筹好存量和增量.元数据对数据体系、数据组织、数据存储具有规范、指导、制约作用,要把存量用好,必须按照大数据的要求,先行建设元数据,再据此对存量数据进行规范、梳理;要把增量建好,也要先行建设元数据,再据此完善数据体系、调整数据结构、扩大数据规模.元数据在统筹存量和增量方面的先导作用,决定了元数据建设将是我军大数据建设的首要环节.

2 我军大数据元数据建设基本思路

元数据建设是大数据建设的核心与枢纽,元数据研究水平将直接决定大数据建设和运用质量效益,影响到国家、军队在信息领域的战略竞争能力.通过元数据建设加速提升我国、我军大数据建设运用水平将是实现“跨越式发展”、“弯道超车”的重要途径[12−13].客观分析目前元数据建设现状,元数据理论研究和实践运用已经具备较好的技术基础,但业务规律融入和转化明显不足.一旦在元数据建设层面,将战略管理、战略决策、战略指挥等内在规律、特殊要求和各领域业务规律、专业需求科学有效地进行转换,元数据和大数据理论研究和实践运用将取得突破性进展,这是我国、我军可以抓住也亟待抓住的重要机遇.在我军大数据元数据建设中应重点把握以下3个方面:

1)建设目标要围绕服务,融入和体现业务规律.目前,元数据建设目标主要是管理维护数据,重在体现和提出数据管理的技术标准规范,在数据运用时,容易产生资源占用大、挖掘速度慢、价值密度低等问题[14].要通过元数据建设,倡导和树立元数据建设中结构即服务、结构和内容体现业务规律的理念,把融入业务、体现规律作为元数据建设的首要目标.

2)构设方法要在技术性维护管理和业务性服务支撑之间取得平衡.传统数据库元数据构设方法主要是针对规模较小、种类较少、结构相对简单的数据,主要服务于早期的软件、模型和工具,主要进行技术性管理[15].随着大数据的产生,挖掘工具需要对价值密度较低、数据结构多样、数据规模巨大的数据资源进行挖掘,偏技术规范的元数据难以在挖掘工具和数据资源之间起到较好的关联、引导和定位作用,造成资源空耗、效率不高[16−17].要通过元数据建设,在继承和优化技术性规范的同时,适应挖掘工具业务性、专业性强的特点要求,把元数据建设的业务服务支撑作用突显出来,实现数据挖掘快捷高效.

3)基本结构要从统一的档案式分类向个性的功能性分类转变.传统数据库元数据强调传统意义上的融合共享,把技术的统一性作为融合共享的基础和前提,把“技术融合”简单等同于“资源共享”[18−19].随着大数据理念的产生和大数据技术的运用,资源共享更加强调业务层面的信息互用、数据关联.要通过元数据建设,实现从不分领域的统一的档案式数据分类向按领域业务的个性化功能性数据分类转变,真正为资源共享提供条件.

3 我军大数据元数据建设需要解决的问题及对策建议

在分析元数据在我军大数据建设中的意义,梳理我军大数据元数据建设的基本思路基础上,本节将分析我军大数据元数据建设需要解决的关键问题,并给出对策建议,如图1所示.

坚持问题导向,按照科学研究从基础理论到应用理论再到实践检验的基本思路,先行研究我军大数据元数据建设的基本理论问题,在此基础上研究我军大数据元数据建设的基本方法问题,然后研究我军大数据元数据建设的基本内容问题,力求在我军大数据元数据建设问题上,通过详实、科学的研究论证,为统一思想、统一方法、统一内容提供支撑.

3.1 我军大数据元数据建设的基本理论问题

厘清我军大数据元数据建设的基本理论,需要回答3个层面问题:我军大数据是什么？我军大数据元数据是什么？我军大数据元数据建设要把握什么？3个问题层层铺垫,依次支撑,如图2所示.

3.1.1 我军大数据建设的基本特点

具体分两个方面:

1)军队大数据与社会大数据的共性和差异,主要从军队大数据与社会大数据在数据来源、数据规模、数据结构和运用方式等方面,分析二者之间的区别和联系.军队大数据在建设上必须既要借鉴社会大数据建设有益做法和成熟理论,也要坚持特色、关注特点,以确保军队大数据建设安全、实用、高效.

2)我军大数据与外军大数据的共性和差异,主要从我军大数据与外军大数据在数据建设基础、数据运用理念、数据运用模式等方面,分析二者之间的区别和联系.我军大数据在建设上应当借鉴外军大数据建设的相关技术,但必须与我军领导指挥体制、力量规模结构相适应,确保我军大数据建设与我军使命任务、战略要求、发展方向保持高度一致.

3.1.2 我军大数据基本架构

主要考虑到我军大数据的基本架构是我军大数据建设方向性、全局性的问题,是俯瞰全军网信体系进行顶层设计首要解决的问题,对我军大数据体系建设中包括元数据在内的各要素具有指导和制约作用,必须首先确立我军大数据的基本架构,才能以此为基础研究元数据建设问题.

具体包含3个方面:

1)大数据应用规律层面,主要是抽象提炼数据信息在联合作战、军队建设发展等方面运用的特点规律,按照支撑决策、服务指挥、保障行动的要求,提出构设我军大数据基本架构的相关考虑.

2)大数据建设规律层面,主要是抽象提炼数据获取、数据处理、数据存储、数据关联等方面的特点规律,按照结构合理、要素齐全、便于挖掘的要求,提出构设我军大数据基本架构的相关考虑.

3)统筹我军建设现实基础和规划安排层面,主要是充分考虑我军现有相关数据信息采集、保障、维护等机构、设施,充分考虑我军规划计划和发展战略安排建设的相关内容,发挥我军大数据建设的“粘合剂”和“倍增器”的作用,按照用好存量、建好增量的要求,提出构设我军大数据基本架构的相关考虑.

综合上述3方面研究,按照综合选优的方法遴选提出我军大数据基本架构.

3.1.3 我军大数据元数据与传统数据库元数据的区别

1)大数据元数据与传统数据库元数据的区别,主要从元数据建设目的、服务模式、运用方向等方面,阐述传统数据库元数据主要是技术性规范,强调数据定义准确、存储有序、管理便捷;大数据元数据更加强调数据的运用属性,强调引导的指向性、定位的精确性、选择的高价值性.

传统数据库元数据主要是技术性规范,用于解决各类数据对象描述的标准化问题,元数据标准明确定义描述数据项,是关于数据或数据集的数据,说明数据或数据集的内容、质量、特性和适用范围,为使用者提供的所需数据是否存在和怎样能够得到这些数据的途径、方法等方面的信息.从数据库到大数据,看似只是一个简单的技术演进,但两者有本质的差别.大数据技术的战略意义不在于掌握庞大的数据信息,而在于对这些含有意义的数据进行专业化处理,在于提高对数据的加工能力,通过加工实现数据的增值.而在实现大数据价值过程中,基于元数据的开发应用将是实现大数据价值的核心[20].大数据元数据对顶层应用的支撑如图3所示.

在大数据建设中,应以需求为牵引,将基于元数据的大数据的开发应用作为核心,在大数据元数据建设基础上进行多样性的应用开发.

2)社会大数据元数据与我军大数据元数据的区别,主要从元数据融合、转换、叠加业务规律的角度,阐述社会大数据元数据主要是针对经济社会万众创新的需要,强调人人平等、随机挖掘、个性定制;我军大数据元数据主要是适应战略决策、战役指挥、战术行动等军事需求,强调权责明晰、顶层设计、分层控制.

军事大数据是指运用大数据理念和技术,对一切与军事活动相关的海量异构数据进行广泛获取、关联分析和深度挖掘,创造信息优势并转化为决策优势和行动优势,形成精准高效支撑军事活动的数据信息环境.军事大数据元数据是关于军事大数据的数据,是对军事大数据获取、存储、管理、分析、挖掘、应用、服务的结构化语义化描述.

我军大数据元数据与社会大数据元数据概念和定义是一脉相承并继承发展的.在推进我军大数据元数据建设过程中要对社会上已有的元数据成果加以借鉴吸纳,同时,我军大数据建设又存在自身建设规律和业务特色.面向军事作战、军队建设对元数据的有关要求要高于日常社会活动,我军大数据元数据的运用主要是作战目标的挖掘与选择、作战行动的规划与制定、建设规划计划的制订、资源的配置等,同时服务于战略、战役、战术3个层面,而社会大数据元数据聚焦于解决具体问题.因此,我军大数据建设应当在通用性基础上,内容上进一步细化建设专业性元数据,在组织管理上进一步强调权责明晰、顶层设计、分层控制.

3.1.4 梳理我军大数据元数据与我军相关数据体系的关系

阐述我军大数据元数据作为数据组织的关键和基础,与我军现有相关数据体系之间相互促进、相互支撑的关系.具体拟分两个方面:

1)元数据与我军主要数据指标体系的关系,论述现有指标体系主要是运用性、综合性、评估性指标体系,是军队建设发展和作战运用内在规律、特殊需求的量化体现,对元数据建设具有指导和制约等作用;

2)元数据与我军数据资源体系的关系,论述现有数据资源体系是我军大数据资源体系的结构性、基础性模块,记录和承载了各战区、各军兵种、各领域业务工作的目标任务、标准要求、流程模式和经验教训,需要按照大数据理念重新梳理组织,以便于挖掘利用产生高价值信息,元数据对其具有指导、规范和描述等作用.

3.1.5 我军大数据元数据与数据资源和关联挖掘工具的关系

元数据在大数据建设和运用中处于枢纽地位,关联挖掘工具和数据资源通过元数据进行操作、调用,元数据与两者之间分别直连.分析这两者与元数据的关系,有利于发现和把握元数据建设的规律性要求.

具体分两个方面:

1)数据资源对元数据建设的影响.数据资源的内容、结构、规模和存储方式,随着我军信息采集、处理和传输能力的变化将会不断调整,并且这种调整往往伴随着新质战斗力和新型武器装备的生成列装而产生,将是大数据体系中挖掘利用的重点,必然会对元数据建设提出调整优化的要求.

2)关联挖掘工具对元数据建设的影响.关联挖掘工具是根据明确的业务工作和特定任务需要而进行研发的,随着我军战略管理、战略决策、战略指挥科学化、精细化进程的加速推进,业务分工和任务筹划将会进一步细化深化,关联挖掘工具也会在功能、种类等方面大幅增加,挖掘更深、更快、更有价值的要求也会强制性地迫使元数据进行调整优化.

3.2 我军大数据元数据建设的基本方法问题

我军大数据元数据建设,是在我军多年信息化建设基础上进行的,是在大数据理念强制性推动下进行的,有很好的传统数据技术历史传承,当前最主要的是在技术与运用、数据与业务的融合上进行创新.因此,要真正理解和融合相关业务工作的内在规律,元数据建设要调整和改进思想方法,认清考察维度,借鉴传统数据建设相关技术,提出与我军现实基础相适应、与我军大数据运用目标相协调的大数据元数据建设方法,如图4所示.

3.2.1 元数据建设的思想方法

考虑到大数据理念对传统数据理念的强烈冲击,以及大数据技术对传统思维模式的强制性改变,有必要从思想方法层面先行研究元数据建设问题.

初步考虑,突出大数据分域建设、跨域关联、深度挖掘、综合印证的特点,兼顾元数据技术性、专业性并重的要求,拟提出正向拓展、横向关联和反向收缩等思想方法.

正向拓展法:着眼摆脱传统思维点对点直线因果思维方式,在现有事件与目标事件之间增加节点、延长路径,提高目标事件与其他事件关联的几率.

横向关联法:着眼摆脱传统思维容易存在的孤立、片面思维方式,对单个事件赋予多个领域关注属性,提高该事件被关联几率.

反向收缩法:着眼摆脱传统思维中容易存在的主次不分、轻重不分的思维方式,避免海量冗余数据干扰,由目标事件出发,反向排除干扰因素和路径,迅速找出能触发目标事件的主要因素.

3.2.2 元数据建设的考察维度

考虑到元数据分层建设、向上支撑、向下分解、横向交联的特点,初步考虑,围绕业务和技术两条主线,兼顾汇聚和发散两种模式,拟提出并行分支、串行节点、网络交叉、层级控制等考察维度.

并行分支:依据我军“战区主战、军种主建、军委管总”的领导指挥体制特点,主要考察各战区、各军兵种、各领域节点之间的关系.

串行节点:依据我军“军委联指–战区联指–战区部队”的联合作战指挥体制,主要考察纵向贯通的各节点之间数据资源保障使用关系.

网络交叉:依据我军各战略方向完成和履行战略使命任务需要,主要考察力量体系、战场体系、装备体系、保障体系之间互为补充、互为支撑的关系.

层级控制:依据信息化条件下作战指挥控制“及时、简洁、准确”要求,主要考察各级指挥机构、指挥要素之间权限设置、资源分配的关系.

3.2.3 元数据建设的基本方法

基于上述思想方法和考察维度,按照逻辑域和物理域建设具体要求,拟从3个角度提出建设方法:

数据规范的角度:节点拓扑法、并联属性法、冗余索引法、核心交叉法.

数据存储的角度:分层构设法、逐层嵌套法.

数据组织的角度:整体规划法、属性构设法.

思想方法、考察维度和基本方法的具体形式及其内容有待进一步细化深化.

3.3 我军主要领域大数据元数据建设主要内容

研究理论和方法的最终目的是指导实践用于实践.基于上述基础理论和基本方法,本文结合我军即将展开的大数据建设实践,依据我军大数据基本架构,重点对综合领域进行元数据建设架构和内容研究,为各领域在元数据建设阶段融入领域特殊规律、特定需求提供参考.

我军的使命任务可以概括为“建设信息化军队,打赢信息化战争”,因此,在我军战略决策、战略指挥层面,可以划分为联合作战和军队建设发展两大综合领域.

1)联合作战领域.现代战争作战样式发生了深刻变化,但作战机理和影响作战胜负的基本要素没有变化,只是在影响的方式和程度上有所不同.因此,联合作战领域元数据建设要按照本论文前述的思想方法,仍然以敌情、我情、地(空、海)情为基本维度,仔细查找影响作战的各要素,探寻各要素影响作战的机理和规律,并据此将相关要素和机理规律融入元数据.

2)军队建设发展领域.现代军队战略管理强调科学化、精细化,建设发展的专业分工日益细化,各领域、各专业之间相互协调又相互制约的关系更加明显,但力量、战场、装备、保障是军队建设发展的主要领域,也是进行战略筹划、战略设计的主维度.因此,军队建设发展领域元数据建设,应当以力量、战场、装备、保障为基本维度,深入分析这4个领域对建设发展全局的影响,深入分析其他领域与这4个领域服从服务的关系,并据此将相关要素和规律融入元数据.

4 结论

目前,各军种都已展开本领域大数据建设,需求论证和顶层设计的好坏将直接关系我军大数据建设的成败.本文聚焦于元数据这一大数据建设的核心与枢纽,从建设目标、构设方法和基本结构3方面提出我军大数据元数据建设的基本思路,从基本理论、基本方法和建设内容3方面分析我军大数据元数据建设需要解决的关键问题,创新性提出了正向拓展、横向关联和反向收缩等思想方法以及并行分支、串行节点、网络交叉、层级控制等考察维度,以期为我军大数据元数据建设提供思路和方法上的启发.

我军大数据元数据建设是一个长期、迭代的过程,需要在探索中实践,在建设中摸索.需要坚持问题导向,坚持实用管用,从“建什么”、“怎么建”、“怎么用”3个基本层面,进一步与相关部门和单位进行研讨和运用验证,查找需要解决的问题,改进完善基础理论和基本方法,强化理论方法的可行性和科学性.