大数据管理概念、技术与挑战

赵一方 河南省辉县市第三高级中学

大数据管理概念、技术与挑战

赵一方 河南省辉县市第三高级中学

继与计算、物联网和移动互联后，大数据管理技术已然成为互联网、信息行业研究的热点。鉴此，本文即主要通过文献调研法对大数据管理的概念技术与挑战做了以下探究。

大数据管理 概念 技术 挑战

引言

随着计算机技术、互联网技术、信息技术的飞速发展，由于WEB2.0应用的全面爆发，网络信息的来源逐渐多元化，即形成了互联网管理者与参与者共同扮演起了制造信息的角色，由此一来非结构化的网络信息数据也就自然而然的呈现出了几何增长的态势。为了有效收集、存储、管理、应用庞大的互联网信息数据，大数据管理技术也就应运而生。

一、据管理的概念

大数据概念是基于海量数据发展而来，但两者之间也存在一定的差异，海量数据是单纯指数据的总量大，而大数据的特性既包含了数据规模大，同时也涵盖了数据的传播速率快、整合度高等特点。现目前，对于大数据管理技术的定义众说纷纭，广泛被接受的定义是：指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合。总的来说，大数据具有以下特点：根据实际而言，大数据的特点主要有以下几点：其一是大数据的数据容量较大，数据的体量一般在10～20TB的量级以上；其二，是数据的传输、收集、整理的速度快；其三是大数据的具有整合分析并形成数据关联行的特点；其四则是大数据的价值密度普遍较低，且具有十分丰富的结构。简言之，大数据管理既能够快速高效的收集整合信息，同时还能够有效的进行数据分析整合，从而有效挖掘数据的潜在价值，并据此进行预见性的分析。

二、据管理技术

根据大数据的定义及概念我们不难发现，大数据管理技术是一种较为复杂的数据信息管理技术，然而具体根据其生命周期的迥异，我们大致可以将其技术分为以下几类：

1.存储技术。大数据管理技术是一项针对数据存储、管理与分析的技术，其中数据存储则无疑是该项技术实施的关键性保障。现目前，大数据主导下的数据存储技术已经由Direct Attached Storage（直接外挂存储）、Network Attached Storage（网络附加存储）向Storage Virtualization（虚拟化存储）方向转变发展。而所谓的虚拟化存储，实际上就是通过将存储硬件进行抽象化处理，从而将服务器的存储空间，分成若干个虚拟的服务空间，这样一来就极大的提升了服务器的存储量。此外，在存储虚拟化的基础上，网络虚拟化无疑再一次提升了服务器的存储能力，同时还有效提升了数据传输效率，可以预见该技术将成为近年各个大数据管理公司的研究主流方向。

2.挖掘技术。由于大数据具有价值密度较低（Value）的特点，为了更好的利用起大量的数据，就需要对数据的价值进行更加深度的挖掘。随着网络数据的体量的逐渐增大，对于数据价值的挖掘难度也将日益增大。因此大数据挖掘技术也将进一步发展。现目前，常规的大数据挖掘技术主要是与计算技术与分布式挖掘技术两类。以Google公司为代表的大数据管理研发公司，开发出了MapReduce分布式挖掘工具，而腾讯、百度、阿里巴巴等中国互联网企则主要是利用云计算技术进行大数据挖掘。总体上将，上述两种挖掘技术都普遍具有高容错率、高扩展性、高效率等特点，因此十分有利于对大规模数据价值的深入挖掘。

3.分析技术。分析技术是大数据管理技术的关键性技术，从实际上讲大数据分析技术主要有分布式数据处理和非结构化数据处理两种类型。而从数据分析的方法来看，最为常用的方法则是数理统计法。总而言之，大数据分析处理技术的主要职能是将数据之间的关系可视化的呈现在用户的面前。

三、据管理技术所面临的挑战

现目前，我国互联网技术虽然已经与国际接轨，但大数据管理还处于起步发展阶段。总体上来讲，我国大数据管理技术的发展是机遇与挑战并存的，其挑战具有以下几点：

1.管理冲击着传统的管理体制。传统的数据管理通常是以各个部门汇总的信息，进行综合式的评估、分析。然而在大数据应用背景下，上述数据收集方式就必须改变，即建立起独立数据收集、分析、管理的大数据管理部门。然而要想实现上述目标，就还需进行全面的人力资源调整。当然随着人力资源结构的调整，也不一定立即取得良好的效果，新建的人力资源结构或许还有可能并不适应大数据管理要求。

2.管理面临着信息保密的挑战。大数据管理所面临的信息保密问题具有双面性，其一方面是指大数据管理模式下对庞大数据的保密管理，其中包括信息数据的收集存储与保密；另一方面则涉及到侵犯他人个人信息的问题，即大数据管理技术使用过程中，在挖掘大数据深入价值的环节中，如何保证既不侵犯泄漏他人的隐私信息，同时也能够获取有价值的信息，这需要通过增加有关大数据管理的法律法规，并完善大数据管理技术。

3.技术冲击着传统的管理思维。大数据技术的创新性、新颖性思维不断冲击着传统数据管理的思维模式。在大数据管理技术广泛运用的时代背景下，如何及时有效的调整数据管理理念，并切实根据大数据管理的特性，树立大数据管理意识则显得至关重要。大数据管理时代背景下，单向的信息收集、分析、管理思维已然不能契合时代发展的脚步了，而科学合理的大数据思想应该是双向交流、信息反馈、信息交互的科学思维模式。

四、结束语

总而言之，大数据的技术与应用还是处于起步阶段，其应用的前景不可估量，但在发展过程中也需要面临各种各样的挑战。各个行业应当把握时代脉搏，充分认识到大数据所能带来的革命性改变，只有这样才能够保持创新与进步，从而站在行业的最前沿。

[1]卢胜军，王忠军，栗琳.赛博空间与大数据双重视角下的钱学森情报思想[J].情报理论与实践，2013，36（004）：1-5.

[2]王振东.强化计算机数据库管理技术的有益分析[J].软件开发利用，2014（35）.

[3]涂新莉，刘波，林伟伟.大数据研究综述[J].计算机应用研究，2013（01）.