大数据关键技术初探

钟君 张梅燕

摘 要：本文采用文献研究法，通过对大数据相关文献的阅读与整理，对大数据的关键技术进行了深入的探究，从智慧之道、高效之道、实时之道以及投向更广阔的技术领域四个方面对相关技术进行详细介绍。

关键词：大数据；数据挖掘；计算；关键技术

随着不断涌现的各种社交网、微博这类新型的信息发布方式及物联网、云计算等技术的兴起，数据正在以空前的速度增长，大这意味着大数据时代的到来。2012年1月在瑞士举行的达沃斯世界经濟论坛上，一份名为《大数据，大影响》（Big Data，Big Impact）的报告引起热议。这份报告认为，大数据就像货币和黄金一样，是一种新型的经济资产。多家投资机构甚至据此判断，“大数据”将会成为一条全新的投资主线。

笔者通过对大数据相关文献的阅读与整理，对其关键技术进行深入的探究，从智慧之道、高效之道、实时之道以及投向更广阔的技术领域四个方面对相关技术进行详细介绍。

1 智慧之道——数据挖掘

一般来说，数据挖掘的方法可分为统计型和人工智能中的机器学习型两大类，在其应用中，将有价值的信息进行发掘都是其最终目标。由于各种方法都有自身的功能特点以及应用领域（如表1），数据挖掘通常是将多种技术结合使用，形成优势互补。[ 1 ]

2 高效之道——分布式计算

典型的分布式计算技术如下：1）中间件技术：分布式应用软件若需要在的技术之间共享资源则需要借助于此。[ 2 ]2）移动Agent技术：一般认为此技术是一类自治程序，为分布式应用提供高效方便的执行框架，并能在自治之下实现不同计算机之间的移动。3）网络技术：此技术实现在动态变化的多个虚拟机构间共享资源和协同解决问题。[ 3 ]4）P2P技术：能够充分利用分布在终端电脑上的边缘性网络资源降低对中央服务器资源的消耗需求。[ 4 ]5）Web Service技术：即Web服务， 是在Internet上进行分布式计算的基本构造块。 [ 5 ]

3 实时之道——内存计算

“内存计算”的出现，是为了应对实时分析计算的要求，加快处理速度，让数据分析的时效性和灵活性同时提升；“内存计算”的出现与计算机处理能力的提升、成本的下降直接相关，由于是“内存计算”数据库，同磁盘读取相比运行速度显著提升。

4 投向更广阔的技术领域——云计算、物联网、移动计算

4.1 云计算

典型的云计算技术如下：1）虚拟化技术：该技术打开了云计算的大门。2）海量分布式存储技术：云计算为了弥补了硬件的不可靠而以分布式存储方式进行数据的存储，海量分布式存储和计算系统由此发挥作用。3）并行编程模式：云计算自动将任务分成多个子任务，采用MapReduced编程模式，将通过Reduce和Map两个步骤进行。4）数据管理技术：云计算的数据有着非确定性、异构、海量的特点，故需有效的数据管理技术来进行处理分析，从而构建出扩展性强、高度可用的分布式数据存储系统。[ 6 ]5）分布式资源管理技术：是保证系统状态正确性的关键技术。6）云计算平台管理技术：能协同大量的服务器，是云计算的“神经网络”。

4.2 物联网

物联网的概念最初来源于美国麻省理工学院（MIT）在1999年建立的自动识别中心 （Auto- IDLabs）提出的网络无线射频识别（RFID）系统——把所有物品通过射频识别等信息传感设备与互联网连接起来，实现智能化识别和管理。[ 7 ]其关键技术如下：

1）RFID：又称电子标签，其系统包含两部分：一是读写器，二是电子标签。2）近场通信技术：又称近距离无线通信，一种短距离的高频无线通信技术。[ 8 ] 3）传感器网络技术：主要解决物联网中的信息感知问题，是其技术核心。4）无线通信技术：此技术将使物联网的构想变为现实。[ 9 ]

4.3 移动计算

主要的移动计算关键技术如下：

1）移动计算通信协议：具有特殊运行环境的移动计算需要有异于传统计算模式的通信协议来支持。2）情景感知：主要解决移动计算如何为移动的用户提供基于其所处情景的服务。3）移动计算环境：其搭建是移动计算为用户提供服务的基础。4）无缝迁移技术：要求用户任务在移动过程中，与该任务各种相关信息也随之移动。

5 总结

目前，有些大数据的研究，是以商业利益为驱动，一些大的依靠数据牟利的大公司也许在今后会是大数据应用的主体，然而不管怎样，大数据一定会成为各界的重点研究领域。总的来说，目前对于大数据的研究仍处于一个初期的阶段，还有很多问题需要解决，希望本文的介绍能够给大数据关键技术研究提供一定的参考。

参考文献：

[1] 黄解军，潘和平，万幼川.数据挖掘技术的应用研究[J].计算机工程与应用，2003（2）：45-47.

[2] 周园春，李淼，张建等.中间件技术综述[J].计算机工程与应用，2002（15）：80-82.

[3] 周晓峰，王志坚.分布式计算技术综述[J].计算机时代，2004（12）：3-5.

[4] 周文莉，吴晓非.P2P技术综述[J].计算机工程与设计， 2006 （1）：76-79.

[5] 王楠，刘心雄，陈和平.Web Service技术研究[J].计算机与数字工程，2006（7）：88-90.

[6] 刘正伟，文中领，张海涛.云计算和云数据管理技术[J].计算机研究与发展，2012（S1）：26-31.

[7] 孙其博，刘杰，黎羴等.物联网：概念，架构与关键技术研究综述[J].北京邮电大学学报，2010（3）：1-9.

[8] 李建功，王健全，王晶等.物联网关键技术与应用[M].机械工程出版社，2013：62.

[9] 胡向东.物联网研究与发展综述[J].数字通信，2010（4）：17-21.