浅谈大数据技术发展趋势

摘 要：随着信息技术的迅猛发展，各种数据呈指数级增长，标志着大数据时代的到来。大数据已经开始影响我们的工作、生活，甚至国家决策，大数据技术因此也得到了各大研究机构与企业广泛的关注和研究。本文对大数据的相关概念进行了介绍，并对大数据技术未来的发展趋势进行了展望。

关键词：大数据；云计算；大数据技术；数据挖掘

中图分类号：TP311.13

随着互联网技术和应用模式的快速发展，人们生活方式在不断改变的同时也产生了巨大的数据资源。预计到2020年，全球的数据总量将远远超过人类有史以来所有印刷材料的数据总量，大数据时代即将到来。现阶段关于大数据有多种不同的定义，研究机构Gartner认为大数据是指需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产；维基百科上大数据指的是所涉及的资料量规模巨大到无法通过目前主流软件工具，在合理时间内达到撷取、管理、处理并整理成为帮助企业经营决策目的的资讯；而麦肯锡则认为大数据是指无法在一定时间内用传统数据库软件工具对其内容进行采集、存储、管理和分析的数据集合。无论哪种定义，我们可以看出，大数据并不是一种新的产品也不是一种新的技术，就如同本世纪初提出的“海量数据”概念一样，大数据只是数字化时代出现的一种现象。

数据量的剧增、国家和企业间竞争的加剧，要求政府和企业能更准确、快速、个性化的为客户和公众提供产品和公共服务。通过大规模掌握用户的细节数据，政府和企业可以分析出通过传统数据分析手段无法获知的价值和模式，做出更为迅速、科学、准确的决策和预测。由此可见，大数据技术是预测分析、数据挖掘、统计分析、人工智能、自然语言处理、并行计算、数据存储等技术的综合运用。

1 大数据特点

从计算科学发展历程来看，物联网的兴起对数据存储和分析产生了更高层次的需求，云计算则进一步拓展了计算机的计算能力。在以上二者的共同推动之下，大数据的概念应运而生，同时也标志着计算科学进入到一个崭新的时代。大数据有着不同于传统数据对象的特点。目前的研究认为，大数据具有以下主要特征：数据规模大、数据种类多、数据要求处理速度快、数据价值密度低以及数据真实性。数据规模大体现在大数据的数据量是以PB，EB和ZB来进行衡量的；数据种类多体现在大数据的数据类型不仅是结构化数据，还包括物联网数据、社交网络数据和位置数据等数据，更多的是半结构和异构数据，数据的复杂性高；数据处理速度快体现在对静态数据和动态实时数据处理的速度与时效要求高；数据价值密度低主要体现在大数据数据量巨大但由于数据结构分散导致数据价值密度低，需要进行数据分析和推理实现价值提纯；数据真实性体现在只有真实而准确的数据才能使大数据的分析、推理和管理有意义。

2 大数据技术发展趋势

2.1 人工智能技术的结合

大数据分析的目的是挖掘大数据中有价值的信息，是从大数据中获取更准确、更深层次的知识，而不是对数据的简单统计分析。要达到这一目标，需要提高计算机的智能计算能力，让系统具备对数据的分析、推理和决策，人工智能是实现以上能力的核心技术。近年来，人工智能的研究成为学术界和企业界的研究熱点，一方面得益于计算机硬件性能的提升，另一方面得益于以云计算、大数据为代表的计算技术的快速发展，使得信息处理的速度和质量大为提高，能够快速、并行地处理海量数据。

2.2 基于数据科学的多学科融合

在大数据时代，许多学科的研究内容从表面上看存在很大的区别，但是从数据研究的视角来看，其实是有共通点的。随着数字化时代的到来，越来越多的学科在数据层面趋于一致，可以采用相似的思想来进行统一的研究。但数据科学的基础问题体系尚不明朗，其自身的发展尚未形成体系成为制约多学科融合的关键问题。

2.3 与网络技术领域的交叉融合

未来大数据将与物联网、移动互联网、云计算等热点技术领域相互交叉融合，产生更多融合不同行业数据的综合性应用。近年来计算机和信息技术发展的趋势是：前端更加简单丰富，后端更加智能快速。物联网与移动互联网促进了物理世界和人的融合，大数据和云计算提升了后端的数据存储管理和计算能力。今后，这几个热点技术领域将相互交叉融合，产生很多跨行业和跨领域的综合性应用。

2.4 大数据安全与隐私

过去几年大数据安全和隐私问题是国内外的研究热点，未来大数据的安全和隐私问题依然将是学术界和企业界研究与探讨的热点。大数据及其相关核心资源涉及企业商业机密和国家主权，引发了社会各界人士的广泛关注，因此如何保护大数据的安全以及用户的隐私成为一个亟待解决的社会热点问题。但大数据应用所产生的隐私问题、大数据系统和体系存在的安全防范方面还没有实质性的进展和突破。毫无疑问，未来大数据安全和隐私问题依然是热点趋势。

2.5 基于大数据的深度学习和众包计算

最近几年深度学习大热，在很多领域发挥了巨大的作用，成为人工智能和大数据领域研究的热门学科，未来基于大数据的深度学习还将是各大研究机构和企业的研究重点。

基于物理资源分散式的应用场景，比如以前常用的P2P技术等对于深度学习这种需要物理资源相对集中的计算方式则会有局限，而众包计算这种物理资源分散式的分布式计算平台则可以有效避免这个问题。因此基于大数据的众包计算也是未来大数据分析与应用领域的研究热点和发展趋势。

2.6 大数据技术课程体系建设和人才培养

大数据技术的快速发展和行业应用需求的快速增长，使得目前技术市场上高素质大数据技术人才严重短缺。因此，政府、高等院校和科研院所将加快建立大数据技术人才教育和培养体系，发展数据科学和工程专业，梳理和构建跨学科和领域交叉的大数据课程体系，融合计算机、数学分析统计、应用相关的学科，推动交叉学科数据分析技术的发展以及人才的培养。只有在体系建设和人才培养方面与市场需求同步，大数据技术才有不断向前发展的基石和动力，因此这也是未来大数据技术行业的发展趋势。

3 结束语

大数据技术是我们利用计算技术对大数据进行分析和推理并挖掘其潜在价值的技术，具有重要的研究意义和实际价值。本文从大数据的概念展开讨论，详细分析了大数据技术研究目前面临的一些问题以及未来的研究热点和发展趋势。尽管目前大数据技术研究已经取得了一些研究成果，但在学科基础、应用广泛性、系统支撑基础、生态环境、人才底蕴等方面仍然存在一些亟需解决的问题，需要政府、企业高等院校和研究机构等共同努力，推动国家在该领域的技术水平走到世界前沿。

参考文献：

[1]王元卓，靳小龙，程学旗.网络大数据：现状与挑战[J].计算机学报，2013（06）：1-15.

[2]陶雪娇，胡晓峰，刘洋.大数据研究综述[J].系统仿真学报，2013（25）：142-146.

[3]Thomas H.Davenport，Paul Barth，Randy Bean.How'BigData'is Different[J].MIT Sloan Management Review， 2012，54（01）：22-24.

[4]Victor Mayer-Schonberger，Kenneth Cukier.大数据时代[M].杭州：浙江人民出版社，2013：193-232.

作者简介：刘琳（1981-），女，四川泸州人，讲师，本科，研究方向：计算机网络、多媒体技术。

作者单位：重庆电子工程职业学院 计算机学院，重庆沙坪坝 401331