大数据技术及其应用前景

李晓田

摘要：大数据是继物联网、云计算技术之后的又一新型信息技术，是计算机数据数字化和互联网数据网络化相结合的产物，现在正被广泛地应用到生活中的多个领域。大数据不仅是一种技术创新，它更是一种基础性资源，潜藏着巨大的应用价值，政治、经济、管理等领域应用它来分析预测判断，以作出正确的决策。本文分析了大数据的相关技术及特点，并指出了大数据技术的应用前景及面临的挑战。

关键词：大数据 技术 应用

中图分类号：TP311.13 文献标识码：A 文章编号：1007-9416（2016）07-0245-01

1 大数据相关技术分析

1.1 大数据处理通用技术架构

大数据基本处理流程不同于传统的数据处理流程，大数据所处理的数据具有大量化、非结构化特点，在每个环节都可以采用并行处理方式，目前，大数据对各环节的处理所采用的是以Wapreduce为代表的分布式处理方法，MapReduce分布式方法包括有分布式文件系统GFS、分布式编程环节和分布式大规模数据库管理系统Bigrable，是一套软件框架，由Map和Reduce两阶段组成，可以对海量的数据进行分割、任务分解和结果汇总等处理，其工作原理是“先分后合”，将数据分解成多个部分并分配给多台处理器处理，也即是“Map”的含义；“Reduce”意即“合并”，就是将各处理器的处理结果汇总后得出最终结果。用户只须用自己的Map函数和Reduce函数就可以在集群上进行大规模的分布式数据处理。

1.2 大数据采集

大数据的采集就是利用数据库接收来自Web、App或传感器的数据，能够接受庞大的访问户来并行访问和操作。比如淘宝平台，每天都有庞大的访问量，如果采用传统的数据采集工具则很容易就会导致整个淘宝网站瘫痪。大数据的采集方法主要有系统日志采集、网络数据采集、数据库采集及其他数据采集。

1.3 大数据分享

大数据的数据分享是通过数据集市和开放数据平台的方式来实现的，开放数据平台可以提供涵盖本地服务、娱乐、餐饮、教育、交通等方面的数据集合，用户既可以通过API访问，也可以通过SDK集成到移动应用中。在线集成数据除了可以为用户提供下载功能，也可以为用户提供上传和数据交换功能，，既可以提供数据给用户使用，也可以给数据设计提供在线设计开发功能。

1.4 大数据预处理

数据预处理就是对采集到的数据进行清洗、填补、平滑、合并、规格化及检查一致性等处理，并对数据的多种属性进行组织，从而为数据的存储、分析和挖掘做准备，数据预处理通常包括数据清理、数据集成变化变换和数据规约几个部分。

1.5 大数据存储于及管理

大数据的存储和管理要有效，才能实现数据的利用价值，大数据的存储和管理包括分布式文件系统、数据仓库和非关系型数据库等三类主要技术。

1.6 大数据分析及挖掘

大数据的分析与挖掘是一种决策支持过程，它综合人工智能、机器学习、模式识别、数据挖掘、数据库等技术实现对大数据的分析推理，挖掘提取有用的信息。相比较于传统的数据，其有着以下特点：采用并行处理方式、对实时处理有较高的要求，常用的方法是机器学习、数据挖掘、模式识别、统计分析和并行处理。

1.7 大数据检索

实时检索包括数据库实时检索和实时搜索引擎。数据库实时检索，就是在数据库等大型数据存储平台或在多个不同结构的数据存储平台间快速的查询、检索不同结构的数据。实时搜索引擎，就是对互联网上的大量数据和信息进行实时、快速，实现快速搜索，即搜即得的效果。

1.8 大数据可视化

大数据的呈现方式比较直观、清晰，且呈现方式多样化，可以将错综复杂的数据关系通过图片、映射、表格等方式智能化地呈现给用户。通过数据访问接口或商业智能门户，可以将数据直观的表达出来。通过交互可视界面来进行分析、推理和决策，从海量、动态、不确定甚至相互冲突的数据中整合信息，挖掘数据信息更深层次的价值，可以帮助人们对未来走势进行预测，理解并解释一些复杂的现象。

2 大数据应用及面临的挑战

目前，大数据技术得到了广泛的关注，也逐渐被应用到生活中的各个领域中，使得一些传统的产业发生了重构。在商业领域，不少企业将大数据技术作为一种分析预测的手段，用于优化企业的运营状况，比如沃尔玛通过运用大数据挖掘来重塑并优化供应链，卓越、亚马逊、淘宝、阿里巴巴等通过对庞大的数据量进行分析和预测，为用户提供更加专业化和个性化的服务；在社会治理领域中，政府正在打造基于大数据技术应用的管理模式和管理方法，着力于打造智慧城市，促进政府职能的转变；在教育领域，通过大数据技术分析人们对知识的需求，对教育方面的需求，重构知识体系，整合、组织网络教育资源，从而改变人们的教育理念和学习方式。但大数据应用在涉及到个人隐私方面则比较令人担忧，比如人们用手机收发的短信、在互联网上的聊天内容、存放在网络上的图片，这些都有可能被泄露出去，所以在大数据时代，对隐私的保护更要靠行业的自律，而非单单只靠法律。由上述可见，大数据技术在商业、政治、文化、教育等方面有着广泛的应用前景，会对这些领域产生深远的影响，改变着人们的思维模式和行为习惯。

3 结语

大数据技术是继云计算、物联网后的又一战略资源，世界多个国家都将大数据技术的应用作为一种战略布局上升到了国家安全层面，并通过大数据顶层设计，制定了战略规划。因此，大数据时代下，我们要充分掌握大数据相关的技术，高瞻远瞩地认识到其广阔的应用前景及面临的挑战，以更好的将大数据技术应用到社会生活的各个领域。

参考文献

[1]陈超.大数据技术推动网络营销发展[J].商情，2013（42）：21.

[2]张小丰.浅析计算机数据技术在信息管理系统中的应用[J].消费电子，2014（18）：18.