大数据技术的发展与应用

黄玲

【摘  要】在二十一世纪信息化时代飞速发展的当今，大数据吸引了越来越多的关注，成为信息社会的重要财富，同时也给数据处理与管理带来了巨大挑战。大数据本身是没有任何意义的，它的意义在于我们能够通过对数大数据的分析与处理，等到具有规律性的结论知道我们的行为和决策。在国家政策和历史发展机遇之下，大数据技术的发展必将一日千里。

【关键词】大数据;数据挖掘;价值密度

在二十一世纪信息化时代飞速发展的当今，信息技术已经深入到了千家万户，在不知不觉中潜移默化的改善这我们的生活。最早提出“大数据”时代到来的是全球知名咨询公司麦肯锡。该公司称：数据已经渗透到了当今的每一个行业和业务领域，成为重要的生产因素。

大数据就是我们在使用计算机软件的时候，在固定时间范围内所产生的数据集合，大数据本身是没有任何意义的，它的意义在于我们能够通过对数大数据的分析与处理，得到具有规律性的结论指导我们的行为和决策。在二十一世纪的今天，由于支付宝、微博、微信等APP 的广泛应用，数据正在以前所未见的速度膨胀，大数据的时代已经到来了。

一、大数据的来源。大数据分析的数据来源有很多种，包括公司或者机构的内部来源和外部来源。分为以下几类

1）交易数据。包括POS机数据、信用卡刷卡数据、电子商务数据、互联网点击数据、企业ERP系统数据、销售系统数据、公司的生产数据、库存数据、订单数据、供应链数据等。

2）移动通信数据。移动通信设备记录的数据量和数据的立体完整度，常常优于各家互联网公司掌握的数据。移动设备上的软件能够追踪和沟通无数事件，从运用软件储存的交易数据到个人信息资料或状态报告事件等。

3）人为数据。人为数据包括电子邮件、文档、图片、音频、视频，以及通过微信、博客、推特、维基、脸书、Linkedin等社交媒体产生的数据流。这些数据大多数为非结构性数据，需要用文本分析功能进行分析。

4）机器和传感器数据。来自感应器、量表和其他设施的数据、GPS系统数据等。

5）互联网上的“开放数据”来源，如政府机构，非营利组织和企业免费提供的数据。

二、大数据的4大特点与3大特征。

大数据4大特点

1）海量性

目前大数据的规模尚是一个不断变化的指标，单一数据集的规模范围从几十TB到数PB不等。简而言之，存储1 PB数据将需要两万台配备50GB硬盘的个人电脑。此外，各种意想不到的来源都能产生数据。

2）多样性

数据多样性的增加主要是由于新型多结构数据，以及包括网络日志、社交媒体、互联网搜索、手机通话记录及传感器网络等数据类型造成。

3）高速性

高速描述的是数据被创建和移动的速度。在高速网络时代，通过基于实现软件性能优化的高速电脑处理器和服务器，创建实时数据流已成为流行趋势。企业不仅需要了解如何快速创建数据，还必须知道如何快速处理、分析并返回给用户，以满足他们的实时需求。

4）易变性

大数据具有多层结构，这意味着大数据会呈现出多变的形式和类型。相较传统的业务数据，大数据存在不规则和模糊不清的特性，造成很难甚至无法使用传统的应用软件进行分析。传统业务数据随时间演变已拥有标准的格式，能够被标准的商务智能软件识别。目前，企业面临的挑战是处理并从各种形式呈现的复杂数据中挖掘价值。

大数据3大特征

1）数据类型繁多。包括网络日志、音频、视频、图片、地理位置信息等等多类型的数据对数据的处理能力提出了更高的要求。

2）数据价值密度相对较低。如随着物联网的广泛应用，信息感知无处不在，信息海量，但价值密度较低，如何通过强大的机器算法更迅速地完成数据的价值“提纯”，是大数据时代亟待解决的难题。

3）处理速度快、时效性要求高。这是大数据区分于传统数据挖掘最显著的特征。

三、大数据的安全保障。

在如此大量的数据资源之下，如何保障数据的安全也是我们需要头等关注的。我们可以通过对硬件设备的物理上进行隔离和软件设置上对用户权限进行控制，保证数据资源的安全性。还可以通过信息加密技术，对硬件设备上的数据资源进行加密处理，进一步加强数据的安全性。还可以让数据资源分别存储在云端与硬盘上，让数据分开保存，合并使用。最后就是法律手段。这样一来相信数据的安全性就能得到全面保障。

四、大数据技术的应用。

在现今流行的大数据这个概念性的词语出现之前，广大网络个人用户的数据几乎全部被忽略了，单位和企业的数据资源被谈及最多的。一个大型企业或者单位的内部数据资源是有一定的逻辑结构的，这些有结构的数据多多少少是被使用着的，也就是火遍整个互联网的数据挖掘。在互联网技术已经高速发展的今天，企业和个人的数据都已经多到爆炸。因此，从海量数据资源中发现有价值的信息成为了企业和个人迫在眉睫的任务。虽然对这些巨大的数据资源进行处理和分析提取有价值的核心信息比较困难，但是一旦提取出来，对各行各业的改革与发展却是具有决定性意义的。在公司和单位的管理与经营之中，如果使用大数据技术分析进行决策指导，能够将管理中的粗放式慢慢地变为精细式管理，大大提高工作的效率，也能够在经营销售中根据顾客的相关信息尽可能准确地向顾客推荐他所需要的相关物品，在提高顾客满意度的同時提高自己得销售业绩。在学校的教学实训中，如果使用大数据分析进行决策指导，将能根据每一个学生的兴趣爱好和特点特长更加有针对性的安排教学资源，真真正正地做到因材施教，物尽其用。在企业的生产之中，如果使用大数据分析进行决策指导，就能够对生产的各个环节进行优化改革，大大提高工作的流程的效率，节省掉在生产环节中不必要的成本和支出，增加企业的核心竞争力。随着时代的发展，在不久的将来，大数据技术的优势肯定会直接体现在国家的综合国力，对国家的安全和发展起到决定性的作用。在这一点，美国已经在一二年的时候启动了规模巨大的“大数据研究与开发计划”，走在了世界的前列。在我国，虽然与大数据相关联的技术与产业刚刚开始发展，在国家政策和历史发展机遇之下，大数据技术必将一日千里，飞速发展。

参考文献：

[1]陈明奇，等.大数据时代的美国信息网络安全新战略分析.第 27 次全国计算机安全学术交流会论文集，2012（8）.

[2]陈如明.大数据时代的挑战、价值与应对策略.中国国际信息通 信展专刊，2012.

[3]张光茫.大数据时代的思考与启示———读涂子沛《大数据》[J].水利天地，2012（09）.

（作者单位：重庆工程学院）