大数据的发展及应用

【摘 要】近些年以来，信息技术在以肉眼可及的速度发展着，世界各国都在对现代化的建设积极的进行中，对信息技术的广泛应用，都是能够让社会整体的每日运作产生出海量的数据。这个标志着人类文明跨入的新时代就是大数据时代。大数据时代让社会的更多岗位和领域出现了无数的发展机遇和可能性，带来了更多的挑战性。本文在对大数据的产生和兴起做一个简单介绍，在这个范围内，从关联性上、数据可视化的角度对经济性和社会学的角度出发去对大数据的兴起和应用展开一定的研究。

【关键词】大数据;发展;应用

引言：

随着社会信息技术的高速发展以及网络、云计算在现代人们的日常生活中应用的普及，大量的非结构化的数据就随之产生了出来。这些非结构化的数据就成为了我们了解、认知、改造世界提供了重要的依据。不管是企业还是个人在通过计算机、移动设备或者网络等工具制造出对应的数据并且传输产生了大量的信息，这些信息中不仅包括了企业的数据，还包括了个人以及其他事物的数据，这个信息量还在不断的繁衍并且增大。大数据在潜移默化中就悄悄的融入到我们的生活中来，并且在不停地影响着我们。如何利用、组织这些种类繁杂的数据并且要保证在传递和使用过程中的安全就成了我们要重视的问题。

一、大数据的概念以及定义

对大量结构化数据或非结构化数据进行分析和处理，从中获得新的信息价值，其特点有数据量巨大，数据类型众多、处理要求快以及价值密度低等明显的特点，这就需要用到大量的存贮设备和分析计算力。

随着IOT、SNS、移动网络以及云计算等技术的不断应用和更新，在当今这个高速发展的信息数据化的社会中，大量可视化数据给我们的现有生活带来了极大的便利性[1]。不仅在提高我们的工作效率和日常生活的便利的同时，还对着科学发展模式的变革起到了重要的作用，但是在这些好处的背后，我们也看到了一些大数据时代的一些问题，比如数据安全、数据存储、数据处理等一些还存在一定隐患的部分。在大数据在给我们的生活和工作提供便利性，提高生产力带来更多财富的同时，我们也要去关注它的隐患风险点，更好的去控制它才能让大数据更好的为我们服务。

大数据即big data一词是描述以电子的方式传输和存储巨量的信息，也是形容不断被人类创造的非结构化巨量数据，是指不能在可承受的时间范围内用普通的软件工具尽心搜集、管理和处理的体量巨大的数据集合体。这种技术可以在不同的种类、体量巨大的数据中，高效且方便的筛选出有效的高价值数据资源。在我们一般的认知里大数据是包括了搜集数据的设备、系统和数据的分析平台组成的。

二、大数据的特点以及应用

大数据一般就是指大量非结构和半结构化的数据，它一般是指那些远超过正常的数据库处理系统和管理系统所能够承载的数据[2]。所以不是所有信息技术产生的数据都会属于大数据，在Forrester提出的数据源分类四大特征中，大数据有4个非常明显的公认特征，即数据容量大、数据涌入快、数据种类多、数据价值密度低。

（一）数据容量大

大数据必然是巨量的，在目前按照维基百科的定义来说，当前的大数据的字节规模是几十个太字节到数个柏字节的，这个“大”是和数据类型有关的大，在预测中，这个数据量的大小，在随着计算机领域的技术发展，有可能向艾字节发展。就目前的大数据规模，数据库能够存贮这么大的数据，成本的昂贵也是无法想象的。

（二）数据涌入快

大数据会非常快的或者实时的将数据传输进来，就需要对大数据流来进行及时有效的分析处理，甚至会出现因为数据传输太快太多，就需要舍弃一部分数据。

（三）数据种类多

作为结构性、非结构性以及半结构性数据三大类组成的大数据，在类别的不同上有着不同的处理方法，目前全球的大数据里，80%是非结构性和半结构性的数据，这两种是不符合标准关系数据库管理系统的，不是属于可以直接进行处理的数据类型，所以无法使用传统模式進行处理，只能使用固定格式的数据库工作来进行分析。

（四）数据价值密度低

大数据中的大多数数据是重复的，如果涌入数据过快，忽略其中一部分重复内容是不会影响分析结构的[3]。这些大数据在被汇总和分析之前都是一些低价值的数据，或者说是价值密度低的数据，只有汇总后处理、分析才能让这些数据具有价值。所以，大数据的价值就像淘金一样，需要把杂质过滤掉之后，剩下的才是有价值的信息。虽然大数据的容量大，价值的绝对值可能很大，但是和数据的总量来性对比的话，相对值是很低的。

在应用方面，大数据的使用对企业来说可以在对大数据的挖掘和利用以后，整合系统的大量数据进行分析有效的价值，不仅可以提高企业的竞争力度，改善企业营销的策略，对客户的定位和产品创新的方面也能对比大数据的信息进行筛选处理，在工作流程优化、人力资源管理等方面的管控也是可以通过系统分析后将每个方面进行细致规划进行统筹处理。目前，不仅是计算机和电子产品，在制造、零食、能源方面，更多的企业会采用大数据的分析和应用结果进行着营销的决策，并且都能获得更高的利润。在交通、医疗等民生的领域，间接的推动了社会信息化服务水平，不仅也是提高了行政部门的办事效率，也同时保证了人民群众的生活便利。笔者所在城市的医疗保险缴纳，已经从排队等号人工缴纳到现在的刷身份证就可以办理，也就说明现代政府部门也在朝着大数据的便利性上转变，不仅是方便了民众的便捷，也让工作人员的劳作压力变小。

信息是具备着两个属性的，物理属性和内容属性，在信息革命60年，一直在边缘，从未触及它的核心。在如今的大数据应用分析理，让我们看到和处理的不再是信息的物理属性，二是信息的内容属性。使得信息成为了和材料、能源同列的现代人类社会发展的三大基本资源。

三、大数据应用方面的挑战

大数据在提供了便捷性的今天，也在应用方面让我们看到一部分隐患。这些隐患是包含了提高数据计算模型的计算力、保护数据的安全隐私和计算机的硬件更新换代等。

上文已知，大数据的巨量化特性，且目前的存贮成本十分高昂。在随着社交网络不断的升级扩容，里面的数据将会变得更多[4]。再加上处理大量低价值数据的及时性上需要更高效信息分析处理设备，这就使得在计算机的软件、硬件方面进行革命性的升级，才能满足当下大数据的整合、处理需求。在网络病毒泛滥、黑客的无孔不入、以及一些相关利益链之间的数据买卖就成了我们面临的一个问题点，我们在生活中的所有信息都会被记录，并且被倒卖，既有可能对我们日后的生活中带来一定的风险，这就需要政府制定一系列的政策和法律法规来去约束、管理不法的个人、机构和团体。从而避免数据的滥用和保护公民隐私安全的暴露。

结语：

在大数据应用的今天，大数据的应用已然渗透了我们的生活并且完美的融入了社会中的各行业之中。大数据的分析和数据的处理地位已经被广泛的应用，借助云计算平台对这些数据的分析，在变革的新方面推动了工业和商业的创新，并且在生产创造力的提升上发挥了自己的重大作用。在大数据的使用中，不仅要看到其带来的价值，也要看到大数据目前受到的硬件、软件等系统资源上的挑战，还要看到在使用大数据的过程中，还有着一些数据风险和威胁性，如何更好的利用好大数据，并且控制好数据的安全，降低数据的风险性方面，也是我们要时刻关注着的。

参考文献：

[1]董子萱. 试论大数据时代计算机软件技术的发展及应用[J]. 数字通信世界，2019（03）：174.

[2]闵锐. 人工智能、大数据和云计算的融合发展及应用[J]. 中国高新科技，2019（17）：79-81.

[3]范应胜. 大数据技术与金融业的融合发展及应用研究[J]. 中国产经，2020（14）：41-42.

[4]中国社科院财经院研究室副主任、清华大学研究员 冯煦明. 深化平台企业定价行为研究，加强对“大数据杀熟”监管与治理[N]. 21世纪经济报道，2021-05-11（004）.

作者简介：

张雪媛（2001.06-），女，青海，专科，大数据技术与应用。

（作者单位：西南科技大学城市学院）