大数据时代的数据质量管理

储心芸

【摘 要】近几年，在数据量井喷、各种应用口渐深入的背景下，“大数据”一词在媒体上的曝光率空前提高。目前，越来越多的领域开始应用大数据创造价值。为了合理有效地挖掘大数据所蕴含的巨大战略资源，能否用大数据的思维方式解决问题，需要对大数据进行数据质量管理。然而大数据的收集、分析和应用上都还有很多的路要走，如何挖掘出数据价值，已经成为了目前各国必须面对的重大课题。本文在大数据背景下，分析了大数据的特点特征，给出了大数据研究的意义及思想观念上的转变，并就大数据质量管理的重要性及面临的挑战给出了分析看，最终得出了有关大数据数据质量管理的观点。

【关键词】大数据；数据质量；管理

一、引言

在人类历史的长河中，人们探索和发现未知领域的规律时，曾经主要依赖经验、理论和假设等推理的方法，受个人偏见影响较大。在大数据时代，因为技术进步，人们有能力获得研究对象的全部数据，通过对全部数据的不同维度分析来获取过去不可能获取的知识。

目前世界上并没有机构或组织对大数据下过公认的、权威的定义，不同的个人和机构对大数据有不同的定义。为了合理有效地挖掘大数据所蕴含的巨大战略资源，需要对大数据进行数据质量管理。然而大数据的收集、分析和应用上都还有很多的路要走，如何挖掘出数据价值，已经成为了目前各国必须面对的重大课题。

二、大数据介绍

（一）大数据特征

根据目前研究所得内容来看，大数据给我们的认识是：一是具有一定级别数量可以进行研究分析；二是难以通过传统数据分析方式进行分析；三是大数据分析所得的结论与以往小数据存在巨大差距。从这些对大数据的含义分析，可以看出大数据具有数据规模巨大、种类繁多、数据挖掘难度大的特征。

1.数据规模巨大

21世纪以来，人类社会步入信息社会时代，据有关资料显示2012年全世界每天产生27亿GB的数据量，几天产生的数据量是2000年之前全世界所有存储数据总和。网络信息社会的到来，使得信息经济社会的网络企业需要处理巨大的数据量。随着互联网的不断发展，大数据获取了更大的发展前景。

2.数据种类繁多

当今，我们生活在一个充满数据的世界里，各种各样的数据类型不断涌现而这些数据绝大部分都不具有我们过往所认识的具有结构性的数据，难以用传统的技术手段来进行分析。而这种数据处理的困境将会长期存在着，根据IDC预测指出，在可见的未来里，非结构的数据量将占据整个数据量中的90%以上。

3.价值难以挖掘

以上两个大数据的特征分析可知，社会中会形成海量的数据，存在种类繁多的数据，但对这些数据的使用我们还缺乏有效的挖掘手段，导致许多大数据所蕴含的价值难以被获取使用。在大数据的挖掘中，需要不断的进行创新，使我们在使用数据的过程中能够进行有效分析；还要培养大数据的思维方式，才能真正从大数据中挖掘所需的数据内容，创造出价值。

（二）大數据研究

1.大数据研究的意义

在信息社会时代中，通过不断创新对大数据进行研究和挖掘，对于社会经济的发展将会带来巨大的现实意义，小到个人、企业，大到国家、世界，能够把创新出大数据的挖掘技术手段，将会促进人类社会文明的进一步发展。

2.大数据研究对思想观念的转变

在数据的研究发展过程中，由于过去数据的获取和分析方式技术比较落后。在大数据时代中，获取数据的技术手段已经得到有效解决。因此，过去的数据处理方式已经不能适应大数据处理需求，需要进行总体观念、容错观念、相关观念上的转变。

三、大数据环境下数据质量的重要性及挑战

由以上论述我们知道，大数据所居偶遇的复杂、多样、多变等特点，要保障所获取的数据质量变得非常困难。为了对大数据环境下数据质量的重要性有一个全面的认识，并能够掌握其中所存在的挑战，下文将从流程、技术、管理三个方面进行论述说明。

（一）流程视角

数据只有经过加工后才能被使用，数据加工的过程也就是数据生成的流程，一般被分为收集、存储和使用三个过程，而在不同阶段中的数据加工水平影响着数据质量。

第一，在大数据时代中，数据来源多样而复杂给数据收集带来了极大挑战。众多的数据来源需要有相应的数据结构进行相匹配，才能真正将这些不同的数据来源整合在一起。第二，在大数据时代里，由于数据种类多而复杂，需要提供相应的数据结构来进行数据存储。对于企业来说，要建立起一套适用于自身的数据库处理技术和数据存储技术来存储公司的数据，使之能够按照需要进行提取适用。最后，对数据的收集、存储的最终目的是为了能够从中分析出有用的信息内容。在大数据时代中，所收集的数据内容并不是静止不变的，因此在对收集的信息进行分析时，如果不能保证提取、分析、更新和使用的准确性将会最终影响数据分析的质量，使得获取的结论得到偏差。

（二）技术视角

大数据时代中的数据质量要得到保障，需要有相应的技术手段来支撑，由于技术发展水平还不能完全满足现有大数据发展需求，使大数据质量面临挑战，更体现了技术水平对大数据质量的重要性。

在大数据时代中，需要处理的数据达到了一个数量级别，数据种类不仅具有线性关系的数据。要对这些数据进行检查扫描，按照传统的数据库存储技术是难以做到的。所以大数据对传统数据库存储技术提出了新的挑战，需要开发设计出适用于大数据存储需求的技术，才能够保证大数据质量问题的检测和识别要求。

（三）管理视角

在大数据时代中，数据的管理人员也会对数据的处理质量产生着重要的影响。

首先，在大数据时代中，对于大数据的管理应该上升到一个重要的地位。其次，企业要获取有利的发展环境，需要应用各种数据发展所需的信息内容，而这些数据的获取过程中需要专业的数据管理人员。因此，企业应不断增强数据管理意识，强化大数据质量管理工作，为企业的发展带来更有力的数据支撑依据。

所以，在大数据时代，企业在经营管理过程中，企业高层管理者应该加强数据意识，鼓励企业进行大数据管理并落实到经营管理中。不仅如此，在数据管理的过程中，需要各种各样的数据管理人才，实现企业的数据产生流程得到有效的检测和控制。

四、结论

大数据时代中的各种数据有着以往传统数据时代难以形容的特征特点，使用以往的手段已经难以适应数据时代的需要。在数据时代中，应该不断的进行数据技术上的各种革新发展，还要提高数据意识，加强数据管理，不断发展和储备各种具有数据分析处理能力和数据管理能力的复合型人才，为今后的数据开放发展的进一步提升带来有利的人员保证。

【参考文献】

[1]覃雄派，王会举，杜小勇，等.大数据分析——RDBMS 与MapReduce 的竞争与共生[J].软件学报，2012，23（1）：32-45.

[2]宋敏，覃正.国外数据质量管理研究综述[[J].情报杂志，2007，26（2）：7-9.

[3]张兰廷.大数据的社会价值与战略选择[D].导师：冯鹏志.中共中央党校，2014.

[4]孙妮.B2C购物网站商品评价的效应研究[D]导师：陈进.对外经济贸易大学，2014.

[5]潘毅.精准营销在电子商务领域中的应用及策略研究[D].导师：曾剑秋.北京邮电大学，2013.

[6]马光磊.精准营销在B2C电子商务中的应用研究[D].导师：王颂.北京邮电大学，2013.

[7]李小龙.基于MapReduce的电子商务个性化推荐研究[[D].导师：张润彤.北京交通大学，2014.

[8]林荣耀.大数据及在当代互联网应用中的研究[[D].导师：郭锋.厦门大学，2014.endprint