“大数据”及其对档案的影响

2017-08-30李迪

卷宗 2017年16期

李迪

摘要：2012年“大数据”一词被介绍到中国，中国如何在大数据时代取得更大的发展，成为社会各界探讨的热点，在阅读完涂子沛先生写的《大数据：正在到来的数据革命》一书后，对大数据有了简单的了解，本文主要介绍了“大数据”的内涵，从大数据的概念、价值作用以及大数据的特点三个方面介绍大数据，让大家对大数据有一个简单的了解，在此基础上，结合档案馆的发展，对大数据背景下档案工作遇到的机遇和挑战做简单的分析，真正了解大数据对档案发展的影响。

关键词：大数据；信息；档案馆

2012年3月29日，美国政府推出“大数据的研究和发展计划”，将大数据提升到了全球性战略发展的高度。中国，自古以来就不太注重对事物的定量研究， “差不多”、“大约”、“左右”等模糊性词语经常出现在公众的眼球中，致使中国人落下了“差不多先生”的叫法。如今，中國正处于经济、技术发展的黄金时期，中国要想在世界发展中取得更大的成就，就必须摘掉“差不多先生”的帽子，让数据说话，将科学的数据作为研究的保障，而“大数据”时代正为中国的发展提供了极大的机遇。要想在此次信息革命中取得成绩，首先我们要了解“大数据”究竟是什么，究竟能为我们的生活带来何种改变。

1 “大数据”的内涵

1.1 “大数据”的概念

2011年5月，全球知名咨询公司麦肯锡（Mckinsey and Company）发布了《大数据：创新、竞争和生产力的下一个前沿领域》报告，首次提出了“大数据”的概念，从“大数据”一词被提出以来，人们对大数据的概念就存在不同的理解，各个定义虽然在具体的表达中存在不同，但其都有一个共识，即：大数据不是对数据量大小的定量描述，而是一种在种类繁多、数量庞大的多样数据中进行的快速信息获取。大数据是对海量数据的管理，其核心是基于数据的决策。之所以称其为“大数据”，一是其数据量大，更大一部分原因是因其数据管理的价值大。

大数据是结构化数据、半结构化数据与非结构化数据的总和，主要来源于海量交互数据、海量数据处理以及海量交易数据，而我们在日常生活中，智能设备、物联网、社交网站等产生的半结构化数据、非机构化数据量更是远远大于在学习、工作中产生的结构化数据。如何处理这些占据了主要份额的半结构化数据与非结构化数据也因此成为大数据的主要业务与内容，进而对数据分析与数据挖掘产业提出了更多的要求。因此大数据的“数据”不是指数据的存储，而是数据的获取和数据的分析应用。

通过对大数据的了解，大数据的概念可以总结为：大数据是指通过对结构化、半结构化、非结构化数据的挖掘、分析，进而为社会决策提供数据依据一种数据研究。

1.2 “大数据”的作用、价值

之所以称其为“大数据”的一个主要原因是因为其含有“大价值”，通过大数据中的数据，我们可以了解客户行为习惯，可以对市场发展进行预测，可以了解一个行业的发展趋势等各种有价值的信息，不仅可以促进商业、经济的发展，更能为政府决策体统可靠的依据，使政府决策更加贴近民心，顺应民意，使政府更加了解民意等。可以说大数据能够对一个地区的政治、经济、社会的发展发挥更大的作用和价值。

“大数据”的价值可以归纳为以下几个方面：

（1）通过数据的分析、挖掘，为企业的可持续发展做出科学预测，减小企业发展风险，实现企业的科学发展。为社会经济的发展提供科学的分析依据。

（2）对用户的研究分析，通过从海量数据中的深度分析，挖掘利用者的行为习惯和爱好，充分了解利用者的需求。

（3）有助于提高信息安全，为信息安全部门应对安全威胁提供有效途径。

（4）通过对公共大数据的分析、挖掘，可提高公共机构的执行能力，减少错误数据的负面作用，帮助政府节省开支，为政府决策体统可靠依据。

1.3 “大数据”的特点

“种类多、流量大、容量大、价值高”被称为“大数据”的4V特性：

（1）容量大：数据量级已从TB（1012字节）发展至PB乃至ZB，可称海量、巨量乃至超量。

（2）多样化：数据类型繁多，愈来愈多为网页、图片、视频、图像与位置信息等半结构化和非结构化数据信息。

（3）快速化：数据流往往为高速实时数据流，而且往往需要快速、持续的实时处理；处理工具亦在快速演进，软件工程及人工智能等均可能介入。

（4）价值高和密度低：以视频安全监控为例，连续不断的监控流中，有重大价值者可能仅为一两秒的数据流；360°全方位视频监控的“死角”处，可能会挖掘出最有价值的图像信息。

2 大数据背景下的档案

2.1 复杂数据的处理将成为大数据时代档案工作的发展方向

当前环境下，档案信息的数据处理主要是将档案信息等进行数字化、电子化处理，并在此基础上最大程度地满足用户的利用，数据库、档案网站、档案公众号等都为档案信息的开发利用提供更多的途径。这也使得档案资源的处理范围、处理方式、对象等都发生了巨大的变化，例如根据利用者的利用数据了解利用者的需求、爱好，为用户提供推动服务、知识服务等。

此外，大数据对档案馆的数据分析、挖掘能力提出更高的要求，从大量数据中发现其中的规律，找出隐藏在数据中的潜在价值，才能提高档案馆的服务质量，才能带来服务方式的转变，这样才能更大限度地发挥档案的社会功能，为社会提供更多更有价值的信息资源。

2.2 快速增长的复杂海量数据为档案信息的存储能力提出更高的要求

随着数据库、档案网站、电子文件的不断发展和完善，档案信息资源的种类、信息类型越来越丰富，大数据背景下人们的一举一动都将产生出大量结构化、半结构化的信息数据，在如此复杂的数据中进行分析、挖掘，对档案信息的存储能力提出了更大的挑战，甚至会影响档案信息资源的建设模式的转变。

此外，大数据背景下不仅是对档案存储能力提出更高的要求，更对数据的分析、挖掘能力提出更生层次的挑战，如何从如此复杂大量的数据中找出有效的信息，分析出有效的数据，为用户提供更加准确的信息服务都将是档案工作面临的问题。

2.3 大数据背景下信息资源管理面临的挑战

我们知道信息管理面临众多的挑战和难题，而在大数据背景下，在如此复杂、大量的数据中，信息管理面临着以下几方面的挑战：

1.数据多，数据质量良莠不齐，真伪难辨，如何判断档案信息资源的真伪一直是档案界讨论的热点。

2.信息领域技术日新月异，高度复杂，对工作者的技术要求越来越高。

3.大数据背景下，用户的要求越来越高，用户的需求也在不断的增多，如何更好的满足用户的需求，成为档案馆以及信息服务机构需要解决的重要问题之一。

4.市场经济条件下，信息产品和信息服务的价值越来越难在市场上实现。这就为信息机构如何实现其市场价值提出了要求。

5.档案信息的安全问题越来越重要。大数据背景下，如何确保海量存储信息的安全，如何确保信息系统的安全等问题，仍需要人们深入的研究。

参考文献