大数据时代档案工作的机遇、挑战与应对策略

吴伟宁

我们不得不承认，档案工作已经无可逆转地进入到知识、信息快速更迭的时代。知识呈井喷式增长，信息呈几何级泛滥，使得包括档案工作在内的各领域都饱受数据与信息的密集轰炸。随着大规模数据海量级的增长，人类社会进入了一个以“PB”（1024TB）为单位的结构和非结构数据信息的大数据时代。

一、大数据时代档案工作面临的机遇

1、有利于社会档案观的形成。档案事业由“国家模式”逐渐转变为“社会模式”是新时期我国档案工作的风向标，这既是档案部门内部主动变革的需要，又是外部环境驱动的结果。大数据更是为这种内部变革和外部驱动提供了新契机，对社会档案观的形成起到了促进作用。大数据的核心在于从海量的数据中挖掘价值，这将为档案价值的进一步发现和提升，提供了新的方法。档案馆的馆藏资源无疑就是一个海量的大数据，如何从如此庞大的数据资源中提取有价值的档案知识、信息，如何对分散的海量数据进行组配并挖掘信息价值，这是大数据应用于档案工作必须解决的问题之一，即如何帮助用户挖掘他们所需要或者关心的分散于海量档案数据中的信息价值，如何激发用户的潜在需求。毋庸置疑，在这一过程中档案价值将会得到进一步扩展和提升，同时社会公众也将会倍感档案资源的重要性和亲民性，一旦这样的档案意识逐步成型，档案社会观将得到广泛认可。

2、为电子文件的有效管理开辟新途径。如何有效保障电子文件的真实性一直是困扰电子文件管理的一大难题，而且该难题至今尚未得到很好地解决。电子文件每年呈指数增长，其量大惊人，对电子文件的真实性鉴定无法采用传统的“直接鉴定法”，因为这样操作会消耗大量的人力物力，投入成本过高。大数据在处理海量数据和分析复杂数据方面具有超强的能力，大数据技术能够提升电子文件管理的有效性，为保证电子文件的真实性提供新的技术路径。此外，大数据技术框架中还可以借助云平台提升档案数据处理的及时性，保证电子文件管理的及时性，防止电子文件游离于监管之外或者流失。

3、促进档案工作的变革和档案理论的创新。我国档案工作可以归纳为“八大环节”或者“管”和“用”两大方面。无论是在档案工作的各业务环节，还是在管和用上，我们都离不开“卷”或“件”这样的档案保管单位，传统档案管理的科学性在某种程度上需依托于特定的基本单位。而随着大数据时代的到来，以“卷”或“件”为单位的档案管理方法或许已经无法适应一些特殊情况。大数据所具有的即时性、碎片化、非结构化特征，我们很难再沿用“卷”或“件”为单位进行管理。大数据对传统档案资源本身的组织形式的弱化，使得档案工作逐渐转向依靠智能化的检索技术和挖掘技术，提高档案管理水平，而不再受传统档案组织形式的束缚。档案实践的不断深入，必将使档案理论得到相应的扩充。大数据时代，档案学理论体系本身很有可能实现新的突破，档案意义的大数据资源、理念模式、技术平台等等都将扩充档案学理论体系，甚至对来源原则、鉴定理论等核心理论提出革命性观点。

二、大数据时代档案工作遭受的挑战

大数据时代的到来，在给档案工作带来机遇的同时，也带来了诸多冲击和挑战。只有认清各种形势，档案工作才可能趋利避害，迎难而上，开创一片新天地。

1、传统档案管理模式受到冲击。大数据时代，档案等大量信息载体正由传统的形态和传播方式转向基于信息系统的方向发展，信息系统正逐渐成为当前世界信息资源产生、处理、流转和存储的主要平台。档案的产生形成、运转传输、提供利用等对网络和信息系统的依赖性会大大提高。在统一平台上实现档案的形成、处理、移交、保存、利用等业务环节的无缝链接将是档案管理的发展趋势，这无疑极大地冲击了传统线性的档案管理方式。传统的档案收集范围、保管方式、利用手段等方面也将随之受到冲击并引发变革。传统纸质档案管理以“卷”或“件”为基本单位，比较直观且便于操作，而在大数据时代，面对海量的档案数据，我们根本无法对其进行立卷，只能以“件”或“数据库”为管理对象。随之，后续的档案鉴定和档案统计都要进行相应的调整，对海量的档案数据不能再逐份鉴定，只能以项目、事件为单元项进行宏观鉴定;档案统计也从原有的“页”、“米”为单位改为以“GB”为档案数据统计单位。大数据的到来对档案工作的影响是广泛而深远的，今后档案更多的是以一种信息资源的方式融入到相应的信息管理系统中，实现统一平台的一体化管理，这必将对原有的档案管理理念和方法带来极大的冲击和挑战。

2、数据的安全与隐私成难题。大数据在给人们带来便捷获取档案资源的同时，也在数据安全与隐私的维护上存在很大的隐患，这既有理念和技术层面上的因素，同时也涉及法律方面的问题。从国家层面上来看，带有密级的国家档案的泄露，会给国家造成重大的损失，严重的还可能危及国家安全。就公民个人而言，公民个人隐私的泄露或者被他人恶意传播，会对个人的生活、工作带来许多不利影响。据不完全统计，2013年我国就有近千万公民个人信息泄漏，造成经济损失高达数十亿元。在面对数据的安全与隐私问题上，我们肩负三大任务：一是完善各种软硬件系统将安全风险降到最低程度;二是处理敏感数据过程中要设法保护数据隐私，实现信息的保密，解决所谓的数据隐私问题;三是在开放的数据环境下设法避免数据被恶意使用，保证合法数据在正常状态下使用。

3、技术挑战。首先，大数据的容错计算相当困难，算法也极为复杂，目前根本无法设计出绝对安全可靠的容错设备或软件。档案管理系统只能将失败的概率尽可能降低到可接受的范围，而不能完全消除，而且在这过程中系统的成本是要不断增加的。其次，大数据环境下的档案管理系统采用的是云计算技术，云技术的优势在于聚集工作负载，提高资源共享度，如此一来必然导致档案管理系统运行成本增加，而且还会加大系统出现故障的频率。再次，海量数据的获取和存储都需要较大的成本，当然，获取有价值的数据量越大，越有助于管理决策。现在档案管理系统遇到的关键问题是如何鉴定和区分数据的有用与无用，还有需要多少量的数据才能够支撑一个正确的决策。最后，异构数据增加了档案管理系统的运行负担。大数据时代的档案数据种类繁多，结构多样，有结构数据、非结构数据、半结构数据等。结构数据与系统有良好的集成性，便于系统的处理，而非结构化数据则不一样，处理非结构化数据比较繁琐且成本高。

三、大数据时代档案工作的应对策略

无论面对的是机遇还是各种严峻挑战，我们都应该积极应对，不失时机地将档案工作推到一个新高度。大数据时代档案工作是大有可为的，为此我们应做好以下应对措施。

1、树立档案大数据意识。在信息时代，档案工作强调档案数字化，而且经过一段时期的数字化，取得了一定成效。但是，在这一阶段的数字化仅仅解决了档案载体形式的应用问题或者说是信息技术初步应用于档案管理。而在大数据时代，无论是信息管理者还是公众用户已不再满足于更易于管理和共享的信息形式，而是更关注信息的价值，强调信息技术应用于档案管理领域所产生的档案价值，从改变信息形式转向挖掘信息价值。要完成这一转变，就要树立档案大数据意识，只有如此才能从海量的档案大数据中挖掘信息价值。大数据时代对档案的管理将会越来越深入，从信息载体形式深入到数据层面，从信息共享深入到信息价值共享，这是大数据技术框架下对数据的“流处理”模式，这也是档案工作大环境的大势所趋。只有树立档案大数据意识，才能够对档案数据、档案信息价值共享产生更为敏感的“嗅觉”，这对档案工作者来说尤其重要。可喜的是，一些档案部门也开始形成这种意识并尝试性地开展档案服务工作，如，北京房山区提出“基于数据挖掘的档案信息资源深度开发与利用”等。

2、革新档案管理技术。在传统的档案实体管理阶段，档案工作的直接对象就是档案实体，档案管理的手段与方式主要是依靠手工，诸如档案的整理、编目、装订等等都是纯手工的劳动。在计算机应用于档案管理之后，计算机辅助档案管理逐渐普及，计算机可以辅助档案管理提升其管理水平，这现在看来只是计算机技术在档案管理领域的初级应用。随着现代信息技术不断引入档案管理，电子文件的大量出现，数字档案（馆）室建设也已初见成效。这让人们越发感到现代信息技术与档案工作的密切关系。档案管理技术的每一次变革无不都是现代科技进步的驱动。由此，要使档案工作跟得上时代步伐，不落后于社会发展的脚步，就要求档案工作对新技术具有相当高的敏感度，并有选择性的、及时的引入档案管理领域。在大数据时代，档案工作更应该反应迅速，积极应对。大数据环境下的档案管理完全可以借助云技术建立一个统一的档案云平台，实现一体化的管理。

3、再造档案业务环节。整体上来看，档案业务环节可以用“收”、“管”、“用”来概括。在大数据时代，档案工作的收、管、用将被赋予更多内容。“收”一改以往各部门的定期移交，而是转为对档案数据的实时接收或自动归集，做到全流程控制。“管”由手工管理转为通过统一的档案云平台，实现档案数据统一存储、处理、利用，做到全技术支持。“用”由提供被动的档案查询阅览服务转为主动挖掘信息价值、分析和预测档案用户需求，为档案用户及社会提供高价值的档案服务，做到全智能服务。对档案业务环节进行再造，使其朝着知识管理、知识服务的方向发展，提升档案管理在组织内部，甚至在社会大环境中的地位，这也是大数据赋予档案工作的新任务。

4、自上而下建章立制。为应对大数据给档案工作造成的冲击，国家层面应该制定统一的标准规范，以规范各行业业务信息管理系统的形成。各单位也应在遵循国家统一规范的前提下，根据自身实际情况制定本单位的管理规范，加强组织内部的档案信息管理，使之更加科学化、规范化。必要时还可以借鉴或引入国际通用的相关标准规范，结合实际应用，定期进行检查梳理，推进档案工作再上新台阶

（作者单位：鸦片战争博物馆）